JP2009271618A - Image display device, image display method and program for image display - Google Patents
Image display device, image display method and program for image display Download PDFInfo
- Publication number
- JP2009271618A JP2009271618A JP2008119537A JP2008119537A JP2009271618A JP 2009271618 A JP2009271618 A JP 2009271618A JP 2008119537 A JP2008119537 A JP 2008119537A JP 2008119537 A JP2008119537 A JP 2008119537A JP 2009271618 A JP2009271618 A JP 2009271618A
- Authority
- JP
- Japan
- Prior art keywords
- image
- avatar
- display
- virtual space
- appreciation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
Description
本発明は、画像表示装置、画像表示方法および画像表示用プログラムに関し、詳しくは、現実の空間を模した仮想空間にて、そこに画像を展示するに適した画像表示装置、画像表示方法、および画像表示用プログラムに関する。 The present invention relates to an image display device, an image display method, and an image display program. More specifically, the present invention relates to an image display device, an image display method, and an image display device suitable for exhibiting an image in a virtual space imitating a real space. The present invention relates to an image display program.
コンピュータグラフィック技術が発展し、コンピュータやグラフィックエンジンの処理速度が高速化してきていることにより、３Ｄ空間での表示が容易になってきている。また、近年、ネットワークを通じて、コンピュータグラフィックで作られた仮想空間に、アクセス可能とするサービスが普及してきている。このような仮想空間は、従来のネットワークを通じて行うデータアクセスとは異なり、フレンドリーなユーザーインターフェースにて、ユーザーをネットの向こうの世界に誘うのに効果を発揮している。 With the development of computer graphic technology and the increased processing speed of computers and graphic engines, display in 3D space has become easier. In recent years, services that enable access to a virtual space created by computer graphics via a network have become widespread. Unlike the conventional data access through a network, such a virtual space is effective in inviting users to the world beyond the network with a friendly user interface.
この仮想空間においては、リアルな空間と同様の疑似体験が可能であり、また、これまでのネットワークを通じて提供されるサービスのうち、比較的単純なデータストアを置き換えるとしても、その空間特性を活かしたテーマ分類等も可能である。このような仮想空間を利用する技術は、種々提案されている。 In this virtual space, a simulated experience similar to that of a real space is possible, and even if it replaces a relatively simple data store among the services provided through the network so far, it makes use of its spatial characteristics. Theme classification is also possible. Various techniques using such a virtual space have been proposed.
例えば、特許文献１には、仮想空間内において、ビルの上にビルの名前などのアノテーション（注釈）を合成表示するようにし、体験者の位置によって表示方法を切り換えるようにした画像生成装置が開示されている。
このように特許文献１の画像生成装置によれば、体験者の位置によって表示位置を切り換えることから、常に最適な位置にアノテーションを表示することができる。しかし、この画像生成装置には、仮想空間のどこに行けばどの画像を見ることができるか、また、ユーザーにとって分かりやすい展示や、プライバシーの保護対策については、触れられていない。さらに、撮影した画像を極力有効利用して、表示画面の雰囲気を豊かにするような提案もなかった。 As described above, according to the image generation apparatus of Patent Document 1, since the display position is switched depending on the position of the experience person, the annotation can be always displayed at the optimum position. However, this image generation device does not mention where to go in the virtual space to see which image, an easy-to-understand display for the user, and a privacy protection measure. Furthermore, there has been no proposal to make the display screen richer by making effective use of the captured images as much as possible.
仮想空間では、空間特性を活かした活用が望ましく、リアルな空間に類似させることのできる特性を極力活かして、表示画面の豊かさを増し、なおかつ仮想世界ならではの工夫を行うことが必要である。例えば、仮想空間では、主に利用者は、アバターの姿を借りて空間内を移動するが、このアバターと画像の大きさの関係などは、仮想空間での特有の問題である。 In the virtual space, it is desirable to make use of the space characteristics, and it is necessary to increase the richness of the display screen by making the best use of the characteristics that can resemble a real space, and to devise the uniqueness of the virtual world. For example, in a virtual space, a user mainly borrows the appearance of an avatar and moves in the space. The relationship between the size of the avatar and the image is a particular problem in the virtual space.
前述の特許文献１に開示された画像生成装置では、仮想空間を利用して画像展示する展示者が、仮想空間で見ることができるようにしたコンテンツを、仮想空間上で違和感のない表示方法、言い換えると、現実空間にあるようなアイテムを利用して、展示することは何ら考慮されていなかった。このため、仮想空間を訪れた訪問者が不自然さを感じることなく、様々な画像を楽しむことができなかった。 In the image generation device disclosed in Patent Document 1 described above, a display method in which an exhibitor who displays an image using the virtual space can view the content in the virtual space without causing a sense of incongruity in the virtual space, In other words, it was not considered to exhibit using items that exist in real space. For this reason, visitors who visited the virtual space could not enjoy various images without feeling unnatural.
本発明は、このような事情を鑑みてなされたものであり、仮想空間上で違和感のない表示方法で画像を表示し、訪問者が不自然さを感じることのない画像表示装置、画像表示方法、および画像表示用プログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and an image display apparatus and an image display method that display an image in a display method that does not cause a sense of incongruity in a virtual space and that do not cause a visitor to feel unnaturalness. And an image display program.
前記目的を達成するため第１の発明に係わる画像表示装置は、画像を所定のカテゴリーに分類する画像分類部と、前記画像とこの画像の鑑賞者を表すアバターを仮想空間内に表示する表示部と、前記仮想空間内で前記アバターを移動させるためのアバター制御部と、前記画像と前記アバターとの相対的な位置関係に応じて前記画像の表示態様を変化させる表示制御部と、を備える。 In order to achieve the above object, an image display device according to a first invention includes an image classification unit that classifies an image into a predetermined category, and a display unit that displays the image and an avatar representing a viewer of the image in a virtual space. And an avatar control unit for moving the avatar in the virtual space, and a display control unit for changing a display mode of the image according to a relative positional relationship between the image and the avatar.
第２の発明に係わる画像表示装置は、前記第１の発明において、前記表示制御部は、前記アバターが前記画像に近づくと前記画像を拡大して表示する。
第３の発明に係わる画像表示装置は、前記第１の発明において、前記表示制御部は、さらに、前記画像を前記所定のカテゴリーに応じて前記仮想空間内の所定位置に配置する機能を有するものである。
In the image display device according to a second invention, in the first invention, the display control unit enlarges and displays the image when the avatar approaches the image.
In the image display device according to a third invention, in the first invention, the display control unit further has a function of arranging the image at a predetermined position in the virtual space according to the predetermined category. It is.
第４の発明に係わる画像表示装置は、前記第１の発明において、前記表示制御部は、さらに、前記画像を前記所定のカテゴリーに応じた大きさで前記仮想空間内に表示する機能を有する。
第５の発明に係わる画像表示装置は、前記第４の発明において、前記画像分類部は、少なくとも前記画像をプライベートな画像とそれ以外の画像に分類するものであり、前記表示制御部は、前記画像がプライベートな画像に属する画像を表示するときはそれ以外の画像を表示するときに比べ大きく表示する。
In the image display device according to a fourth aspect of the present invention, in the first aspect, the display control unit further has a function of displaying the image in the virtual space in a size corresponding to the predetermined category.
An image display device according to a fifth invention is the image display device according to the fourth invention, wherein the image classification unit classifies at least the image into a private image and other images, and the display control unit When an image belonging to a private image is displayed, the image is displayed larger than when other images are displayed.
第６の発明に係わる画像表示方法は、画像を所定のカテゴリーに分類するステップと、前記画像とこの画像の鑑賞者を表すアバターを仮想空間内に表示するステップと、前記仮想空間内で前記アバターを移動させるステップと、前記画像と前記アバターとの相対的な位置関係に応じて前記画像の表示態様を変化させるステップと、を備える。 An image display method according to a sixth invention includes a step of classifying an image into a predetermined category, a step of displaying the image and an avatar representing a viewer of the image in a virtual space, and the avatar in the virtual space. And a step of changing a display mode of the image according to a relative positional relationship between the image and the avatar.
第７の発明に係わる画像表示用プログラムは、画像を所定のカテゴリーに分類するステップと、前記画像とこの画像の鑑賞者を表すアバターを仮想空間内に表示するステップと、前記仮想空間内で前記アバターを移動させるステップと、前記画像と前記アバターとの相対的な位置関係に応じて前記画像の表示態様を変化させるステップと、をコンピュータに実行させる。 An image display program according to a seventh invention includes a step of classifying an image into a predetermined category, a step of displaying the image and an avatar representing a viewer of the image in a virtual space, and the step of displaying the image in the virtual space. The step of moving the avatar and the step of changing the display mode of the image according to the relative positional relationship between the image and the avatar are executed by the computer.
第８の発明に係わる画像表示装置は、所定のカテゴリーに分類した分類情報と共に画像を記憶する画像記憶部と、前記画像を仮想空間内に表示する画像表示部と、仮想空間内でアバターを移動させるためのアバター制御部と、前記画像と前記アバターとの相対的な位置関係に応じ、かつ前記画像の分類情報に基づいて前記画像の表示態様を変化させる表示制御部と、を備える。 An image display device according to an eighth aspect of the present invention is an image storage unit that stores an image together with classification information classified into a predetermined category, an image display unit that displays the image in a virtual space, and an avatar that moves in the virtual space. And a display control unit that changes a display mode of the image based on classification information of the image according to a relative positional relationship between the image and the avatar.
第９の発明に係わる画像表示装置は、前記第８の発明において、前記表示制御部は、前記アバターが前記画像に近づくと前記画像を拡大して表示する。
第１０の発明に係わる画像表示装置は、前記第８の発明において、前記表示制御部は、さらに、前記画像を前記分類情報に応じて前記仮想空間内の所定位置に配置する機能を有する。
第１１の発明に係わる画像表示装置は、前記第８の発明において、前記表示制御部は、さらに、前記画像を前記分類に応じた大きさで前記仮想空間内に表示する機能を有する。
第１２の発明に係わる画像表示装置は、前記第８の発明において、前記分類情報は、前記画像がプライベート画像であるか、ノン・プライベート画像であるかの情報を含む。
In the image display device according to a ninth aspect based on the eighth aspect, the display control unit enlarges and displays the image when the avatar approaches the image.
In the image display device according to a tenth aspect based on the eighth aspect, the display control unit further has a function of arranging the image at a predetermined position in the virtual space according to the classification information.
In the image display device according to an eleventh aspect based on the eighth aspect, the display control unit further has a function of displaying the image in the virtual space with a size corresponding to the classification.
In the image display device according to a twelfth aspect based on the eighth aspect, the classification information includes information on whether the image is a private image or a non-private image.
第１３の発明に係わる画像表示用プログラムは、所定のカテゴリーに分類した分類情報と共に画像を記憶するステップと、前記画像を仮想空間内に表示するステップと、仮想空間内でアバターを移動させるステップと、前記画像と前記アバターとの相対的な位置関係に応じ、かつ前記画像の分類情報に基づいて前記画像の表示態様を変化させるステップと、をコンピュータに実行させる。 An image display program according to a thirteenth invention includes a step of storing an image together with classification information classified into a predetermined category, a step of displaying the image in a virtual space, and a step of moving an avatar in the virtual space; And causing the computer to execute a step of changing a display mode of the image according to a relative positional relationship between the image and the avatar and based on classification information of the image.
第１４の発明に係わる撮像装置は、被写体の画像を取得する撮像部と、日時情報と位置情報を取得する情報取得部と、前記画像と共に撮像時の日時情報と位置情報を記録する画像記録部と、この日時情報と位置情報を周期的に取得し、これらの情報に基づいて、プライベートの経路で撮影した画像か、ノンプライベートの経路で撮影した画像かを分類する画像分類部と、を備え、前記画像記録部に前記画像と共に前記画像分類部による分類結果を記録する。 An imaging device according to a fourteenth aspect of the invention is an imaging unit that acquires an image of a subject, an information acquisition unit that acquires date information and position information, and an image recording unit that records date information and position information at the time of imaging together with the image. And an image classification unit that periodically acquires the date information and position information, and classifies whether the image is taken on a private route or an image taken on a non-private route based on the information. The result of classification by the image classification unit is recorded together with the image in the image recording unit.
第１５の発明に係わる画像合成表示装置は、アバター像と鑑賞画像を仮想空間の背景中に合成表示する画像合成表示装置において、前記仮想空間中において、前記アバター像と前記鑑賞画像の相対的距離に応じて、前記鑑賞画像が小さいままで前記アバターの影に隠れる第１表示モードと、前記鑑賞画像が前記アバター画像よりも大きく表示される第２表示モードのいずれかで表示する画像合成表示部と、を備える。 An image composition display device according to a fifteenth aspect of the present invention is an image composition display device for compositing and displaying an avatar image and an appreciation image in the background of a virtual space, and the relative distance between the avatar image and the appreciation image in the virtual space. In accordance with the image display section, the display image is displayed in either the first display mode in which the appreciation image remains small and hidden in the shadow of the avatar, or the second display mode in which the appreciation image is displayed larger than the avatar image. And comprising.
第１６の発明に係わる画像合成表示装置は、前記第１５の発明において、前記鑑賞画像には、分類情報が添付されており、前記画像合成表示部は、前記分類情報に基づいて、前記第１表示モードで表示されるか、前記第２表示モードで表示されるかを決定する According to a sixteenth aspect of the present invention, in the fifteenth aspect, classification information is attached to the appreciation image, and the image synthesis display unit is configured to display the first information based on the classification information. Decide whether to display in the display mode or the second display mode
第１７の発明に係わる画像合成表示装置は、アバター像と鑑賞画像を仮想空間の背景中に合成表示する画像合成表示装置において、前記仮想空間中において、前記アバター像と前記鑑賞画像が相対的に近づくと、前記鑑賞画像が画像再生される第１の表示モードと、前記アバター像がさらに近づいても前記鑑賞画像が小さいままで前記アバター像に隠れる第２の表示モードと、前記鑑賞画像が拡大され、前記アバター像よりも大きく表示される第３の表示モードのうちの少なくとも２つの表示モードを、前記鑑賞画像の前記仮想空間の室内の位置に応じて、切り替える画像合成切替表示部と、を備える。 An image composition display device according to a seventeenth aspect of the present invention is an image composition display device for compositing and displaying an avatar image and an appreciation image in the background of a virtual space, wherein the avatar image and the appreciation image are relatively relative to each other in the virtual space. A first display mode in which the appreciation image is reproduced as it approaches, a second display mode in which the appreciation image remains small even if the avatar image gets closer, and is hidden in the avatar image, and the appreciation image is enlarged An image composition switching display unit that switches between at least two display modes of the third display mode displayed larger than the avatar image according to a position of the viewing image in the virtual space. Prepare.
第１８の発明に係わる画像合成表示装置は、アバター像と鑑賞画像を仮想空間の展示用の室内の背景中に合成表示する画像合成表示装置において、前記室内に入るための入り口部と、前記仮想空間中において、前記アバター像と前記鑑賞画像との相対的距離に応じて、前記鑑賞画像が小さいままで前記アバターの影に隠れる第１表示モードと、前記鑑賞画像が前記アバター画像よりも大きく表示される第２表示モードのいずれかで表示する画像合成表示部と、を有し、前記画像合成表示部は、前記第１表示モードとなる画像は、前記入り口部から見えない位置に配置する。 An image composition display device according to an eighteenth aspect of the present invention is the image composition display device for compositing and displaying the avatar image and the appreciation image in the background of the exhibition room in the virtual space, the entrance for entering the room, and the virtual image display apparatus. In the space, according to the relative distance between the avatar image and the appreciation image, the appreciation image remains small and hidden in the shadow of the avatar, and the appreciation image is displayed larger than the avatar image. An image composition display unit for displaying in one of the second display modes, and the image composition display unit arranges an image in the first display mode at a position where the image cannot be seen from the entrance.
第１９の発明に係わる画像合成表示装置は、アバター像と鑑賞画像を仮想空間の展示用の室内の背景中に合成表示する画像合成表示装置において、前記室内に入るための入り口部と、前記仮想空間中において、前記アバター像と前記鑑賞画像との相対的距離に応じて、前記鑑賞画像が画像再生される第１の表示モードと、前記鑑賞画像が前記アバター画像よりも大きく表示される第２表示モードのいずれかで表示する画像合成表示部と、を有し、前記画像合成表示部は、前記第１表示モードとなる画像は、前記入り口部から見えない位置に配置する。 An image composition display device according to a nineteenth aspect of the present invention is the image composition display device for compositing and displaying the avatar image and the appreciation image in the background of the exhibition room in the virtual space, the entrance for entering the room, and the virtual image display apparatus. A first display mode in which the appreciation image is reproduced according to a relative distance between the avatar image and the appreciation image in space, and a second display in which the appreciation image is displayed larger than the avatar image. An image composition display unit for displaying in one of the display modes, and the image composition display unit arranges the image in the first display mode at a position where it cannot be seen from the entrance.
本発明によれば、仮想空間上で違和感のない表示方法で画像を表示し、訪問者が不自然さを感じることのない画像表示装置、画像表示方法、および画像表示用プログラムを提供することができる。 According to the present invention, it is possible to provide an image display device, an image display method, and an image display program that display an image with a display method that does not cause a sense of incongruity in a virtual space and that do not cause a visitor to feel unnaturalness. it can.
以下、図面に従って本発明を適用したデジタルカメラとサーバーとからなるシステムを用いて好ましい一実施形態について説明する。本実施形態におけるデジタルカメラは、レリーズ釦の操作に応じて静止画の画像データを取得し、これを記録媒体に記録する。写真の画像データの記録にあたって、撮影日時や撮影位置を記録媒体に付随情報として併せて記録する。ここで記録された情報を基にして、プライベート画像かノン・プライベート画像か等の画像分類を行う。仮想空間での展示にあたっては、画像分類の結果や、訪問者とプライベート画像の相対位置関係に応じて、画像の拡大率や、画像の配置位置、あるいはアバターの位置等の表示態様を変化させている。本実施形態においては、撮影した写真を有効に点在させて、この空間をカスタマイズすることにより雰囲気を高めている。また、ユーザーが、仮想空間のどこにどの画像があるかを直感的に判断でき、また、プライバシーにも留意した画像展示を行っている。 A preferred embodiment will be described below using a system comprising a digital camera and a server to which the present invention is applied, according to the drawings. The digital camera in the present embodiment acquires image data of a still image according to the operation of the release button and records this on a recording medium. When recording image data of a photograph, the shooting date and time and the shooting position are also recorded as accompanying information on a recording medium. Based on the information recorded here, image classification such as private image or non-private image is performed. When displaying in the virtual space, the display mode such as the image enlargement ratio, image placement position, or avatar position is changed according to the result of image classification and the relative positional relationship between the visitor and private image. Yes. In the present embodiment, the atmosphere is enhanced by effectively interspersing photographed photographs and customizing this space. In addition, the user can intuitively determine where the image is in the virtual space, and also exhibits images with attention to privacy.
図１は本発明の一実施形態に係わるカメラとサーバーからなるシステムの構成を示すブロック図であり、カメラ１０は被写体を撮影し、画像を取得するデジタルカメラである。カメラ１０は、制御部１、行動記録部１ａ、撮影部２、画像記録部３、顔検出部４、年齢推定部４ａ、表示部５、通信部５、位置判定部６、時計部７、画像分類部８、仮想空間データ部９、通信部９ａを有している。 FIG. 1 is a block diagram showing the configuration of a system including a camera and a server according to an embodiment of the present invention. A camera 10 is a digital camera that captures a subject and acquires an image. The camera 10 includes a control unit 1, an action recording unit 1a, a photographing unit 2, an image recording unit 3, a face detection unit 4, an age estimation unit 4a, a display unit 5, a communication unit 5, a position determination unit 6, a clock unit 7, an image. It has a classification unit 8, a virtual space data unit 9, and a communication unit 9a.
制御部１は、ＣＰＵ（Central Processing Unit）等によって構成され、このカメラ１０の各部と接続され、全体制御を行う。行動記録部１ａは、カメラ１０を携帯するユーザーの行動を判定して記録する。この判定にあたっては、時計部７が出力する日時情報、および位置判定部６が出力する位置情報に基づいて行う。 The control unit 1 is configured by a CPU (Central Processing Unit) or the like, and is connected to each unit of the camera 10 to perform overall control. The behavior recording unit 1a determines and records the behavior of the user carrying the camera 10. This determination is performed based on the date and time information output from the clock unit 7 and the position information output from the position determination unit 6.
撮影部２は、被写体像を結像するための光学系、被写体像を光電変換する撮像素子、撮像素子から出力される画像信号を処理する画像処理部等を含み、画像データを出力する。顔検出部４は、撮影部２から出力される画像信号を入力し、この画像信号に基づいて画面内に人物の顔の部分があるか否かを判定し、判定結果を年齢推定部４ａに出力する。年齢推定部４ａは、顔検出部４によって検出された顔の画像に基づいて、写っている人物が大人か子供か等、人物の年齢を推定する。なお、顔検出部４における顔検出結果は、年齢推定部４ａを通じて、制御部１に伝えられる。 The photographing unit 2 includes an optical system for forming a subject image, an image sensor that photoelectrically converts the subject image, an image processing unit that processes an image signal output from the image sensor, and the like, and outputs image data. The face detection unit 4 receives the image signal output from the photographing unit 2, determines whether or not there is a human face portion on the screen based on the image signal, and sends the determination result to the age estimation unit 4a. Output. The age estimation unit 4a estimates the age of a person based on the face image detected by the face detection unit 4, such as whether the person in the image is an adult or a child. The face detection result in the face detection unit 4 is transmitted to the control unit 1 through the age estimation unit 4a.
画像記録部３は、撮影部２から出力される画像信号に基づいて静止画の画像データを記録する。表示部５は、画像記録部３に記録された画像データに基づいて画像を表示する。また、表示部５は、通信部９ａを通じて仮想空間コミュニティサーバー２１にアクセスし、仮想空間の画像を表示する。 The image recording unit 3 records still image data based on the image signal output from the photographing unit 2. The display unit 5 displays an image based on the image data recorded in the image recording unit 3. The display unit 5 accesses the virtual space community server 21 through the communication unit 9a and displays an image of the virtual space.
画像分類部８は、画像記録部３に記録されている画像の分類を行う。分類にあたっては、顔検出部４によって人物の顔が含まれるか否か等によって行う。位置判定部６は、ＧＰＳ（Global Positioning System：全地球測位システム）等の位置測定機能を有し、撮影位置情報を取得し、画像データと共に画像記録部３に記録される。また、時計部７は、時計機能を有しており、日時情報を出力し、撮影日時(撮影時間とも称す)情報は、画像データと共に画像記録部３に記録される。 The image classification unit 8 classifies the images recorded in the image recording unit 3. The classification is performed by the face detection unit 4 based on whether or not a human face is included. The position determination unit 6 has a position measurement function such as GPS (Global Positioning System), acquires shooting position information, and records it in the image recording unit 3 together with image data. The clock unit 7 has a clock function and outputs date / time information. The shooting date / time (also referred to as shooting time) information is recorded in the image recording unit 3 together with the image data.
仮想空間データ部９は、仮想空間を形成するためのデータの記憶部である。仮想空間に関するデータは、仮想空間コミュニティサーバー２１より送られてくるが、この仮想空間データ部９に、仮想空間の背景やアバター表示用の画像データを記憶する。仮想空間コミュニティサーバー２１との通信のたびに、背景等の画像データを受信すると、通信時間による遅延が発生してしまうことから、仮想空間データ部９に背景等の画像データを記憶し、不要な通信を行わないようにしている。 The virtual space data unit 9 is a data storage unit for forming a virtual space. Data related to the virtual space is sent from the virtual space community server 21, and the virtual space background and the image data for avatar display are stored in the virtual space data section 9. When image data such as a background is received every time communication with the virtual space community server 21 occurs, a delay due to communication time occurs. Therefore, image data such as a background is stored in the virtual space data unit 9 and is unnecessary. Communication is not performed.
通信部９ａは、インターネット２０を介して仮想空間コミュニティサーバー２１と通信を行う。通信は、無線通信や赤外通信等によってネットワークに接続する。なお、赤外通信ではネットワークに直接接続することができないので、携帯電話やＰＣ等の外部機器を介して通信する。 The communication unit 9 a communicates with the virtual space community server 21 via the Internet 20. The communication is connected to the network by wireless communication or infrared communication. Note that since infrared communication cannot be directly connected to a network, communication is performed via an external device such as a mobile phone or a PC.
仮想空間コミュニティサーバー２１は、仮想空間を提供するものによって運営されているサーバーであり、カメラ１０のほか、パーソナルコンピュータや携帯電話等から、インターネット２０を通じてアクセス可能である。 The virtual space community server 21 is a server operated by a server that provides a virtual space, and can be accessed through the Internet 20 from a personal computer, a mobile phone or the like in addition to the camera 10.
次に、本実施形態においてユーザーが撮影した画像を自動的に分類する画像分類について図２乃至図４を用いて説明する。本実施形態においては、通勤・通学における職場・学校での撮影画像は、ノン・プライベート画像であり、一方、通勤・通学から外れたルートでの撮影画像は、プライベート画像であると分類する。 Next, image classification for automatically classifying images taken by the user in the present embodiment will be described with reference to FIGS. In this embodiment, a photographed image at a workplace / school in commuting / commuting is a non-private image, while a photographed image on a route that is out of commuting / commuting is classified as a private image.
図２は自宅２５と職場２６との位置関係を示す地図である。例えば、自宅２５と職場２６の通勤の際に、カメラ１０を常に持ち歩いているとする。この場合には、カメラ１０に内蔵の位置判定部６や時計部７によって、時刻と位置を判定することができる。また、カメラ１０に内蔵する加速度センサ（不図示）の出力と、時計部７によって出力される時刻情報に基づいて、カメラ１０のユーザーの生活リズムを検出するようにしても良い。 FIG. 2 is a map showing the positional relationship between the home 25 and the workplace 26. For example, assume that the camera 10 is always carried around when commuting between the home 25 and the workplace 26. In this case, the time and position can be determined by the position determination unit 6 or the clock unit 7 built in the camera 10. The life rhythm of the user of the camera 10 may be detected based on the output of an acceleration sensor (not shown) built in the camera 10 and the time information output by the clock unit 7.
ユーザーの生活リズムとして、時刻と自宅２５からの移動距離をグラフ化すると、図３のようになる。ここで自宅２５か否かの判定は、自宅２５に居る際に手動で設定してもよいが、夜中に居た場所を自宅２５と判定すればよい。なお、自宅からの移動の様子は、二次元で表示すべきであるが、図３においては一次元で表示している。 As a user's life rhythm, a graph of time and distance traveled from home 25 is shown in FIG. Here, the determination as to whether or not the user is at home 25 may be set manually when the user is at home 25, but the place at home in the middle of the night may be determined as home 25. The state of movement from home should be displayed in two dimensions, but is displayed in one dimension in FIG.
図３において、実線３１は、プラスマイナス１時間程度の差で、朝と夜に移動していることから、通勤・通学のパターンと判断することができる。すなわち、実線部３１ａは、１時間程度の差で、自宅から通勤先・学校への移動を示しており、実線部３１ｂは、１時間程度の差で、通勤先・学校から自宅への移動を示しており、日々、このような移動を行っていることから通勤・通学のパターンと判断できる。 In FIG. 3, since the solid line 31 is moving from morning to night with a difference of about plus or minus 1 hour, it can be determined that the pattern is a commuting / commuting pattern. That is, the solid line portion 31a indicates a movement from home to the commuting destination / school with a difference of about one hour, and the solid line portion 31b indicates a movement from commuting destination / school to the home with a difference of about one hour. It can be judged as a pattern of commuting / commuting from the daily movement.
一方、実線３１から外れた破線３２、３３のような行動は、通常の仕事とは別の行動と考えることができる。なお、通勤・通学か否かの判定にあたっては、何日もデータを取って、その結果より平均を求め、そこからの誤差で通常の通勤・通学以外と判定してもよい。 On the other hand, behaviors such as broken lines 32 and 33 deviating from the solid line 31 can be considered as behaviors different from normal work. When determining whether or not to commute to school, data may be taken for several days, an average may be obtained from the results, and an error from the average may be determined as other than normal commuting to school.
また、図４に示すように、撮影画像を整理することによっても、画像を分類することができる。つまり、撮影の時刻や密集度、さらに、顔画像のありなしによって、運動会、旅行等、それぞれのイベントの特有の特徴を判定し、画像分類が可能である。ここで、運動会は、主に午前中に密集して顔画像のある画像を多数撮影するが、旅行では、風景画像が増加し、しかも密集度合いは運動会より少ないことから、判定できる。 Further, as shown in FIG. 4, the images can be classified by organizing the captured images. That is, it is possible to classify images by determining the unique characteristics of each event such as athletic meet and travel according to the shooting time and density, and the presence or absence of face images. Here, the athletic meet mainly takes a large number of images with face images densely in the morning, but it can be determined because travel images increase and the degree of congestion is less than athletic meet.
以上説明した画像分類の考え方に沿って撮影画像の分類の動作について、図５を用いて説明する。この撮影画像の分類動作は、カメラ１０によって実行される。この分類制御のフローに入ると、まず、ステップＳ５１〜Ｓ５４において、カメラ１０を持ち歩くユーザーの行動を判定し、明確な生活リズムが得られた時点で通勤・通学の判定を行う。 The operation of classifying captured images in accordance with the concept of image classification described above will be described with reference to FIG. This camera image classification operation is executed by the camera 10. When entering this classification control flow, first, in steps S51 to S54, the behavior of the user carrying the camera 10 is determined, and commuting / commuting is determined when a clear life rhythm is obtained.
まず、所定時間間隔であるかを判定する（Ｓ５１）。すなわち、この行動判定は、時計部７による日時情報に基づいて、所定時間間隔で行われる。所定時間経過したことを判定すると、次に、移動検出と場所判定を行う（Ｓ５２）。このステップでは、位置判定部６によって現在の検出を行い、時計部７から現在の日時情報を得る。続いて、時間と位置の関係を記録する（Ｓ５３）。ここでは、ステップＳ５２において検出判定された位置情報と、そのときの日時情報をペアにして画像記録部３等の記録部に記録する。 First, it is determined whether it is a predetermined time interval (S51). That is, this behavior determination is performed at predetermined time intervals based on the date and time information by the clock unit 7. If it is determined that the predetermined time has elapsed, then movement detection and location determination are performed (S52). In this step, the current determination is performed by the position determination unit 6 and the current date and time information is obtained from the clock unit 7. Subsequently, the relationship between time and position is recorded (S53). Here, the position information detected and determined in step S52 and the date and time information at that time are paired and recorded in a recording unit such as the image recording unit 3 or the like.
次に、判定可能か否かを判断する（Ｓ５４）。図３、図４を用いて説明したように、日常的な通勤・通学における移動（つまり実線３１での移動）か、それ以外移動（破線３２、３３での移動）を判定できるだけの情報が集まったか、あるいは明確な生活リズムが得られた時点であるか否かの判定を行う。 Next, it is determined whether or not determination is possible (S54). As described with reference to FIGS. 3 and 4, information sufficient to determine whether to move in daily commuting or school (that is, movement on the solid line 31) or other movement (movement on the broken lines 32 and 33) is collected. Whether or not a clear life rhythm is obtained is determined.
ステップＳ５４における判定の結果、判定可能でなかった場合には、ステップＳ５１に戻り、前述のステップを繰り返す。一方、判定の結果、判定可能であった場合には、通勤・通学場所判定を行う（Ｓ５５）。このステップでは、ステップＳ５３において記録された日時情報および位置情報に基づいて、通勤・通学場所と判定するための時間帯や自宅基準での位置等の情報を決定する。 If the result of determination in step S54 is that determination is not possible, processing returns to step S51 and the above steps are repeated. On the other hand, if the result of determination is that determination is possible, commuting / commuting place determination is performed (S55). In this step, based on the date / time information and the position information recorded in step S53, information such as a time zone for determining a commuting / commuting place and a home-based position is determined.
続いて、ステップＳ５５の通勤通学場所判定に基づいて、画像記録部３に記録されている撮影画像の中に通勤・通学場所での写真があるか否かの判定を行う（Ｓ５６）。この判定の結果、通勤・通学場所での撮影画像がなかった場合には、ステップＳ５１に戻り、前述のステップを繰り返す。 Subsequently, based on the commuting / commuting place determination in step S55, it is determined whether or not the photographed image recorded in the image recording unit 3 includes a photograph at the commuting / commuting place (S56). If there is no photographed image at the commuting / commuting place as a result of this determination, the process returns to step S51 and the above steps are repeated.
一方、ステップＳ５６における判定の結果、通勤・通学場所写真があった場合には、その撮影画像の中に人物の顔が検出されるか否かの判定を行う（Ｓ５７）。このステップでは、顔検出部４によって人物の顔が検出されるか否かを判定する。この判定の結果、顔が検出された場合には、この画像をプライベート以外（ノン・プライベート）の人物の顔画像として記録する（Ｓ５８）。 On the other hand, if the result of determination in step S56 is that there is a commuting / commuting place photo, it is determined whether or not a person's face is detected in the photographed image (S57). In this step, it is determined whether or not a human face is detected by the face detection unit 4. If a face is detected as a result of this determination, this image is recorded as a face image of a person other than private (non-private) (S58).
すなわち、ステップＳ５８においては、通勤・通学の途上、および、職場・学校で撮影した画像は、プライベートな写真ではないと判断し、このとき検出された人物の顔はノン・プライベート人物として記録される。この時、子供の顔などは、年齢推定部４ａによる年齢判定で除外するようにしてもよい。つまり、ここで記録されたデータに基づき、ノン・プライベートとされた人以外の人が家族などプライベートな関係の人であると推測できる。 In other words, in step S58, it is determined that images taken during commuting / commuting and at work / school are not private photographs, and the face of the person detected at this time is recorded as a non-private person. . At this time, the child's face or the like may be excluded by age determination by the age estimation unit 4a. That is, based on the data recorded here, it can be inferred that a person other than the non-private person is a private person such as a family member.
職場近くの仕事帰りの飲み会なども、通常パターン（図３における実線３１参照）の生活リズムに該当していると考え、この中に含むようにする。これは、図４に示すような考え方に従ってパーティ判定を行い、通勤の帰りの時間近くの人物の多い密集写真は、ノン・プライベートと判定すればよい。 A drinking party on the way home from work is considered to fall under the normal pattern (see solid line 31 in FIG. 3) and is included in this. This is because party determination is performed according to the concept shown in FIG. 4, and a dense photo with many people near the time of commuting return may be determined as non-private.
続いて、未分類画像があるか否かの判定を行う（Ｓ６１）。このステップでは、画像記録部３に記録されている撮影画像の中で、プライベート画像、ノン・プライベート画像、旅行、風景画像等に分類されていない未分類の画像が有るか否かの判定を行う。このステップにおける判定の結果、未分類画像がなかった場合には、元のフローにリターンする。 Subsequently, it is determined whether or not there is an unclassified image (S61). In this step, it is determined whether or not there are unclassified images that are not classified into private images, non-private images, travel, landscape images, etc., among the captured images recorded in the image recording unit 3. . If there is no unclassified image as a result of the determination in this step, the process returns to the original flow.
一方、ステップＳ６１における判定の結果、未分類画像が有った場合には、その未分類画像に人物の顔画像が有るか否かの判定を行う（Ｓ６２）。このステップにおける判定は、顔検出部４によって行う。この判定の結果、顔画像が有った場合には、次に、その顔がノン・プライベート人物か否かの判定を行う（Ｓ６３）。前述したように、ステップＳ５８において、ノン・プライベート人物判定を行っているので、このときの判定を利用して行う。 On the other hand, if the result of determination in step S61 is that there is an unclassified image, it is determined whether or not there is a human face image in the unclassified image (S62). The determination in this step is performed by the face detection unit 4. If it is determined that there is a face image, it is next determined whether or not the face is a non-private person (S63). As described above, since the non-private person determination is performed in step S58, the determination at this time is used.
ステップＳ６３における判定の結果、ノン・プライベート人物であった場合には、すなわち、家族等のプライベート人物であった場合には、ステップＳ７４にジャンプする。一方、ステップＳ６３における判定の結果、ノン・プライベート人物でなかった場合には、プライベート画像と判定する（Ｓ６４）。そして、正面向き人物の多い写真を家族写真と判定する（Ｓ６５）。このステップでは、プライベート画像と判定された複数の写真の中から、正面向きの人物が最も多い写真を検索し、この写真を家族写真とする。なお、この家族写真判定にあたっては、年齢判定を行い、子供が含まれることを条件にしてもよい。 If the result of determination in step S63 is that it is a non-private person, that is, if it is a private person such as a family, the process jumps to step S74. On the other hand, if the result of determination in step S63 is not a non-private person, it is determined as a private image (S64). Then, it is determined that a photograph with many front-facing persons is a family photograph (S65). In this step, a photograph with the largest number of people facing the front is searched from among a plurality of photographs determined as private images, and this photograph is used as a family photograph. In this family photo determination, age determination may be performed on condition that a child is included.
ステップＳ６２における判定の結果、顔画像がなかった場合には、その画像が通勤・通学の場所で撮影したものか否かの判定を行う（Ｓ７１）。このステップでは、撮影画像ごとに撮影位置情報と撮影日時情報が記録されており、また、ステップＳ５５において、通勤・通学を判定するための情報が求められているので、この判定情報を用いて判定する。 If the result of determination in step S62 is that there is no face image, it is determined whether or not the image was taken at a commute / school location (S71). In this step, shooting position information and shooting date / time information are recorded for each shot image, and information for determining commuting / commuting is required in step S55. To do.
ステップＳ７１における判定の結果、その画像が通勤・通学の場所で撮影したものであった場合には、ステップＳ７４にジャンプする。一方、この判定の結果、通勤・通学の場所以外で撮影されていた場合には、その写真が旅行か否かの判定を行う（Ｓ７１）。この判定は、図４に示すように、一群の撮影画像が日をまたいて撮影がなされており、また、人物以外の写真も多い場合に旅行と判定する。 If the result of determination in step S71 is that the image was taken at a place of commuting / commuting, the process jumps to step S74. On the other hand, if the result of this determination is that the photo was taken at a place other than commuting or attending school, it is determined whether or not the photograph is a trip (S71). As shown in FIG. 4, this determination is made when a group of captured images are taken over the day and there are many photographs other than a person, and it is determined that the trip is a trip.
ステップＳ７２における判定の結果、旅行でなかった場合には、ステップＳ７４にジャンプする。一方、この判定の結果、旅行であった場合には、その画像は、風景画像と判定する（Ｓ７３）。 If the result of determination in step S <b> 72 is not travel, the routine jumps to step S <b> 74. On the other hand, if the result of this determination is a trip, the image is determined to be a landscape image (S73).
前述したステップＳ６５で家族写真判定を行うと、また、ステップＳ７３において風景画像判定を行うと、または、前述したステップにおいて、ステップＳ７４にジャンプと判定されると、それぞれの判定結果を画像と関連付けて、画像記録部３に記録する（Ｓ７４）。この記録を行うと、元のフローに戻る。 If family photo determination is performed in step S65 described above, landscape image determination is performed in step S73, or if jump is determined in step S74 in the above-described step, each determination result is associated with an image. Then, it is recorded in the image recording unit 3 (S74). When this recording is performed, the original flow is restored.
このように、本実施形態の分類制御のフローにおいては、顔画像を含む写真を随時判定し、ノン・プライベート人物の顔があればノン・プライベート画像、なければプライベート画像と判定する。すなわち、未分類画像で顔画像があれば（Ｓ６１、Ｓ６２→Ｓ６３）、先のノン・プライベート人物と比較して、プライベート画像とする（Ｓ６４）。さらに、正面向きの人物が並んだ画像は、家族写真と判定する。 As described above, in the classification control flow of this embodiment, a photo including a face image is determined as needed, and if there is a non-private person's face, it is determined as a non-private image, and if not, a private image. That is, if there is a face image as an unclassified image (S61, S62 → S63), it is set as a private image compared with the previous non-private person (S64). Furthermore, an image in which front-facing persons are arranged is determined as a family photo.
また、顔画像のない画像は風景画像と考えることが出来るが、通勤・通学場所での、黒板、白板の写真や資料の写真等を風景画像と誤って判定しないように、通勤・通学場所での画像は風景画像と判定していない（Ｓ７１）。また、自宅周辺の風景より、旅先の風景の方が好ましいので、図４に示すような方法で、旅行中の画像かどうかを判定し、その結果によって、風景画像としている（Ｓ７２→７３）。 In addition, images without face images can be considered as landscape images. However, in order to avoid mistakenly judging blackboards, whiteboard photographs, and photographs of materials, etc., as landscape images at commuting / commuting places, Is not determined to be a landscape image (S71). Further, since the scenery of the destination is more preferable than the scenery around the home, it is determined whether or not the image is a traveling image by the method as shown in FIG. 4, and a landscape image is obtained based on the result (S72 → 73).
次に、図６および図７に示すフローチャートを用いて、カメラ１０の動作について説明する。カメラ制御のフローに入ると、まず、カメラ１０が撮影モードに設定されているか否かの判定を行う（Ｓ１）。このカメラ１０は、撮影モードや再生モードが撮影者によって設定可能である。ステップＳ１における判定の結果、撮影モードが選択されていた場合には、レリーズか否かの判定を行う（Ｓ２）。このレリーズか否かの判定は、レリーズ釦が全押し操作されたか否かを検出することによって行う。 Next, the operation of the camera 10 will be described using the flowcharts shown in FIGS. If the camera control flow is entered, it is first determined whether or not the camera 10 is set to the shooting mode (S1). The camera 10 can be set in a shooting mode and a playback mode by a photographer. If the result of determination in step S <b> 1 is that a shooting mode has been selected, it is determined whether or not it is a release (S <b> 2). The determination of whether or not the release is performed is performed by detecting whether or not the release button has been fully pressed.
ステップＳ２における判定の結果、レリーズでなかった場合には、ステップＳ１に戻る。一方、判定の結果、レリーズであった場合には、撮像動作を行う（Ｓ３）。撮影動作は、撮影部２において、被写体像の静止画の画像データを取得し、この画像データを画像記録部３に記録する。また画像データの記録にあたって、時計部７で取得した撮影日時情報、および位置判定部６で取得した撮影位置情報も併せて記録する（Ｓ４）。撮影動作が終わるとリターンし、ステップＳ１から実行する。 If the result of determination in step S2 is not release, processing returns to step S1. On the other hand, if the result of determination is release, an imaging operation is performed (S3). In the photographing operation, the photographing unit 2 acquires image data of a still image of the subject image, and records this image data in the image recording unit 3. In recording the image data, the shooting date and time information acquired by the clock unit 7 and the shooting position information acquired by the position determination unit 6 are also recorded (S4). When the photographing operation ends, the process returns and the process is executed from step S1.
ステップＳ１における判定の結果、撮影モードが選択されていなかった場合には、手動分類を行うか否かの判定を行う（Ｓ３１）。後述するように、ステップＳ３５において、画像の分類制御を自動で行うが、本実施形態においては、自動で行う以外にもユーザーが自らの判断で画像の手動分類を行うことができるようにしている。このステップでは、カメラ１０の図示しない操作部材の操作状態に基づいて判定する。 If the result of determination in step S1 is that the shooting mode has not been selected, it is determined whether or not manual classification is to be performed (S31). As will be described later, in step S35, image classification control is automatically performed. In this embodiment, the user can manually classify images based on his / her own judgment in addition to the automatic control. . In this step, the determination is made based on the operation state of an operation member (not shown) of the camera 10.
ステップＳ３１における判定の結果、手動分類を行う場合には、画像分類操作を行う（Ｓ３２）。このステップでは、表示部５に撮影画像を再生させ、それぞれの撮影画像に対して、ユーザーがプライベート画像、ノン・プライベート画像、家族写真等、種々の分類操作を行う。続いて、画像に分類情報を付加する（Ｓ３３）。すなわち、ステップＳ３２における分類操作に応じた分類情報を付加し、この情報を画像に付随して記録する。分類情報の付加を行うと、リターンし、ステップＳ１から再び実行する。 If manual classification is performed as a result of the determination in step S31, an image classification operation is performed (S32). In this step, the captured image is reproduced on the display unit 5, and the user performs various classification operations such as a private image, a non-private image, and a family photograph on each captured image. Subsequently, classification information is added to the image (S33). That is, classification information corresponding to the classification operation in step S32 is added, and this information is recorded along with the image. If classification information is added, the process returns and the process is executed again from step S1.
ステップＳ３１における判定の結果、手動分類でなかった場合には、再生モードが選択され再生開始を行うか否かの判定を行う（Ｓ１１）。この判定の結果、再生開始でなかった場合には、次に、図５に示した分類制御のサブルーチンを実行する（Ｓ３５）。この分類制御のサブルーチンでは、前述したように、写真が顔画像を含むか否かを判定し、ノン・プライベート人物の顔があればノン・プライベート画像、なければプライベート画像と判定する。分類制御のサブルーチンが終わると、ステップＳ１に戻る。なお、分類制御のサブルーチンでは、ステップＳ５６、Ｓ５４においてステップＳ５１に戻り、繰り返し実行するような場合でも、所定時間間隔でメインフローにリターンする。 If the result of determination in step S31 is not manual classification, it is determined whether or not playback mode is selected and playback is started (S11). If the result of this determination is that playback has not started, then the classification control subroutine shown in FIG. 5 is executed (S35). In this classification control subroutine, as described above, it is determined whether or not the photograph includes a face image. If there is a non-private person's face, it is determined that the photograph is a non-private image, and if not, a private image. When the classification control subroutine ends, the process returns to step S1. In the classification control subroutine, the process returns to step S51 in steps S56 and S54, and returns to the main flow at predetermined time intervals even when it is repeatedly executed.
ステップＳ１１における判定の結果、再生開始であった場合には、仮想空間表示を行う（Ｓ１２）。すなわち、通信部９ａ、インターネット２０を通じて仮想空間コミュニティサーバー２１にアクセスし、仮想空間のデータを取り込み、これを表示部５に表示する。ここで、背景画像や次のステップで表示するアバターの画像データについては、仮想空間データ部９に一時記憶し、ここから、アバターが移動して背景画像が変化しない限り、仮想空間データ部９から画像データを読み出すことにより、通信に時間がかからないようにしている。なお、分類情報の添付された撮影画像は、仮想空間コミュニティサーバー２１の画像記録部に記録されており、ここでは記録のステップを省略して説明する。 If the result of determination in step S11 is that reproduction has started, virtual space display is performed (S12). That is, the virtual space community server 21 is accessed through the communication unit 9 a and the Internet 20, the virtual space data is captured, and this is displayed on the display unit 5. Here, the background image and the image data of the avatar to be displayed in the next step are temporarily stored in the virtual space data unit 9, and from here the virtual space data unit 9 unless the avatar moves and the background image changes. By reading out the image data, communication is not time-consuming. The photographed image with the classification information attached is recorded in the image recording unit of the virtual space community server 21, and will be described here with the recording step omitted.
続いて、アバターの表示を行う（Ｓ１３）。アバターは自分の分身となるキャラクターであり、ユーザーやユーザー以外のキャラクターである。その他、仮想空間内でのサービスを行うキャラクターもいる。このステップでは、仮想空間内に訪問者のアバター５１（図８参照）を表示させる。 Subsequently, an avatar is displayed (S13). An avatar is a character that will be your character and a character other than a user or a user. In addition, there are characters that provide services in virtual space. In this step, the visitor's avatar 51 (see FIG. 8) is displayed in the virtual space.
続いて、額縁４１に最新風景写真の表示を行う（Ｓ１４）。このステップでは、仮想空間内におけるユーザーの展示スペースに、ステップＳ７３で判定した風景画像の中から最新の風景写真を選択し額縁４１に嵌め込み展示する（図８参照）。ここでは、一般の方にも見られてもよく、プライバシーや仕事上の機密のない風景画像を、大きな額縁４１に入れて展示する。これによって、仮想空間の雰囲気を豊かにし、風景画像を見るものが癒される。 Subsequently, the latest landscape photograph is displayed on the frame 41 (S14). In this step, the latest landscape photo is selected from the landscape images determined in step S73 and displayed in the display space of the user in the virtual space (see FIG. 8). Here, a landscape image that may be seen by the general public and has no privacy or work secrecy is displayed in a large frame 41. As a result, the atmosphere of the virtual space is enriched, and what is seen in the landscape image is healed.
次に、写真立て４２に最新の家族写真を表示する（Ｓ１５）。このステップでは、ステップＳ６５において判定された家族写真を選択し展示する。家族写真はプライベートなので、直ぐには見えない大きさで展示する。続いて、仮想空間内のファイル４３にノン・プライベート画像を格納する（Ｓ１６）。すなわち、ノン・プライベート画像は直接見えるところに表示せず、ファイルの中に入れて見えないようにする。このファイルの置き場としては、最初に仮想空間に入った状態（図８（ａ）参照）では、目につきにくい場所に位置に配置する（図８（ｂ）のファイル４３の位置）。 Next, the latest family photo is displayed on the photo stand 42 (S15). In this step, the family photo determined in step S65 is selected and displayed. Because family photos are private, they will be displayed in a size that is not immediately visible. Subsequently, the non-private image is stored in the file 43 in the virtual space (S16). That is, non-private images are not displayed where they can be seen directly, but are hidden in files. As a place for this file, in the state of entering the virtual space for the first time (see FIG. 8A), the file is placed at a position where it is difficult to see (the position of the file 43 in FIG. 8B).
この状態で、次に、アバター操作がなされてか否かの判定を行う（Ｓ１７）。このステップでは、カメラ１０の背面等に配置された十字キー（不図示）が操作されたかを判定する。判定がなされるのを待つ待機状態であり、アバター操作がなされると、障害がないか否かの判定を行う（Ｓ１８）。仮想空間内でアバターを十字キーによる操作方向に移動させる場合、壁やドア等の障害物があるか無いかの判定である。 Next, in this state, it is determined whether or not an avatar operation is performed (S17). In this step, it is determined whether or not a cross key (not shown) arranged on the back surface of the camera 10 has been operated. It is a standby state waiting for a determination to be made, and when an avatar operation is performed, it is determined whether or not there is a failure (S18). When the avatar is moved in the virtual space in the operation direction by the cross key, it is determined whether or not there is an obstacle such as a wall or a door.
ステップＳ１８における判定の結果、障害物がある場合には、アバター５１（図８参照）を移動させることができないので、ステップＳ１７に戻る。一方、この判定の結果、障害物がない場合には、十字キーの操作に従ってアバター５１を移動させる（Ｓ１９）。ここでは、アバター５１が移動しているかのように、背景が変化する。 If there is an obstacle as a result of the determination in step S18, the avatar 51 (see FIG. 8) cannot be moved, and the process returns to step S17. On the other hand, if there is no obstacle as a result of this determination, the avatar 51 is moved according to the operation of the cross key (S19). Here, the background changes as if the avatar 51 is moving.
続いて、アバター５１がファイル４３に近づいているか否かの判定を行う（Ｓ２０）。この判定の結果、ファイル４３に近づいていた場合には、ファイル４３内に格納されているファイル画像が再生表示される（Ｓ２１）。ファイル画像を開くと、またはステップＳ２０において、ファイル４３に近づいていないと判定された場合には、アバター５１がファイル４３に格納されたファイル画像に近づいているか否かの判定を行う（Ｓ２２）。 Subsequently, it is determined whether or not the avatar 51 is approaching the file 43 (S20). If it is determined that the file 43 is approaching, the file image stored in the file 43 is reproduced and displayed (S21). When the file image is opened or when it is determined in step S20 that the file 43 is not approaching, it is determined whether or not the avatar 51 is approaching the file image stored in the file 43 (S22).
ステップ２２における判定の結果、アバター５１がファイル画像に近づいていた場合には、そのファイル画像を拡大表示する（Ｓ２３）。この拡大表示としては、拡大対象は異なるが、図１０（ｂ）のように拡大する。続いて、アバター５１がファイル画像にさらに近づいたかを判定し、その距離が限界距離以上に近づいていた場合には、画像の切替表示を行う（Ｓ２５）。このステップにおける画像の切替は、次の候補の画像に切り替え、表示する。これによって、仕事に関連する画像も整理でき、大きくして見ることができる。 If the result of determination in step 22 is that the avatar 51 is approaching the file image, the file image is enlarged and displayed (S23). This enlarged display is enlarged as shown in FIG. 10B, although the enlargement target is different. Subsequently, it is determined whether or not the avatar 51 is closer to the file image. If the distance is closer than the limit distance, an image switching display is performed (S25). In this step, the image is switched to the next candidate image and displayed. As a result, images related to work can be organized and viewed in large size.
画像の切替を行うと、またはステップＳ２４における判定の結果、限界以上、近づいていなかった場合、またはステップＳ２２においてアバター５１がファイル画像に近づいていなかった場合には、アバター５１がファイルやファイル画像から遠ざかっているか否かの判定を行う（Ｓ２６）。すなわち、ステップＳ２１、ステップＳ２３、ステップＳ２５において、開いた画像・ファイルから遠ざかっているか否かの判定を行う。 When the image is switched, or if the result of determination in step S24 is that the avatar 51 has not approached the file image in step S22, or if the avatar 51 has not approached the file image in step S22, It is determined whether or not the user is moving away (S26). That is, in step S21, step S23, and step S25, it is determined whether or not the user is away from the opened image / file.
ステップＳ２６における判定の結果、アバター５１がファイルやファイル画像から遠ざかっていた場合には、元の状態に戻す（Ｓ２７）。このステップでは、ステップＳ２１で開いたファイル画像、ステップＳ２３において拡大表示したファイル画像、ステップＳ２５において切り替えた画像について、元の状態に戻す。 If the result of determination in step S26 is that the avatar 51 has moved away from the file or file image, the original state is restored (S27). In this step, the file image opened in step S21, the file image enlarged in step S23, and the image switched in step S25 are returned to the original state.
ステップＳ２７において元に戻すと、またはステップＳ２６における判定の結果、遠ざかっていなかった場合には、終了か否かの判定を行う（Ｓ２８）。すなわち、ステップＳ１１で開始した再生を終了するか否かについて、カメラ１０の操作部材の操作状態を判定する。判定の結果、終了でなかった場合には、ステップＳ１７に戻り、前述のステップを実行し、判定の結果、終了であった場合には、リターンし、ステップＳ１から再び実行する。 If it is returned to the original in step S27, or if the result of determination in step S26 is that it has not moved away, it is determined whether or not to end (S28). That is, the operation state of the operation member of the camera 10 is determined as to whether or not the reproduction started in step S11 is to be ended. If the result of determination is not end, the flow returns to step S17 to execute the above-mentioned steps. If the result of determination is end, return is made and processing is executed again from step S1.
次に、カメラ１０の再生開始によって表示される仮想空間での配置について、図８ないし図１０を用いて説明する。本実施形態において、カメラ１０のユーザーが撮影画像を展示する仮想空間は、図８のような配置となっている。図８（ａ）は訪問者が撮影画像の展示スペースの入り口５４（図９参照）に最初に立った際に目にする情景であり、図８（ｂ）は、入り口５４から展示スペースの中に入って見たときの情景である。ユーザーの展示スペースには、図８に示すように、額４１、写真立て４２、ファイル４３が配架された書架４４、テーブル４５等が配置されている。アバター５１が矢印５３に沿って移動することにより、額縁４１や写真立て４２の写真を鑑賞することができる。 Next, the arrangement in the virtual space displayed when the reproduction of the camera 10 is started will be described with reference to FIGS. In the present embodiment, the virtual space where the user of the camera 10 displays the captured image is arranged as shown in FIG. FIG. 8A is a scene that a visitor sees when he / she first stands at the entrance 54 (see FIG. 9) of the photographed image display space, and FIG. It is a scene when entering and seeing. As shown in FIG. 8, a frame 41, a photo frame 42, a bookshelf 44 on which a file 43 is arranged, a table 45, and the like are arranged in the display space of the user. As the avatar 51 moves along the arrow 53, the picture on the frame 41 and the photo frame 42 can be viewed.
最初に、入り口５４から仮想空間に入ったアバター５１は、図９に示す視野５２の範囲を眺めることができるだけであり、このとき額縁４１の写真は良く見える。この写真自体、大きいので、アバター５１が額縁４１に近づかなくても、これだけで写真鑑賞は可能である。これに近づいてみようとすると、アバター５１の動きに合わせて仮想空間内の風景が順次切り替えて表示される。そして、額縁４１に近づくと、図１０（ｂ）に示すように、拡大表示される。撮影者以外の多くの鑑賞者には、額縁４１の写真をみて満足してもらう。 First, the avatar 51 entering the virtual space from the entrance 54 can only see the range of the visual field 52 shown in FIG. 9, and the picture of the frame 41 can be seen well. Since this photograph itself is large, even if the avatar 51 does not approach the frame 41, it is possible to view the photograph by itself. When trying to approach this, the scenery in the virtual space is sequentially switched and displayed in accordance with the movement of the avatar 51. Then, when approaching the frame 41, as shown in FIG. Many viewers other than the photographer are satisfied with the picture on the frame 41.
写真立て４２の家族写真を、近づいて見ようとすると、図１０（ａ）に示すように、アバター５１の陰に隠れてしまい、見えにくくなる。このため、家族写真は一定の大きさ以上には表示されず、鑑賞者は雰囲気しか見ることができない。ユーザー自身は、家族の顔は見慣れているし、心の中にある思い出が想起されれば良いことから、それほど大きく表示する必要もない。この空間に家族写真があれば、雰囲気を癒され、飾っているだけで大写しすることは重要ではない。 If the family photo on the photo stand 42 is viewed closer, it will be hidden behind the avatar 51 as shown in FIG. For this reason, family photos are not displayed beyond a certain size, and the viewer can only see the atmosphere. The user himself / herself is familiar with the family's face, and it is only necessary to recall the memories in his / her heart. If there is a family photo in this space, it is not important to make a big picture just by healing and decorating the atmosphere.
また、どうしても家族写真を大きく表示したい場合には、ステップＳ３１において手動分類を選択し、画像分類操作において大きく表示することを許可するようにしても良い。この場合には、アバター５１が近づいて鑑賞することもできるし、また、距離に応じて大きく表示される。また、ユーザーだけで知っている操作を行うことにより、拡大表示するようにしても良い。 Further, if it is absolutely necessary to display the family photo in a large size, manual classification may be selected in step S31 to permit large display in the image classification operation. In this case, the avatar 51 can approach and appreciate it, and is displayed larger according to the distance. Further, an enlarged display may be performed by performing an operation known only by the user.
次に、外部から携帯電話やパーソナルコンピュータによって仮想空間にアクセスし、この展示室に入室する場合における、サーバー２１によって行われる画像の表示制御について、図１１に示すフローチャートを用いて説明する。 Next, image display control performed by the server 21 when the virtual space is accessed from the outside by a mobile phone or a personal computer and the exhibition room is entered will be described with reference to the flowchart shown in FIG.
前述した図６のステップＳ１２仮想空間の展示室の背景の画像は、図９に示すようなレイアウトとなっており、アバター５１の動きに合わせて、この展示室に入った様子は、図１０に示すように、３Ｄ表示される。展示室においては、アバター５１の大きさと、額縁４１や写真立て４２の大きさの大小関係は考慮した仮想空間の画像となるように配慮されている。図１１に示すサーバー仮想空間表示のフローでは、このような表示を行う。 Step S12 of FIG. 6 described above has a layout as shown in FIG. 9 in the virtual room exhibition space, and FIG. 10 shows the state of entering the exhibition room in accordance with the movement of the avatar 51. As shown, it is displayed in 3D. In the exhibition room, consideration is given to a virtual space image in which the size relationship between the size of the avatar 51 and the size of the frame 41 and the photo frame 42 is taken into consideration. In the server virtual space display flow shown in FIG. 11, such display is performed.
このフローに入ると、ユーザーがマウスや十字キーを操作して部屋（展示室）に入る操作を行っているか否かの判定を行う（Ｓ１０１）。この判定の結果、部屋に入る操作を行っていなかった場合には、ステップＳ１０９にジャンプする。一方、この判定の結果、部屋に入る操作を行っていた場合には、前方に額縁４１を表示し、手前にアバター５１を表示する（Ｓ１０２）。この表示によって、部屋の中に入ったような感じを醸し出すことができる。 If this flow is entered, it is determined whether or not the user is performing an operation to enter the room (exhibition room) by operating the mouse or the cross key (S101). If the result of this determination is that there has been no operation to enter the room, the process jumps to step S109. On the other hand, if the result of this determination is that an operation to enter the room has been performed, the frame 41 is displayed in front and the avatar 51 is displayed in front (S102). By this display, it is possible to create the feeling of entering the room.
続いて、アバター５１の向きを変える操作を行ったか否かの判定を行う（Ｓ１０３）。この判定の結果、向きを変える操作を行っていた場合には、向いた方向の部屋の画像を表示する（Ｓ１０４）。すなわち、前方に見える室内の画像に表示を切り替える。この表示の切り替えを行うと、または、ステップＳ１０３において向きを変える操作を行っていなかった場合には、アバター５１が額縁４１、写真立て４２、およびファイル４３等のアイテムに近づいているか否かの判定を行う（Ｓ１０５）。 Subsequently, it is determined whether or not an operation for changing the orientation of the avatar 51 has been performed (S103). If the result of this determination is that an operation to change the direction has been performed, an image of the room in the direction in which it is directed is displayed (S104). That is, the display is switched to an indoor image that can be seen in front. When the display is switched or when the direction is not changed in step S103, it is determined whether or not the avatar 51 is approaching the items such as the frame 41, the photo frame 42, and the file 43. (S105).
ステップＳ１０５における判定の結果、アイテムに近づいていた場合には、次に、そのアイテムが写真立て４２であるか否かの判定を行う（Ｓ１１０）。この判定の結果、写真立て４２であった場合には、アバター５１を写真立て４２に重ねて表示する（Ｓ１１１）。すなわち、図１０（ａ）に示すように、アバター５１によって写真立て４２に表示されている家族写真等の画像を殆ど見えないように隠す。 If the result of determination in step S105 is that the item is approaching, it is next determined whether or not the item is a photo frame 42 (S110). If the result of this determination is that the photo frame is 42, the avatar 51 is displayed superimposed on the photo frame 42 (S111). That is, as shown in FIG. 10A, an image such as a family photo displayed on the photo frame 42 is hidden by the avatar 51 so as to be hardly visible.
ステップＳ１１０における判定の結果、アイテムが写真立て４２でなかった場合には、次に、アイテムがアルバム（ファイル４３）であるか否かの判定を行う（Ｓ１１２）。この判定の結果、アイテムがアルバムであった場合には、そのアルバムを開いて表示する（Ｓ１１３）。このアルバムを開くことにより、ファイル内の画像が表示される。 If the result of determination in step S110 is that the item is not a photo frame 42, it is next determined whether or not the item is an album (file 43) (S112). If the result of this determination is that the item is an album, the album is opened and displayed (S113). By opening this album, the images in the file are displayed.
ステップＳ１１２における判定の結果、アイテムがアルバムでなかった場合には、次に、アイテムが額縁４１であるか否かの判定を行う（Ｓ１１４）。この判定の結果、アイテムが額縁４１であった場合には、額縁４１をアバター５１で隠さないように、拡大表示する（Ｓ１１５）。すなわち、図１０（ｂ）に示すように、風景写真等の画像を大きく表示し、鑑賞し易くする。 If the result of determination in step S112 is that the item is not an album, it is next determined whether or not the item is a frame 41 (S114). If the result of this determination is that the item is a frame 41, the frame 41 is enlarged and displayed so as not to be hidden by the avatar 51 (S115). That is, as shown in FIG. 10B, an image such as a landscape photograph is displayed in a large size so that it can be easily viewed.
ステップＳ１１１、Ｓ１１３、Ｓ１１５における各処理を行うと、またはステップＳ１１４における判定の結果、アイテムが額縁４１でなかった場合、またはステップＳ１０５において、アバター５１がアイテムに近づいていなかった場合には、アバター５１が前進しているか否かの判定を行う（Ｓ１０６）。 When the processes in steps S111, S113, and S115 are performed, or as a result of the determination in step S114, if the item is not the frame 41 or if the avatar 51 has not approached the item in step S105, the avatar 51 It is determined whether or not the vehicle is moving forward (S106).
ステップＳ１０６における判定の結果、アバター５１が前進していた場合には、前進が可能であるか否かの判定を行う（Ｓ１０７）。このステップでは、アバター５１が前進した場合に、部屋の中の壁等にぶつかったりせず、前進が可能であるか否かを判定する。この判定の結果、前進が可能である場合には、前方画面を拡大表示する（Ｓ１０８）。これによって、アバター５１が前進している様子を醸し出す。 If the result of determination in step S106 is that the avatar 51 has moved forward, it is determined whether or not advancement is possible (S107). In this step, when the avatar 51 moves forward, it is determined whether or not it is possible to move forward without hitting a wall or the like in the room. If the result of this determination is that forward movement is possible, the front screen is enlarged and displayed (S108). As a result, the avatar 51 is brought forward.
ステップＳ１０８において前方画面を拡大し、またはステップＳ１０７における判定の結果、前進できないと判定され、またはステップＳ１０１における判定の結果、部屋に入る操作を行っていなかった場合には、終了か否かの判定を行う（Ｓ１０９）。すなわち、仮想空間にアクセスしてきたユーザーが終了操作を行ったか否かの判定を行う。この判定の結果、終了でなかった場合には、ステップＳ１０１に戻る。一方、判定の結果、終了であった場合には、このサーバー仮想空間表示のフローを終了する。 If it is determined in step S108 that the front screen is enlarged or the result of determination in step S107 is that the vehicle cannot move forward, or if the result of determination in step S101 is that an operation for entering the room has not been performed, it is determined whether or not to end. (S109). That is, it is determined whether or not the user who has accessed the virtual space has performed a termination operation. If the result of this determination is not end, processing returns to step S101. On the other hand, if the result of determination is that the processing has been completed, this server virtual space display flow is terminated.
図１１に示したサーバー仮想空間表示のフローにおいては、家族写真のようなプライベートな画像は表示されるがよくは見えないように自然かつセキュリティの高い表示を行っている。また、風景写真のように、ノン・プライベートな画像は表示され、かつ近づいていくと更に拡大表示され、鑑賞し易い表示を行っている。 In the server virtual space display flow shown in FIG. 11, a private image such as a family photo is displayed, but a natural and high security display is performed so that it cannot be seen well. In addition, non-private images such as landscape photographs are displayed, and as they approach, they are further enlarged and displayed so that they can be easily viewed.
このように、本実施形態においては、画像の内容に従って（例えば、プライベート画像か、ノン・プライベートか、風景写真か、家族写真か）、展示場所を変えているので、訪問者は、画像を探しやすく、しかも撮影した画像を有効に配置し、鑑賞画面の豊かさを増しつつ、またプライバシーや機密を考慮して、カメラ内、またはサーバー内に画像を記録させることができる。 As described above, according to the present embodiment, the exhibition place is changed according to the content of the image (for example, private image, non-private image, landscape photo, family photo). In addition, the captured image can be effectively arranged to increase the richness of the viewing screen, and the image can be recorded in the camera or the server in consideration of privacy and confidentiality.
また、本実施形態においては、画像の内容にしたがって、展示のサイズを変えているので、訪問者は画像を探しやすく、また展示者のプライバシーに配慮した展示とすることができる。さらに、本実施形態においては、画像の内容によって、その画像に近づいた際に拡大表示するようにしているので、画像を間近で見るように鑑賞することができる。 In the present embodiment, since the size of the exhibition is changed according to the content of the image, the visitor can easily search for the image, and the display can be made in consideration of the privacy of the exhibitor. Furthermore, in the present embodiment, the image is enlarged and displayed when approaching the image depending on the content of the image, so that the image can be viewed as close-up.
さらに、本実施形態においては、撮影画像をプライベート画像とノン・プライベート画像に分類し、これを画像に関連付けて記録している。このため、仮想空間等に展示する際に、この分類に応じた展示が可能となる。従来の仮想空間における撮影画像の展示にあたっては、このような配慮に欠けており、展示者のプライバシーが充分保護されていなかったが、本実施形態においては、この問題も解消することができる。 Furthermore, in the present embodiment, captured images are classified into private images and non-private images, and these are recorded in association with images. For this reason, when exhibiting in virtual space etc., the display according to this classification | category is attained. The conventional display of photographed images in a virtual space lacks such consideration and the exhibitor's privacy has not been sufficiently protected. However, in this embodiment, this problem can also be solved.
さらに、本実施形態においては、仮想空間中において、アバター５１と撮影画像の相対的距離に応じて表示態様を変えている。すなわち、写真立て４２に嵌め込まれた家族写真のような鑑賞画像の場合には、アバターが近づいても、サイズは小さいままでアバター５１の影に隠れる第１表示モードと、額縁４１に嵌め込まれた風景写真のような鑑賞画像の場合には、アバター５１が近づくと、アバター５１よりも大きく表示される第２表示モードのいずれかで表示される。このように、家族写真のような鑑賞画像と、風景写真のような鑑賞画像とで、それぞれ表示形態を変えることにより、訪問者に不自然さを感じさせることなく、プライバシーを保護することができる。 Furthermore, in this embodiment, the display mode is changed according to the relative distance between the avatar 51 and the captured image in the virtual space. That is, in the case of an appreciation image such as a family photo fitted in the photo frame 42, the first display mode that is hidden in the shadow of the avatar 51 and remains in the shadow of the avatar 51 even when the avatar approaches, and the frame 41 In the case of an appreciation image such as a landscape photograph, when the avatar 51 approaches, it is displayed in one of the second display modes displayed larger than the avatar 51. In this way, privacy can be protected without making the visitor feel unnatural by changing the display mode for an appreciation image such as a family photo and an appreciation image such as a landscape photo. .
さらに、本実施形態においては、仮想空間中において、アバター５１と鑑賞画像との相対的距離が近くなると、前記鑑賞画像が画像再生される第１の表示モードと、アバター５１との相対距離がさらに近づくと、家族写真のような鑑賞画像が小さいままでアバター５１に隠れる第２の表示モードと、風景写真のような鑑賞画像が拡大され、アバター５１よりも大きく表示される第３の表示モードのうちの少なくとも２つの表示モードが切り替えられる。ここで、第２または第３の表示モードに切り替えられるか否かは、鑑賞画像が仮想空間の室内の位置に応じて、例えば、額縁４１のように直ぐに見える位置にあるか、写真立て４２のように直ぐ見えない位置にあるかに応じて、切り替えられる。このような構成のため、訪問者に不自然さを感じさせることなく、プライバシーを保護することができる。 Furthermore, in the present embodiment, when the relative distance between the avatar 51 and the viewing image is reduced in the virtual space, the relative distance between the first display mode in which the viewing image is reproduced and the avatar 51 is further increased. When approaching, a second display mode in which an appreciation image such as a family photo remains small and hidden in the avatar 51 and a third display mode in which the appreciation image such as a landscape photo is enlarged and displayed larger than the avatar 51 are displayed. At least two of the display modes can be switched. Here, whether or not the display mode can be switched to the second or third display mode depends on the position of the viewing image such as the frame 41 according to the position of the room in the virtual space, It is switched according to whether it is in a position that cannot be seen immediately. With such a configuration, privacy can be protected without making the visitor feel unnatural.
なお、本実施形態においては、カメラ１０で仮想空間コミュニティサーバー２１にアクセスし、仮想空間を散策し、図８に示すような展示空間を楽しむ例を示したが、仮想空間へのアクセスは、カメラ１０に限らず、パーソナルコンピュータや携帯電話等から行っても良く、その場合にも同様に仮想空間を楽しむことができる。この場合には、ステップＳ１１以下を実行するプログラムを格納すれば良い。 In the present embodiment, an example in which the camera 10 accesses the virtual space community server 21, walks around the virtual space, and enjoys the exhibition space as shown in FIG. 8 is shown. It is not limited to 10 and may be performed from a personal computer, a mobile phone, or the like, and in that case, the virtual space can be enjoyed similarly. In this case, a program for executing step S11 and subsequent steps may be stored.
また、本実施形態においては、カメラ１０の再生表示としては、ステップＳ１１以下で、仮想空間にアクセスした状態での表示のみであったが、これに限らず、通常の１コマ再生表示や、スライドショー形式の再生表示も行えるようにしても良い。また、再生表示として、仮想空間コミュニティサーバー２１にアクセスし、仮想空間における展示を表示していたが、仮想空間コミュニティサーバー２１内におけるカメラ１０のユーザーの展示空間に関するデータを仮想空間データ部９に記憶し、このデータを用いて仮想空間の展示と同様の再生表示を行うようにしても良い。 Further, in the present embodiment, the playback display of the camera 10 is only the display in the state in which the virtual space is accessed in step S11 and subsequent steps, but is not limited to this. It may also be possible to display and display the format. In addition, the virtual space community server 21 is accessed for display as a reproduction display, and the exhibition in the virtual space is displayed. However, data related to the exhibition space of the user of the camera 10 in the virtual space community server 21 is stored in the virtual space data unit 9. However, the reproduction display similar to the display of the virtual space may be performed using this data.
さらに、本実施形態においては、撮影のための機器として、デジタルカメラを用いて説明したが、カメラとしては、デジタル一眼レフカメラでもコンパクトデジタルカメラでもよく、また、携帯電話や携帯情報端末（ＰＤＡ：Personal Digital Assist）等に内蔵されるカメラでも勿論構わない。 Furthermore, in the present embodiment, the digital camera is used as the photographing device. However, the camera may be a digital single-lens reflex camera or a compact digital camera, and may be a mobile phone or a personal digital assistant (PDA). Of course, a camera built in Personal Digital Assist) may be used.
本発明は、上記実施形態にそのまま限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素の幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 The present invention is not limited to the above-described embodiments as they are, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, you may delete some components of all the components shown by embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
１・・・制御部、１ａ・・・行動記録部、２・・・撮影部、３・・・画像記録部、４・・・顔検出部、４ａ・・・年齢推定部、５・・・表示部、６・・・位置判定部、７・・・時計部、８・・・画像分類部、９・・・仮想空間データ部、９ａ・・・通信部、１０・・・カメラ、２０・・・インターネット、２１・・・仮想空間コミュニティサーバー、２５・・・自宅、２６・・・職場、３１・・・実線、３１ａ・・・実線部、３１ｂ・・・実線部、３２・・・破線、３３・・・破線、４１・・・額縁、４２・・・写真立て、４３・・・ファイル、４４・・・書架、５１・・・アバター、５２・・・視野、５３・・・矢印、５４・・・入り口 DESCRIPTION OF SYMBOLS 1 ... Control part, 1a ... Action recording part, 2 ... Imaging | photography part, 3 ... Image recording part, 4 ... Face detection part, 4a ... Age estimation part, 5 ... Display unit 6 ... Position determination unit 7 ... Clock unit 8 ... Image classification unit 9 9 Virtual space data unit 9a Communication unit 10 Camera 20 ..Internet, 21 ... virtual space community server, 25 ... home, 26 ... workplace, 31 ... solid line, 31a ... solid line part, 31b ... solid line part, 32 ... broken line , 33 ... broken line, 41 ... picture frame, 42 ... photo frame, 43 ... file, 44 ... bookshelf, 51 ... avatar, 52 ... field of view, 53 ... arrow, 54 ... Entrance
Claims (19)
前記画像とこの画像の鑑賞者を表すアバターを仮想空間内に表示する表示部と、
前記仮想空間内で前記アバターを移動させるためのアバター制御部と、
前記画像と前記アバターとの相対的な位置関係に応じて前記画像の表示態様を変化させる表示制御部と、
を備えたことを特徴とする画像表示装置。 An image classification unit for classifying images into predetermined categories;
A display unit for displaying the image and an avatar representing a viewer of the image in a virtual space;
An avatar control unit for moving the avatar in the virtual space;
A display control unit that changes a display mode of the image according to a relative positional relationship between the image and the avatar;
An image display device comprising:
前記画像とこの画像の鑑賞者を表すアバターを仮想空間内に表示するステップと、
前記仮想空間内で前記アバターを移動させるステップと、
前記画像と前記アバターとの相対的な位置関係に応じて前記画像の表示態様を変化させるステップと、
を備えたことを特徴とする画像表示方法。 Classifying the images into predetermined categories;
Displaying the image and an avatar representing the viewer of the image in a virtual space;
Moving the avatar in the virtual space;
Changing the display mode of the image according to the relative positional relationship between the image and the avatar;
An image display method comprising:
前記画像とこの画像の鑑賞者を表すアバターを仮想空間内に表示するステップと、
前記仮想空間内で前記アバターを移動させるステップと、
前記画像と前記アバターとの相対的な位置関係に応じて前記画像の表示態様を変化させるステップと、
をコンピュータに実行させるための画像表示用プログラム。 Classifying the images into predetermined categories;
Displaying the image and an avatar representing the viewer of the image in a virtual space;
Moving the avatar in the virtual space;
Changing the display mode of the image according to the relative positional relationship between the image and the avatar;
Program for displaying images on a computer.
前記画像を仮想空間内に表示する画像表示部と、
仮想空間内でアバターを移動させるためのアバター制御部と、
前記画像と前記アバターとの相対的な位置関係に応じ、かつ前記画像の分類情報に基づいて前記画像の表示態様を変化させる表示制御部と、
を備えたことを特徴とする画像表示装置。 An image storage unit for storing an image together with classification information classified into a predetermined category;
An image display unit for displaying the image in a virtual space;
An avatar control for moving the avatar in the virtual space;
A display control unit that changes the display mode of the image based on the relative positional relationship between the image and the avatar and based on the classification information of the image;
An image display device comprising:
前記画像を仮想空間内に表示するステップと、
仮想空間内でアバターを移動させるステップと、
前記画像と前記アバターとの相対的な位置関係に応じ、かつ前記画像の分類情報に基づいて前記画像の表示態様を変化させるステップと、
をコンピュータに実行させるための画像表示用プログラム。 Storing an image together with classification information classified into a predetermined category;
Displaying the image in a virtual space;
Moving the avatar in the virtual space;
Changing the display mode of the image based on the relative positional relationship between the image and the avatar and based on the classification information of the image;
Program for displaying images on a computer.
日時情報と位置情報を取得する情報取得部と、
前記画像と共に撮像時の日時情報と位置情報を記録する画像記録部と、
この日時情報と位置情報を周期的に取得し、これらの情報に基づいて、プライベートの経路で撮影した画像か、ノンプライベートの経路で撮影した画像かを分類する画像分類部と、
を備え、前記画像記録部に前記画像と共に前記画像分類部による分類結果を記録することを特徴とする撮像装置。 An imaging unit for acquiring an image of a subject;
An information acquisition unit for acquiring date and time information and position information;
An image recording unit that records date and time information and position information at the time of imaging together with the image;
The date and time information and the position information are periodically acquired, and based on these information, an image classification unit that classifies whether the image is taken on a private route or an image taken on a non-private route,
And an image recording unit that records the classification result by the image classification unit together with the image.
前記仮想空間中において、前記アバター像と前記鑑賞画像の相対的距離に応じて、前記鑑賞画像が小さいままで前記アバターの影に隠れる第１表示モードと、前記鑑賞画像が前記アバター画像よりも大きく表示される第２表示モードのいずれかで表示する画像合成表示部と、
を備えることを特徴とする画像合成表示装置。 In an image composition display device that composites and displays an avatar image and an appreciation image in the background of a virtual space,
In the virtual space, according to the relative distance between the avatar image and the appreciation image, a first display mode in which the appreciation image remains small and hidden by the shadow of the avatar, and the appreciation image is larger than the avatar image. An image composition display unit for displaying in one of the displayed second display modes;
An image composition display device comprising:
前記仮想空間中において、前記アバター像と前記鑑賞画像が相対的に近づくと、前記鑑賞画像が画像再生される第１の表示モードと、前記アバター像がさらに近づいても前記鑑賞画像が小さいままで前記アバター像に隠れる第２の表示モードと、前記鑑賞画像が拡大され、前記アバター像よりも大きく表示される第３の表示モードのうちの少なくとも２つの表示モードを、前記鑑賞画像の前記仮想空間の室内の位置に応じて、切り替える画像合成切替表示部と、
を備えることを特徴とする画像合成表示装置。 In an image composition display device that composites and displays an avatar image and an appreciation image in the background of a virtual space,
In the virtual space, when the avatar image and the appreciation image are relatively close to each other, a first display mode in which the appreciation image is reproduced and the appreciation image remains small even if the avatar image is further approached. At least two display modes of the second display mode hidden in the avatar image and the third display mode in which the appreciation image is enlarged and displayed larger than the avatar image are selected from the virtual space of the appreciation image. An image composition switching display section to be switched according to the indoor position of
An image composition display device comprising:
前記室内に入るための入り口部と、
前記仮想空間中において、前記アバター像と前記鑑賞画像との相対的距離に応じて、前記鑑賞画像が小さいままで前記アバターの影に隠れる第１表示モードと、前記鑑賞画像が前記アバター画像よりも大きく表示される第２表示モードのいずれかで表示する画像合成表示部と、
を有し、前記画像合成表示部は、前記第１表示モードとなる画像は、前記入り口部から見えない位置に配置することを特徴とする画像合成表示装置。 In an image composition display device that composites and displays an avatar image and an appreciation image in the background of a room for display in a virtual space,
An entrance for entering the room;
In the virtual space, according to a relative distance between the avatar image and the appreciation image, a first display mode in which the appreciation image remains small and hidden by the shadow of the avatar, and the appreciation image is more than the avatar image. An image composition display unit for displaying in one of the second display modes displayed in a large size;
And the image composition display unit arranges the image in the first display mode at a position where it cannot be seen from the entrance.
前記室内に入るための入り口部と、
前記仮想空間中において、前記アバター像と前記鑑賞画像との相対的距離に応じて、前記鑑賞画像が画像再生される第１の表示モードと、前記鑑賞画像が前記アバター画像よりも大きく表示される第２表示モードのいずれかで表示する画像合成表示部と、
を有し、前記画像合成表示部は、前記第１表示モードとなる画像は、前記入り口部から見えない位置に配置することを特徴とする画像合成表示装置。 In an image composition display device that composites and displays an avatar image and an appreciation image in the background of a room for display in a virtual space,
An entrance for entering the room;
In the virtual space, a first display mode in which the appreciation image is reproduced according to a relative distance between the avatar image and the appreciation image, and the appreciation image is displayed larger than the avatar image. An image composition display unit for displaying in one of the second display modes;
And the image composition display unit arranges the image in the first display mode at a position where it cannot be seen from the entrance.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008119537A JP5117273B2 (en) | 2008-05-01 | 2008-05-01 | Image display device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008119537A JP5117273B2 (en) | 2008-05-01 | 2008-05-01 | Image display device |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012227873A Division JP5555299B2 (en) | 2012-10-15 | 2012-10-15 | Image display device, image display method, and image display program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2009271618A true JP2009271618A (en) | 2009-11-19 |
| JP2009271618A5 JP2009271618A5 (en) | 2011-06-02 |
| JP5117273B2 JP5117273B2 (en) | 2013-01-16 |
Family
ID=41438137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008119537A Expired - Fee Related JP5117273B2 (en) | 2008-05-01 | 2008-05-01 | Image display device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5117273B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011125846A1 (en) * | 2010-03-31 | 2011-10-13 | 楽天株式会社 | Information processing device, information processing method, information processing program, and storage medium |
| US8553990B2 (en) | 2009-09-29 | 2013-10-08 | Fujifilm Corporation | Image classifying device, image classifying system, image classifying method, and recording medium |
| JP2019091479A (en) * | 2017-07-21 | 2019-06-13 | 株式会社コロプラ | Program executed by computer providing virtual space, method, and information processing device executing the program |
| JP7464175B1 (en) | 2023-05-19 | 2024-04-09 | Ｔｏｐｐａｎホールディングス株式会社 | Virtual space control device, virtual space control method, and program |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11195028A (en) * | 1997-12-26 | 1999-07-21 | Casio Comput Co Ltd | Display form generation system, display system, display form generating method, and record medium |
-
2008
- 2008-05-01 JP JP2008119537A patent/JP5117273B2/en not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11195028A (en) * | 1997-12-26 | 1999-07-21 | Casio Comput Co Ltd | Display form generation system, display system, display form generating method, and record medium |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8553990B2 (en) | 2009-09-29 | 2013-10-08 | Fujifilm Corporation | Image classifying device, image classifying system, image classifying method, and recording medium |
| WO2011125846A1 (en) * | 2010-03-31 | 2011-10-13 | 楽天株式会社 | Information processing device, information processing method, information processing program, and storage medium |
| JP5373191B2 (en) * | 2010-03-31 | 2013-12-18 | 楽天株式会社 | Information processing apparatus, information processing method, information processing program, and recording medium |
| JP2019091479A (en) * | 2017-07-21 | 2019-06-13 | 株式会社コロプラ | Program executed by computer providing virtual space, method, and information processing device executing the program |
| JP7464175B1 (en) | 2023-05-19 | 2024-04-09 | Ｔｏｐｐａｎホールディングス株式会社 | Virtual space control device, virtual space control method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5117273B2 (en) | 2013-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Palmer | iPhone photography: Mediating visions of social space | |
| JP4221308B2 (en) | Still image reproduction device, still image reproduction method and program | |
| CN108965982A (en) | Video recording method, device, electronic equipment and readable storage medium storing program for executing | |
| US20060039674A1 (en) | Image editing apparatus, method, and program | |
| US20170021273A1 (en) | Coordinating multiple virtual environments | |
| JP2003264740A (en) | Observation scope | |
| CN107123141A (en) | It is embedded into the 3D Content aggregations in equipment | |
| US20060050166A1 (en) | Digital still camera | |
| CN109660728A (en) | A kind of photographic method and device | |
| JP4423929B2 (en) | Image output device, image output method, image output processing program, image distribution server, and image distribution processing program | |
| JP5117273B2 (en) | Image display device | |
| CN101681088A (en) | Method of creating and reproducing a panoramic sound image, and apparatus for reproducing such an image | |
| JP2009129398A (en) | Image display device and image display method | |
| CN103258557B (en) | Display control unit and display control method | |
| CN112417180B (en) | Method, device, equipment and medium for generating album video | |
| JP2007266902A (en) | Camera | |
| CN105320749A (en) | Travel route generation method and apparatus | |
| JP2009230635A (en) | Image data generating device, image data generating method and image data generating program | |
| JP2013097773A (en) | Information processing apparatus, information processing method, and program | |
| JP5519751B2 (en) | Image viewing system, image viewing method, image viewing server, and terminal device | |
| JP5555299B2 (en) | Image display device, image display method, and image display program | |
| JP2012032728A (en) | Image display device and its method | |
| JP2013055606A (en) | Image display system, image display device and program | |
| CN114554112A (en) | Video recording method, device, terminal and storage medium | |
| JP5519750B2 (en) | Image viewing system, image viewing method, image viewing server, and terminal device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20091130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20091130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110415 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110415 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120712 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120717 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120910 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120927 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121017 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5117273 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151026 Year of fee payment: 3 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313115 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |