JP2013044895A - Image display system, image display device, controlling method of the same, and program - Google Patents
Image display system, image display device, controlling method of the same, and program Download PDFInfo
- Publication number
- JP2013044895A JP2013044895A JP2011181931A JP2011181931A JP2013044895A JP 2013044895 A JP2013044895 A JP 2013044895A JP 2011181931 A JP2011181931 A JP 2011181931A JP 2011181931 A JP2011181931 A JP 2011181931A JP 2013044895 A JP2013044895 A JP 2013044895A
- Authority
- JP
- Japan
- Prior art keywords
- image display
- display device
- image
- owner
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、画像表示システム、画像表示装置、それらの制御方法、およびプログラムに関し、特に、被写体に関する属性情報を合成して表示する画像表示システム、画像表示装置、それらの制御方法、およびプログラムに関する。 The present invention relates to an image display system, an image display device, a control method thereof, and a program, and more particularly, to an image display system, an image display device, a control method thereof, and a program for combining and displaying attribute information related to a subject.
近年、デジタルカメラや携帯電話等で撮像した現実環境の画像中に、被写体となる人物や物体などのオブジェクトに関する属性情報を合成して表示する拡張現実（ＡＲ：Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が盛んである。例えば、撮像画像に対して、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）による位置情報から現実環境中のオブジェクトを特定し、そのオブジェクトに関する属性情報を重ね合わせて表示する技術が提案されている（非特許文献１参照）。 2. Description of the Related Art In recent years, augmented reality (AR) technology that synthesizes and displays attribute information about an object such as a person or an object as a subject in an image of a real environment captured by a digital camera or a mobile phone has been popular. For example, a technique has been proposed in which an object in a real environment is specified on a captured image from position information obtained by GPS (Global Positioning System), and attribute information related to the object is superimposed and displayed (see Non-Patent Document 1). ).
また、人物の顔や物体の輪郭など、被写体となるオブジェクトに関する特徴情報を利用して、撮像画像中のオブジェクトを特定し、そのオブジェクトに関する属性情報を、撮像画像中のオブジェクトの近傍に、合成して表示する技術も提案されている（特許文献１参照）。これにより、利用者は、現実環境中において興味を持った人物や物体に関する属性情報を容易に取得し、参照することができる。 In addition, the object information in the captured image is identified using the feature information about the object that is the subject, such as the face of the person or the contour of the object, and the attribute information about the object is synthesized in the vicinity of the object in the captured image. A technique for displaying images is also proposed (see Patent Document 1). Thereby, the user can easily acquire and refer to attribute information related to a person or object interested in the real environment.
現実環境中において、利用者が興味を持って特定の人物や物体に関する属性情報を参照している際、他の利用者も同じ人物や物体に関する属性情報を参照している場合がある。 In a real environment, when a user is interested and refers to attribute information about a specific person or object, other users may also refer to attribute information about the same person or object.
例えば、美術館や博物館に展示されている特定の物体に対して、第一の利用者が興味を持ち、その物体に関する詳細な解説を参照している場合を考える。一方、第二の利用者も、同じ物体に関して興味を持ち、その物体に関する詳細な解説を参照しているとする。このとき、第一の利用者、及び第二の利用者が、同じ物体に興味を持っている他方の利用者の存在を知り、その利用者を特定することができれば、同じ趣味を持つ利用者同士が知り合う機会となりうる。 For example, consider a case where a first user is interested in a specific object displayed in an art museum or a museum and is referring to a detailed explanation about the object. On the other hand, it is assumed that the second user is also interested in the same object and is referring to a detailed explanation about the object. At this time, if the first user and the second user know the existence of the other user who is interested in the same object and can identify the user, the user who has the same hobby It can be an opportunity to get to know each other.
しかしながら、従来の技術では、利用者は、当該利用者と同じ人物や物体に関する属性情報を参照している他の利用者の存在を知ることができない。そのため、同じ趣味を持つ利用者同士が知り合う機会が減ってしまう。 However, in the conventional technology, the user cannot know the existence of other users who are referring to attribute information related to the same person or object as the user. Therefore, the opportunity for users having the same hobbies to get to know decreases.
上記の課題にかんがみ、本発明は、同じ被写体に関する属性情報を参照している他の利用者の存在を特定可能にする技術を提供することを目的とする。 In view of the above-described problems, an object of the present invention is to provide a technique that makes it possible to specify the presence of another user who refers to attribute information related to the same subject.
上記の目的を達成する本発明に係る画像表示システムは、
第一の画像表示装置と、第二の画像表示装置とを備える画像表示システムであって、
前記第一の画像表示装置は、
前記第一の画像表示装置の所有者が画像中のオブジェクトの属性情報を参照していることを示す参照情報を、前記オブジェクトと関連付けられている通信装置へ通知する通知手段を備え、
前記第二の画像表示装置は、
前記参照情報を前記通信装置から取得する取得手段と、
前記第二の画像表示装置の所有者が前記オブジェクトの属性情報を参照している場合に、前記参照情報に基づいて、前記第一の画像表示装置の所有者の存在を示す情報を表示する表示手段と、
を備えることを特徴とする。
An image display system according to the present invention that achieves the above object is as follows.
An image display system comprising a first image display device and a second image display device,
The first image display device includes:
Notification means for notifying the communication device associated with the object of reference information indicating that the owner of the first image display device refers to the attribute information of the object in the image;
The second image display device includes:
Obtaining means for obtaining the reference information from the communication device;
A display for displaying information indicating the presence of the owner of the first image display device based on the reference information when the owner of the second image display device is referring to the attribute information of the object Means,
It is characterized by providing.
本発明によれば、同じ被写体に関する属性情報を参照している他の利用者の存在を特定することができる。すなわち、第一の画像表示装置の第一の利用者は、同じ被写体に関する属性情報を参照している第二の画像表示装置の第二の利用者の存在を知ることが可能となる。さらに、第二の利用者が、第一の利用者の近辺に存在する場合、第一の利用者は、撮像画像中から第二の利用者を特定することが可能となる。 According to the present invention, it is possible to specify the presence of another user who refers to attribute information related to the same subject. That is, the first user of the first image display device can know the presence of the second user of the second image display device that refers to the attribute information related to the same subject. Furthermore, when the second user exists in the vicinity of the first user, the first user can specify the second user from the captured image.
これにより、同じ被写体に興味を持つ利用者同士が知り合う機会が増大し、利用者同士のコミュニケーションの活性化につながる。 This increases the opportunities for users who are interested in the same subject to know each other, leading to activation of communication between the users.
（第１実施形態）
図１は、本実施形態に係る画像表示システムの構成例を示す図である。第一の画像表示装置１０は、本発明における画像表示装置であり、撮像機能、表示機能、及びＩＥＥＥ８０２．１１に則った無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）通信機能を有する。第一の画像表示装置１０の具体例は、デジタルカメラ、デジタルビデオカメラ、携帯電話、スマートフォン、ＰＣ、ノートＰＣ、などである。なお、本実施形態では無線ＬＡＮ通信機能を用いたが、これに限らず、Ｂｌｕｅｔｏｏｔｈ、ＺｉｇＢｅｅ、ＲＦＩＤ、などの他の無線通信規格を利用しても良い。
(First embodiment)
FIG. 1 is a diagram illustrating a configuration example of an image display system according to the present embodiment. The first
また、第一の画像表示装置１０は、被写体となるオブジェクトの特徴情報に基づいて、撮像画像中から当該オブジェクトを特定する。そして、第一の画像表示装置１０は、そのオブジェクトに関する属性情報を、撮像画像中のオブジェクトの近傍に、重ね合わせて表示する。本実施形態において、第一の画像表示装置１０が被写体として撮像するオブジェクトは、物体３１、及び第二の利用者２１であり、以後、特に明記しない限りはこれらを示す。
In addition, the first
第一の利用者１１は、第一の画像表示装置１０を所有する利用者である。第二の画像表示装置２０は、第一の画像表示装置１０と同じく、本発明における画像表示装置である。本実施形態において、第二の画像表示装置２０が被写体として撮像するオブジェクトは、物体３１、及び第一の利用者１１である。第二の利用者２１は、第二の画像表示装置２０を所有する利用者である。通信装置３０は、本発明における通信装置であり、無線ＬＡＮ通信機能を有する。通信装置３０の具体例は、携帯電話、スマートフォン、ＰＣ、ノートＰＣ、などである。通信装置３０における無線ＬＡＮ通信機能は、第一の画像表示装置１０、及び第二の画像表示装置２０と同様に、他の無線通信規格を利用しても良い。物体３１は、本発明における被写体となるオブジェクトであり、通信装置３０を所有している。すなわち、通信装置３０は、オブジェクトと関連付けられている。
The
なお、本実施形態において、第一の画像表示装置１０、第二の画像表示装置２０、及び通信装置３０は、それぞれに一意の識別子を割り当てられている。この識別子は、各装置を所有する利用者または物体を一意に識別するための情報である。各装置に割り当てられた識別子は、無線ＬＡＮ通信におけるＩＥＥＥ８０２．１１に則ったビーコン・フレームのＩｎｆｏｒｍａｔｉｏｎ Ｅｌｅｍｅｎｔの一要素として、他の装置に通知される。
In the present embodiment, each of the first
無線ＡＰ４０は、第一の画像表示装置１０、第二の画像表示装置２０、及び通信装置３０における無線ＬＡＮ通信を中継する無線アクセスポイントである。
The
ネットワーク５０は、無線ＡＰ４０、及び管理サーバ６０が接続するネットワークである。ネットワーク５０の具体例は、有線ＬＡＮ、無線ＬＡＮ、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット、などである。
The
管理サーバ６０は、各装置に割り当てられた識別子、各装置を所有する利用者または物体に関する属性情報、そして、被写体となる利用者または物体を撮像画像中からオブジェクトとして特定するための画像の特徴情報、を管理する。
The
なお、第一の画像表示装置１０、第二の画像表示装置２０、及び通信装置３０は、各装置間において直接、または無線ＡＰ４０を経由して通信することができる。各装置間で直接通信する場合、無線ＬＡＮ通信機能におけるアドホックモードを利用する。また、無線ＡＰ４０を経由して通信する場合、無線ＬＡＮ通信機能におけるインフラモードを利用する。これらの関係を、図１において実線矢印で示す。
The first
また、上述した通り、第一の画像表示装置１０、第二の画像表示装置２０、及び通信装置３０は、それぞれ一意の識別子を有しており、他の装置はその識別子を取得することができる。これらの関係を、図１において破線矢印で示す。
Further, as described above, the first
さらに、上述した通り、第一の画像表示装置１０、及び第二の画像表示装置２０は、被写体となる物体３１を、物体３１に関する特徴情報に基づいて、撮像画像中から物体３１を特定することができる。同様に、第一の画像表示装置１０は、第二の利用者２１に関する特徴情報に基づいて、撮像画像中から第二の利用者２１を特定することができる。逆に、第二の画像表示装置２０は、第一の利用者１１に関する特徴情報に基づいて、撮像画像中から第一の利用者１１を特定することができる。これらの関係を、図１において長二点鎖線矢印で示す。
Further, as described above, the first
次に、本実施形態に係る画像表示システムのユースケースを説明する。図６は、本実施形態に係る第一の利用者１１、及び第二の利用者２１が、物体３１の属性情報を参照しているユースケースを示す概念図である。第一の利用者１１は、第一の画像表示装置１０を用いて、被写体となる物体３１を撮像する。このとき、第一の画像表示装置１０は、物体３１に関する属性情報３３を、物体３１の物体画像３２の近傍に、合成して表示する。属性情報３３は、例えばテキスト情報であってもよい。第二の利用者２１、及び第二の画像表示装置２０も、上記と同様である。
Next, use cases of the image display system according to the present embodiment will be described. FIG. 6 is a conceptual diagram illustrating a use case in which the
図１６は、本実施形態に係る第二の画像表示装置２０が、物体３１を参照している第一の利用者１１が存在していることを示す合成画像の例である。第二の画像表示装置２０は、物体３１に関する属性情報３３を参照した際、同じ物体３１を参照している第二の画像表示装置１０の存在を検知し、その所有者である第一の利用者１１が存在することを示すメッセージ３４を、図１６の例では物体画像３２の右上に表示する。なお、第一の画像表示装置１０に関する識別子を取得できたが、撮像画像中からは第一の利用者１１の存在を特定できなかった場合、第一の利用者１１が近辺に存在している確率が高いため、メッセージ３４に示したように、近辺に存在していることを明示的に示す。
FIG. 16 is an example of a composite image indicating that the
図１７は、本実施形態に係る第二の画像表示装置２０が、第一の利用者１１を撮像した際のユースケースを示す概念図である。図１６によって第一の利用者１１の存在を知った第二の利用者２１が、第二の画像表示装置２０の撮像部を、第一の利用者１１に向けて撮像する。そうすると、第二の画像表示装置２０は、第一の利用者１１の人物画像３５と、人物画像３５の近辺に、第一の利用者１１が物体３１を参照している旨を示すメッセージ３６を合成して表示する。
FIG. 17 is a conceptual diagram illustrating a use case when the second
次に、本実施形態に係る画像表示システムの構成要素を詳細に説明する。図２は、本実施形態に係る第一の画像表示装置１０のハードウェア構成例を示すブロック図である。なお、第二の画像表示装置２０も、第一の画像表示装置１０と同じ構成であるため、以後は第一の画像表示装置１０のみを説明する。第一の画像表示装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０３と、補助記憶装置２０４と、撮像部２０５と、画像処理プロセッサ２０６と、表示部２０７と、操作部２０８と、無線ＬＡＮ通信部２０９と、無線ＬＡＮアンテナ２１０とを備える。
Next, components of the image display system according to the present embodiment will be described in detail. FIG. 2 is a block diagram illustrating a hardware configuration example of the first
ＣＰＵ２０１は、第一の画像表示装置１０全体を制御する。ＲＯＭ２０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ２０３は、補助記憶装置２０４などから供給されるプログラムやデータを一時記憶する。
The
補助記憶装置２０４は、撮像部２０５により撮像された画像や動画などをコンテンツデータとして記憶する。例えば、メモリカード、ハードディスク、などが挙げられる。撮像部２０５は、被写体となる対象物からレンズを通して入力された光を、アナログ信号データからデジタル信号データへ変換して、撮像画像のＲＡＷデータを生成する。
The
画像処理プロセッサ２０６は、撮像画像のＲＡＷデータに対して、補完、色空間変換、ガンマ特性変換などの様々な画像補正処理を適用し、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）データを生成する。本実施形態において、撮像画像データはＪＰＥＧデータ形式を扱うが、これに限らず、ビットマップデータ、ＧＩＦ（Ｇｒａｐｈｉｃｓ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）データ、など他の画像データ形式を利用しても良い。
The
また、画像処理プロセッサ２０６は、画像の特徴情報に基づいて、撮像画像中の被写体となるオブジェクトの画像認識処理を行い、撮像画像中のオブジェクトを特定する。さらに、画像処理プロセッサ２０６は、オブジェクトに関する属性情報を、撮像画像中のオブジェクトの近傍に重ね合わせた合成画像を生成する。近傍とは、例えば撮像画像中のオブジェクトに対して上下左右に所定距離だけ離れた所定位置である。
Also, the
表示部２０７は、ユーザが第一の画像表示装置１０を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示する。また、表示部２０７は、撮像部２０５により撮像された撮像画像、または、画像処理プロセッサ２０６により生成された合成画像を表示する。
The
操作部２０８は、ユーザが第一の画像表示装置１０を操作するための入力インタフェースである。無線ＬＡＮ通信部２０９は、無線ＬＡＮアンテナ２１０を制御し、無線ＡＰ４０、第二の画像表示装置２０、または通信装置３０と通信する。
The
図３は、本実施形態に係る第一の画像表示装置１０の機能モジュール構成例を示すブロック図である。なお、第二の画像表示装置２０も、第一の画像表示装置１０と同じ構成であるため、以後は第一の画像表示装置１０のみを説明する。第一の画像表示装置１０は、制御部３０１と、無線ＬＡＮ通信制御部３０２と、撮像制御部３０３と、表示制御部３０４と、操作制御部３０５と、記憶制御部３０６と、識別子通知部３０７と、識別子取得部３０８と、特徴情報取得部３０９と、属性情報取得部３１０と、オブジェクト特定部３１１と、画像合成部３１２と、オブジェクト管理部３１３と、参照情報通知部３１４と、参照情報一覧取得部３１５と、参照元オブジェクト判断部３１６とを備える。
FIG. 3 is a block diagram illustrating a functional module configuration example of the first
制御部３０１は、第一の画像表示装置１０が備える個々の機能モジュール全体を制御する。無線ＬＡＮ通信制御部３０２は、無線ＬＡＮ通信部２０９を制御し、無線ＡＰ４０、第二の画像表示装置２０、または通信装置３０との通信制御を行う。撮像制御部３０３は、撮像部２０５を制御し、被写体の画像を撮像する。また、撮像制御部３０３は、撮像画像を画像コンテンツデータとして、記憶制御部３０６を介して、補助記憶装置２０４に記憶する。
The
表示制御部３０４は、表示部２０７を制御し、第一の画像表示装置１０におけるＧＵＩの表示制御を行う。また、表示制御部３０４は、撮像画像や合成画像の表示制御を行う。操作制御部３０５は、操作部２０８を制御し、第一の画像表示装置１０におけるユーザからの操作入力制御を行う。
The
記憶制御部３０６は、補助記憶装置２０４を制御し、画像コンテンツデータや動画コンテンツデータを記憶する。識別子通知部３０７は、無線ＬＡＮ通信部２０９を介して、周囲の装置から送信された識別子取得要求を受信する。そして、識別子通知部３０７は、無線ＬＡＮ通信制御部３０２を制御し、第一の画像表示装置１０に割り当てられた一意の識別子の情報を送信する。具体的には、ＩＥＥＥ８０２．１１に則ったプローブ・レスポンス・フレームで送信する。
The
識別子取得部３０８は、無線ＬＡＮ通信制御部３０２を制御し、周囲の装置に対して識別子の取得を要求する。具体的には、ＩＥＥＥ８０２．１１に則ったプローブ・リクエスト・フレームをブロードキャストで送信する。そして、識別子取得部３０８は、無線ＬＡＮ通信制御部３０２を介して、周囲の装置が通知した識別子の情報を取得する。
The
特徴情報取得部３０９は、無線ＬＡＮ通信制御部３０２を介して、識別子取得部３０８が取得した識別子に基づいて、管理サーバ６０から当該識別子に関するオブジェクトの特徴情報を取得する。
The feature
属性情報取得部３１０は、無線ＬＡＮ通信制御部３０２を介して、識別子取得部３０８が取得した識別子に基づいて、管理サーバ６０から当該識別子に関するオブジェクトの属性情報を取得する。
The attribute
オブジェクト特定部３１１は、画像処理プロセッサ２０６を制御し、特徴情報取得部３０９が取得した識別子に関するオブジェクトの特徴情報に基づいて、撮像制御部３０３により撮像されたた撮像画像中から、オブジェクトを特定する。
The
画像合成部３１２は、撮像制御部３０３からオブジェクトの撮像画像を取得し、属性情報取得部３１０から識別子に関する属性情報を取得する。そして、画像合成部３１２は、画像処理プロセッサ２０６を制御し、撮像画像に対して、属性情報を、オブジェクト特定部３１１により特定されたオブジェクトの近傍に重ね合わせた合成画像を生成する。
The
オブジェクト管理部３１３は、撮像画像中から特定されたオブジェクトをオブジェクト特定部３１１から取得して管理する。さらに、オブジェクト管理部３１３は、オブジェクトの識別子に基づいて、属性情報取得部３１０から、当該オブジェクトに関する属性情報を取得し、オブジェクトと合わせて管理する。
The
また、オブジェクト管理部３１３は、表示部２０７に表示する属性情報の内容を決定し、画像合成部３１２に指示する。属性情報の内容の決定方法は、第一の利用者１１の明示的な設定に基づく方法や、第一の利用者１１の趣味・嗜好に基づく方法、などが挙げられる。
In addition, the
また、画像合成部３１２により生成された合成画像中において、第一の利用者１１が、特定のオブジェクト、または当該オブジェクトの近傍に表示された属性情報を指定した際、オブジェクト管理部３１３は、当該オブジェクトに関する参照情報を生成する。
When the
参照情報とは、第一の画像表示装置１０の所有者である第一の利用者１１が、オブジェクト、または当該オブジェクトに関する属性情報を参照したことを示す情報である。具体的に参照情報は、例えば、参照先オブジェクトに関する識別子、参照元オブジェクトに関する識別子、参照日時情報、参照状態情報、等から構成される。
The reference information is information indicating that the
なお、本実施形態では、被写体となるオブジェクトを参照先オブジェクト、撮像する利用者自身を参照元オブジェクト、と称する。つまり、物体３１は参照先オブジェクト、第一の利用者１１は参照元オブジェクトである。
In the present embodiment, an object that is a subject is referred to as a reference object, and a user who captures an image is referred to as a reference object. That is, the
また、参照状態とは、参照先オブジェクトをどのように参照したかを示す種別である。本実施形態における参照状態は、簡易参照状態、詳細参照状態、撮像状態、登録状態、を扱う。簡易参照状態は、参照先オブジェクトに関する簡易的な属性情報を表示した状態を示す。詳細参照状態は、第一の利用者１１の指示等により、参照先オブジェクトに関する詳細な属性情報を表示した状態を示す。撮像状態とは、参照先オブジェクトを被写体として撮像した画像を、画像コンテンツデータとして、記憶制御部３０６を介して記憶した状態を示す。登録状態とは、参照先オブジェクトを、第一の利用者１１の指示等により、お気に入り登録した状態を示す。
The reference state is a type indicating how the reference object is referred to. The reference state in this embodiment handles a simple reference state, a detailed reference state, an imaging state, and a registration state. The simple reference state indicates a state in which simple attribute information regarding the reference destination object is displayed. The detailed reference state indicates a state in which detailed attribute information regarding the reference destination object is displayed according to an instruction from the
さらに、後述する参照元オブジェクト判断部３１６により参照元オブジェクトの特定結果を取得した際、オブジェクト管理部３１３は、画像合成部３１２に指示し、参照元オブジェクトを、それ以外のオブジェクトとは識別可能に表示する。具体的には、特定のアイコンやメッセージを参照元オブジェクトの近傍に表示する、あるいは、参照元オブジェクトを特定の色や図形で表示する、などが挙げられる。
Furthermore, when a reference source object specifying result is acquired by a reference source
参照情報通知部３１４は、オブジェクト管理部３１３が生成した参照先オブジェクトに関する参照情報を、無線ＬＡＮ通信制御部３０２を介して、所定の通知先へ通知する。所定の通知先は、参照先オブジェクトに関する属性情報に基づいて決定される。本実施形態では、属性情報中に、参照情報の通知先のアドレス情報が記載されているものとし、参照先オブジェクトが所有する装置自身のアドレス情報とする。つまり、参照先オブジェクトが物体３１を示す場合、アドレス情報は通信装置３０を示す。
The reference
なお、通知先のアドレス情報としては、ＩＰアドレス、メールアドレス、ＵＲＩ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｉｄｅｎｔｉｆｉｅｒ）、などが挙げられる。また、本実施形態では、所定の通知先は、属性情報に記載されているとしたが、これに限らず、あらかじめ規定された通知先でも良い。 Note that the notification destination address information includes an IP address, a mail address, a URI (Uniform Resource Identifier), and the like. In the present embodiment, the predetermined notification destination is described in the attribute information. However, the predetermined notification destination is not limited to this and may be a notification destination defined in advance.
参照情報一覧取得部３１５は、参照先オブジェクトに対する参照元オブジェクトを示す参照情報の一覧を、無線ＬＡＮ通信制御部３０２を介して、所定の取得先から取得する。所定の取得先は、参照先オブジェクトに関する属性情報に基づいて決定される。本実施形態では、属性情報中に、参照情報一覧の取得先のアドレス情報が記載されているものとする。
The reference information
参照元オブジェクト判断部３１６は、参照情報一覧取得部３１５が取得した参照情報一覧に基づいて、撮像画像中から参照元オブジェクトが特定できるか否か判断する。撮像画像中から参照元オブジェクトを特定した場合、参照元オブジェクト判断部３１６は、その結果をオブジェクト管理部３１３に通知する。
Based on the reference information list acquired by the reference information
なお、参照元オブジェクト判断部３１６は、参照情報一覧中に記載された全ての参照元オブジェクトの存在を判断する必要はなく、参照日時や参照状態に基づいて、特定の条件に合致する参照元オブジェクトの存在のみを判断しても良い。
Note that the reference source
図４は、本実施形態に係る通信装置３０のハードウェア構成例を示すブロック図である。通信装置３０は、ＣＰＵ２０１と、ＲＯＭ２０２と、ＲＡＭ２０３と、補助記憶装置２０４と、無線ＬＡＮ通信部２０９と、無線ＬＡＮアンテナ２１０とを備える。なお、これらの構成要素は、図２に示した第一の画像表示装置１０の構成要素と重複するため、説明は省略する。図５は、本実施形態に係る通信装置３０の機能モジュール構成例を示すブロック図である。通信装置３０は、制御部３０１と、無線ＬＡＮ通信制御部３０２と、記憶制御部３０６と、識別子通知部３０７と、参照情報取得部３３０と、参照情報管理部３３１と、参照情報一覧送信部３３２とを備える。なお、通信装置３０の構成要素は、図３に示した第一の画像表示装置１０の構成要素と重複するため、差分のみを説明する。
FIG. 4 is a block diagram illustrating a hardware configuration example of the
参照情報取得部３３０は、無線ＬＡＮ通信制御部３０２を介して、第一の画像表示装置１０、または第二の画像表示装置２０から通知された参照情報を取得する。そして、参照情報取得部３３０は、記憶制御部３０６を介して、取得した参照情報を記憶する。
The reference
参照情報管理部３３１は、参照情報取得部３３０により取得された参照情報を管理する。例えば、参照情報管理部３３１は、所定の期間が経過した参照情報を破棄する。
The reference
参照情報一覧送信部３３２は、無線ＬＡＮ通信制御部３０２を介して、第一の画像表示装置１０、または第二の画像表示装置２０からの参照情報一覧取得要求を受信した際、記憶された参照情報一覧を送信する。
The reference information
図７は、本実施形態に係る参照情報の構成例を示す。参照情報は、参照先識別子７０１と、参照元識別子７０２と、参照日時７０３と、参照状態７０４とを備える。
FIG. 7 shows a configuration example of reference information according to the present embodiment. The reference information includes a
参照先識別子７０１は、参照先オブジェクトに関する識別子である。参照元識別子７０２は、参照元オブジェクトに関する識別子である。参照日時７０３は、参照元オブジェクトが参照先オブジェクトを参照した日時情報である。参照状態７０４は、参照元オブジェクトにおける参照先オブジェクトに対する参照状態情報である。
The
図８は、本実施形態に係る第一の画像表示装置１０が、物体３１を撮像する際のメッセージの例を示すシーケンスである。
FIG. 8 is a sequence showing an example of a message when the first
Ｍ８０１において、第一の画像表示装置１０は、物体３１を撮像し、撮像画像を画像コンテンツデータとして記憶する。Ｍ８０２において、第一の画像表示装置１０は、周囲の装置に対して、各装置の識別子の取得要求を送信する。
In M801, the first
Ｍ８０３において、通信装置３０は、第一の画像表示装置１０から、識別子取得要求を受信する。そして、通信装置３０は、第一の画像表示装置１０に、通信装置３０に割り当てられた識別子を送信する。
In M803, the
Ｍ８０４において、第一の画像表示装置１０は、管理サーバ６０に、通信装置３０から受信した識別子に基づいて、通信装置３０の所有者となるオブジェクトに関する特徴情報の取得要求を送信する。
In M804, the first
Ｍ８０５において、管理サーバ６０は、第一の画像表示装置１０に、物体３１の特徴情報を送信する。Ｍ８０６において、第一の画像表示装置１０は、管理サーバ６０から取得した物体３１の特徴情報に基づいて、撮像画像中から物体３１を特定する。
In M805, the
Ｍ８０７において、第一の画像表示装置１０は、管理サーバ６０に、通信装置３０から受信した識別子に基づいて、通信装置３０の所有者となるオブジェクトに関する属性情報の取得要求を送信する。
In M807, the first
Ｍ８０８において、管理サーバ６０は、第一の画像表示装置１０に、物体３１の属性情報を送信する。Ｍ８０９において、第一の画像表示装置１０は、撮像画像中の物体３１の近傍に、物体３１の属性情報を重ね合わせた合成画像を生成し、表示する。
In M808, the
図９は、本実施形態に係る第一の画像表示装置１０が、参照情報を通知する際のメッセージの例を示すシーケンスである。
FIG. 9 is a sequence showing an example of a message when the first
Ｍ９０１において、第一の画像表示装置１０は、物体３１に対する参照情報を生成する。本実施形態において、第一の画像表示装置１０は、物体３１を被写体として撮像した撮像画像を画像コンテンツデータとして記憶するため、参照情報における参照状態は、撮像状態とする。
In M901, the first
Ｍ９０２において、第一の画像表示装置１０は、物体３１の属性情報中の参照情報の通知先情報に基づいて、生成した参照情報の通知先を決定する。本実施形態において、参照情報の通知先は通信装置３０とする。
In M902, the first
Ｍ９０３において、第一の画像表示装置１０は、通信装置３０に、生成した参照情報を通知する。Ｍ９０４において、通信装置３０は、第一の画像表示装置１０から、参照情報を受信する。Ｍ９０５において、通信装置３０は、受信した参照情報を記憶する。
In M903, the first
図１０は、本実施形態に係る第二の画像表示装置２０が、参照情報一覧を取得する際のメッセージの例を示すシーケンスである。なお、図示しないが、本実施形態において第二の画像表示装置２０も、図８と同様に、物体３１を撮像したものとする。
FIG. 10 is a sequence showing an example of a message when the second
Ｍ１００１において、第二の画像表示装置２０は、物体３１の属性情報中の参照情報一覧の取得先情報に基づいて、参照情報一覧の取得先を決定する。本実施形態において、参照情報一覧の取得先は通信装置３０とする。
In M1001, the second
Ｍ１００２において、第二の画像表示装置２０は、通信装置３０に、参照情報一覧の取得要求を送信する。Ｍ１００３において、通信装置３０は、第二の画像表示装置２０に、参照情報一覧を送信する。なお、この参照情報一覧には、Ｍ９０３において、第一の画像表示装置１０から通信装置３０が受信した参照情報が含まれているものとする。
In M1002, the second
Ｍ１００４において、第二の画像表示装置２０は、受信した参照情報一覧に記載の参照元オブジェクトに関する識別子が取得済であるか否か判断する。本実施形態では、第二の画像表示装置２０は、参照元オブジェクトである第一の画像表示装置１０の識別子は未取得であると判断する。
In M1004, the second
Ｍ１００５において、第二の画像表示装置２０は、管理サーバ６０に、参照情報一覧に記載された第一の画像表示装置１０に関する識別子に基づいて、第一の画像表示装置１０の所有者となるオブジェクトに関する属性情報の取得要求を送信する。
In M1005, the second
Ｍ１００６において、管理サーバ６０は、第二の画像表示装置２０に、第一の利用者１１の属性情報を送信する。Ｍ１００７において、第二の画像表示装置２０は、物体３１を参照している第一の利用者１１が存在することを示すメッセージやアイコン等を表示する。具体的には、図１６中に示すメッセージ３４、などを表示する。
In M1006, the
図１１は、本実施形態に係る第二の画像表示装置２０が、第一の利用者１１を撮像する際のメッセージの例を示すシーケンスである。
FIG. 11 is a sequence showing an example of a message when the second
Ｍ１１０１において、第二の画像表示装置２０は、第一の利用者１１を撮像する。Ｍ１１０２において、第二の画像表示装置２０は、周囲の装置に対して、各装置の識別子の取得要求を送信する。
In M1101, the second
Ｍ１１０３において、第一の画像表示装置１０は、第二の画像表示装置２０から、識別子取得要求を受信する。そして、第一の画像表示装置１０は、第二の画像表示装置２０に、第一の画像表示装置１０に割り当てられた識別子を送信する。
In M1103, the first
Ｍ１１０４において、第二の画像表示装置２０は、管理サーバ６０に、第一の画像表示装置１０から受信した識別子に基づいて、第一の画像表示装置１０の所有者となるオブジェクトに関する特徴情報の取得要求を送信する。
In M <b> 1104, the second
Ｍ１１０５において、管理サーバ６０は、第二の画像表示装置２０に、第一の利用者１１の特徴情報を送信する。Ｍ１１０６において、第二の画像表示装置２０は、管理サーバ６０から取得した第一の利用者１１の特徴情報に基づいて、撮像画像から第一の利用者１１を特定する。
In M <b> 1105, the
Ｍ１１０７において、第二の画像表示装置２０は、第一の画像表示装置１０に関する識別子が、Ｍ１００３において通信装置３０から取得した参照情報一覧中の参照元識別子と一致するか否か判断する。本実施形態では、一致すると判断される。
In M1107, the second
Ｍ１１０８において、第二の画像表示装置２０は、撮像画像中の第一の利用者１１の近傍に、第一の利用者１１の属性情報と共に、第一の利用者１１が物体３１を参照していることを示すアイコンやメッセージ等、を重ね合わせた合成画像を生成して、表示する。具体的には、図１７中に示すメッセージ３６、などを表示する。
In M1108, the second
Ｍ１１０９において、第二の画像表示装置２０は、第二の利用者２２の要求に基づいて、第一の画像表示装置１０に、通信接続要求を送信する。本実施形態では、第一の画像表示装置１０への通信要求を、第二の利用者２２の要求に基づいて実施しているが、これに限らず、自動的に接続要求を行っても良い。
In M1109, the second
Ｍ１１１０において、第一の画像表示装置１０は、第二の画像表示装置２０に、通信接続応答を送信する。Ｍ１１１１において、第二の画像表示装置２０は、第一の画像表示装置１０に、第二の画像表示装置２０が所有する物体３１の撮像画像を送信する。Ｍ１１１２において、第一の画像表示装置１０は、第二の画像表示装置２０に、第一の画像表示装置１０が所有する物体３１の撮像画像を送信する。
In M1110, the first
図１２は、本実施形態に係る第一の画像表示装置１０、及び第二の画像表示装置２０が、撮像する動作の手順を示すフローチャートである。
FIG. 12 is a flowchart showing a procedure of operations performed by the first
ステップＳ１２０１において、撮像制御部３０３は、被写体となるオブジェクトを撮像する。ステップＳ１２０２において、識別子取得部３０８は、周囲の装置に対して識別子の取得を要求する。
In step S1201, the
ステップＳ１２０３において、識別子取得部３０８は、周囲の装置から識別子を取得できたか否かを判断する。識別子を取得できたと判断された場合（Ｓ１２０３；ＹＥＳ）、ステップＳ１２０４へ進む。一方、識別子を取得できなかったと判断された場合（Ｓ１２０３；ＮＯ）、処理を終了する。
In step S1203, the
ステップＳ１２０４において、特徴情報取得部３０９は、ステップＳ１２０３において受信された識別子に基づいて、管理サーバ６０から当該識別子に関するオブジェクトの特徴情報を取得する。
In step S1204, the feature
ステップＳ１２０５において、オブジェクト特定部３１１は、ステップＳ１２０４において取得されたオブジェクトの特徴情報に基づいて、撮像画像中からオブジェクトを特定する処理を行う。そしてオブジェクトを特定できたか否かを判断する。オブジェクトを特定できたと判断された場合（Ｓ１２０５；ＹＥＳ）、ステップＳ１２０６へ進む。一方、オブジェクトを特定できなかったと判断された場合（Ｓ１２０５；ＮＯ）、処理を終了する。
In step S1205, the
ステップＳ１２０６において、参照元オブジェクト判断部３１６は、参照情報一覧を取得済であるか否か判断する。参照情報一覧を取得済であると判断された場合（Ｓ１２０６；ＹＥＳ）、ステップＳ１２１０へ進む。一方、参照情報一覧を未取得であると判断された場合（Ｓ１２０６；ＮＯ）、ステップＳ１２０７へ進む。
In step S1206, the reference source
ステップＳ１２０７において、属性情報取得部３１０は、ステップＳ１２０３において受信した識別子に基づいて、管理サーバ６０から識別子に関する属性情報を取得する。
In step S1207, the attribute
ステップＳ１２０８において、画像合成部３１２は、撮像画像に対して、ステップＳ１２０７において受信した属性情報を、特定したオブジェクトの近傍に重ね合わせた合成画像を生成する。
In step S1208, the
ステップＳ１２０９において、表示制御部３０４は、生成した合成画像を表示し、処理を終了する。ステップＳ１２１０において、参照元オブジェクト判断部３１６は、ステップＳ１２０５において特定したオブジェクトの識別子と、参照情報一覧中の参照元オブジェクトの識別子とが一致するか否かを判断する。一致すると判断された場合（Ｓ１２１０；ＹＥＳ）、ステップＳ１２０５において特定されたオブジェクトは、参照情報一覧における参照先オブジェクトに対する参照元オブジェクトであると判断され、ステップＳ１２１１へ進む。一方、一致しないと判定された場合（Ｓ１２１０；ＮＯ）、ステップＳ１２０７へ進む。
In step S1209, the
ステップＳ１２１１において、オブジェクト管理部３１３、及び画像合成部３１２は、ステップＳ１２０５において特定されたオブジェクトが、参照先オブジェクトに対する参照元オブジェクトであることを識別可能な合成画像を生成する。具体的には、図１７中に示すメッセージ３６、などを生成する。その後、ステップＳ１２０９へ進む。
In step S1211, the
図１３は、本実施形態に係る第一の画像表示装置１０、及び第二の画像表示装置２０が、参照情報を通知する動作の手順を示すフローチャートである。このフローチャートを実行するのは、図１２に示す撮像動作の後に、利用者が特定のオブジェクトに対して、詳細参照の指定をした場合、などである。
FIG. 13 is a flowchart showing an operation procedure in which the first
ステップＳ１３０１において、参照情報通知部３１４は、指定された特定のオブジェクトを参照先オブジェクト、装置の所有者を参照元オブジェクトとして、参照情報を生成する。
In step S1301, the reference
ステップＳ１３０２において、参照情報通知部３１４は、参照先オブジェクトに関する属性情報に基づいて、参照情報の通知先を決定する。ステップＳ１３０３において、参照情報通知部３１４は、生成した参照情報を通知する。
In step S1302, the reference
図１４は、本実施形態に係る第一の画像表示装置１０、及び第二の画像表示装置２０が、参照情報一覧を取得する動作の手順を示すフローチャートである。なお、図示しないが、ステップＳ１４０３からステップＳ１４１１までの各処理は、参照情報一覧に記載された全ての参照元識別子に対して、当該参照元識別子ごとに実行される。
FIG. 14 is a flowchart showing a procedure of operations in which the first
ステップＳ１４０１において、参照情報一覧取得部３１５は、参照先オブジェクトに関する属性情報に基づいて、参照情報一覧の取得先を決定する。
In step S1401, the reference information
ステップＳ１４０２において、参照情報一覧取得部３１５は、参照情報一覧を取得する。ステップＳ１４０３において、参照元オブジェクト判断部３１６は、参照情報一覧中に記載された参照日時が所定の有効期間内であるか否かを判断する。すなわち、通信装置３０から取得された複数の参照情報のうち、所定の有効期間が経過していない参照情報を用いるようにする。参照日時が所定の有効期間内であると判断された場合（Ｓ１４０３；ＹＥＳ）、ステップＳ１４０４へ進む。一方、参照日時が所定の有効期間外であると判断された場合（Ｓ１４０３；ＮＯ）、処理を終了する。
In step S1402, the reference information
ステップＳ１４０４において、参照元オブジェクト判断部３１６は、参照情報一覧中に記載された参照状態が所定の参照状態であるか否かを判断する。すなわち、通信装置３０から取得された複数の参照情報のうち、状態が所定の状態である参照情報を用いるようにする。本実施形態における参照状態が所定の参照状態であるか否かの状態判断は、利用者による状態設定と一致するか否かにより行われる。例えば、利用者が、同じ被写体を撮像している他の利用者の存在のみを通知する、と設定したとする。この場合、参照元オブジェクト判断部３１６は、参照状態が撮像状態であるか否かを判断する。参照情報一覧中に記載された参照状態が所定の参照状態と一致すると判定された場合（Ｓ１４０４；ＹＥＳ）、ステップＳ１４０５へ進む。一方、参照状態が所定の参照状態と一致しないと判定された場合（Ｓ１４０４；ＹＥＳ）、処理を終了する。
In step S1404, the reference source
ステップＳ１４０５において、参照元オブジェクト判断部３１６は、参照情報一覧中に記載された参照元識別子を取得済であるか否かを判断する。取得済であると判断された場合（Ｓ１４０５；ＹＥＳ）、ステップＳ１４０９へ進む。一方、未取得であると判断された場合（Ｓ１４０４；ＮＯ）、ステップＳ１４０６へ進む。
In step S1405, the reference source
ステップＳ１４０６において、属性情報取得部３１０は、参照情報一覧中に記載された参照元識別子に基づいて、管理サーバ６０から当該識別子に関する属性情報を取得する。
In step S1406, the attribute
ステップＳ１４０７において、オブジェクト管理部３１３、及び画像合成部３１２は、参照先オブジェクトに対する参照元オブジェクトが存在していることを示す合成画像を生成する。ただし、Ｓ１４０５において参照元識別子を未取得であり、この参照元オブジェクトが近辺に存在するか否かは不明のため、近辺に存在していることは記載しない。
In step S1407, the
ステップＳ１４０８において、表示制御部３０４は、生成した合成画像を表示する。
In step S1408, the
ステップＳ１４０９において、オブジェクト特定部３１１は、参照情報一覧中に記載された参照元オブジェクトの特徴情報に基づいて、撮像画像中から参照元オブジェクトを特定する。そして、参照元オブジェクトを特定できたか否かを判断する。特定できたと判断された場合（Ｓ１４０９；ＹＥＳ）、ステップＳ１４１１へ進む。一方、特定できなかったと判断された場合（Ｓ１４０９；ＮＯ）、ステップＳ１４１０へ進む。
In step S1409, the
ステップＳ１４１０において、オブジェクト管理部３１３、及び画像合成部３１２は、参照先オブジェクトに対する参照元オブジェクトが近辺に存在していることを示す合成画像を生成する。具体的には、図１６中に示すメッセージ３４、などを生成する。
In step S1410, the
ステップＳ１４１１において、オブジェクト管理部３１３、及び画像合成部３１２は、ステップＳ１４０９において特定されたオブジェクトが、参照先オブジェクトに対する参照元オブジェクトであることを識別可能な合成画像を生成する。具体的には、図１７中に示すメッセージ３６、などを生成する。
In step S1411, the
図１５は、本実施形態に係る第一の画像表示装置１０、及び第二の画像表示装置２０が、他方の画像表示装置に接続し、撮像画像を交換する動作の手順を示すフローチャートである。
FIG. 15 is a flowchart illustrating a procedure of an operation in which the first
ステップＳ１５０１において、オブジェクト管理部３１３は、参照元オブジェクトに関する属性情報に基づいて、参照元オブジェクトが所有する他方の画像表示装置の通信先アドレス情報を取得する。そして、オブジェクト管理部３１３は、通信先アドレス情報に基づいて、無線ＬＡＮ通信制御部３０２を介して、他方の画像表示装置との通信接続を行う。
In step S1501, the
ステップＳ１５０２において、オブジェクト管理部３１３は、記憶制御部３０６を介して、自身が所有する参照先オブジェクトの画像コンテンツデータを取得する。そして、オブジェクト管理部３１３は、無線ＬＡＮ通信制御部３０２を介して、他方の画像表示装置に、当該画像コンテンツデータを送信する。
In step S1502, the
ステップＳ１５０３において、オブジェクト管理部３１３は、他方の画像表示装置から、他方の画像表示装置が所有する参照先オブジェクトの画像コンテンツデータを受信する。そして、オブジェクト管理部３１３は、記憶制御部３０６を介して、受信した画像コンテンツデータを記憶する。
In step S1503, the
以上、説明したように、第一の画像表示装置１０は、物体３１を被写体として撮像して属性情報を参照する際、物体３１が所有する通信装置３０に対して、第一の画像表示装置１０を所有する第一の利用者１１が物体３１を参照したことを示す参照情報を通知する。
As described above, when the first
一方、第二の画像表示装置２０は、通信装置３０から参照情報一覧を取得し、物体３１を参照している第一の利用者１１に関する情報を取得する。もし、第一の画像表示装置１０に関する識別子を未取得である場合、第二の画像表示装置２０は、第一の利用者１１が存在することを示すメッセージ等を表示する。これにより、第二の利用者２１は、同じ物体３１を被写体として撮像、参照している第一の利用者１１の存在を知ることができ、利用者同士が知り合う機会につながり、利用者の利便性が向上する。
On the other hand, the second
さらに、もし、第一の画像表示装置１０に関する識別子を取得しているが、撮像画像中から第一の利用者１１を特定できなかった場合、第二の画像表示装置２０は、第一の利用者１１が近辺に存在することを示すメッセージ等を表示する。これにより、第二の利用者２１は、同じ物体３１を被写体として撮像、参照している第一の利用者１１が、第二の利用者２１の近辺に存在していることを知ることができる。そのため、第二の利用者２１に対して、第一の利用者１１を探索させる動機付けとなり、利用者同士が知り合う機会が増え、利用者の利便性がさらに向上する。
Furthermore, if the identifier related to the first
さらに、もし、第一の画像表示装置１０に関する識別子を取得し、撮像画像中から第一の利用者１１を特定できた場合、第二の画像表示装置２０は、第一の利用者１１を他の利用者とは識別可能に表示する。具体的には、図１７中のメッセージ３６で示した様に、同じ物体３１を撮像中、あるいは参照中である旨を表示する。これにより、第二の利用者２１は、同じ物体３１を被写体として撮像、参照している第一の利用者１１を特定することができる。そのため、利用者同士がその場所で実際に対面して、会話することが可能となり、利用者同士のコミュニケーションの活性化につながるため、利用者の利便性がさらに向上する。
Furthermore, if an identifier related to the first
また、参照情報一覧に含まれる参照情報が多くなった場合、第二の画像表示装置２０の表示部２０７に、参照元オブジェクトの存在を示すメッセージが多く表示されてしまい、第二の利用者２１の視認性を低下させる恐れがある。これを回避するために、図１４のステップＳ１４０３、及びステップＳ１４０４で示した判断を実施している。
In addition, when the reference information included in the reference information list increases, many messages indicating the presence of the reference source object are displayed on the
ステップＳ１４０３において、第二の画像表示装置２０は、取得した参照情報一覧の中から、時間判断処理により、参照日時が有効な参照元オブジェクトのみを選択する。これにより、例えば、参照日時が所定の期間経過している参照元オブジェクトを対象外にすることができる。そのため、第二の利用者２１と知り合う可能性が高い、参照日時の新しい参照情報のみを選択して表示することができ、第二の利用者２１の視認性を向上することができる。さらに、不要な参照元オブジェクトの特定処理を実施しないため、第二の画像表示装置２０の処理を効率化することができる。
In step S1403, the second
また、ステップＳ１４０４において、第二の画像表示装置２０は、取得した参照情報一覧の中から、状態判断処理により所定の参照状態を有する参照元オブジェクトのみを選択する。例えば、被写体となる参照先オブジェクトを詳細参照した参照元オブジェクトを対象とし、簡易参照した参照元オブジェクトを対象外にする、などである。これにより、被写体に対する興味の強い利用者のみを選択して表示することができ、第二の利用者２１の視認性を向上することができる。さらに、不要な参照元オブジェクトの特定処理を実施しないため、第二の画像表示装置２０の処理を効率化することができる。
In step S1404, the second
また、本実施形態では、参照情報は図７に示した情報を用いたが、これに限らず、その他の情報も用いても良い。特に、第一の画像表示装置１０が物体３１を参照している時の状態や状況を詳細に示す情報を利用することで、第一の利用者１１が物体３１に対して、どの程度興味を持っているのか、を詳細に判断することが可能となる。例えば、物体３１に対する、被写体として撮像している時間、撮像して記憶した画像コンテンツ数、動画として撮像して記憶した動画コンテンツの時間長、詳細情報を参照している時間、などである。そして、これらの時間が所定値よりも長い、あるいは数が所定値よりも多い場合、第二の画像表示装置２０は、第一の利用者１１が物体３１に対して、より強い興味を示している、と判断する。これにより、物体３１に対してより興味の強い利用者のみを選択して表示することができ、第二の利用者２１の視認性をさらに向上することができる。さらに、不要な参照元オブジェクトの特定処理を実施しないため、第二の画像表示装置２０の処理をさらに効率化することができる。
In the present embodiment, the information shown in FIG. 7 is used as the reference information. However, the present invention is not limited to this, and other information may be used. In particular, to what extent the
なお、上述の効果は、第一の画像表示装置１０と第二の画像表示装置２０とを逆にしても、同様に有する。
Note that the above-described effects are similarly obtained even if the first
また、本実施形態では、通信装置３０が参照情報の管理を行う。これにより、管理サーバ６０が参照情報の管理を行うことによる管理サーバ６０への処理負荷集中を軽減することができる。
In the present embodiment, the
一方、通信装置３０において、無線ＬＡＮ通信が不能の場合、計算資源が貧弱な場合、あるいは参照情報を記憶するための機能を備えていない場合、などにおいて、通信装置３０の代わりに、管理サーバ６０が参照情報の管理を行うことも可能である。その場合、通信装置３０に関する属性情報中には、参照情報の通知先、参照情報一覧の取得先、管理サーバ６０のアドレス情報を記載する。これにより、通信装置３０の状態や性能、構成に応じてシステムをスケーラブルに変更することができる。
On the other hand, in the
また、本実施形態では、通信装置３０を用いたが、これに限らず、図５に示す通信装置３０の機能を備えた画像表示装置でも良い。具体的には、図３に示す第一の画像表示装置１０の機能に加えて、図５に示す参照情報取得部３３０、参照情報管理部３３１、および参照情報一覧送信部３３２の機能を備えれば良い。
In this embodiment, the
以上、本発明の一実施形態を示した。 The embodiment of the present invention has been described above.
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (9)
前記第一の画像表示装置は、
前記第一の画像表示装置の所有者が画像中のオブジェクトの属性情報を参照していることを示す参照情報を、前記オブジェクトと関連付けられている通信装置へ通知する通知手段を備え、
前記第二の画像表示装置は、
前記参照情報を前記通信装置から取得する取得手段と、
前記第二の画像表示装置の所有者が前記オブジェクトの属性情報を参照している場合に、前記参照情報に基づいて、前記第一の画像表示装置の所有者の存在を示す情報を表示する表示手段と、
を備えることを特徴とする画像表示システム。 An image display system comprising a first image display device and a second image display device,
The first image display device includes:
Notification means for notifying the communication device associated with the object of reference information indicating that the owner of the first image display device refers to the attribute information of the object in the image;
The second image display device includes:
Obtaining means for obtaining the reference information from the communication device;
A display for displaying information indicating the presence of the owner of the first image display device based on the reference information when the owner of the second image display device is referring to the attribute information of the object Means,
An image display system comprising:
前記第二の画像表示装置は、
前記日時情報に基づいて、前記第一の画像表示装置が画像から前記オブジェクトを特定してから所定の有効期間が経過したか否かを判断する時間判断手段をさらに備え、
前記表示手段は、前記取得手段により前記通信装置から取得された複数の参照情報のうち、前記所定の有効期間が経過していない参照情報に基づいて、前記第一の画像表示装置の所有者の存在を示す情報を表示することを特徴とする請求項１に記載の画像表示システム。 The reference information includes date and time information when the first image display device identifies the object from an image,
The second image display device includes:
Based on the date and time information, further comprising time determination means for determining whether or not a predetermined effective period has elapsed since the first image display device specified the object from the image;
The display means is based on reference information for which the predetermined validity period has not elapsed among a plurality of reference information acquired from the communication apparatus by the acquisition means. The image display system according to claim 1, wherein information indicating presence is displayed.
前記第二の画像表示装置は、
前記状態情報に基づいて、前記状態が所定の状態であるか否かを判断する状態判断手段をさらに備え、
前記表示手段は、前記取得手段により前記通信装置から取得された複数の参照情報のうち、前記状態が前記所定の状態である参照情報に基づいて、前記第一の画像表示装置の所有者の存在を示す情報を表示することを特徴とする請求項１または２に記載の画像表示システム。 The reference information includes state information indicating a state when the owner of the first image display device refers to the attribute information of the object,
The second image display device includes:
Based on the state information, further comprising state determination means for determining whether the state is a predetermined state;
The display means includes the owner of the first image display apparatus based on the reference information in which the state is the predetermined state among a plurality of reference information acquired from the communication device by the acquiring means. 3. The image display system according to claim 1, wherein information indicating the above is displayed.
前記所定の状態は、前記詳細参照状態であることを特徴とする請求項３に記載の画像表示システム。 The state is a simple reference state in which the owner of the first image display device refers to simple attribute information of the object, or the detailed attribute information of the object is determined by the owner of the first image display device. Is a detailed reference state referring to
The image display system according to claim 3, wherein the predetermined state is the detailed reference state.
前記第一の画像表示装置の所有者が画像から特定されたか否かを判断する判断手段をさらに備え、
前記表示手段は、
前記判断手段により前記第一の画像表示装置の所有者が画像から特定されなかったと判断された場合、前記第一の画像表示装置が前記第二の画像表示装置の周囲に存在することを示す情報を表示し、
前記判断手段により前記第一の画像表示装置の所有者が画像から特定されたと判断された場合、前記第一の画像表示装置の所有者が画像中に存在することを示す情報を表示することを特徴とする請求項１乃至４の何れか１項に記載の画像表示システム。 The second image display device includes:
A judgment means for judging whether the owner of the first image display device is specified from the image;
The display means includes
Information indicating that the first image display device exists around the second image display device when the determination means determines that the owner of the first image display device is not specified from the image. To display
When the determination means determines that the owner of the first image display device is specified from the image, the information indicating that the owner of the first image display device exists in the image is displayed. The image display system according to any one of claims 1 to 4, wherein the image display system is characterized in that:
前記第一の画像表示装置では、
前記第一の画像表示装置の所有者が画像中のオブジェクトの属性情報を参照していることを示す参照情報を、前記オブジェクトと関連付けられている通信装置へ通知する通知工程を有し、
前記第二の画像表示装置では、
前記参照情報を前記通信装置から取得する取得工程と、
前記第二の画像表示装置の所有者が前記オブジェクトの属性情報を参照している場合に、前記参照情報に基づいて、前記第一の画像表示装置の所有者の存在を示す情報を表示する表示工程と、を有することを特徴とする画像表示システムの制御方法。 A control method of an image display system comprising a first image display device and a second image display device,
In the first image display device,
A notification step of notifying the communication device associated with the object of reference information indicating that the owner of the first image display device refers to attribute information of the object in the image;
In the second image display device,
An acquisition step of acquiring the reference information from the communication device;
A display for displaying information indicating the presence of the owner of the first image display device based on the reference information when the owner of the second image display device is referring to the attribute information of the object A method for controlling the image display system.
他の画像表示装置の所有者が画像中のオブジェクトの属性情報を参照していることを示す参照情報を取得する取得手段と、
前記画像表示装置の所有者が前記オブジェクトの属性情報を参照している場合に、前記参照情報に基づいて、前記他の画像表示装置の所有者の存在を示す情報を表示する表示手段と、
を備えることを特徴とする画像表示装置。 An image display device,
Obtaining means for obtaining reference information indicating that an owner of another image display device refers to attribute information of an object in the image;
Display means for displaying information indicating the presence of the owner of the other image display device based on the reference information when the owner of the image display device is referring to the attribute information of the object;
An image display device comprising:
他の画像表示装置の所有者が画像中のオブジェクトの属性情報を参照していることを示す参照情報を取得する取得工程と、
前記画像表示装置の所有者が前記オブジェクトの属性情報を参照している場合に、前記参照情報に基づいて、前記他の画像表示装置の所有者の存在を示す情報を表示する表示工程と、
を有することを特徴とする画像表示装置の制御方法。 A control method for an image display device, comprising:
An acquisition step of acquiring reference information indicating that an owner of another image display device refers to attribute information of an object in the image;
When the owner of the image display device refers to the attribute information of the object, a display step of displaying information indicating the presence of the owner of the other image display device based on the reference information;
A control method for an image display device, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011181931A JP6041470B2 (en) | 2011-08-23 | 2011-08-23 | Information processing system, information processing apparatus, control method therefor, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011181931A JP6041470B2 (en) | 2011-08-23 | 2011-08-23 | Information processing system, information processing apparatus, control method therefor, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2013044895A true JP2013044895A (en) | 2013-03-04 |
| JP2013044895A5 JP2013044895A5 (en) | 2014-10-09 |
| JP6041470B2 JP6041470B2 (en) | 2016-12-07 |
Family
ID=48008858
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011181931A Active JP6041470B2 (en) | 2011-08-23 | 2011-08-23 | Information processing system, information processing apparatus, control method therefor, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6041470B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000172238A (en) * | 1998-12-09 | 2000-06-23 | Atr Media Integration & Communications Res Lab | Personalized information representing method |
| JP2001175718A (en) * | 1999-12-15 | 2001-06-29 | Nec Corp | System and method for introduction and recording medium with program for introduction recorded thereon |
| JP2005182144A (en) * | 2003-12-16 | 2005-07-07 | Fuji Xerox Co Ltd | Dialog supporting device |
| JP2006107281A (en) * | 2004-10-07 | 2006-04-20 | Queen Mary & Westfield College | Communication supporting apparatus |
-
2011
- 2011-08-23 JP JP2011181931A patent/JP6041470B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000172238A (en) * | 1998-12-09 | 2000-06-23 | Atr Media Integration & Communications Res Lab | Personalized information representing method |
| JP2001175718A (en) * | 1999-12-15 | 2001-06-29 | Nec Corp | System and method for introduction and recording medium with program for introduction recorded thereon |
| JP2005182144A (en) * | 2003-12-16 | 2005-07-07 | Fuji Xerox Co Ltd | Dialog supporting device |
| JP2006107281A (en) * | 2004-10-07 | 2006-04-20 | Queen Mary & Westfield College | Communication supporting apparatus |
Non-Patent Citations (1)
| Title |
|---|
| JPN6015020843; 里雄二、北原格、中村裕一、大田友一: '「複合コミュニティ空間における注目の共有〜指示動作による注目の強調提示システム〜」' 日本バーチャルリアリティ学会 第６回大会論文集 , 20010919, ｐｐ．２３５-２３８ * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6041470B2 (en) | 2016-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10659527B2 (en) | Opportunistic crowd-based service platform | |
| KR102416985B1 (en) | Virtual vision system | |
| US9129429B2 (en) | Augmented reality on wireless mobile devices | |
| US11202124B2 (en) | Media collection generation and privacy mechanisms | |
| US20140188990A1 (en) | Method and apparatus for establishing user group network sessions using location parameters in an augmented reality display | |
| US20130169853A1 (en) | Method and system for establishing autofocus based on priority | |
| US8520967B2 (en) | Methods and apparatuses for facilitating generation images and editing of multiframe images | |
| WO2014178364A1 (en) | System, program, and method for message transceiving assistance | |
| US20140092813A1 (en) | Method and apparatus for sharing connectivity settings via social networks | |
| US20160006773A1 (en) | Method and apparatus for sharing media upon request via social networks | |
| US20090241039A1 (en) | System and method for avatar viewing | |
| US11271940B1 (en) | Expanded mobile device content access | |
| WO2019209833A1 (en) | Efficient parallel optical flow algorithm and gpu implementation | |
| US11902477B1 (en) | Sharing images based on face matching in a network | |
| US10143033B2 (en) | Communications apparatus, control method, and storage medium | |
| JP2014035642A (en) | Display device, control method therefor, display system, and program | |
| CN114845035B (en) | Distributed shooting method, electronic equipment and medium | |
| JP6041470B2 (en) | Information processing system, information processing apparatus, control method therefor, and program | |
| US20220248099A1 (en) | Multi-video capture system | |
| JP2012208558A (en) | Display control apparatus, terminal device, communication system, and program | |
| CN114071652B (en) | Binding relation establishing method and related equipment | |
| KR101670983B1 (en) | Screen sharing system and method thereof | |
| EP3471386B1 (en) | Electronic device and method for displaying service information in electronic device | |
| JP2016143247A (en) | Information processing device, control method and program | |
| US20140285512A1 (en) | Alternate visual presentations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140821 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140821 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150430 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150529 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150709 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160129 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160204 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160404 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160524 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161011 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161108 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6041470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |