JP6041470B2 - Information processing system, information processing apparatus, control method therefor, and program - Google Patents
Information processing system, information processing apparatus, control method therefor, and program Download PDFInfo
- Publication number
- JP6041470B2 JP6041470B2 JP2011181931A JP2011181931A JP6041470B2 JP 6041470 B2 JP6041470 B2 JP 6041470B2 JP 2011181931 A JP2011181931 A JP 2011181931A JP 2011181931 A JP2011181931 A JP 2011181931A JP 6041470 B2 JP6041470 B2 JP 6041470B2
- Authority
- JP
- Japan
- Prior art keywords
- information processing
- processing apparatus
- information
- state
- indicating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Transfer Between Computers (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、画像表示システム、画像表示装置、それらの制御方法、およびプログラムに関し、特に、被写体に関する属性情報を合成して表示する画像表示システム、画像表示装置、それらの制御方法、およびプログラムに関する。 The present invention relates to an image display system, an image display device, a control method thereof, and a program, and more particularly, to an image display system, an image display device, a control method thereof, and a program for combining and displaying attribute information related to a subject.
近年、デジタルカメラや携帯電話等で撮像した現実環境の画像中に、被写体となる人物や物体などのオブジェクトに関する属性情報を合成して表示する拡張現実(AR:Augumented Reality)技術が盛んである。例えば、撮像画像に対して、GPS(Global Positioning System)による位置情報から現実環境中のオブジェクトを特定し、そのオブジェクトに関する属性情報を重ね合わせて表示する技術が提案されている(非特許文献1参照)。 2. Description of the Related Art In recent years, augmented reality (AR) technology that synthesizes and displays attribute information about an object such as a person or an object as a subject in an image of a real environment captured by a digital camera or a mobile phone has been popular. For example, a technique has been proposed in which an object in a real environment is specified on a captured image from position information obtained by GPS (Global Positioning System), and attribute information related to the object is superimposed and displayed (see Non-Patent Document 1). ).
また、人物の顔や物体の輪郭など、被写体となるオブジェクトに関する特徴情報を利用して、撮像画像中のオブジェクトを特定し、そのオブジェクトに関する属性情報を、撮像画像中のオブジェクトの近傍に、合成して表示する技術も提案されている(特許文献1参照)。これにより、利用者は、現実環境中において興味を持った人物や物体に関する属性情報を容易に取得し、参照することができる。 In addition, the object information in the captured image is identified using the feature information about the object that is the subject, such as the face of the person or the contour of the object, and the attribute information about the object is synthesized in the vicinity of the object in the captured image. A technique for displaying images is also proposed (see Patent Document 1). Thereby, the user can easily acquire and refer to attribute information related to a person or object interested in the real environment.
現実環境中において、利用者が興味を持って特定の人物や物体に関する属性情報を参照している際、他の利用者も同じ人物や物体に関する属性情報を参照している場合がある。 In a real environment, when a user is interested and refers to attribute information about a specific person or object, other users may also refer to attribute information about the same person or object.
例えば、美術館や博物館に展示されている特定の物体に対して、第一の利用者が興味を持ち、その物体に関する詳細な解説を参照している場合を考える。一方、第二の利用者も、同じ物体に関して興味を持ち、その物体に関する詳細な解説を参照しているとする。このとき、第一の利用者、及び第二の利用者が、同じ物体に興味を持っている他方の利用者の存在を知り、その利用者を特定することができれば、同じ趣味を持つ利用者同士が知り合う機会となりうる。 For example, consider a case where a first user is interested in a specific object displayed in an art museum or a museum and is referring to a detailed explanation about the object. On the other hand, it is assumed that the second user is also interested in the same object and is referring to a detailed explanation about the object. At this time, if the first user and the second user know the existence of the other user who is interested in the same object and can identify the user, the user who has the same hobby It can be an opportunity to get to know each other.
しかしながら、従来の技術では、利用者は、当該利用者と同じ人物や物体に関する属性情報を参照している他の利用者の存在を知ることができない。そのため、同じ趣味を持つ利用者同士が知り合う機会が減ってしまう。 However, in the conventional technology, the user cannot know the existence of other users who are referring to attribute information related to the same person or object as the user. Therefore, the opportunity for users having the same hobbies to get to know decreases.
上記の課題にかんがみ、本発明は、情報処理装置が、同じオブジェクトを参照している他の情報処理装置の存在を識別可能にする技術を提供することを目的とする。
In view of the above problems, an object of the present invention is to provide a technique that enables an information processing apparatus to identify the presence of another information processing apparatus that refers to the same object .
上記の目的を達成する本発明に係る情報処理システムは、
第一の情報処理装置と、第二の情報処理装置とを備える情報処理システムであって、
前記第一の情報処理装置は、人物または物体であるオブジェクトを前記第一の情報処理装置が参照したことを示す参照情報と、前記オブジェクトを前記第一の情報処理装置が参照した際の前記第一の情報処理装置の状態を示す状態情報とを、前記オブジェクトと関連付けられている通信装置へ通知する通知手段を備え、
前記第二の情報処理装置は、
前記参照情報と前記状態情報とを前記通信装置から取得する取得手段と、
前記取得手段により取得された前記状態情報に基づいて、前記オブジェクトを前記第一の情報処理装置が参照した際の前記第一の情報処理装置の状態が所定の状態であるか否かを判断する状態判断手段と、
前記取得手段により取得された前記参照情報により示される前記第一の情報処理装置が参照した前記オブジェクトを、前記第二の情報処理装置が参照した場合において、
前記第一の情報処理装置の状態が前記所定の状態であると前記状態判断手段により判断された場合、前記第一の情報処理装置を示す情報を前記第二の情報処理装置の表示部に表示させ、
前記第一の情報処理装置の状態が前記所定の状態でないと前記状態判断手段により判断された場合、前記第一の情報処理装置を示す情報を前記第二の情報処理装置の表示部に表示させない
表示制御手段と、
を備えることを特徴とする。
An information processing system according to the present invention that achieves the above object is as follows.
An information processing system comprising a first information processing device and a second information processing device,
The first information processing apparatus, reference information indicating that the object is a person or object referenced the first information processing apparatus, wherein when said object said first information processing apparatus referenced Notification means for notifying the communication device associated with the object of status information indicating the status of the first information processing device ;
The second information processing apparatus
Obtaining means for obtaining the reference information and the state information from the communication device;
Based on the state information acquired by the acquisition means, it is determined whether or not the state of the first information processing device when the first information processing device refers to the object is a predetermined state. State determination means;
The object in which the first information processing device has reference indicated by the reference information acquired by the acquisition unit, In no event said second information processing apparatus is referred to,
When the state determination unit determines that the state of the first information processing apparatus is the predetermined state, information indicating the first information processing apparatus is displayed on the display unit of the second information processing apparatus Let
When the state determination unit determines that the state of the first information processing device is not the predetermined state, information indicating the first information processing device is not displayed on the display unit of the second information processing device. Display control means;
It is characterized by providing.
本発明によれば、情報処理装置が、同じオブジェクトを参照している他の情報処理装置の存在を識別可能にすることができる。
According to the present invention, the information processing apparatus can identify the presence of another information processing apparatus that refers to the same object.
(第1実施形態)
図1は、本実施形態に係る画像表示システムの構成例を示す図である。第一の画像表示装置10は、本発明における画像表示装置であり、撮像機能、表示機能、及びIEEE802.11に則った無線LAN(Local Area Network)通信機能を有する。第一の画像表示装置10の具体例は、デジタルカメラ、デジタルビデオカメラ、携帯電話、スマートフォン、PC、ノートPC、などである。なお、本実施形態では無線LAN通信機能を用いたが、これに限らず、Bluetooth(登録商標)、ZigBee(登録商標)、RFID、などの他の無線通信規格を利用しても良い。(First embodiment)
FIG. 1 is a diagram illustrating a configuration example of an image display system according to the present embodiment. The first
また、第一の画像表示装置10は、被写体となるオブジェクトの特徴情報に基づいて、撮像画像中から当該オブジェクトを特定する。そして、第一の画像表示装置10は、そのオブジェクトに関する属性情報を、撮像画像中のオブジェクトの近傍に、重ね合わせて表示する。本実施形態において、第一の画像表示装置10が被写体として撮像するオブジェクトは、物体31、及び第二の利用者21であり、以後、特に明記しない限りはこれらを示す。
In addition, the first
第一の利用者11は、第一の画像表示装置10を所有する利用者である。第二の画像表示装置20は、第一の画像表示装置10と同じく、本発明における画像表示装置である。本実施形態において、第二の画像表示装置20が被写体として撮像するオブジェクトは、物体31、及び第一の利用者11である。第二の利用者21は、第二の画像表示装置20を所有する利用者である。通信装置30は、本発明における通信装置であり、無線LAN通信機能を有する。通信装置30の具体例は、携帯電話、スマートフォン、PC、ノートPC、などである。通信装置30における無線LAN通信機能は、第一の画像表示装置10、及び第二の画像表示装置20と同様に、他の無線通信規格を利用しても良い。物体31は、本発明における被写体となるオブジェクトであり、通信装置30を所有している。すなわち、通信装置30は、オブジェクトと関連付けられている。
The
なお、本実施形態において、第一の画像表示装置10、第二の画像表示装置20、及び通信装置30は、それぞれに一意の識別子を割り当てられている。この識別子は、各装置を所有する利用者または物体を一意に識別するための情報である。各装置に割り当てられた識別子は、無線LAN通信におけるIEEE802.11に則ったビーコン・フレームのInformation Elementの一要素として、他の装置に通知される。
In the present embodiment, each of the first
無線AP40は、第一の画像表示装置10、第二の画像表示装置20、及び通信装置30における無線LAN通信を中継する無線アクセスポイントである。
The
ネットワーク50は、無線AP40、及び管理サーバ60が接続するネットワークである。ネットワーク50の具体例は、有線LAN、無線LAN、WAN(Wide Area Network)、インターネット、などである。
The
管理サーバ60は、各装置に割り当てられた識別子、各装置を所有する利用者または物体に関する属性情報、そして、被写体となる利用者または物体を撮像画像中からオブジェクトとして特定するための画像の特徴情報、を管理する。
The
なお、第一の画像表示装置10、第二の画像表示装置20、及び通信装置30は、各装置間において直接、または無線AP40を経由して通信することができる。各装置間で直接通信する場合、無線LAN通信機能におけるアドホックモードを利用する。また、無線AP40を経由して通信する場合、無線LAN通信機能におけるインフラモードを利用する。これらの関係を、図1において実線矢印で示す。
The first
また、上述した通り、第一の画像表示装置10、第二の画像表示装置20、及び通信装置30は、それぞれ一意の識別子を有しており、他の装置はその識別子を取得することができる。これらの関係を、図1において破線矢印で示す。
Further, as described above, the first
さらに、上述した通り、第一の画像表示装置10、及び第二の画像表示装置20は、被写体となる物体31を、物体31に関する特徴情報に基づいて、撮像画像中から物体31を特定することができる。同様に、第一の画像表示装置10は、第二の利用者21に関する特徴情報に基づいて、撮像画像中から第二の利用者21を特定することができる。逆に、第二の画像表示装置20は、第一の利用者11に関する特徴情報に基づいて、撮像画像中から第一の利用者11を特定することができる。これらの関係を、図1において長二点鎖線矢印で示す。
Further, as described above, the first
次に、本実施形態に係る画像表示システムのユースケースを説明する。図6は、本実施形態に係る第一の利用者11、及び第二の利用者21が、物体31の属性情報を参照しているユースケースを示す概念図である。第一の利用者11は、第一の画像表示装置10を用いて、被写体となる物体31を撮像する。このとき、第一の画像表示装置10は、物体31に関する属性情報33を、物体31の物体画像32の近傍に、合成して表示する。属性情報33は、例えばテキスト情報であってもよい。第二の利用者21、及び第二の画像表示装置20も、上記と同様である。
Next, use cases of the image display system according to the present embodiment will be described. FIG. 6 is a conceptual diagram illustrating a use case in which the
図16は、本実施形態に係る第二の画像表示装置20が、物体31を参照している第一の利用者11が存在していることを示す合成画像の例である。第二の画像表示装置20は、物体31に関する属性情報33を参照した際、同じ物体31を参照している第二の画像表示装置10の存在を検知し、その所有者である第一の利用者11が存在することを示すメッセージ34を、図16の例では物体画像32の右上に表示する。なお、第一の画像表示装置10に関する識別子を取得できたが、撮像画像中からは第一の利用者11の存在を特定できなかった場合、第一の利用者11が近辺に存在している確率が高いため、メッセージ34に示したように、近辺に存在していることを明示的に示す。
FIG. 16 is an example of a composite image indicating that the
図17は、本実施形態に係る第二の画像表示装置20が、第一の利用者11を撮像した際のユースケースを示す概念図である。図16によって第一の利用者11の存在を知った第二の利用者21が、第二の画像表示装置20の撮像部を、第一の利用者11に向けて撮像する。そうすると、第二の画像表示装置20は、第一の利用者11の人物画像35と、人物画像35の近辺に、第一の利用者11が物体31を参照している旨を示すメッセージ36を合成して表示する。
FIG. 17 is a conceptual diagram illustrating a use case when the second
次に、本実施形態に係る画像表示システムの構成要素を詳細に説明する。図2は、本実施形態に係る第一の画像表示装置10のハードウェア構成例を示すブロック図である。なお、第二の画像表示装置20も、第一の画像表示装置10と同じ構成であるため、以後は第一の画像表示装置10のみを説明する。第一の画像表示装置10は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、補助記憶装置204と、撮像部205と、画像処理プロセッサ206と、表示部207と、操作部208と、無線LAN通信部209と、無線LANアンテナ210とを備える。
Next, components of the image display system according to the present embodiment will be described in detail. FIG. 2 is a block diagram illustrating a hardware configuration example of the first
CPU201は、第一の画像表示装置10全体を制御する。ROM202は、変更を必要としないプログラムやパラメータを格納する。RAM203は、補助記憶装置204などから供給されるプログラムやデータを一時記憶する。
The
補助記憶装置204は、撮像部205により撮像された画像や動画などをコンテンツデータとして記憶する。例えば、メモリカード、ハードディスク、などが挙げられる。撮像部205は、被写体となる対象物からレンズを通して入力された光を、アナログ信号データからデジタル信号データへ変換して、撮像画像のRAWデータを生成する。
The
画像処理プロセッサ206は、撮像画像のRAWデータに対して、補完、色空間変換、ガンマ特性変換などの様々な画像補正処理を適用し、JPEG(Joint Photographic Experts Group)データを生成する。本実施形態において、撮像画像データはJPEGデータ形式を扱うが、これに限らず、ビットマップデータ、GIF(Graphics Interchange Format)データ、など他の画像データ形式を利用しても良い。
The
また、画像処理プロセッサ206は、画像の特徴情報に基づいて、撮像画像中の被写体となるオブジェクトの画像認識処理を行い、撮像画像中のオブジェクトを特定する。さらに、画像処理プロセッサ206は、オブジェクトに関する属性情報を、撮像画像中のオブジェクトの近傍に重ね合わせた合成画像を生成する。近傍とは、例えば撮像画像中のオブジェクトに対して上下左右に所定距離だけ離れた所定位置である。
Also, the
表示部207は、ユーザが第一の画像表示装置10を操作するためのGUI(Graphical User Interface)を表示する。また、表示部207は、撮像部205により撮像された撮像画像、または、画像処理プロセッサ206により生成された合成画像を表示する。
The
操作部208は、ユーザが第一の画像表示装置10を操作するための入力インタフェースである。無線LAN通信部209は、無線LANアンテナ210を制御し、無線AP40、第二の画像表示装置20、または通信装置30と通信する。
The
図3は、本実施形態に係る第一の画像表示装置10の機能モジュール構成例を示すブロック図である。なお、第二の画像表示装置20も、第一の画像表示装置10と同じ構成であるため、以後は第一の画像表示装置10のみを説明する。第一の画像表示装置10は、制御部301と、無線LAN通信制御部302と、撮像制御部303と、表示制御部304と、操作制御部305と、記憶制御部306と、識別子通知部307と、識別子取得部308と、特徴情報取得部309と、属性情報取得部310と、オブジェクト特定部311と、画像合成部312と、オブジェクト管理部313と、参照情報通知部314と、参照情報一覧取得部315と、参照元オブジェクト判断部316とを備える。
FIG. 3 is a block diagram illustrating a functional module configuration example of the first
制御部301は、第一の画像表示装置10が備える個々の機能モジュール全体を制御する。無線LAN通信制御部302は、無線LAN通信部209を制御し、無線AP40、第二の画像表示装置20、または通信装置30との通信制御を行う。撮像制御部303は、撮像部205を制御し、被写体の画像を撮像する。また、撮像制御部303は、撮像画像を画像コンテンツデータとして、記憶制御部306を介して、補助記憶装置204に記憶する。
The
表示制御部304は、表示部207を制御し、第一の画像表示装置10におけるGUIの表示制御を行う。また、表示制御部304は、撮像画像や合成画像の表示制御を行う。操作制御部305は、操作部208を制御し、第一の画像表示装置10におけるユーザからの操作入力制御を行う。
The
記憶制御部306は、補助記憶装置204を制御し、画像コンテンツデータや動画コンテンツデータを記憶する。識別子通知部307は、無線LAN通信部209を介して、周囲の装置から送信された識別子取得要求を受信する。そして、識別子通知部307は、無線LAN通信制御部302を制御し、第一の画像表示装置10に割り当てられた一意の識別子の情報を送信する。具体的には、IEEE802.11に則ったプローブ・レスポンス・フレームで送信する。
The
識別子取得部308は、無線LAN通信制御部302を制御し、周囲の装置に対して識別子の取得を要求する。具体的には、IEEE802.11に則ったプローブ・リクエスト・フレームをブロードキャストで送信する。そして、識別子取得部308は、無線LAN通信制御部302を介して、周囲の装置が通知した識別子の情報を取得する。
The
特徴情報取得部309は、無線LAN通信制御部302を介して、識別子取得部308が取得した識別子に基づいて、管理サーバ60から当該識別子に関するオブジェクトの特徴情報を取得する。
The feature
属性情報取得部310は、無線LAN通信制御部302を介して、識別子取得部308が取得した識別子に基づいて、管理サーバ60から当該識別子に関するオブジェクトの属性情報を取得する。
The attribute
オブジェクト特定部311は、画像処理プロセッサ206を制御し、特徴情報取得部309が取得した識別子に関するオブジェクトの特徴情報に基づいて、撮像制御部303により撮像されたた撮像画像中から、オブジェクトを特定する。
The
画像合成部312は、撮像制御部303からオブジェクトの撮像画像を取得し、属性情報取得部310から識別子に関する属性情報を取得する。そして、画像合成部312は、画像処理プロセッサ206を制御し、撮像画像に対して、属性情報を、オブジェクト特定部311により特定されたオブジェクトの近傍に重ね合わせた合成画像を生成する。
The
オブジェクト管理部313は、撮像画像中から特定されたオブジェクトをオブジェクト特定部311から取得して管理する。さらに、オブジェクト管理部313は、オブジェクトの識別子に基づいて、属性情報取得部310から、当該オブジェクトに関する属性情報を取得し、オブジェクトと合わせて管理する。
The
また、オブジェクト管理部313は、表示部207に表示する属性情報の内容を決定し、画像合成部312に指示する。属性情報の内容の決定方法は、第一の利用者11の明示的な設定に基づく方法や、第一の利用者11の趣味・嗜好に基づく方法、などが挙げられる。
In addition, the
また、画像合成部312により生成された合成画像中において、第一の利用者11が、特定のオブジェクト、または当該オブジェクトの近傍に表示された属性情報を指定した際、オブジェクト管理部313は、当該オブジェクトに関する参照情報を生成する。
When the
参照情報とは、第一の画像表示装置10の所有者である第一の利用者11が、オブジェクト、または当該オブジェクトに関する属性情報を参照したことを示す情報である。具体的に参照情報は、例えば、参照先オブジェクトに関する識別子、参照元オブジェクトに関する識別子、参照日時情報、参照状態情報、等から構成される。
The reference information is information indicating that the
なお、本実施形態では、被写体となるオブジェクトを参照先オブジェクト、撮像する利用者自身を参照元オブジェクト、と称する。つまり、物体31は参照先オブジェクト、第一の利用者11は参照元オブジェクトである。
In the present embodiment, an object that is a subject is referred to as a reference object, and a user who captures an image is referred to as a reference object. That is, the
また、参照状態とは、参照先オブジェクトをどのように参照したかを示す種別である。本実施形態における参照状態は、簡易参照状態、詳細参照状態、撮像状態、登録状態、を扱う。簡易参照状態は、参照先オブジェクトに関する簡易的な属性情報を表示した状態を示す。詳細参照状態は、第一の利用者11の指示等により、参照先オブジェクトに関する詳細な属性情報を表示した状態を示す。撮像状態とは、参照先オブジェクトを被写体として撮像した画像を、画像コンテンツデータとして、記憶制御部306を介して記憶した状態を示す。登録状態とは、参照先オブジェクトを、第一の利用者11の指示等により、お気に入り登録した状態を示す。
The reference state is a type indicating how the reference object is referred to. The reference state in this embodiment handles a simple reference state, a detailed reference state, an imaging state, and a registration state. The simple reference state indicates a state in which simple attribute information regarding the reference destination object is displayed. The detailed reference state indicates a state in which detailed attribute information regarding the reference destination object is displayed according to an instruction from the
さらに、後述する参照元オブジェクト判断部316により参照元オブジェクトの特定結果を取得した際、オブジェクト管理部313は、画像合成部312に指示し、参照元オブジェクトを、それ以外のオブジェクトとは識別可能に表示する。具体的には、特定のアイコンやメッセージを参照元オブジェクトの近傍に表示する、あるいは、参照元オブジェクトを特定の色や図形で表示する、などが挙げられる。
Furthermore, when a reference source object specifying result is acquired by a reference source
参照情報通知部314は、オブジェクト管理部313が生成した参照先オブジェクトに関する参照情報を、無線LAN通信制御部302を介して、所定の通知先へ通知する。所定の通知先は、参照先オブジェクトに関する属性情報に基づいて決定される。本実施形態では、属性情報中に、参照情報の通知先のアドレス情報が記載されているものとし、参照先オブジェクトが所有する装置自身のアドレス情報とする。つまり、参照先オブジェクトが物体31を示す場合、アドレス情報は通信装置30を示す。
The reference
なお、通知先のアドレス情報としては、IPアドレス、メールアドレス、URI(Uniform Resource Identifier)、などが挙げられる。また、本実施形態では、所定の通知先は、属性情報に記載されているとしたが、これに限らず、あらかじめ規定された通知先でも良い。 Note that the notification destination address information includes an IP address, a mail address, a URI (Uniform Resource Identifier), and the like. In the present embodiment, the predetermined notification destination is described in the attribute information. However, the predetermined notification destination is not limited to this and may be a notification destination defined in advance.
参照情報一覧取得部315は、参照先オブジェクトに対する参照元オブジェクトを示す参照情報の一覧を、無線LAN通信制御部302を介して、所定の取得先から取得する。所定の取得先は、参照先オブジェクトに関する属性情報に基づいて決定される。本実施形態では、属性情報中に、参照情報一覧の取得先のアドレス情報が記載されているものとする。
The reference information
参照元オブジェクト判断部316は、参照情報一覧取得部315が取得した参照情報一覧に基づいて、撮像画像中から参照元オブジェクトが特定できるか否か判断する。撮像画像中から参照元オブジェクトを特定した場合、参照元オブジェクト判断部316は、その結果をオブジェクト管理部313に通知する。
Based on the reference information list acquired by the reference information
なお、参照元オブジェクト判断部316は、参照情報一覧中に記載された全ての参照元オブジェクトの存在を判断する必要はなく、参照日時や参照状態に基づいて、特定の条件に合致する参照元オブジェクトの存在のみを判断しても良い。
Note that the reference source
図4は、本実施形態に係る通信装置30のハードウェア構成例を示すブロック図である。通信装置30は、CPU201と、ROM202と、RAM203と、補助記憶装置204と、無線LAN通信部209と、無線LANアンテナ210とを備える。なお、これらの構成要素は、図2に示した第一の画像表示装置10の構成要素と重複するため、説明は省略する。図5は、本実施形態に係る通信装置30の機能モジュール構成例を示すブロック図である。通信装置30は、制御部301と、無線LAN通信制御部302と、記憶制御部306と、識別子通知部307と、参照情報取得部330と、参照情報管理部331と、参照情報一覧送信部332とを備える。なお、通信装置30の構成要素は、図3に示した第一の画像表示装置10の構成要素と重複するため、差分のみを説明する。
FIG. 4 is a block diagram illustrating a hardware configuration example of the
参照情報取得部330は、無線LAN通信制御部302を介して、第一の画像表示装置10、または第二の画像表示装置20から通知された参照情報を取得する。そして、参照情報取得部330は、記憶制御部306を介して、取得した参照情報を記憶する。
The reference
参照情報管理部331は、参照情報取得部330により取得された参照情報を管理する。例えば、参照情報管理部331は、所定の期間が経過した参照情報を破棄する。
The reference
参照情報一覧送信部332は、無線LAN通信制御部302を介して、第一の画像表示装置10、または第二の画像表示装置20からの参照情報一覧取得要求を受信した際、記憶された参照情報一覧を送信する。
The reference information
図7は、本実施形態に係る参照情報の構成例を示す。参照情報は、参照先識別子701と、参照元識別子702と、参照日時703と、参照状態704とを備える。
FIG. 7 shows a configuration example of reference information according to the present embodiment. The reference information includes a
参照先識別子701は、参照先オブジェクトに関する識別子である。参照元識別子702は、参照元オブジェクトに関する識別子である。参照日時703は、参照元オブジェクトが参照先オブジェクトを参照した日時情報である。参照状態704は、参照元オブジェクトにおける参照先オブジェクトに対する参照状態情報である。
The
図8は、本実施形態に係る第一の画像表示装置10が、物体31を撮像する際のメッセージの例を示すシーケンスである。
FIG. 8 is a sequence showing an example of a message when the first
M801において、第一の画像表示装置10は、物体31を撮像し、撮像画像を画像コンテンツデータとして記憶する。M802において、第一の画像表示装置10は、周囲の装置に対して、各装置の識別子の取得要求を送信する。
In M801, the first
M803において、通信装置30は、第一の画像表示装置10から、識別子取得要求を受信する。そして、通信装置30は、第一の画像表示装置10に、通信装置30に割り当てられた識別子を送信する。
In M803, the
M804において、第一の画像表示装置10は、管理サーバ60に、通信装置30から受信した識別子に基づいて、通信装置30の所有者となるオブジェクトに関する特徴情報の取得要求を送信する。
In M804, the first
M805において、管理サーバ60は、第一の画像表示装置10に、物体31の特徴情報を送信する。M806において、第一の画像表示装置10は、管理サーバ60から取得した物体31の特徴情報に基づいて、撮像画像中から物体31を特定する。
In M805, the
M807において、第一の画像表示装置10は、管理サーバ60に、通信装置30から受信した識別子に基づいて、通信装置30の所有者となるオブジェクトに関する属性情報の取得要求を送信する。
In M807, the first
M808において、管理サーバ60は、第一の画像表示装置10に、物体31の属性情報を送信する。M809において、第一の画像表示装置10は、撮像画像中の物体31の近傍に、物体31の属性情報を重ね合わせた合成画像を生成し、表示する。
In M808, the
図9は、本実施形態に係る第一の画像表示装置10が、参照情報を通知する際のメッセージの例を示すシーケンスである。
FIG. 9 is a sequence showing an example of a message when the first
M901において、第一の画像表示装置10は、物体31に対する参照情報を生成する。本実施形態において、第一の画像表示装置10は、物体31を被写体として撮像した撮像画像を画像コンテンツデータとして記憶するため、参照情報における参照状態は、撮像状態とする。
In M901, the first
M902において、第一の画像表示装置10は、物体31の属性情報中の参照情報の通知先情報に基づいて、生成した参照情報の通知先を決定する。本実施形態において、参照情報の通知先は通信装置30とする。
In M902, the first
M903において、第一の画像表示装置10は、通信装置30に、生成した参照情報を通知する。M904において、通信装置30は、第一の画像表示装置10から、参照情報を受信する。M905において、通信装置30は、受信した参照情報を記憶する。
In M903, the first
図10は、本実施形態に係る第二の画像表示装置20が、参照情報一覧を取得する際のメッセージの例を示すシーケンスである。なお、図示しないが、本実施形態において第二の画像表示装置20も、図8と同様に、物体31を撮像したものとする。
FIG. 10 is a sequence showing an example of a message when the second
M1001において、第二の画像表示装置20は、物体31の属性情報中の参照情報一覧の取得先情報に基づいて、参照情報一覧の取得先を決定する。本実施形態において、参照情報一覧の取得先は通信装置30とする。
In M1001, the second
M1002において、第二の画像表示装置20は、通信装置30に、参照情報一覧の取得要求を送信する。M1003において、通信装置30は、第二の画像表示装置20に、参照情報一覧を送信する。なお、この参照情報一覧には、M903において、第一の画像表示装置10から通信装置30が受信した参照情報が含まれているものとする。
In M1002, the second
M1004において、第二の画像表示装置20は、受信した参照情報一覧に記載の参照元オブジェクトに関する識別子が取得済であるか否か判断する。本実施形態では、第二の画像表示装置20は、参照元オブジェクトである第一の画像表示装置10の識別子は未取得であると判断する。
In M1004, the second
M1005において、第二の画像表示装置20は、管理サーバ60に、参照情報一覧に記載された第一の画像表示装置10に関する識別子に基づいて、第一の画像表示装置10の所有者となるオブジェクトに関する属性情報の取得要求を送信する。
In M1005, the second
M1006において、管理サーバ60は、第二の画像表示装置20に、第一の利用者11の属性情報を送信する。M1007において、第二の画像表示装置20は、物体31を参照している第一の利用者11が存在することを示すメッセージやアイコン等を表示する。具体的には、図16中に示すメッセージ34、などを表示する。
In M1006, the
図11は、本実施形態に係る第二の画像表示装置20が、第一の利用者11を撮像する際のメッセージの例を示すシーケンスである。
FIG. 11 is a sequence showing an example of a message when the second
M1101において、第二の画像表示装置20は、第一の利用者11を撮像する。M1102において、第二の画像表示装置20は、周囲の装置に対して、各装置の識別子の取得要求を送信する。
In M1101, the second
M1103において、第一の画像表示装置10は、第二の画像表示装置20から、識別子取得要求を受信する。そして、第一の画像表示装置10は、第二の画像表示装置20に、第一の画像表示装置10に割り当てられた識別子を送信する。
In M1103, the first
M1104において、第二の画像表示装置20は、管理サーバ60に、第一の画像表示装置10から受信した識別子に基づいて、第一の画像表示装置10の所有者となるオブジェクトに関する特徴情報の取得要求を送信する。
In M <b> 1104, the second
M1105において、管理サーバ60は、第二の画像表示装置20に、第一の利用者11の特徴情報を送信する。M1106において、第二の画像表示装置20は、管理サーバ60から取得した第一の利用者11の特徴情報に基づいて、撮像画像から第一の利用者11を特定する。
In M <b> 1105, the
M1107において、第二の画像表示装置20は、第一の画像表示装置10に関する識別子が、M1003において通信装置30から取得した参照情報一覧中の参照元識別子と一致するか否か判断する。本実施形態では、一致すると判断される。
In M1107, the second
M1108において、第二の画像表示装置20は、撮像画像中の第一の利用者11の近傍に、第一の利用者11の属性情報と共に、第一の利用者11が物体31を参照していることを示すアイコンやメッセージ等、を重ね合わせた合成画像を生成して、表示する。具体的には、図17中に示すメッセージ36、などを表示する。
In M1108, the second
M1109において、第二の画像表示装置20は、第二の利用者22の要求に基づいて、第一の画像表示装置10に、通信接続要求を送信する。本実施形態では、第一の画像表示装置10への通信要求を、第二の利用者22の要求に基づいて実施しているが、これに限らず、自動的に接続要求を行っても良い。
In M1109, the second
M1110において、第一の画像表示装置10は、第二の画像表示装置20に、通信接続応答を送信する。M1111において、第二の画像表示装置20は、第一の画像表示装置10に、第二の画像表示装置20が所有する物体31の撮像画像を送信する。M1112において、第一の画像表示装置10は、第二の画像表示装置20に、第一の画像表示装置10が所有する物体31の撮像画像を送信する。
In M1110, the first
図12は、本実施形態に係る第一の画像表示装置10、及び第二の画像表示装置20が、撮像する動作の手順を示すフローチャートである。
FIG. 12 is a flowchart showing a procedure of operations performed by the first
ステップS1201において、撮像制御部303は、被写体となるオブジェクトを撮像する。ステップS1202において、識別子取得部308は、周囲の装置に対して識別子の取得を要求する。
In step S1201, the
ステップS1203において、識別子取得部308は、周囲の装置から識別子を取得できたか否かを判断する。識別子を取得できたと判断された場合(S1203;YES)、ステップS1204へ進む。一方、識別子を取得できなかったと判断された場合(S1203;NO)、処理を終了する。
In step S1203, the
ステップS1204において、特徴情報取得部309は、ステップS1203において受信された識別子に基づいて、管理サーバ60から当該識別子に関するオブジェクトの特徴情報を取得する。
In step S1204, the feature
ステップS1205において、オブジェクト特定部311は、ステップS1204において取得されたオブジェクトの特徴情報に基づいて、撮像画像中からオブジェクトを特定する処理を行う。そしてオブジェクトを特定できたか否かを判断する。オブジェクトを特定できたと判断された場合(S1205;YES)、ステップS1206へ進む。一方、オブジェクトを特定できなかったと判断された場合(S1205;NO)、処理を終了する。
In step S1205, the
ステップS1206において、参照元オブジェクト判断部316は、参照情報一覧を取得済であるか否か判断する。参照情報一覧を取得済であると判断された場合(S1206;YES)、ステップS1210へ進む。一方、参照情報一覧を未取得であると判断された場合(S1206;NO)、ステップS1207へ進む。
In step S1206, the reference source
ステップS1207において、属性情報取得部310は、ステップS1203において受信した識別子に基づいて、管理サーバ60から識別子に関する属性情報を取得する。
In step S1207, the attribute
ステップS1208において、画像合成部312は、撮像画像に対して、ステップS1207において受信した属性情報を、特定したオブジェクトの近傍に重ね合わせた合成画像を生成する。
In step S1208, the
ステップS1209において、表示制御部304は、生成した合成画像を表示し、処理を終了する。ステップS1210において、参照元オブジェクト判断部316は、ステップS1205において特定したオブジェクトの識別子と、参照情報一覧中の参照元オブジェクトの識別子とが一致するか否かを判断する。一致すると判断された場合(S1210;YES)、ステップS1205において特定されたオブジェクトは、参照情報一覧における参照先オブジェクトに対する参照元オブジェクトであると判断され、ステップS1211へ進む。一方、一致しないと判定された場合(S1210;NO)、ステップS1207へ進む。
In step S1209, the
ステップS1211において、オブジェクト管理部313、及び画像合成部312は、ステップS1205において特定されたオブジェクトが、参照先オブジェクトに対する参照元オブジェクトであることを識別可能な合成画像を生成する。具体的には、図17中に示すメッセージ36、などを生成する。その後、ステップS1209へ進む。
In step S1211, the
図13は、本実施形態に係る第一の画像表示装置10、及び第二の画像表示装置20が、参照情報を通知する動作の手順を示すフローチャートである。このフローチャートを実行するのは、図12に示す撮像動作の後に、利用者が特定のオブジェクトに対して、詳細参照の指定をした場合、などである。
FIG. 13 is a flowchart showing an operation procedure in which the first
ステップS1301において、参照情報通知部314は、指定された特定のオブジェクトを参照先オブジェクト、装置の所有者を参照元オブジェクトとして、参照情報を生成する。
In step S1301, the reference
ステップS1302において、参照情報通知部314は、参照先オブジェクトに関する属性情報に基づいて、参照情報の通知先を決定する。ステップS1303において、参照情報通知部314は、生成した参照情報を通知する。
In step S1302, the reference
図14は、本実施形態に係る第一の画像表示装置10、及び第二の画像表示装置20が、参照情報一覧を取得する動作の手順を示すフローチャートである。なお、図示しないが、ステップS1403からステップS1411までの各処理は、参照情報一覧に記載された全ての参照元識別子に対して、当該参照元識別子ごとに実行される。
FIG. 14 is a flowchart showing a procedure of operations in which the first
ステップS1401において、参照情報一覧取得部315は、参照先オブジェクトに関する属性情報に基づいて、参照情報一覧の取得先を決定する。
In step S1401, the reference information
ステップS1402において、参照情報一覧取得部315は、参照情報一覧を取得する。ステップS1403において、参照元オブジェクト判断部316は、参照情報一覧中に記載された参照日時が所定の有効期間内であるか否かを判断する。すなわち、通信装置30から取得された複数の参照情報のうち、所定の有効期間が経過していない参照情報を用いるようにする。参照日時が所定の有効期間内であると判断された場合(S1403;YES)、ステップS1404へ進む。一方、参照日時が所定の有効期間外であると判断された場合(S1403;NO)、処理を終了する。
In step S1402, the reference information
ステップS1404において、参照元オブジェクト判断部316は、参照情報一覧中に記載された参照状態が所定の参照状態であるか否かを判断する。すなわち、通信装置30から取得された複数の参照情報のうち、状態が所定の状態である参照情報を用いるようにする。本実施形態における参照状態が所定の参照状態であるか否かの状態判断は、利用者による状態設定と一致するか否かにより行われる。例えば、利用者が、同じ被写体を撮像している他の利用者の存在のみを通知する、と設定したとする。この場合、参照元オブジェクト判断部316は、参照状態が撮像状態であるか否かを判断する。参照情報一覧中に記載された参照状態が所定の参照状態と一致すると判定された場合(S1404;YES)、ステップS1405へ進む。一方、参照状態が所定の参照状態と一致しないと判定された場合(S1404;YES)、処理を終了する。
In step S1404, the reference source
ステップS1405において、参照元オブジェクト判断部316は、参照情報一覧中に記載された参照元識別子を取得済であるか否かを判断する。取得済であると判断された場合(S1405;YES)、ステップS1409へ進む。一方、未取得であると判断された場合(S1404;NO)、ステップS1406へ進む。
In step S1405, the reference source
ステップS1406において、属性情報取得部310は、参照情報一覧中に記載された参照元識別子に基づいて、管理サーバ60から当該識別子に関する属性情報を取得する。
In step S1406, the attribute
ステップS1407において、オブジェクト管理部313、及び画像合成部312は、参照先オブジェクトに対する参照元オブジェクトが存在していることを示す合成画像を生成する。ただし、S1405において参照元識別子を未取得であり、この参照元オブジェクトが近辺に存在するか否かは不明のため、近辺に存在していることは記載しない。
In step S1407, the
ステップS1408において、表示制御部304は、生成した合成画像を表示する。
In step S1408, the
ステップS1409において、オブジェクト特定部311は、参照情報一覧中に記載された参照元オブジェクトの特徴情報に基づいて、撮像画像中から参照元オブジェクトを特定する。そして、参照元オブジェクトを特定できたか否かを判断する。特定できたと判断された場合(S1409;YES)、ステップS1411へ進む。一方、特定できなかったと判断された場合(S1409;NO)、ステップS1410へ進む。
In step S1409, the
ステップS1410において、オブジェクト管理部313、及び画像合成部312は、参照先オブジェクトに対する参照元オブジェクトが近辺に存在していることを示す合成画像を生成する。具体的には、図16中に示すメッセージ34、などを生成する。
In step S1410, the
ステップS1411において、オブジェクト管理部313、及び画像合成部312は、ステップS1409において特定されたオブジェクトが、参照先オブジェクトに対する参照元オブジェクトであることを識別可能な合成画像を生成する。具体的には、図17中に示すメッセージ36、などを生成する。
In step S1411, the
図15は、本実施形態に係る第一の画像表示装置10、及び第二の画像表示装置20が、他方の画像表示装置に接続し、撮像画像を交換する動作の手順を示すフローチャートである。
FIG. 15 is a flowchart illustrating a procedure of an operation in which the first
ステップS1501において、オブジェクト管理部313は、参照元オブジェクトに関する属性情報に基づいて、参照元オブジェクトが所有する他方の画像表示装置の通信先アドレス情報を取得する。そして、オブジェクト管理部313は、通信先アドレス情報に基づいて、無線LAN通信制御部302を介して、他方の画像表示装置との通信接続を行う。
In step S1501, the
ステップS1502において、オブジェクト管理部313は、記憶制御部306を介して、自身が所有する参照先オブジェクトの画像コンテンツデータを取得する。そして、オブジェクト管理部313は、無線LAN通信制御部302を介して、他方の画像表示装置に、当該画像コンテンツデータを送信する。
In step S1502, the
ステップS1503において、オブジェクト管理部313は、他方の画像表示装置から、他方の画像表示装置が所有する参照先オブジェクトの画像コンテンツデータを受信する。そして、オブジェクト管理部313は、記憶制御部306を介して、受信した画像コンテンツデータを記憶する。
In step S1503, the
以上、説明したように、第一の画像表示装置10は、物体31を被写体として撮像して属性情報を参照する際、物体31が所有する通信装置30に対して、第一の画像表示装置10を所有する第一の利用者11が物体31を参照したことを示す参照情報を通知する。
As described above, when the first
一方、第二の画像表示装置20は、通信装置30から参照情報一覧を取得し、物体31を参照している第一の利用者11に関する情報を取得する。もし、第一の画像表示装置10に関する識別子を未取得である場合、第二の画像表示装置20は、第一の利用者11が存在することを示すメッセージ等を表示する。これにより、第二の利用者21は、同じ物体31を被写体として撮像、参照している第一の利用者11の存在を知ることができ、利用者同士が知り合う機会につながり、利用者の利便性が向上する。
On the other hand, the second
さらに、もし、第一の画像表示装置10に関する識別子を取得しているが、撮像画像中から第一の利用者11を特定できなかった場合、第二の画像表示装置20は、第一の利用者11が近辺に存在することを示すメッセージ等を表示する。これにより、第二の利用者21は、同じ物体31を被写体として撮像、参照している第一の利用者11が、第二の利用者21の近辺に存在していることを知ることができる。そのため、第二の利用者21に対して、第一の利用者11を探索させる動機付けとなり、利用者同士が知り合う機会が増え、利用者の利便性がさらに向上する。
Furthermore, if the identifier related to the first
さらに、もし、第一の画像表示装置10に関する識別子を取得し、撮像画像中から第一の利用者11を特定できた場合、第二の画像表示装置20は、第一の利用者11を他の利用者とは識別可能に表示する。具体的には、図17中のメッセージ36で示した様に、同じ物体31を撮像中、あるいは参照中である旨を表示する。これにより、第二の利用者21は、同じ物体31を被写体として撮像、参照している第一の利用者11を特定することができる。そのため、利用者同士がその場所で実際に対面して、会話することが可能となり、利用者同士のコミュニケーションの活性化につながるため、利用者の利便性がさらに向上する。
Furthermore, if an identifier related to the first
また、参照情報一覧に含まれる参照情報が多くなった場合、第二の画像表示装置20の表示部207に、参照元オブジェクトの存在を示すメッセージが多く表示されてしまい、第二の利用者21の視認性を低下させる恐れがある。これを回避するために、図14のステップS1403、及びステップS1404で示した判断を実施している。
In addition, when the reference information included in the reference information list increases, many messages indicating the presence of the reference source object are displayed on the
ステップS1403において、第二の画像表示装置20は、取得した参照情報一覧の中から、時間判断処理により、参照日時が有効な参照元オブジェクトのみを選択する。これにより、例えば、参照日時が所定の期間経過している参照元オブジェクトを対象外にすることができる。そのため、第二の利用者21と知り合う可能性が高い、参照日時の新しい参照情報のみを選択して表示することができ、第二の利用者21の視認性を向上することができる。さらに、不要な参照元オブジェクトの特定処理を実施しないため、第二の画像表示装置20の処理を効率化することができる。
In step S1403, the second
また、ステップS1404において、第二の画像表示装置20は、取得した参照情報一覧の中から、状態判断処理により所定の参照状態を有する参照元オブジェクトのみを選択する。例えば、被写体となる参照先オブジェクトを詳細参照した参照元オブジェクトを対象とし、簡易参照した参照元オブジェクトを対象外にする、などである。これにより、被写体に対する興味の強い利用者のみを選択して表示することができ、第二の利用者21の視認性を向上することができる。さらに、不要な参照元オブジェクトの特定処理を実施しないため、第二の画像表示装置20の処理を効率化することができる。
In step S1404, the second
また、本実施形態では、参照情報は図7に示した情報を用いたが、これに限らず、その他の情報も用いても良い。特に、第一の画像表示装置10が物体31を参照している時の状態や状況を詳細に示す情報を利用することで、第一の利用者11が物体31に対して、どの程度興味を持っているのか、を詳細に判断することが可能となる。例えば、物体31に対する、被写体として撮像している時間、撮像して記憶した画像コンテンツ数、動画として撮像して記憶した動画コンテンツの時間長、詳細情報を参照している時間、などである。そして、これらの時間が所定値よりも長い、あるいは数が所定値よりも多い場合、第二の画像表示装置20は、第一の利用者11が物体31に対して、より強い興味を示している、と判断する。これにより、物体31に対してより興味の強い利用者のみを選択して表示することができ、第二の利用者21の視認性をさらに向上することができる。さらに、不要な参照元オブジェクトの特定処理を実施しないため、第二の画像表示装置20の処理をさらに効率化することができる。
In the present embodiment, the information shown in FIG. 7 is used as the reference information. However, the present invention is not limited to this, and other information may be used. In particular, to what extent the
なお、上述の効果は、第一の画像表示装置10と第二の画像表示装置20とを逆にしても、同様に有する。
Note that the above-described effects are similarly obtained even if the first
また、本実施形態では、通信装置30が参照情報の管理を行う。これにより、管理サーバ60が参照情報の管理を行うことによる管理サーバ60への処理負荷集中を軽減することができる。
In the present embodiment, the
一方、通信装置30において、無線LAN通信が不能の場合、計算資源が貧弱な場合、あるいは参照情報を記憶するための機能を備えていない場合、などにおいて、通信装置30の代わりに、管理サーバ60が参照情報の管理を行うことも可能である。その場合、通信装置30に関する属性情報中には、参照情報の通知先、参照情報一覧の取得先、管理サーバ60のアドレス情報を記載する。これにより、通信装置30の状態や性能、構成に応じてシステムをスケーラブルに変更することができる。
On the other hand, in the
また、本実施形態では、通信装置30を用いたが、これに限らず、図5に示す通信装置30の機能を備えた画像表示装置でも良い。具体的には、図3に示す第一の画像表示装置10の機能に加えて、図5に示す参照情報取得部330、参照情報管理部331、および参照情報一覧送信部332の機能を備えれば良い。
In this embodiment, the
以上、本発明の一実施形態を示した。 The embodiment of the present invention has been described above.
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
Claims (19)
前記第一の情報処理装置は、
人物または物体であるオブジェクトを前記第一の情報処理装置が参照したことを示す参照情報と、前記オブジェクトを前記第一の情報処理装置が参照した際の前記第一の情報処理装置の状態を示す状態情報とを、前記オブジェクトと関連付けられている通信装置へ通知する通知手段を備え、
前記第二の情報処理装置は、
前記参照情報と前記状態情報とを前記通信装置から取得する取得手段と、
前記取得手段により取得された前記状態情報に基づいて、前記オブジェクトを前記第一の情報処理装置が参照した際の前記第一の情報処理装置の状態が所定の状態であるか否かを判断する状態判断手段と、
前記取得手段により取得された前記参照情報により示される前記第一の情報処理装置が参照した前記オブジェクトを、前記第二の情報処理装置が参照した場合において、
前記第一の情報処理装置の状態が前記所定の状態であると前記状態判断手段により判断された場合、前記第一の情報処理装置を示す情報を前記第二の情報処理装置の表示部に表示させ、
前記第一の情報処理装置の状態が前記所定の状態でないと前記状態判断手段により判断された場合、前記第一の情報処理装置を示す情報を前記第二の情報処理装置の表示部に表示させない表示制御手段と、
を備えることを特徴とする情報処理システム。 An information processing system comprising a first information processing device and a second information processing device,
The first information processing apparatus includes:
Reference information indicating that the first information processing apparatus refers to an object that is a person or an object, and the state of the first information processing apparatus when the first information processing apparatus refers to the object Notification means for notifying state information to a communication device associated with the object;
The second information processing apparatus
Obtaining means for obtaining the reference information and the state information from the communication device;
Based on the state information acquired by the acquisition means, it is determined whether or not the state of the first information processing device when the first information processing device refers to the object is a predetermined state. State determination means;
In the case where the second information processing apparatus refers to the object referred to by the first information processing apparatus indicated by the reference information acquired by the acquisition means,
When the state determination unit determines that the state of the first information processing apparatus is the predetermined state, information indicating the first information processing apparatus is displayed on the display unit of the second information processing apparatus Let
When the state determination unit determines that the state of the first information processing device is not the predetermined state, information indicating the first information processing device is not displayed on the display unit of the second information processing device. Display control means;
An information processing system comprising:
人物または物体であるオブジェクトを前記第一の情報処理装置が参照したことを示す参照情報と、前記オブジェクトを前記第一の情報処理装置が参照した際の時間を示す時間情報とを、前記オブジェクトと関連付けられている通信装置へ通知する通知手段を備え、
前記第二の情報処理装置は、
前記参照情報と前記時間情報とを前記通信装置から取得する取得手段と、
前記取得手段により取得された前記時間情報に基づいて、前記オブジェクトを前記第一の情報処理装置が参照してから所定の期間が経過したか否かを判断する時間判断手段と、
前記取得手段により取得された前記参照情報により示される前記第一の情報処理装置が参照した前記オブジェクトを、前記第二の情報処理装置が参照した場合において、
前記オブジェクトを前記第一の情報処理装置が参照してから前記所定の期間が経過していないと前記時間判断手段により判断された場合、前記第一の情報処理装置を示す情報を前記第二の情報処理装置の表示部に表示させ、
前記オブジェクトを前記第一の情報処理装置が参照してから前記所定の期間が経過したと前記時間判断手段により判断された場合、前記第一の情報処理装置を示す情報を前記第二の情報処理装置の表示部に表示させない表示制御手段と、
を備えることを特徴とする情報処理システム。 An information processing system comprising a first information processing apparatus and a second information processing apparatus, wherein the first information processing apparatus
Reference information indicating that the first information processing apparatus refers to an object that is a person or an object, and time information indicating a time when the first information processing apparatus refers to the object, and the object A notification means for notifying the associated communication device;
The second information processing apparatus
Obtaining means for obtaining the reference information and the time information from the communication device;
Based on the time information acquired by the acquisition means, time determination means for determining whether or not a predetermined period has elapsed since the first information processing apparatus referred to the object;
In the case where the second information processing apparatus refers to the object referred to by the first information processing apparatus indicated by the reference information acquired by the acquisition means,
When the time determination unit determines that the predetermined period has not elapsed since the first information processing apparatus referred to the object, information indicating the first information processing apparatus is Displayed on the display unit of the information processing device,
When the time determination unit determines that the predetermined period has elapsed since the first information processing device referred to the object, information indicating the first information processing device is used as the second information processing. Display control means not to display on the display unit of the device;
An information processing system comprising:
人物または物体であるオブジェクトを他の情報処理装置が参照したことを示す参照情報と、前記オブジェクトを前記他の情報処理装置が参照した際の前記他の情報処理装置の状態を示す状態情報とを取得する取得手段と、
前記取得手段により取得された前記状態情報に基づいて、前記オブジェクトを前記他の情報処理装置が参照した際の前記他の情報処理装置の状態が所定の状態であるか否かを判断する状態判断手段と、
前記取得手段により取得された前記参照情報により示される前記他の情報処理装置が参照した前記オブジェクトを、前記情報処理装置が参照した場合において、
前記他の情報処理装置の状態が前記所定の状態であると前記状態判断手段により判断された場合、前記他の情報処理装置を示す情報を前記情報処理装置の表示部に表示させ、
前記他の情報処理装置の状態が前記所定の状態でないと前記状態判断手段により判断された場合、前記他の情報処理装置を示す情報を前記情報処理装置の表示部に表示させない表示制御手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus,
Reference information indicating that another information processing apparatus has referred to an object that is a person or an object, and state information indicating a state of the other information processing apparatus when the other information processing apparatus refers to the object. Acquisition means for acquiring;
State determination for determining whether or not the state of the other information processing apparatus is a predetermined state when the other information processing apparatus refers to the object based on the state information acquired by the acquisition unit Means,
When the information processing apparatus refers to the object referred to by the other information processing apparatus indicated by the reference information acquired by the acquisition means,
When the state determination unit determines that the state of the other information processing apparatus is the predetermined state, information indicating the other information processing apparatus is displayed on the display unit of the information processing apparatus,
Display control means for preventing information indicating the other information processing apparatus from being displayed on the display unit of the information processing apparatus when the state determination means determines that the state of the other information processing apparatus is not the predetermined state;
An information processing apparatus comprising:
人物または物体であるオブジェクトを他の情報処理装置が参照したことを示す参照情報と、前記オブジェクトを前記他の情報処理装置が参照した際の時間を示す時間情報とを取得する取得手段と、
前記取得手段により取得された前記時間情報に基づいて、前記オブジェクトを前記他の情報処理装置が参照してから所定の期間が経過したか否かを判断する時間判断手段と、
前記取得手段により取得された前記参照情報により示される前記他の情報処理装置が参照した前記オブジェクトを、前記情報処理装置が参照した場合において、
前記オブジェクトを前記他の情報処理装置が参照してから前記所定の期間が経過していないと前記時間判断手段により判断された場合、前記他の情報処理装置を示す情報を前記情報処理装置の表示部に表示させ、
前記オブジェクトを前記他の情報処理装置が参照してから前記所定の期間が経過したと前記時間判断手段により判断された場合、前記他の情報処理装置を示す情報を前記情報処理装置の表示部に表示させない表示制御手段と、
を備えることを特徴とする情報処理装置。 An information processing apparatus,
Obtaining means for obtaining reference information indicating that another information processing apparatus has referred to an object that is a person or an object, and time information indicating a time when the other information processing apparatus referred to the object;
Based on the time information acquired by the acquisition means, time determination means for determining whether or not a predetermined period has elapsed since the other information processing apparatus referred to the object;
When the information processing apparatus refers to the object referred to by the other information processing apparatus indicated by the reference information acquired by the acquisition means,
When the time determination unit determines that the predetermined period has not elapsed since the other information processing apparatus referred to the object, information indicating the other information processing apparatus is displayed on the information processing apparatus. Displayed on the
When the time determination unit determines that the predetermined period has elapsed since the other information processing apparatus referred to the object, information indicating the other information processing apparatus is displayed on the display unit of the information processing apparatus. Display control means not to display;
An information processing apparatus comprising:
前記表示制御手段は、前記複数の他の情報処理装置のうち、前記所定の期間が経過していないと判定された他の情報処理装置を示す情報を表示させることを特徴とする請求項4に記載の情報処理装置。 When the acquisition unit acquires reference information indicating that a plurality of other information processing devices have referred to the object,
5. The display control unit displays information indicating another information processing apparatus that has been determined that the predetermined period has not elapsed among the plurality of other information processing apparatuses. The information processing apparatus described.
前記表示制御手段は、前記複数の他の情報処理装置のうち、前記所定の状態であると判定された他の情報処理装置を示す情報を表示させることを特徴とする請求項3に記載の情報処理装置。 When the acquisition unit acquires reference information indicating that a plurality of other information processing devices have referred to the object,
The information according to claim 3, wherein the display control unit displays information indicating another information processing apparatus determined to be in the predetermined state among the plurality of other information processing apparatuses. Processing equipment.
前記他の情報処理装置の状態が前記オブジェクトの詳細な属性情報を参照した状態であると前記状態判断手段により判断された場合、前記他の情報処理装置を示す情報を前記情報処理装置の表示部に表示させ、
前記他の情報処理装置の状態が前記オブジェクトの簡易的な属性情報を参照した状態であると判断された場合、前記他の情報処理装置を示す情報を前記情報処理装置の表示部に表示させないことを特徴とする請求項3または7に記載の情報処理装置。 Whether the state determination unit is in a state where the other information processing apparatus refers to detailed attribute information of the object or whether the other information processing apparatus refers to simple attribute information of the object. Determine whether
If the state of the other information processing apparatus is determined by the state determining means that the state in which the detailed attribute information of the object, displaying information indicating the other information processing apparatus of the information processing apparatus Displayed on the
If the state of the other information processing apparatus is determined to be in a state of reference to simple attribute information of the object, do not display the information indicating the other information processing apparatus on the display unit of the information processing apparatus The information processing apparatus according to claim 3, wherein the information processing apparatus is an information processing apparatus.
前記他の情報処理装置の撮像状態が前記オブジェクトを撮像した画像を記憶する処理を行った状態であると前記状態判断手段により判断された場合、前記他の情報処理装置を示す情報を前記情報処理装置の表示部に表示させ、
前記他の情報処理装置の撮像状態が前記オブジェクトを撮像した画像を記憶する処理を行った状態であると前記状態判断手段により判断されなかった場合、前記他の情報処理装置を示す情報を前記情報処理装置の表示部に表示させない請求項3、7または8に記載の情報処理装置。 The state determination unit determines an imaging state of the object by the other information processing apparatus,
If it is determined by the other as a state in which the imaging state is subjected to processing for storing the image obtained by imaging the object of the information processing apparatus the condition determining means, the information the information indicative of the other information processing apparatus Display on the display of the processor,
When the imaging state of the other information processing apparatus is not determined by the state determining means that the state of performing the process of storing an image obtained by imaging the object, the information the information indicative of the other information processing apparatus The information processing apparatus according to claim 3, 7 or 8, which is not displayed on a display unit of the information processing apparatus.
前記オブジェクトを特定するための特徴情報に基づいて、前記撮像手段により撮像された画像から前記オブジェクトを特定する特定手段を有し、
前記表示制御手段は、前記オブジェクトが前記特定手段により特定された場合、前記他の情報処理装置を示す情報の表示制御を行う請求項3乃至10の何れか1項に記載の情報処理装置。 Imaging means;
Based on feature information for identifying the object, comprising specifying means for specifying the object from an image captured by the imaging means;
The information processing apparatus according to claim 3, wherein the display control unit performs display control of information indicating the other information processing apparatus when the object is specified by the specifying unit.
前記表示制御手段は、
前記判断手段により前記他の情報処理装置に関連する人物が画像から特定されなかったと判断された場合、前記他の情報処理装置が前記情報処理装置の所定範囲内に存在することを示す情報を表示させ、
前記判断手段により前記他の情報処理装置に関連する人物が画像から特定されたと判断された場合、前記他の情報処理装置に関連する人物が画像中に存在することを示す情報を表示させることを特徴とする請求項11に記載の情報処理装置。 A feature associated with the other information processing device is a feature information different from the feature information for identifying the object from an image captured by the imaging means by a person related to the other information processing device. A judgment means for judging whether or not the information is specified based on the information;
The display control means includes
When the determination unit determines that a person related to the other information processing apparatus has not been identified from the image, information indicating that the other information processing apparatus exists within a predetermined range of the information processing apparatus is displayed. Let
When it is determined by the determination means that a person related to the other information processing apparatus is specified from the image, information indicating that the person related to the other information processing apparatus exists in the image is displayed. The information processing apparatus according to claim 11.
前記表示制御手段は、
前記オブジェクトを前記情報処理装置が撮像した、前記オブジェクトを前記情報処理装置の表示部が表示したまたは前記オブジェクトの属性情報を前記情報処理装置の表示部が表示した場合、前記他の情報処理装置を示す情報の表示制御を行うことを特徴とする請求項3乃至9の何れか1項に記載の情報処理装置。 The reference information includes the fact that the other information processing apparatus has captured the object, the display of the object by the display unit of the other information processing apparatus, or the attribute information of the object displayed by the other information processing apparatus. Information indicating that the
The display control means includes
When the information processing device images the object, the display unit of the information processing device displays the object, or the display unit of the information processing device displays attribute information of the object, the other information processing device The information processing apparatus according to claim 3, wherein display control of information to be displayed is performed.
前記第一の情報処理装置では、
人物または物体であるオブジェクトを前記第一の情報処理装置が参照したことを示す参照情報と、前記オブジェクトを前記第一の情報処理装置が参照した際の前記第一の情報処理装置の状態を示す状態情報とを、前記オブジェクトと関連付けられている通信装置へ通知する通知工程を有し、
前記第二の情報処理装置では、
前記参照情報と前記状態情報とを前記通信装置から取得する取得工程と、
前記取得工程により取得された前記状態情報に基づいて、前記オブジェクトを前記第一の情報処理装置が参照した際の前記第一の情報処理装置の状態が所定の状態であるか否かを判断する状態判断工程と、
前記取得工程により取得された前記参照情報により示される前記第一の情報処理装置が参照した前記オブジェクトを、前記第二の情報処理装置が参照した場合において、
前記第一の情報処理装置の状態が前記所定の状態であると前記状態判断工程により判断された場合、前記第一の情報処理装置を示す情報を前記第二の情報処理装置の表示部に表示させ、
前記第一の情報処理装置の状態が前記所定の状態でないと前記状態判断工程により判断された場合、前記第一の情報処理装置を示す情報を前記第二の情報処理装置の表示部に表示させない表示制御工程と、
を有することを特徴とする情報処理システムの制御方法。 A control method for an information processing system comprising a first information processing device and a second information processing device,
In the first information processing apparatus,
Reference information indicating that the first information processing apparatus refers to an object that is a person or an object, and the state of the first information processing apparatus when the first information processing apparatus refers to the object A notification step of notifying state information to a communication device associated with the object;
In the second information processing apparatus,
An acquisition step of acquiring the reference information and the state information from the communication device;
Based on the state information acquired in the acquisition step, it is determined whether or not the state of the first information processing device when the first information processing device refers to the object is a predetermined state. A state determination process;
In the case where the second information processing device refers to the object referred to by the first information processing device indicated by the reference information acquired by the acquisition step,
When the state determination step determines that the state of the first information processing apparatus is the predetermined state, information indicating the first information processing apparatus is displayed on the display unit of the second information processing apparatus Let
When the state determination step determines that the state of the first information processing device is not the predetermined state, information indicating the first information processing device is not displayed on the display unit of the second information processing device. A display control process;
An information processing system control method comprising:
前記第一の情報処理装置では、
人物または物体であるオブジェクトを前記第一の情報処理装置が参照したことを示す参照情報と、前記オブジェクトを前記第一の情報処理装置が参照した際の時間を示す時間情報とを、前記オブジェクトと関連付けられている通信装置へ通知する通知工程を有し、
前記第二の情報処理装置では、
前記参照情報と前記時間情報とを前記通信装置から取得する取得工程と、
前記取得工程により取得された前記時間情報に基づいて、前記オブジェクトを前記第一の情報処理装置が参照してから所定の期間が経過したか否かを判断する時間判断工程と、
前記取得工程により取得された前記参照情報により示される前記第一の情報処理装置が参照した前記オブジェクトを、前記第二の情報処理装置が参照した場合において、
前記オブジェクトを前記第一の情報処理装置が参照してから前記所定の期間が経過していないと前記時間判断工程により判断された場合、前記第一の情報処理装置を示す情報を前記第二の情報処理装置の表示部に表示させ、
前記オブジェクトを前記第一の情報処理装置が参照してから前記所定の期間が経過したと前記時間判断工程により判断された場合、前記第一の情報処理装置を示す情報を前記第二の情報処理装置の表示部に表示させない表示制御工程と、
を有することを特徴とする情報処理システムの制御方法。 A control method for an information processing system comprising a first information processing device and a second information processing device,
In the first information processing apparatus,
Reference information indicating that the first information processing apparatus refers to an object that is a person or an object, and time information indicating a time when the first information processing apparatus refers to the object, and the object Having a notification step of notifying the associated communication device;
In the second information processing apparatus,
An acquisition step of acquiring the reference information and the time information from the communication device;
Based on the time information acquired by the acquisition step, a time determination step of determining whether or not a predetermined period has elapsed since the first information processing apparatus referred to the object;
In the case where the second information processing device refers to the object referred to by the first information processing device indicated by the reference information acquired by the acquisition step,
When the time determination step determines that the predetermined period has not elapsed since the first information processing apparatus referred to the object, information indicating the first information processing apparatus is Displayed on the display unit of the information processing device,
When the time determination step determines that the predetermined period has elapsed since the first information processing device referred to the object, information indicating the first information processing device is used as the second information processing. A display control process not to be displayed on the display unit of the device;
An information processing system control method comprising:
人物または物体であるオブジェクトを他の情報処理装置が参照したことを示す参照情報と、前記オブジェクトを前記他の情報処理装置が参照した際の前記他の情報処理装置の状態を示す状態情報とを取得する取得工程と、
前記取得工程により取得された前記状態情報に基づいて、前記オブジェクトを前記他の情報処理装置が参照した際の前記他の情報処理装置の状態が所定の状態であるか否かを判断する状態判断工程と、
前記取得工程により取得された前記参照情報により示される前記他の情報処理装置が参照した前記オブジェクトを、前記情報処理装置が参照した場合において、
前記他の情報処理装置の状態が前記所定の状態であると前記状態判断工程により判断された場合、前記他の情報処理装置を示す情報を前記情報処理装置の表示部に表示させ、
前記他の情報処理装置の状態が前記所定の状態でないと前記状態判断工程により判断された場合、前記他の情報処理装置を示す情報を前記情報処理装置の表示部に表示させない表示制御工程と、
を有することを特徴とする情報処理装置の制御方法。 A method for controlling an information processing apparatus,
Reference information indicating that another information processing apparatus has referred to an object that is a person or an object, and state information indicating a state of the other information processing apparatus when the other information processing apparatus refers to the object. An acquisition process to acquire;
State determination for determining whether or not the state of the other information processing apparatus when the other information processing apparatus refers to the object is a predetermined state based on the state information acquired by the acquisition step Process,
In the case where the information processing apparatus refers to the object referred to by the other information processing apparatus indicated by the reference information acquired in the acquisition step,
When the state determination step determines that the state of the other information processing apparatus is the predetermined state, information indicating the other information processing apparatus is displayed on a display unit of the information processing apparatus,
A display control step of not displaying information indicating the other information processing device on a display unit of the information processing device when the state determination step determines that the state of the other information processing device is not the predetermined state;
A method for controlling an information processing apparatus, comprising:
人物または物体であるオブジェクトを他の情報処理装置が参照したことを示す参照情報と、前記オブジェクトを前記他の情報処理装置が参照した際の時間を示す時間情報とを取得する取得工程と、
前記取得工程により取得された前記時間情報に基づいて、前記オブジェクトを前記他の情報処理装置が参照してから所定の期間が経過したか否かを判断する時間判断工程と、
前記取得工程により取得された前記参照情報により示される前記他の情報処理装置が参照した前記オブジェクトを、前記情報処理装置が参照した場合において、
前記オブジェクトを前記他の情報処理装置が参照してから前記所定の期間が経過していないと前記時間判断工程により判断された場合、前記他の情報処理装置を示す情報を前記情報処理装置の表示部に表示させ、
前記オブジェクトを前記他の情報処理装置が参照してから前記所定の期間が経過したと前記時間判断工程により判断された場合、前記他の情報処理装置を示す情報を前記情報処理装置の表示部に表示させない表示制御工程と、
を有することを特徴とする情報処理装置の制御方法。 A method for controlling an information processing apparatus,
An acquisition step of acquiring reference information indicating that another information processing apparatus has referred to an object that is a person or an object, and time information indicating a time when the other information processing apparatus refers to the object;
Based on the time information acquired by the acquisition step, a time determination step of determining whether or not a predetermined period has elapsed since the other information processing apparatus referred to the object;
In the case where the information processing apparatus refers to the object referred to by the other information processing apparatus indicated by the reference information acquired in the acquisition step,
When the time determination step determines that the predetermined period has not elapsed since the other information processing apparatus referred to the object, information indicating the other information processing apparatus is displayed on the information processing apparatus. Displayed on the
When the time determination step determines that the predetermined period has elapsed since the other information processing apparatus refers to the object, information indicating the other information processing apparatus is displayed on the display unit of the information processing apparatus. Display control process not to display,
A method for controlling an information processing apparatus, comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011181931A JP6041470B2 (en) | 2011-08-23 | 2011-08-23 | Information processing system, information processing apparatus, control method therefor, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011181931A JP6041470B2 (en) | 2011-08-23 | 2011-08-23 | Information processing system, information processing apparatus, control method therefor, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013044895A JP2013044895A (en) | 2013-03-04 |
JP2013044895A5 JP2013044895A5 (en) | 2014-10-09 |
JP6041470B2 true JP6041470B2 (en) | 2016-12-07 |
Family
ID=48008858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011181931A Active JP6041470B2 (en) | 2011-08-23 | 2011-08-23 | Information processing system, information processing apparatus, control method therefor, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6041470B2 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000172238A (en) * | 1998-12-09 | 2000-06-23 | Atr Media Integration & Communications Res Lab | Personalized information representing method |
JP2001175718A (en) * | 1999-12-15 | 2001-06-29 | Nec Corp | System and method for introduction and recording medium with program for introduction recorded thereon |
JP2005182144A (en) * | 2003-12-16 | 2005-07-07 | Fuji Xerox Co Ltd | Dialog supporting device |
JP2006107281A (en) * | 2004-10-07 | 2006-04-20 | Queen Mary & Westfield College | Communication supporting apparatus |
-
2011
- 2011-08-23 JP JP2011181931A patent/JP6041470B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013044895A (en) | 2013-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10659527B2 (en) | Opportunistic crowd-based service platform | |
JP5995520B2 (en) | Image processing support system, information processing apparatus, and image processing shadow support method | |
US8520967B2 (en) | Methods and apparatuses for facilitating generation images and editing of multiframe images | |
EP3785225B1 (en) | Efficient parallel optical flow algorithm and gpu implementation | |
WO2014178364A1 (en) | System, program, and method for message transceiving assistance | |
US9167012B2 (en) | Method and apparatus for sharing media upon request via social networks | |
US20090241039A1 (en) | System and method for avatar viewing | |
JP5926550B2 (en) | Printing system, information processing terminal, server, control method, and program | |
US11271940B1 (en) | Expanded mobile device content access | |
US11902477B1 (en) | Sharing images based on face matching in a network | |
EP3972236A1 (en) | Communication terminal, image communication system, method for displaying image, and carrier means | |
WO2023109452A1 (en) | Control method, electronic device, and computer-readable storage medium | |
JP2012150629A (en) | Server device, printing system and printing method | |
JP6614782B2 (en) | Communication device, control method, and program | |
JP6041470B2 (en) | Information processing system, information processing apparatus, control method therefor, and program | |
US20220248099A1 (en) | Multi-video capture system | |
JP2012208558A (en) | Display control apparatus, terminal device, communication system, and program | |
WO2018079043A1 (en) | Information processing device, image pickup device, information processing system, information processing method, and program | |
KR101670983B1 (en) | Screen sharing system and method thereof | |
US9923972B2 (en) | Control apparatus for controlling data transmission via network, and method for selecting data destination | |
EP3471386B1 (en) | Electronic device and method for displaying service information in electronic device | |
JP2016143247A (en) | Information processing device, control method and program | |
JP6188512B2 (en) | Information processing apparatus, information processing method, and program | |
US20140285512A1 (en) | Alternate visual presentations | |
JP2022009257A (en) | Control program for terminal device, control method for terminal device, and terminal device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140821 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140821 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150430 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150709 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160204 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160404 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160524 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161011 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161108 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6041470 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |