JP2011081557A - Information processor, method of processing information, and program - Google Patents

Information processor, method of processing information, and program Download PDF

Info

Publication number
JP2011081557A
JP2011081557A JP2009232632A JP2009232632A JP2011081557A JP 2011081557 A JP2011081557 A JP 2011081557A JP 2009232632 A JP2009232632 A JP 2009232632A JP 2009232632 A JP2009232632 A JP 2009232632A JP 2011081557 A JP2011081557 A JP 2011081557A
Authority
JP
Japan
Prior art keywords
additional information
information
real object
display
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009232632A
Other languages
Japanese (ja)
Other versions
JP5446700B2 (en
Inventor
Akira Miyashita
朗 宮下
Kazuhiro Suzuki
和弘 鈴木
Hiroyuki Ishige
広行 石毛
Tatsuya Osaki
辰也 大崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009232632A priority Critical patent/JP5446700B2/en
Publication of JP2011081557A publication Critical patent/JP2011081557A/en
Application granted granted Critical
Publication of JP5446700B2 publication Critical patent/JP5446700B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To display additional information superposed on a real object of a real space image at an appropriate position. <P>SOLUTION: An information processor 10 includes: a storage section 210 for relating feature information indicating features of a real object within an image to additional information added to the real object and stores them; an image acquisition section 202 for acquiring a real space image; a detection section 204 for detecting a real object within the real space image and a display position within the real space image of the real object, based on the feature information; a determination section 206 for determining a display range of additional information added to the real object within the real space image detected by the detection section 204; and a display control section 208 for adding the additional information to the real object within the real space image and displays it. The display control section 208 maintains the display position of the additional information when movement of the display position of the real object within the real space image is detected by the detection section and when the additional information being displayed is within a display range of the additional information determined by the determination section. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、情報処理装置、情報処理方法およびプログラムに関する。   The present invention relates to an information processing apparatus, an information processing method, and a program.

最近では、拡張現実技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の一環として撮影画像に対して何らかの付加情報を重畳することが行われている。例えば、撮像画像に重畳された文字情報等の仮想的な情報をオーバレイしてユーザに提示し、クリック等により仮想的な情報を選択して、さらに詳細な情報を容易に取得する技術が開示されている（例えば、特許文献１）。これにより、ユーザは、撮像装置により撮像された実画像に関連する情報を、簡易かつ迅速に入手することができる。   Recently, some additional information is superimposed on a captured image as part of augmented reality technology (Augmented Reality). For example, a technique is disclosed in which virtual information such as character information superimposed on a captured image is overlaid and presented to the user, virtual information is selected by clicking or the like, and more detailed information is easily acquired. (For example, Patent Document 1). Thereby, the user can easily and quickly obtain information related to the actual image captured by the imaging device.

特開２００５−３１９１６号公報JP 2005-31916 A

しかし、風景画像等を撮像する際に、手ぶれ等により表示画像内の対象物の移動とともに、仮想的な情報の表示位置も移動してしまい、仮想的な情報を判別し難くなるという問題があった。また、上記特許文献１のように、仮想的な情報をクリック等により選択する場合にも、仮想的な情報の表示位置が動いてしまい詳細な情報を取得することが困難となるという問題があった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、実空間画像の実物体に付加される付加情報を適切な位置に表示させることが可能な、新規かつ改良された情報処理装置、情報処理方法およびプログラムを提供することにある。 However, when taking a landscape image or the like, there is a problem in that it is difficult to discriminate the virtual information because the display position of the virtual information moves along with the movement of the object in the display image due to camera shake or the like. It was. In addition, as in the above-mentioned Patent Document 1, when virtual information is selected by clicking or the like, there is a problem that it becomes difficult to acquire detailed information because the display position of the virtual information moves. It was.
Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to display additional information added to a real object of a real space image at an appropriate position. It is an object to provide a new and improved information processing apparatus, information processing method, and program.

上記課題を解決するために、本発明のある観点によれば、画像内の実物体の特徴を示す特徴情報と、該実物体に付加される付加情報とを関連付けて記憶している記憶部と、実空間画像を取得する画像取得部と、特徴情報をもとに、実空間画像内の実物体と該実物体の実空間画像内での表示位置を検出する検出部と、検出部により検出された実空間画像内の実物体に付加する付加情報の表示範囲を決定する決定部と、付加情報を実空間画像内の実物体に付加して表示する表示制御部と、を備え、表示制御部は、実空間画像内での実物体の表示位置が移動したことが検出部により検出され、表示している付加情報が決定部により決定された付加情報の表示範囲内である場合に付加情報の表示位置を維持する、情報処理装置が提供される。   In order to solve the above-described problem, according to an aspect of the present invention, a storage unit that stores feature information indicating characteristics of a real object in an image and additional information added to the real object in association with each other; An image acquisition unit for acquiring a real space image, a detection unit for detecting a real object in the real space image and a display position of the real object in the real space image based on the feature information, and detection by the detection unit A display unit for determining the display range of the additional information to be added to the real object in the real space image, and a display control unit for adding the additional information to the real object in the real space image for display. The additional information is detected when the detection unit detects that the display position of the real object in the real space image has moved and the displayed additional information is within the display range of the additional information determined by the determination unit. An information processing apparatus that maintains the display position is provided.

また、表示制御部は、実空間画像内での実物体の表示位置が移動したことが検出部により検出され、表示している付加情報が決定部により決定された付加情報の表示範囲内ではない場合に、付加情報の表示位置を表示範囲内に移動させてもよい。   The display control unit detects that the display position of the real object in the real space image has moved, and the additional information being displayed is not within the display range of the additional information determined by the determination unit. In this case, the display position of the additional information may be moved within the display range.

また、表示制御部は、実空間画像内での実物体の表示位置が移動したことが検出部により検出され、表示している付加情報が決定部により決定された付加情報の表示範囲内ではない場合に、付加情報の表示位置を実物体に追随させて表示範囲内に移動させてもよい。   The display control unit detects that the display position of the real object in the real space image has moved, and the additional information being displayed is not within the display range of the additional information determined by the determination unit. In this case, the display position of the additional information may be moved within the display range by following the real object.

また、記憶部には、さらに、実物体に該付加情報を付加する付加領域を示す付加領域情報が関連付けて記憶されており、決定部は、付加領域に基づいて、実空間画像内の実物体に付加する付加情報の表示範囲を決定してもよい。   The storage unit further stores additional region information indicating an additional region to which the additional information is added to the real object, and the determination unit is configured to store the real object in the real space image based on the additional region. The display range of the additional information to be added to may be determined.

また、付加領域は、実物体の表示領域を基準とした所定の領域であってもよい。   The additional area may be a predetermined area based on the display area of the real object.

また、記憶部には、さらに、付加情報が付加領域に対して適切な位置に表示されているか否かを判定するための接続判定領域情報が関連付けて記憶されており、決定部は、接続判定領域情報をもとに、実空間画像内の接続判定領域を決定し、表示制御部は、実空間画像内での実物体の表示位置が移動したことが検出部により検出され、接続判定領域と付加領域とが接触している場合に、付加情報の表示位置を維持してもよい。   In addition, the storage unit further stores connection determination area information for determining whether or not the additional information is displayed at an appropriate position with respect to the additional area, and the determination unit determines whether or not the connection determination is performed. Based on the area information, a connection determination area in the real space image is determined, and the display control unit detects that the display position of the real object in the real space image has moved, and the connection determination area and When the additional area is in contact, the display position of the additional information may be maintained.

また、接続判定領域は、付加情報の表示領域を基準とした所定の領域であってもよい。   Further, the connection determination area may be a predetermined area based on a display area for additional information.

また、表示制御部は、実空間画像内での実物体の表示位置が移動したことが検出部により検出され、表示している付加情報の接続判定領域と付加情報の表示範囲とが接触している場合に、接触の度合いに応じて付加情報の表示範囲の大きさを変更してもよい。   Further, the display control unit detects that the display position of the real object in the real space image has moved, and the connection determination area of the additional information being displayed and the display range of the additional information are in contact with each other. The display range of the additional information may be changed according to the degree of contact.

また、表示制御部は、付加情報の表示位置を維持するか移動するか否かについて、所定の間隔で判定してもよい。   Further, the display control unit may determine whether to maintain the display position of the additional information or move at predetermined intervals.

また、上記課題を解決するために、本発明の別の観点によれば、実空間画像を取得するステップと、特徴情報をもとに、実空間画像内の実物体と該実物体の実空間画像内での表示位置を検出するステップと、検出された実空間画像内の実物体に付加する付加情報の表示範囲を決定するステップと、実空間画像内での実物体の表示位置が移動したことが検出され、表示している付加情報が決定された付加情報の表示範囲内である場合に付加情報の表示位置を維持するステップと、を含む情報処理方法が提供される。   In order to solve the above problem, according to another aspect of the present invention, a real space image is obtained based on the step of acquiring a real space image and the feature information, and the real space of the real object. The step of detecting the display position in the image, the step of determining the display range of additional information to be added to the real object in the detected real space image, and the display position of the real object in the real space image have moved And a step of maintaining the display position of the additional information when the additional information being displayed is within the determined display range of the additional information.

さらに、上記情報処理方法は実空間画像内での実物体の表示位置が移動したことが検出され、表示している付加情報が決定された付加情報の表示範囲内ではない場合に、付加情報の表示位置を表示範囲内に移動させるステップを含んでもよい。   Further, when the information processing method detects that the display position of the real object in the real space image has moved and the displayed additional information is not within the determined display range of the additional information, the additional information A step of moving the display position within the display range may be included.

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、画像内の実物体の特徴を示す特徴情報と、該実物体に付加される付加情報とを関連付けて記憶している記憶部と、実空間画像を取得する画像取得部と、特徴情報をもとに、実空間画像内の実物体と該実物体の実空間画像内での表示位置を検出する検出部と、検出部により検出された実空間画像内の実物体に付加する付加情報の表示範囲を決定する決定部と、付加情報を実空間画像内の実物体に付加して表示する表示制御部と、を備え、表示制御部は、実空間画像内での実物体の表示位置が移動したことが検出部により検出され、表示している付加情報が決定部により決定された付加情報の表示範囲内である場合に付加情報の表示位置を維持する、情報処理装置として機能させるためのプログラムが提供される。   In order to solve the above problem, according to another aspect of the present invention, a computer stores characteristic information indicating characteristics of a real object in an image in association with additional information added to the real object. A storage unit, an image acquisition unit that acquires a real space image, and a detection unit that detects a real object in the real space image and a display position of the real object in the real space image based on the feature information A determination unit that determines a display range of additional information to be added to the real object in the real space image detected by the detection unit, and a display control unit that adds the additional information to the real object in the real space image for display. The display control unit detects that the display position of the real object in the real space image has moved, and the display additional information is within the display range of the additional information determined by the determination unit. Information processing apparatus that maintains the display position of the additional information Program is provided for functioning with.

以上説明したように本発明によれば、実空間画像の実物体に付加される付加情報を適切な位置に表示させることができる。   As described above, according to the present invention, additional information added to a real object of a real space image can be displayed at an appropriate position.

本発明の実施形態にかかる情報処理装置の概要を説明する説明図である。It is explanatory drawing explaining the outline | summary of the information processing apparatus concerning embodiment of this invention. 同実施形態にかかる情報処理装置のハードウェア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of the information processing apparatus concerning the embodiment. 本発明の第１の実施形態にかかる情報処理装置の機能構成を示すブロック図である。It is a block diagram which shows the function structure of the information processing apparatus concerning the 1st Embodiment of this invention. 同実施形態にかかる付加領域情報の内容を説明する説明図である。It is explanatory drawing explaining the content of the additional area | region information concerning the embodiment. 同実施形態にかかる接続判定領域情報の内容を説明する説明図である。It is explanatory drawing explaining the content of the connection determination area | region information concerning the embodiment. 同実施形態にかかる実物体の付加領域について説明する説明図である。It is explanatory drawing explaining the addition area | region of the real object concerning the embodiment. 同実施形態にかかる付加情報の接続判定領域について説明する説明図である。It is explanatory drawing explaining the connection determination area | region of the additional information concerning the embodiment. 同実施形態にかかる付加情報の表示方法について説明する説明図である。It is explanatory drawing explaining the display method of the additional information concerning the embodiment. 同実施形態にかかる付加情報の表示方法について説明する説明図である。It is explanatory drawing explaining the display method of the additional information concerning the embodiment. 同実施形態にかかる付加情報の表示方法について説明する説明図である。It is explanatory drawing explaining the display method of the additional information concerning the embodiment. 同実施形態にかかる情報処理装置の全体動作を示すフローチャートである。3 is a flowchart showing an overall operation of the information processing apparatus according to the embodiment. 同実施形態にかかる付加情報表示位置の更新処理を示すフローチャートである。It is a flowchart which shows the update process of the additional information display position concerning the embodiment. 本発明の第２の実施形態にかかる実物体の付加領域について説明する説明図である。It is explanatory drawing explaining the additional area | region of the real object concerning the 2nd Embodiment of this invention. 同実施形態にかかる付加情報の接続判定領域について説明する説明図である。It is explanatory drawing explaining the connection determination area | region of the additional information concerning the embodiment. 同実施形態にかかる付加情報の表示方法について説明する説明図である。It is explanatory drawing explaining the display method of the additional information concerning the embodiment. 同実施形態にかかる付加情報の表示方法について説明する説明図である。It is explanatory drawing explaining the display method of the additional information concerning the embodiment. 同実施形態にかかる付加情報の表示方法について説明する説明図である。It is explanatory drawing explaining the display method of the additional information concerning the embodiment.

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。   Exemplary embodiments of the present invention will be described below in detail with reference to the accompanying drawings. In addition, in this specification and drawing, about the component which has the substantially same function structure, duplication description is abbreviate | omitted by attaching | subjecting the same code | symbol.

また、以下に示す順序に従って、当該「発明を実施するための最良の形態」を説明する。
〔１〕本実施形態の目的
〔２〕情報処理装置の概要
〔３〕情報処理装置のハードウェア構成
〔４〕第１実施形態
〔４−１〕情報処理装置の機能構成
〔４−２〕情報処理装置の動作の詳細
〔５〕第２実施形態
〔５−１〕情報処理装置の機能構成
〔５−２〕情報処理装置の動作の詳細 Further, the “best mode for carrying out the invention” will be described in the following order.
[1] Purpose of this embodiment [2] Outline of information processing apparatus [3] Hardware configuration of information processing apparatus [4] First embodiment [4-1] Functional configuration of information processing apparatus [4-2] Information Details of operation of processing apparatus [5] Second embodiment [5-1] Functional configuration of information processing apparatus [5-2] Details of operation of information processing apparatus

〔１〕本実施形態の目的
まず、本実施形態の目的について説明する。最近では、拡張現実技術（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）の一環として撮影画像に対して何らかの付加情報を重畳することが行われている。例えば、撮像画像に重畳された文字情報等の仮想的な情報をオーバレイしてユーザに提示し、クリック等により仮想的な情報を選択して、さらに詳細な情報を容易に取得する技術が開示されている。当該技術により、ユーザは、撮像装置により撮像された実画像に関連する情報を、簡易かつ迅速に入手することができる。 [1] Purpose of this Embodiment First, the purpose of this embodiment will be described. Recently, some additional information is superimposed on a captured image as part of augmented reality technology (Augmented Reality). For example, a technique is disclosed in which virtual information such as character information superimposed on a captured image is overlaid and presented to the user, virtual information is selected by clicking or the like, and more detailed information is easily acquired. ing. With this technology, the user can easily and quickly obtain information related to the actual image captured by the imaging device.

しかし、風景画像等を撮像する際に、手ぶれ等により表示画像内の対象物の移動とともに、仮想的な情報の表示位置も移動してしまい、仮想的な情報を判別し難くなるという問題があった。また、上記技術のように、仮想的な情報をクリック等により選択する場合にも、仮想的な情報の表示位置が動いてしまい詳細な情報を取得することが困難となるという問題があった。   However, when taking a landscape image or the like, there is a problem in that it is difficult to discriminate the virtual information because the display position of the virtual information moves along with the movement of the object in the display image due to camera shake or the like. It was. Further, when virtual information is selected by clicking or the like as in the above technique, there is a problem that it becomes difficult to acquire detailed information because the display position of the virtual information moves.

そこで、上記のような事情を一着眼点として、本発明の実施形態にかかる情報処理装置１０が創作されるに至った。本実施形態にかかる情報処理装置１０によれば、実空間画像の実物体に付加される付加情報を適切な位置に表示させることが可能となる。   Therefore, the information processing apparatus 10 according to the embodiment of the present invention has been created with the above circumstances as a focus. According to the information processing apparatus 10 according to the present embodiment, it is possible to display additional information added to a real object of a real space image at an appropriate position.

〔２〕情報処理装置の概要
次に、図１を参照して、情報処理装置１０の概要について説明する。図１は、情報処理装置１０の概要を説明する説明図である。情報処理装置１０は、例えば、携帯電話やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）や小型のＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）など、表示装置を備える情報処理端末を例示することができる。情報処理装置１０には、実画像に付加される仮想的な情報が登録されている。仮想的な情報は、ビルや店舗の実物体の画像と、該実物体に付加される付加情報が対応付けられた情報である。 [2] Overview of Information Processing Device Next, an overview of the information processing device 10 will be described with reference to FIG. FIG. 1 is an explanatory diagram for explaining an overview of the information processing apparatus 10. Examples of the information processing apparatus 10 include an information processing terminal including a display device such as a mobile phone, a PDA (Personal Digital Assistant), and a small PC (Personal Computer). In the information processing apparatus 10, virtual information added to a real image is registered. The virtual information is information in which an image of a real object in a building or a store is associated with additional information added to the real object.

図１に示したように、画像５００は、情報処理装置１０の表示部に表示される画像である。画像５００は、情報処理装置１０に備わる撮像装置等により撮像された風景画像等である。画像５００には、風景画像に含まれる実物体の画像に付加情報「○○ホテル」が付加して表示されている。情報処理装置１０は、画像５００に含まれる複数の実物体と、情報処理装置１０に記憶されている実物体の画像の類似度を算出する。そして、複数の実物体のうち、情報処理装置１０に記憶されている実物体の画像に類似している実物体を認識した場合には、該実物体に関連付けられている付加情報を風景画像の実物体の画像に付加して表示する。   As illustrated in FIG. 1, the image 500 is an image displayed on the display unit of the information processing apparatus 10. The image 500 is a landscape image captured by an imaging device or the like provided in the information processing apparatus 10. In the image 500, the additional information “XX hotel” is added to the image of the real object included in the landscape image. The information processing apparatus 10 calculates the similarity between a plurality of real objects included in the image 500 and the images of the real objects stored in the information processing apparatus 10. When a real object that is similar to the real object image stored in the information processing apparatus 10 is recognized among the plurality of real objects, the additional information associated with the real object is converted into the landscape image. It is added to the image of the real object and displayed.

通常、画像５００に含まれる「○○ホテル」の実物体の画像が表示画面内で移動した場合には、「○○ホテル」の実物体の画像に付加される付加情報も一緒に動いてしまう。しかし、手ぶれ等により僅かだが頻繁に「○○ホテル」の実物体の画像が動く場合に、実物体の画像の動きとともに付加情報が動くと、該付加情報を判別し難くなってしまう。そこで、本実施形態１０では、画像５００に含まれる実物体の画像が手ぶれ等により表示画面内で移動する場合にも、その移動範囲が所定の範囲内であった場合には付加情報の表示位置を変更しないようにする。これにより、実物体の画像に付加される付加情報を適切な位置に表示させて情報の視認性を向上させることができる。   Normally, when the image of the real object “XX hotel” included in the image 500 moves within the display screen, additional information added to the image of the real object “XX hotel” also moves together. . However, when the image of the real object “XX Hotel” moves slightly but frequently due to camera shake or the like, if the additional information moves together with the movement of the image of the real object, it becomes difficult to determine the additional information. Therefore, in the tenth embodiment, even when the image of the real object included in the image 500 moves within the display screen due to camera shake or the like, if the moving range is within a predetermined range, the display position of the additional information Do not change. Thereby, the additional information added to the image of the real object can be displayed at an appropriate position, and the visibility of the information can be improved.

画像５０１に示したように、例えば、「○○ホテル」の実物体の画像が、画像５００の表示位置から矢印方向（左方向）に移動した場合に、「○○ホテル」の付加情報は実物体の画像とともに移動せずに画像５００の表示位置と同位置に表示されている。同様に、画像５０２では、「○○ホテル」の実物体の画像が、画像５００の表示位置から矢印方向（左斜め上方向）に移動した場合に、「○○ホテル」の付加情報は実物体の画像とともに移動せずに画像５００の表示位置と同位置に表示されている。   As shown in the image 501, for example, when the image of the real object “XX hotel” is moved in the arrow direction (left direction) from the display position of the image 500, the additional information of “XX hotel” is the real thing. It is displayed at the same position as the display position of the image 500 without moving together with the body image. Similarly, in the image 502, when the image of the real object “XX hotel” is moved in the arrow direction (upwardly to the left) from the display position of the image 500, the additional information of “XX hotel” is the real object. The image 500 is displayed at the same position as the display position of the image 500 without moving.

画像５０１および画像５０２に示したように、実物体の画像の移動が僅かである場合に、実物体の画像に付加される付加情報の位置を変更させないようにする。これにより、手ぶれ等により表示画面に表示される画像がぶれても、付加情報を定位置に表示させることができる。   As shown in the images 501 and 502, when the movement of the real object image is slight, the position of the additional information added to the real object image is not changed. Thereby, even if the image displayed on the display screen is blurred due to camera shake or the like, the additional information can be displayed at the fixed position.

〔３〕情報処理装置のハードウェア構成
以上、情報処理装置１０の概要について説明した。次に、図２を参照して、情報処理装置１０のハードウェア構成について説明する。図２は、情報処理装置１０のハードウェア構成を示すブロック図である。情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３と、ホストバス１０４と、ブリッジ１０５と、外部バス１０６と、インタフェース１０７と、入力装置１０８と、出力装置１１０と、ストレージ装置（ＨＤＤ）１１１と、ドライブ１１２と、通信装置１１５とを備える。 [3] Hardware Configuration of Information Processing Device The outline of the information processing device 10 has been described above. Next, the hardware configuration of the information processing apparatus 10 will be described with reference to FIG. FIG. 2 is a block diagram illustrating a hardware configuration of the information processing apparatus 10. The information processing apparatus 10 includes a CPU (Central Processing Unit) 101, a ROM (Read Only Memory) 102, a RAM (Random Access Memory) 103, a host bus 104, a bridge 105, an external bus 106, an interface 107, and the like. , Input device 108, output device 110, storage device (HDD) 111, drive 112, and communication device 115.

ＣＰＵ１０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置１０内の動作全般を制御する。また、ＣＰＵ１０１は、マイクロプロセッサであってもよい。ＲＯＭ１０２は、ＣＰＵ１０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ１０３は、ＣＰＵ１０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバスなどから構成されるホストバス１０４により相互に接続されている。   The CPU 101 functions as an arithmetic processing device and a control device, and controls the overall operation in the information processing device 10 according to various programs. Further, the CPU 101 may be a microprocessor. The ROM 102 stores programs and calculation parameters used by the CPU 101. The RAM 103 primarily stores programs used in the execution of the CPU 101, parameters that change as appropriate during the execution, and the like. These are connected to each other by a host bus 104 including a CPU bus.

ホストバス１０４は、ブリッジ１０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１０６に接続されている。なお、必ずしもホストバス１０４、ブリッジ１０５および外部バス１０６を分離構成する必要はなく、一のバスにこれらの機能を実装してもよい。   The host bus 104 is connected via a bridge 105 to an external bus 106 such as a PCI (Peripheral Component Interconnect / Interface) bus. Note that the host bus 104, the bridge 105, and the external bus 106 are not necessarily configured separately, and these functions may be mounted on one bus.

入力装置１０８は、例えば、マウス、キーボード、タッチパネル、ボタン、マイク、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、ＣＰＵ１０１に出力する入力制御回路などから構成されている。情報処理装置１０のユーザは、該入力装置１０８を操作することにより、情報処理装置１０に対して各種のデータを入力したり処理動作を指示したりすることができる。   The input device 108 is, for example, an input means for a user to input information, such as a mouse, keyboard, touch panel, button, microphone, switch, and lever, and an input that generates an input signal based on the input by the user and outputs it to the CPU 101 It consists of a control circuit. A user of the information processing apparatus 10 can input various data and instruct a processing operation to the information processing apparatus 10 by operating the input device 108.

出力装置１０９、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｓｐｌａｙ）装置およびランプなどの表示装置と、スピーカおよびヘッドホンなどの音声出力装置で構成される。出力装置１０９は、例えば、再生されたコンテンツを出力する。具体的には、表示装置は再生された映像データ等の各種情報をテキストまたはイメージで表示する。一方、音声出力装置は、再生された音声データ等を音声に変換して出力する。   The output device 109 includes, for example, a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, an OLED (Organic Light Emitting Display) device and a display device such as a lamp, and an audio output device such as a speaker and headphones. . The output device 109 outputs the reproduced content, for example. Specifically, the display device displays various information such as reproduced video data as text or images. On the other hand, the audio output device converts reproduced audio data or the like into audio and outputs it.

ストレージ装置１１０は、本実施形態にかかる情報処理装置１０の記憶部の一例として構成されたデータ格納用の装置であり、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含むことができる。ストレージ装置１１０は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）で構成される。このストレージ装置１１０は、ハードディスクを駆動し、ＣＰＵ１０１が実行するプログラムや各種データを格納する。また、このストレージ装置１１０には、後述の、アイテム、識別番号などを記憶する。   The storage device 110 is a data storage device configured as an example of a storage unit of the information processing device 10 according to the present embodiment. The storage device 110 is a storage medium, a recording device that records data in the storage medium, and reads data from the storage medium. A reading device and a deleting device for deleting data recorded in the storage medium can be included. The storage device 110 is composed of, for example, an HDD (Hard Disk Drive). The storage device 110 drives a hard disk and stores programs executed by the CPU 101 and various data. The storage device 110 also stores items, identification numbers, etc., which will be described later.

ドライブ１１１は、記憶媒体用リーダライタであり、情報処理装置１０に内蔵、あるいは外付けされる。ドライブ１１１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体２４に記録されている情報を読み出して、ＲＡＭ１０３に出力する。   The drive 111 is a storage medium reader / writer, and is built in or externally attached to the information processing apparatus 10. The drive 111 reads information recorded on a removable storage medium 24 such as a mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory, and outputs it to the RAM 103.

通信装置１１２は、例えば、通信網５０に接続するための通信デバイス等で構成された通信インタフェースである。また、通信装置１１２は、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）対応通信装置であっても、ワイヤレスＵＳＢ対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。   The communication device 112 is a communication interface configured with, for example, a communication device for connecting to the communication network 50. The communication device 112 may be a wireless LAN (Local Area Network) compatible communication device, a wireless USB compatible communication device, or a wire communication device that performs wired communication.

〔４〕第１実施形態
以上、情報処理装置１０のハードウェア構成例を、図２を参照して説明した。次に図３を参照して、第１実施形態にかかる情報処理装置１０の機能構成について説明する。図３は、本実施形態にかかる情報処理装置１０の機能構成を示すブロック図である。 [4] First Embodiment The hardware configuration example of the information processing apparatus 10 has been described above with reference to FIG. Next, the functional configuration of the information processing apparatus 10 according to the first embodiment will be described with reference to FIG. FIG. 3 is a block diagram illustrating a functional configuration of the information processing apparatus 10 according to the present embodiment.

〔４−１〕情報処理装置の機能構成
図３に示したように、情報処理装置１０は、画像取得部２０２、検出部２０４、決定部２０６、表示制御部２０８、記憶部２１０などを備える。 [4-1] Functional Configuration of Information Processing Device As illustrated in FIG. 3, the information processing device 10 includes an image acquisition unit 202, a detection unit 204, a determination unit 206, a display control unit 208, a storage unit 210, and the like.

画像取得部２０２は、実空間画像を取得する機能を有する。実空間画像とは、撮像装置（図示せず）により撮像された情報処理装置１０の風景などの画像である。撮像装置は、情報処理装置１０と一体として構成されていてもよいし、別体の装置として構成されていてもよい。例えば、情報処理装置１０とは別体の撮像装置により撮像された画像をメモリカード等の記憶装置に記憶させて、画像取得部２０２により取り込むようにしてもよい。画像取得部２０２は、取得した実空間画像を検出部２０４および表示制御部２０８に提供する。   The image acquisition unit 202 has a function of acquiring a real space image. The real space image is an image such as a landscape of the information processing apparatus 10 captured by an imaging apparatus (not shown). The imaging device may be configured integrally with the information processing device 10 or may be configured as a separate device. For example, an image captured by an imaging device separate from the information processing device 10 may be stored in a storage device such as a memory card and captured by the image acquisition unit 202. The image acquisition unit 202 provides the acquired real space image to the detection unit 204 and the display control unit 208.

検出部２０４は、画像取得部２０２により提供された実空間画像内の実物体と、該実物体の実空間画像内での表示位置を検出する機能を有する。検出部２０４は、画像取得部２０２から提供された風景画像等の画像データから、付加情報を付加する対象となる実物体を抽出して、該実物体の種別と表示画面上の位置情報を検出する。実空間画像内の実物体の抽出処理は、例えば、特表２００４−０９５３７４号公報に開示されている技術を利用することができる。検出部２０４は、検出した実物体の種別と表示画面上の位置情報を決定部２０６に提供する。   The detection unit 204 has a function of detecting a real object in the real space image provided by the image acquisition unit 202 and a display position of the real object in the real space image. The detection unit 204 extracts a real object to which additional information is added from image data such as a landscape image provided from the image acquisition unit 202, and detects the type of the real object and position information on the display screen. To do. For example, a technique disclosed in Japanese Patent Application Publication No. 2004-095374 can be used to extract a real object in a real space image. The detection unit 204 provides the type of the detected real object and position information on the display screen to the determination unit 206.

決定部２０６は、検出部２０４により検出された実空間画像内の実物体に付加する付加情報の表示範囲を決定する機能を有する。決定部２０６は、後述する記憶部２１０に記憶されている、実物体に付加情報を付加する付加領域を示す付加領域情報をもとに、付加情報の表示範囲を決定する。実物体に付加情報を付加するとは、実空間画像内の実物体の描画領域に付加情報を付加したり、実空間画像内の実物体の描画領域に接するように付加情報を表示したりすることである。また、実物体の描画領域に重畳したり、接したりしていなくとも、実物体に関する情報であることが認識できるように付加情報を表示させることをいう。   The determination unit 206 has a function of determining a display range of additional information to be added to a real object in the real space image detected by the detection unit 204. The determination unit 206 determines the display range of the additional information based on the additional area information that is stored in the storage unit 210 (to be described later) and indicates the additional area that adds the additional information to the real object. Adding additional information to a real object means adding additional information to the drawing area of the real object in the real space image or displaying the additional information so as to touch the drawing area of the real object in the real space image. It is. Further, it means that additional information is displayed so that it can be recognized that the information is related to the real object even if it is not superimposed on or touched the drawing area of the real object.

また、記憶部２１０に付加情報が付加領域に対して適切な位置に表示されているか否かを判定するための接続判定領域情報が記憶されている場合には、決定部２０６は、接続判定領域情報をもとに、実空間画像内の接続判定領域を決定する。   In addition, when the connection determination area information for determining whether or not the additional information is displayed at an appropriate position with respect to the additional area is stored in the storage unit 210, the determination unit 206 displays the connection determination area. Based on the information, a connection determination area in the real space image is determined.

ここで、図４〜図７を参照して、付加情報の付加領域および接続判定領域について説明する。図４は、記憶部２１０に記憶されている付加領域情報の内容を説明する説明図である。図５は、記憶部２１０に記憶されている接続判定領域情報の内容を説明する説明図である。図６は、表示画面に表示されている実物体の付加領域について説明する説明図である。図７は、表示画面に表示されている付加情報の接続判定領域について説明する説明図である。   Here, with reference to FIG. 4 to FIG. 7, an additional area of additional information and a connection determination area will be described. FIG. 4 is an explanatory diagram for explaining the contents of the additional area information stored in the storage unit 210. FIG. 5 is an explanatory diagram for explaining the contents of the connection determination area information stored in the storage unit 210. FIG. 6 is an explanatory diagram for explaining the additional area of the real object displayed on the display screen. FIG. 7 is an explanatory diagram for explaining the connection determination area of the additional information displayed on the display screen.

図４に示したように、付加領域情報３０１として、実物体種別３０１１と、付加情報付加領域３０１２と、プロパティ３０１３とが関連付けられている。実物体種別３０１１は、例えば、「Ａビル」、「レストランＢ」、「Ｃ駅」など実物体の種別を表す。付加情報付加領域形状３０１２は、付加情報を実物体に付与する領域の形状を示し、例えば、「実物体領域と同じ」形状や、「円」や「点」などの形状を表す。プロパティ３０１３は、付加領域を設定する基準となる情報を示し、例えば、「重心：実物体領域の重心、倍率２倍」などと設定できる。例えば、実空間画像内にＡビルが含まれている場合、決定部２０６は実空間画像内のＡビルの表示領域の重心を中心として２倍の大きさで、実物体領域と同じ形状の領域を付加情報の表示範囲として決定する。   As shown in FIG. 4, the real object type 3011, the additional information addition area 3012, and the property 3013 are associated as the additional area information 301. The real object type 3011 represents the type of the real object such as “A building”, “Restaurant B”, “C station”, for example. The additional information addition region shape 3012 indicates the shape of the region where the additional information is given to the real object, and represents, for example, the shape “same as the real object region”, “circle”, “point”, or the like. A property 3013 indicates information serving as a reference for setting the additional region, and can be set, for example, “centroid: center of gravity of real object region, double magnification”. For example, when the A building is included in the real space image, the determination unit 206 is an area having the same shape as the real object region, which is twice as large as the center of gravity of the display area of the A building in the real space image. Is determined as the display range of the additional information.

また、図５に示したように、接続判定領域情報３０２として、付加情報種別３０２１と、接続判定領域形状３０２２と、プロパティ３０２４とが関連付けられている。付加情報種別３０２１は、例えば、「Ａビルアノテーション」、「レストランＢアノテーション」、「Ｃ駅アノテーション」など付加情報の種別を表す。接続判定領域形状３０２２は、例えば、「付加情報描画領域と同じ」形状や、「円」や「点」などの形状を表す。プロパティ３０２３は、付加情報が付加領域に対して適切な位置に表示されているか否かを判定するための接続判定領域を設定する基準となる情報を示し、例えば、「重心：付加情報描画領域の重心、倍率２倍」などと設定できる。例えば、実空間画像内にＡビルが含まれている場合、Ａビルの付加情報の描画領域の重心を中心として２倍の大きさで、付加情報描画領域と同じ形状の領域を接続判定領域として決定する。   Further, as shown in FIG. 5, as the connection determination area information 302, an additional information type 3021, a connection determination area shape 3022, and a property 3024 are associated. The additional information type 3021 represents the type of additional information such as “A building annotation”, “Restaurant B annotation”, and “C station annotation”. The connection determination region shape 3022 represents, for example, a shape “same as the additional information drawing region”, a shape such as “circle” or “point”. A property 3023 indicates information serving as a reference for setting a connection determination area for determining whether or not the additional information is displayed at an appropriate position with respect to the additional area. For example, “center of gravity: additional information drawing area” It can be set to “center of gravity, double magnification” or the like. For example, in the case where A building is included in the real space image, an area having the same size as the additional information drawing area, which is twice the size of the center of gravity of the additional information drawing area of A building, is used as the connection determination area. decide.

次に、図６を参照して、図４に示した付加領域情報３０１をもとに決定される付加情報付加領域について説明する。図６に示したように、実物体領域３１０は、付加情報を付与する対象となる実物体の実空間画像内での描画領域である。付加情報の付加領域は、実物体に対して付加情報を重畳する際の実物体側の付加情報の描画位置の基準であり、実物体描画領域を基準として任意の領域となる。図６では、実物体領域３１０の中心を基準として、実物体領域の２倍の領域が実物体領域を含めて付加情報の付加領域３１１となっている。   Next, with reference to FIG. 6, the additional information addition area determined based on the additional area information 301 shown in FIG. 4 will be described. As shown in FIG. 6, the real object region 310 is a drawing region in a real space image of a real object to which additional information is added. The additional area of the additional information is a reference for the drawing position of the additional information on the real object side when the additional information is superimposed on the real object, and is an arbitrary area based on the real object drawing area. In FIG. 6, with the center of the real object area 310 as a reference, an area twice as large as the real object area is an additional information addition area 311 including the real object area.

なお、付加情報の付加領域３１１は、図６に示した例に限定されず、実物体領域３１０を基準として任意の領域を設定することができる。例えば、付加情報の付加領域３１１の中心を実物体領域３１０の任意の頂点としてもよい。また、図６では、付加情報の付加領域３１１の大きさを実物体領域３１０の２倍の大きさとしているが、かかる例に限定されず、実物体領域と同じサイズとしてもよい。また、実物体領域より小さいサイズでもよいし、実物体領域３１０を基準とした相対値であってもよい。   Note that the additional area 311 for additional information is not limited to the example illustrated in FIG. 6, and an arbitrary area can be set based on the real object area 310. For example, the center of the additional area 311 of the additional information may be an arbitrary vertex of the real object area 310. In FIG. 6, the size of the additional information additional region 311 is twice the size of the actual object region 310, but is not limited to this example, and may be the same size as the actual object region. Also, the size may be smaller than the actual object area, or may be a relative value based on the actual object area 310.

また、図６では、付加情報の付加領域３１１の形状は実物体領域３１０と同じ形状としているが、かかる例に限定されず、円形や四角形等実物体領域３１０と異なる任意の形状であってもよいし、点であってもよい。さらに、実物体領域３１０の任意の頂点からの相対的な位置と、当該位置における領域の形状を規定してもよい。このように規定した領域を、実物体領域３１０の看板描画位置などの特定の領域として設定してもよい。   In FIG. 6, the shape of the additional information additional region 311 is the same as that of the real object region 310, but is not limited to such an example, and may be any shape different from the real object region 310 such as a circle or a rectangle. It may be a point or a point. Furthermore, the relative position from an arbitrary vertex of the real object area 310 and the shape of the area at the position may be defined. The area defined in this way may be set as a specific area such as a signboard drawing position of the real object area 310.

次に、図７を参照して、接続判定領域情報をもとに決定される接続判定領域について説明する。図７に示したように、付加情報の描画領域３２０は、付加情報の表示画面上の描画領域である。接続判定領域３２１は、付加情報を実物体に重畳する際の、付加情報側の描画位置の基準であり、付加情報描画領域を基準とした任意の領域として定義される。図７では、付加情報の描画領域３２０の中心を基準として、当該領域の２倍の領域が接続判定領域３２１となっている。   Next, the connection determination area determined based on the connection determination area information will be described with reference to FIG. As shown in FIG. 7, the additional information drawing area 320 is a drawing area on the additional information display screen. The connection determination area 321 is a reference for the drawing position on the additional information side when the additional information is superimposed on the real object, and is defined as an arbitrary area based on the additional information drawing area. In FIG. 7, with reference to the center of the additional information drawing area 320, an area twice as large as the area is the connection determination area 321.

なお、接続判定領域３２１は、図７に示した例に限定されず、付加情報の描画領域３２０を基準として任意の領域を設定することができる。例えば、接続判定領域３２１の中心を付加情報の描画領域３２０の任意の頂点としてもよい。また、図７では、接続判定領域３２１の大きさを付加情報の描画領域３２０の２倍の大きさとしているが、かかる例に限定されず、付加情報の描画領域３２０と同じサイズとしてもよい。また、付加情報の描画領域３２０より小さいサイズでもよいし、画面サイズに対する相対値であってもよい。また、接続判定領域３２１の形状は、付加情報の描画領域の形状と異なる円形などであってもよいし、点であってもよい。   Note that the connection determination area 321 is not limited to the example illustrated in FIG. 7, and an arbitrary area can be set with reference to the additional information drawing area 320. For example, the center of the connection determination area 321 may be an arbitrary vertex of the additional information drawing area 320. In FIG. 7, the size of the connection determination area 321 is twice the size of the additional information drawing area 320, but is not limited to this example, and may be the same size as the additional information drawing area 320. The size may be smaller than the additional information drawing area 320 or may be a relative value to the screen size. Further, the shape of the connection determination area 321 may be a circle or the like different from the shape of the additional information drawing area.

さらに、接続判定領域３２１を付加情報の表示画面上の描画領域の任意の頂点からの相対的な位置としてもよい。例えば、付加情報が吹き出しとして表示される場合に、吹き出しの先端を接続判定領域としてもよい。   Furthermore, the connection determination area 321 may be a relative position from an arbitrary vertex of the drawing area on the additional information display screen. For example, when the additional information is displayed as a balloon, the tip of the balloon may be used as the connection determination area.

以上、付加領域および接続判定領域について説明した。図３に戻り、情報処理装置１０の機能の説明を続ける。表示制御部２０８は、付加情報を実空間画像内の実物体に付加して表示する機能を有する。上記したように、表示制御部２０８により、実空間画像内の実物体に関する情報が認識できるように、実物体の描画領域に重畳されたり、接したりして付加情報が表示される。   The additional area and the connection determination area have been described above. Returning to FIG. 3, the description of the function of the information processing apparatus 10 will be continued. The display control unit 208 has a function of adding additional information to a real object in the real space image and displaying it. As described above, the display control unit 208 displays the additional information so as to be superimposed on or in contact with the drawing area of the real object so that the information about the real object in the real space image can be recognized.

表示制御部２０８は、実空間画像内での実物体の表示位置が移動したことが検出部２０４により検出され、表示している付加情報が決定部２０６により決定された付加情報の表示範囲内である場合に、付加情報の表示位置を維持する。付加情報の表示範囲内とは、上記した付加情報の付加領域を例示できる。   The display control unit 208 detects that the display position of the real object in the real space image has been moved by the detection unit 204, and displays the additional information within the display range of the additional information determined by the determination unit 206. In some cases, the display position of the additional information is maintained. Examples of the additional information display range include the additional information additional area described above.

また、表示制御部２０８は、実空間画像内での実物体の表示位置が移動したことが検出部２０４により検出され、表示している付加情報が決定部２０６により決定された付加情報の表示範囲内ではない場合に、付加情報の表示位置を表示範囲内に移動させる。すなわち、実空間画像内での実物体の表示位置の移動に伴い付加情報の付加領域が移動して、付加情報の表示位置が該付加情報の付加領域の範囲内ではなくなった場合に、付加情報の表示位置を付加情報の付加領域の範囲内に移動させる。このとき、実物体の表示位置の移動後に適切な位置にジャンプするように付加情報を移動させてもよいし、移動する実物体に追随するように付加情報を移動させてもよい。   In addition, the display control unit 208 detects the movement of the display position of the real object in the real space image by the detection unit 204 and displays the additional information displayed by the determination unit 206. If not, the display position of the additional information is moved into the display range. That is, when the additional information additional area moves with the movement of the display position of the real object in the real space image and the additional information display position is not within the additional information additional area, the additional information Is moved within the additional information area. At this time, the additional information may be moved so as to jump to an appropriate position after the display position of the real object is moved, or the additional information may be moved so as to follow the moving real object.

また、決定部２０６により、接続判定領域情報をもとに、実空間画像内の接続判定領域が決定された場合に、表示制御部２０８は、実空間画像内での実物体の表示位置が移動したことが検出部２０４により検出され、接続判定領域と付加領域とが接触している場合に、付加情報の表示位置を維持する。上記したように、接続判定領域情報は、付加情報の表示領域（描画領域）を基準とした任意の領域であり、付加情報が付加領域に対して適切な位置に表示しているか否かを判定するための領域の情報である。   When the determination unit 206 determines a connection determination region in the real space image based on the connection determination region information, the display control unit 208 moves the display position of the real object in the real space image. When the detection unit 204 detects that the connection determination area is in contact with the additional area, the display position of the additional information is maintained. As described above, the connection determination area information is an arbitrary area based on the display area (drawing area) of the additional information, and determines whether the additional information is displayed at an appropriate position with respect to the additional area. It is the information of the area to do.

ここで、図８〜図１０を参照して、表示制御部２０８による付加情報の表示方法について説明する。図８〜図１０は、表示制御部２０８による付加情報の表示方法について説明する説明図である。図８に示したように、表示制御部２０８は、決定部２０６により決定された実物体の付加情報の表示範囲（付加情報の付加領域）３３１の領域内に実物体に関する付加情報である「Ａビル」を表示させる。図８では、付加情報の付加領域３３１の領域内に、「Ａビル」の接続判定領域も包含されている。   Here, a display method of additional information by the display control unit 208 will be described with reference to FIGS. 8-10 is explanatory drawing explaining the display method of the additional information by the display control part 208. FIG. As shown in FIG. 8, the display control unit 208 adds “A” which is additional information related to the real object in the area of the display range (additional area of additional information) 331 of the additional information of the real object determined by the determination unit 206. “Building” is displayed. In FIG. 8, the connection determination area of “A building” is also included in the additional information additional area 331.

図９に示したように、例えば、実物体が移動して、付加情報の付加領域３４１の領域内に「Ａビル」の表示も、接続判定領域３４２も包含されなくなってしまったとする。この場合、接続判定領域３４２が付加情報の付加領域３４１に包含されるか、接続判定領域３４２と付加情報付加領域３４１が接するように付加情報の表示位置を変更する必要がある。   As shown in FIG. 9, for example, it is assumed that the real object moves and the display of “A building” and the connection determination area 342 are not included in the additional information adding area 341. In this case, it is necessary to change the display position of the additional information so that the connection determination area 342 is included in the additional information addition area 341 or the connection determination area 342 and the additional information addition area 341 are in contact with each other.

例えば、表示制御部２０８は、図９に示した付加情報の付加領域３４１と接続判定領域３４２の位置関係を、図１０に示した位置関係に変更する。すなわち、表示制御部２０８は、接続判定領域３５２が付加情報表示領域３５１に包含され、かつ、図９に示した付加情報「Ａビル」の表示位置から最も近い位置を新たな付加情報の表示位置に設定する。   For example, the display control unit 208 changes the positional relationship between the additional information adding region 341 and the connection determination region 342 shown in FIG. 9 to the positional relationship shown in FIG. That is, the display control unit 208 includes the connection determination area 352 included in the additional information display area 351 and sets a position closest to the display position of the additional information “A building” illustrated in FIG. Set to.

表示制御部２０８は、接続判定領域３５２が付加情報付加領域３４１に完全に包含される場合に付加情報の表示位置の変更を不要としてもよいし、接続判定領域３５２の一部が付加情報付加領域に含まれる場合に付加情報の表示位置の変更を不要としてもよい。   When the connection determination area 352 is completely included in the additional information addition area 341, the display control unit 208 may not need to change the display position of the additional information, or a part of the connection determination area 352 may be included in the additional information addition area. If it is included, the display position of the additional information may not be changed.

また、上記では、表示制御部２０８は、付加情報の表示位置を元の付加情報の表示位置から最も近い位置に移動させることとしたが、かかる例に限定されず、付加情報の表示位置の変更が不要な位置に移動させればよい。例えば、上記したように、付加情報の表示領域が元の付加情報の表示位置の中心と実物体の表示位置の中心を結ぶ線上に移動させるようにしてもよい。   In the above description, the display control unit 208 moves the display position of the additional information to the closest position from the original display position of the additional information. However, the display control unit 208 is not limited to this example, and the display information change position is changed. May be moved to a position where no is necessary. For example, as described above, the display area of the additional information may be moved on a line connecting the center of the display position of the original additional information and the center of the display position of the real object.

そして、表示制御部２０８は、実物体に付加情報がオーバレイされた画像を生成して表示画面に出力する。また、表示画面上に複数の付加情報が表示され、付加情報の表示領域が重なり合う場合には、重なり合わないようにいくつかの付加情報の表示位置を変更するようにしてもよい。以上、情報処理装置１０の機能構成について説明した。   Then, the display control unit 208 generates an image in which the additional information is overlaid on the real object and outputs the generated image on the display screen. Further, when a plurality of additional information is displayed on the display screen and the display areas of the additional information overlap, the display positions of some additional information may be changed so as not to overlap. The functional configuration of the information processing apparatus 10 has been described above.

〔４−２〕情報処理装置の動作の詳細
次に、図１１および図１２を参照して、情報処理装置１０の動作の詳細について説明する。図１１は、情報処理装置１０の全体動作を示すフローチャートである。まず、画像取得部２０２は、撮像装置を解して情報処理装置１０の周辺の風景などの画像を取得する（Ｓ１０２）。次に、検出部２０４は、ステップＳ１０２において取得した画像のデータから、付加情報をオーバレイする対象となる実物体を認識する（Ｓ１０４）。 [4-2] Details of Operation of Information Processing Device Next, details of the operation of the information processing device 10 will be described with reference to FIGS. 11 and 12. FIG. 11 is a flowchart showing the overall operation of the information processing apparatus 10. First, the image acquisition unit 202 acquires an image such as a landscape around the information processing apparatus 10 through the imaging device (S102). Next, the detection unit 204 recognizes a real object to be overlaid with additional information from the image data acquired in step S102 (S104).

そして、決定部２０６により決定された付加情報の表示範囲に基づいて、表示制御部２０８は付加情報の表示位置を更新するか否かを決定する（Ｓ１０６）。ステップＳ１０６における付加情報の表示位置の更新処理については後で詳細に説明する。   Then, based on the display range of the additional information determined by the determination unit 206, the display control unit 208 determines whether or not to update the display position of the additional information (S106). The processing for updating the display position of the additional information in step S106 will be described in detail later.

そして、表示制御部２０８は、ステップＳ１０２において取得した画像に付加情報がオーバレイされた画像を生成して（Ｓ１０８）、表示画面に当該画像を出力させる（Ｓ１１０）。   Then, the display control unit 208 generates an image in which the additional information is overlaid on the image acquired in step S102 (S108), and causes the display screen to output the image (S110).

なお、ステップＳ１０４およびステップＳ１０６の処理は、所定の間隔で実行してもよい。例えば、３０ｆｐｓで、３フレームに一回だけ実物体の任意気と付加情報の表示位置の更新を行うような、間引き処理でもよい。また、ステップＳ１０８およびステップＳ１１０の処理における画像の生成や画像出力において、付加情報の元の表示位置を始点として、付加情報の最終的な表示位置を終点としたアニメーション処理を行ってもよい。また、付加情報の表示位置を変更する際の移動速度や移動の軌跡を任意に設定してもよい。例えば、付加情報の表示位置の始点と終点の間を一直線に移動してもよいし、慣性の動きをつけて移動するようにしてもよい。   Note that the processing of step S104 and step S106 may be executed at predetermined intervals. For example, the thinning process may be performed such that the arbitrary object of the real object and the display position of the additional information are updated only once every three frames at 30 fps. In addition, in the image generation and image output in the processing of step S108 and step S110, animation processing may be performed with the original display position of the additional information as the start point and the final display position of the additional information as the end point. Further, the movement speed and the movement locus when changing the display position of the additional information may be arbitrarily set. For example, it may be moved in a straight line between the start point and end point of the display position of the additional information, or may be moved with inertial movement.

以上、情報処理装置１０の全体動作について説明した。次に、図１２を参照して、付加情報表示位置の更新処理の詳細について説明する。図１２は、付加情報表示位置の更新処理を示すフローチャートである。図１２に示したように、まず、決定部２０６は、実空間画像内の実物体の描画領域を基準に、付加情報付加領域を特定する（Ｓ２０２）。ステップＳ２０２において、決定部２０６は、上記した付加領域情報に基づいて、実物体の描画領域を基準とした範囲を付加情報の表示範囲に決定する。   The overall operation of the information processing apparatus 10 has been described above. Next, details of the update process of the additional information display position will be described with reference to FIG. FIG. 12 is a flowchart showing an additional information display position update process. As shown in FIG. 12, first, the determination unit 206 specifies an additional information addition region on the basis of the drawing region of the real object in the real space image (S202). In step S202, the determination unit 206 determines a range based on the drawing area of the real object as a display range of the additional information based on the above-described additional area information.

次に、決定部２０６は、表示画面に表示された画像上の付加情報の描画領域を基準に、接続判定領域を特定する（Ｓ２０４）。ステップＳ２０４において、決定部２０６は、上記した接続判定領域情報に基づいて、付加情報の描画領域を基準とした範囲を接続判定領域に決定する。   Next, the determination unit 206 specifies a connection determination area on the basis of a drawing area of additional information on the image displayed on the display screen (S204). In step S204, the determination unit 206 determines a range based on the additional information drawing area as the connection determination area based on the connection determination area information.

そして、現在の付加情報付加領域と、接続判定領域の包含関係から、付加情報の表示位置の変更が必要か否かを判定する（Ｓ２０６）。ステップＳ２０６においては、上記したように、接続判定領域が付加情報付加領域に包含されていなかったり、接続領域と付加情報付加領域が接していなかったりする場合には、付加情報の表示位置の変更が必要であると判定する。また、ステップＳ２０６において、接続判定領域が付加情報付加領域に包含されていても、他の付加情報や他の実物体との位置関係により、付加情報が適切に表示されていない場合には、付加情報の表示位置の変更が必要であると判定してもよい。   Then, it is determined from the inclusion relationship between the current additional information addition area and the connection determination area whether or not the display position of the additional information needs to be changed (S206). In step S206, as described above, when the connection determination area is not included in the additional information addition area or the connection area and the additional information addition area are not in contact with each other, the display position of the additional information is changed. Determine that it is necessary. In step S206, even if the connection determination area is included in the additional information addition area, if the additional information is not properly displayed due to the positional relationship with other additional information or other real objects, the additional information is added. It may be determined that the display position of the information needs to be changed.

ステップＳ２０６において、付加情報の表示位置の変更が必要であると判定された場合には、付加情報の表示位置を、変更が不要な表示位置に決定する（Ｓ２０８）。ステップＳ２０８において、付加情報の表示位置の変更が不要な表示位置とは、実物体に対して適切に付加情報が表示されている位置である。例えば、上記したように、接続判定領域が付加情報付加領域に包含される位置や、接続判定領域と付加情報付加領域とが接する位置などを例示できる。   If it is determined in step S206 that the display position of the additional information needs to be changed, the display position of the additional information is determined as a display position that does not need to be changed (S208). In step S208, the display position that does not require a change in the display position of the additional information is a position where the additional information is appropriately displayed for the real object. For example, as described above, the position where the connection determination area is included in the additional information addition area, the position where the connection determination area and the additional information addition area are in contact, and the like can be exemplified.

ステップＳ２０６において、付加情報表示位置の変更が必要ではないと判定された場合には、付加情報の表示位置を変更せずに処理を終了する。例えば、実空間画像内の実物体の表示位置が変更した場合でも、該実物体の付加情報の付加領域に付加情報の表示領域や該付加情報の接続判定領域が包含されている場合には、付加情報の表示位置をそのまま維持する。   If it is determined in step S206 that it is not necessary to change the additional information display position, the process ends without changing the additional information display position. For example, even when the display position of the real object in the real space image is changed, when the additional information display area and the additional information connection determination area are included in the additional information additional area of the real object, The display position of the additional information is maintained as it is.

例えば、実空間画像内の実物体が移動して、該実物体に関する付加情報も実物体と同じように移動すると文字等の付加情報が視認し難くなってしまう。しかし、本実施形態によれば、実空間画像内の実物体が移動しても、該実物体の付加情報の付加領域と付加情報の表示領域や接続判定領域との位置関係から、付加情報を常に移動させることなく適切な位置に表示させておくことが可能となる。すなわち、実物体の移動が微少なものである場合には、付加情報を定位置に表示されて付加情報の視認性を向上させることができる。   For example, if a real object in the real space image moves and the additional information related to the real object also moves in the same manner as the real object, it becomes difficult to visually recognize additional information such as characters. However, according to the present embodiment, even if the real object in the real space image moves, the additional information is obtained from the positional relationship between the additional information additional area of the real object and the additional information display area or connection determination area. It is possible to display at an appropriate position without always moving. That is, when the movement of the real object is slight, the additional information is displayed at a fixed position, and the visibility of the additional information can be improved.

〔５〕第２実施形態
以上、第１実施形態について説明した。次に、第２実施形態について説明する。本実施形態における情報処理装置１０′は、第１実施形態にかかる情報処理装置１０とほぼ同様の構成を有するため、第１実施形態と異なる機能について特に詳細に説明する。本実施形態では、撮像装置により撮像された実空間画像を３次元で認識し、３次元空間上で付加情報を配置して２次元投影画像を表示画面上に表示する点で第一実施形態と異なっている。 [5] Second Embodiment The first embodiment has been described above. Next, a second embodiment will be described. Since the information processing apparatus 10 ′ in the present embodiment has substantially the same configuration as the information processing apparatus 10 according to the first embodiment, functions different from those in the first embodiment will be described in detail. The present embodiment is different from the first embodiment in that the real space image captured by the imaging device is recognized in three dimensions, the additional information is arranged in the three dimensional space, and the two dimensional projection image is displayed on the display screen. Is different.

〔５−１〕情報処理装置の機能構成
本実施形態では、第１実施形態と同様に図３に示した構成を有し、情報処理装置１０′は、画像取得部２０２、検出部２０４、決定部２０６、表示制御部２０８、記憶部２１０などを備える。以下、第１実施形態と異なる機能について特に詳細に説明する。 [5-1] Functional Configuration of Information Processing Device In this embodiment, the configuration shown in FIG. 3 is provided as in the first embodiment, and the information processing device 10 ′ includes an image acquisition unit 202, a detection unit 204, and a determination unit. Unit 206, display control unit 208, storage unit 210, and the like. Hereinafter, functions different from those of the first embodiment will be described in detail.

検出部２０４は、画像取得部２０２により提供された実空間画像から、空間の３次元認識を行い、当該空間座標系における実物体の位置情報を検出する。検出部２０４は、検出した３次元での実物体の位置情報を決定部２０６に提供する。   The detection unit 204 performs three-dimensional space recognition from the real space image provided by the image acquisition unit 202 and detects position information of the real object in the space coordinate system. The detection unit 204 provides the determined three-dimensional real object position information to the determination unit 206.

記憶部２１０に記憶されている付加情報を付加する付加領域の情報としては、第１実施形態における付加領域情報に奥行きの方向の情報が加えられる。したがって、決定部２０６は、検出部２０４により提供された３次元での実物体の位置情報から、３次元での付加情報付加領域を決定する。また、付加情報が付加領域に対して適切な位置に表示されているか否かを判定するための接続判定領域の情報としては、第１実施形態における接続判定領域情報に奥行き方向の情報が加えられる。したがって、決定部２０６は、奥行き方向の情報が加えられた接続判定領域情報をもとに、３次元で認識された実空間画像内の接続判定領域を決定する。   As information on the additional area to which the additional information stored in the storage unit 210 is added, information on the depth direction is added to the additional area information in the first embodiment. Therefore, the determination unit 206 determines a three-dimensional additional information addition region from the three-dimensional real object position information provided by the detection unit 204. Further, as information on the connection determination area for determining whether or not the additional information is displayed at an appropriate position with respect to the additional area, information in the depth direction is added to the connection determination area information in the first embodiment. . Therefore, the determination unit 206 determines the connection determination region in the real space image recognized in three dimensions based on the connection determination region information to which the depth direction information is added.

ここで、図１３および図１４を参照して、本実施形態において決定される付加情報の付加領域および接続判定領域について説明する。図１３には、付加情報を付与する対象となる実物体の３次元の描画領域４０１と付加情報の付加領域４０２を示している。付加情報の付加領域４０２は、実物体に対して付加情報をオーバレイする際の、実物体側の付加情報の描画領域の基準であり、実物体領域を基準とした任意の領域である。図１３では、実物体領域４０１の中心を基準として、実物体領域の２倍の領域が実物体領域を含む付加情報の付加領域４０２となっている。   Here, with reference to FIG. 13 and FIG. 14, the additional information addition region and the connection determination region determined in the present embodiment will be described. FIG. 13 shows a three-dimensional drawing area 401 and an additional information addition area 402 for a real object to which additional information is to be added. The additional information addition area 402 is a reference for a drawing area of additional information on the real object side when the additional information is overlaid on the real object, and is an arbitrary area based on the real object area. In FIG. 13, with the center of the real object area 401 as a reference, an area twice as large as the real object area is an additional information addition area 402 including the real object area.

なお、付加情報の付加領域は、実物体領域を基準として任意の領域を設定することができる。例えば、３次元空間における実空間画像内実物体の領域を３次元空間の原点とし、付加情報の付加領域を実物体領域の鉛直上向き方向の高さ１ｍに設定して地面の上１ｍの空中を付加情報の付加領域としてもよい。   Note that the additional area of the additional information can be set to an arbitrary area with the real object area as a reference. For example, the real object area in the three-dimensional space is set as the origin of the three-dimensional space, the additional information addition area is set to a height of 1 m in the vertical upward direction of the real object area, and 1 m above the ground is added. It may be an additional area of information.

また、図１４には、付加情報の描画領域４１１と付加情報１に関連付けられた接続判定領域４１２を示している。本実施形態において、付加情報の描画領域４１１は、付加情報の３次元空間における領域である。接続判定領域４１２は、付加情報を実物体にオーバレイする際の付加情報側の描画位置基準であり、付加情報の描画領域４１１を基準とした任意の領域として設定される。図１４では、付加情報の描画領域４１１の中心を基準として、当該領域の２倍の領域を接続判定領域４１２としている。なお、接続判定領域４１２は、付加情報の描画領域を基準として、任意の領域を設定することができる。   Further, FIG. 14 shows an additional information drawing area 411 and a connection determination area 412 associated with the additional information 1. In the present embodiment, the additional information drawing area 411 is an area of the additional information in a three-dimensional space. The connection determination area 412 is a drawing position reference on the additional information side when overlaying additional information on a real object, and is set as an arbitrary area based on the additional information drawing area 411. In FIG. 14, with the center of the additional information drawing area 411 as a reference, an area twice as large as the area is used as the connection determination area 412. The connection determination area 412 can be set to an arbitrary area with reference to the additional information drawing area.

以上、付加情報の付加領域および接続判定領域について説明した。次に、表示制御部２０８の機能について説明する。表示制御部２０８は、決定部２０６により決定された奥行き方向の情報を持った付加情報付加領域と、接続判定領域をもとに、付加情報の位置を変更する必要があるか否かを判定する。例えば、接続判定領域が付加情報付加領域に包含されている場合には、付加情報の位置の変更は不要であると判定する。また、３次元で示された接続判定領域の任意の辺と付加情報付加領域の任意の辺とが接している場合に付加情報の位置の変更は不要であると判定するようにしてもよい。一方、表示制御部２０８は、上記判定により付加情報の位置の変更が必要であると判定した場合には、付加情報の付加領域と接続判定領域をもとに付加情報の新たな位置を決定する。   The additional information addition area and the connection determination area have been described above. Next, the function of the display control unit 208 will be described. The display control unit 208 determines whether or not the position of the additional information needs to be changed based on the additional information addition region having the depth information determined by the determination unit 206 and the connection determination region. . For example, when the connection determination area is included in the additional information addition area, it is determined that it is not necessary to change the position of the additional information. Further, when any side of the connection determination area shown in three dimensions is in contact with any side of the additional information addition area, it may be determined that it is not necessary to change the position of the additional information. On the other hand, if the display control unit 208 determines that the position of the additional information needs to be changed based on the determination, the display control unit 208 determines a new position of the additional information based on the additional information additional region and the connection determination region. .

そして、表示制御部２０８は、３次元空間上に配置された付加情報を、２次元の表示画面に投影して、風景画像等の実空間画像に付加情報をオーバレイした画像を表示画面に出力する。   Then, the display control unit 208 projects the additional information arranged in the three-dimensional space onto the two-dimensional display screen, and outputs an image in which the additional information is overlaid on the real space image such as a landscape image to the display screen. .

ここで、図１５〜図１７を参照して、表示制御部２０８による付加情報の表示方法について説明する、図１５〜図１７は、表示制御部２０８による付加情報の表示方法について説明する説明図である。図１５に示したように、表示制御部２０８は、決定部２０６により決定された実物体の付加情報の表示範囲（付加情報の付加領域）４２２の領域内に実物体に関する付加情報である「Ａビル」を表示させる。本実施形態では、実物体の描画領域４２１および付加情報の描画領域４２２が３次元空間上で決定され、付加情報の描画領域４２３および接続判定領域４２４も３次元空間上で決定されている。そして、付加情報の付加領域４２２と接続判定領域４２２との位置関係についても、領域４２５に示すように、３次元的に示される。   Here, with reference to FIGS. 15 to 17, a method for displaying additional information by the display control unit 208 will be described. FIGS. 15 to 17 are explanatory diagrams for explaining a method for displaying additional information by the display control unit 208. is there. As shown in FIG. 15, the display control unit 208 adds “A” which is additional information regarding the real object in the area of the additional information display range (additional area of additional information) 422 determined by the determination unit 206. “Building” is displayed. In the present embodiment, the real object drawing area 421 and the additional information drawing area 422 are determined in the three-dimensional space, and the additional information drawing area 423 and the connection determination area 424 are also determined in the three-dimensional space. The positional relationship between the additional information additional area 422 and the connection determination area 422 is also shown three-dimensionally as indicated by an area 425.

また、図１６に示したように、例えば実物体が移動して、付加情報の付加領域４３２の領域内に「Ａビル」の接続判定領域４３３が包含されなくなってしまったとする。この場合、接続判定領域４３４が付加情報の付加領域４３２に包含されるか、接続判定領域４３４と付加情報の付加領域４３２とが接するように付加情報の表示位置を変更する必要がある。   Further, as shown in FIG. 16, for example, it is assumed that the real object moves and the connection determination area 433 of “A building” is not included in the area of the additional area 432 of the additional information. In this case, it is necessary to change the display position of the additional information so that the connection determination area 434 is included in the additional information addition area 432 or the connection determination area 434 and the additional information addition area 432 are in contact with each other.

例えば、図１７に示したように、接続判定領域４４４と、付加情報の付加領域４４２とが３次元空間上で接するように付加情報４４３の表示位置を変更するようにしてもよい。図１７に示したように、本実施形態では、接続判定領域４４４と付加情報の付加領域４４２との接する領域４４５を３次元的に示すことができる。このように、本実施形態では、３次元空間上で示される接続判定領域と付加情報の付加領域とが接しているか、包含関係にあるかについて、線や点だけでなく、面や空間で捉えることが可能となる。   For example, as shown in FIG. 17, the display position of the additional information 443 may be changed so that the connection determination area 444 and the additional information additional area 442 are in contact with each other in a three-dimensional space. As shown in FIG. 17, in this embodiment, the area 445 where the connection determination area 444 and the additional information adding area 442 are in contact with each other can be shown three-dimensionally. As described above, in the present embodiment, whether the connection determination area shown in the three-dimensional space and the additional information additional area are in contact with each other or in an inclusive relationship is captured not only by lines and points but also by surfaces and spaces. It becomes possible.

〔５−２〕情報処理装置の動作の詳細
以上、情報処理装置１０′の機能構成について説明した。本実施形態にかかる情報処理装置１０′の動作の詳細は、第１実施形態とほぼ同様のため、詳細な説明は省略する。 [5-2] Details of Operation of Information Processing Device The functional configuration of the information processing device 10 ′ has been described above. Details of the operation of the information processing apparatus 10 'according to the present embodiment are substantially the same as those of the first embodiment, and thus detailed description thereof is omitted.

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。   The preferred embodiments of the present invention have been described in detail above with reference to the accompanying drawings, but the present invention is not limited to such examples. It is obvious that a person having ordinary knowledge in the technical field to which the present invention pertains can come up with various changes or modifications within the scope of the technical idea described in the claims. Of course, it is understood that these also belong to the technical scope of the present invention.

また、本明細書の情報処理装置１０、１０′の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。すなわち、情報処理装置１０、１０′の処理における各ステップは、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）を含んでもよい。   In addition, each step in the processing of the information processing apparatuses 10 and 10 ′ in this specification does not necessarily have to be processed in time series in the order described as a flowchart. That is, each step in the processing of the information processing apparatuses 10 and 10 ′ may include processing executed in parallel or individually (for example, parallel processing or processing by an object).

また、情報処理装置１０、１０′などに内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した情報処理装置１０、１０′の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。   In addition, a computer program for causing hardware such as a CPU, ROM, and RAM incorporated in the information processing apparatus 10, 10 ′, etc., to perform the same functions as the components of the information processing apparatus 10, 10 ′ described above is also created. Is possible. A storage medium storing the computer program is also provided.

１０、１０′ 情報処理装置
２０２ 画像取得部
２０４ 検出部
２０６ 決定部
２０８ 表示制御部
２１０ 記憶部
10, 10 ′ information processing apparatus 202 image acquisition unit 204 detection unit 206 determination unit 208 display control unit 210 storage unit

Claims (12)

前記画像内の実物体の特徴を示す特徴情報と、該実物体に付加される付加情報とを関連付けて記憶している記憶部と、
実空間画像を取得する画像取得部と、
前記特徴情報をもとに、前記実空間画像内の実物体と該実物体の前記実空間画像内での表示位置を検出する検出部と、
前記検出部により検出された前記実空間画像内の前記実物体に付加する前記付加情報の表示範囲を決定する決定部と、
前記付加情報を前記実空間画像内の前記実物体に付加して表示する表示制御部と、
を備え、
前記表示制御部は、前記実空間画像内での前記実物体の表示位置が移動したことが前記検出部により検出され、前記表示している前記付加情報が前記決定部により決定された前記付加情報の表示範囲内である場合に前記付加情報の表示位置を維持する、情報処理装置。 A storage unit that stores feature information indicating characteristics of a real object in the image and additional information added to the real object in association with each other;
An image acquisition unit for acquiring a real space image;
Based on the feature information, a detection unit that detects a real object in the real space image and a display position of the real object in the real space image;
A determination unit that determines a display range of the additional information to be added to the real object in the real space image detected by the detection unit;
A display control unit for displaying the additional information added to the real object in the real space image;
With
The additional information in which the display control unit detects that the display position of the real object has moved in the real space image is detected by the detection unit, and the displayed additional information is determined by the determination unit. An information processing apparatus that maintains the display position of the additional information when it is within the display range. 前記表示制御部は、
前記実空間画像内での前記実物体の表示位置が移動したことが前記検出部により検出され、前記表示している前記付加情報が前記決定部により決定された前記付加情報の表示範囲内ではない場合に、前記付加情報の表示位置を前記表示範囲内に移動させる、請求項１に記載の情報処理装置。 The display control unit
The detection unit detects that the display position of the real object has moved in the real space image, and the displayed additional information is not within the display range of the additional information determined by the determination unit. In this case, the information processing apparatus according to claim 1, wherein the display position of the additional information is moved within the display range. 前記表示制御部は、
前記実空間画像内での前記実物体の表示位置が移動したことが前記検出部により検出され、前記表示している前記付加情報が前記決定部により決定された前記付加情報の表示範囲内ではない場合に、前記付加情報の表示位置を前記実物体に追随させて前記表示範囲内に移動させる、請求項１に記載の情報処理装置。 The display control unit
The detection unit detects that the display position of the real object has moved in the real space image, and the displayed additional information is not within the display range of the additional information determined by the determination unit. In this case, the information processing apparatus according to claim 1, wherein the display position of the additional information is moved within the display range by following the real object. 前記記憶部には、さらに、前記実物体に該付加情報を付加する付加領域を示す付加領域情報が関連付けて記憶されており、
前記決定部は、前記付加領域に基づいて、前記実空間画像内の実物体に付加する前記付加情報の表示範囲を決定する、請求項１に記載の情報処理装置。 The storage unit further stores additional area information indicating an additional area to which the additional information is added to the real object in association with each other.
The information processing apparatus according to claim 1, wherein the determination unit determines a display range of the additional information to be added to a real object in the real space image based on the additional region. 前記付加領域は、前記実物体の表示領域を基準とした所定の領域である、請求項４に記載の情報処理装置。   The information processing apparatus according to claim 4, wherein the additional area is a predetermined area based on a display area of the real object. 前記記憶部には、さらに、前記付加情報が前記付加領域に対して適切な位置に表示されているか否かを判定するための接続判定領域情報が関連付けて記憶されており、
前記決定部は、前記接続判定領域情報をもとに、前記実空間画像内の接続判定領域を決定し、
前記表示制御部は、前記実空間画像内での前記実物体の表示位置が移動したことが前記検出部により検出され、前記接続判定領域と前記付加領域とが接触している場合に、前記付加情報の表示位置を維持する、請求項１に記載の情報処理装置。 The storage unit further stores connection determination area information for determining whether or not the additional information is displayed at an appropriate position with respect to the additional area.
The determination unit determines a connection determination region in the real space image based on the connection determination region information,
The display control unit detects that the display position of the real object in the real space image has been moved by the detection unit, and when the connection determination region and the additional region are in contact with each other, The information processing apparatus according to claim 1, wherein the information display position is maintained. 前記接続判定領域は、前記付加情報の表示領域を基準とした所定の領域である、請求項６に記載の情報処理装置。   The information processing apparatus according to claim 6, wherein the connection determination area is a predetermined area based on a display area of the additional information. 前記表示制御部は、前記実空間画像内での前記実物体の表示位置が移動したことが前記検出部により検出され、前記表示している前記付加情報の前記接続判定領域と前記付加情報の表示範囲とが接触している場合に、前記接触の度合いに応じて前記付加情報の表示範囲の大きさを変更する、請求項６に記載の情報処理装置。   The display control unit detects that the display position of the real object in the real space image has been moved by the detection unit, and displays the connection determination area of the additional information being displayed and the display of the additional information. The information processing apparatus according to claim 6, wherein when the range is in contact, the size of the display range of the additional information is changed according to the degree of the contact. 前記表示制御部は、前記付加情報の表示位置を維持するか移動するか否かについて、所定の間隔で判定する、請求項１に記載の情報処理装置。   The information processing apparatus according to claim 1, wherein the display control unit determines whether to maintain or move the display position of the additional information at a predetermined interval. 実空間画像を取得するステップと、
前記特徴情報をもとに、前記実空間画像内の実物体と該実物体の前記実空間画像内での表示位置を検出するステップと、
前記検出された前記実空間画像内の前記実物体に付加する前記付加情報の表示範囲を決定するステップと、
前記実空間画像内での前記実物体の表示位置が移動したことが検出され、前記表示している前記付加情報が前記決定された前記付加情報の表示範囲内である場合に前記付加情報の表示位置を維持するステップと、
を含む情報処理方法。 Obtaining a real space image;
Detecting a real object in the real space image and a display position of the real object in the real space image based on the feature information;
Determining a display range of the additional information to be added to the real object in the detected real space image;
Display of the additional information when it is detected that the display position of the real object has moved in the real space image and the displayed additional information is within the determined display range of the additional information. Maintaining the position;
An information processing method including: さらに、前記実空間画像内での前記実物体の表示位置が移動したことが検出され、前記表示している前記付加情報が前記決定された前記付加情報の表示範囲内ではない場合に、前記付加情報の表示位置を前記表示範囲内に移動させるステップを含む、請求項１０に記載の情報処理方法。   Furthermore, when it is detected that the display position of the real object in the real space image has moved, and the displayed additional information is not within the determined display range of the additional information, the additional information is displayed. The information processing method according to claim 10, further comprising a step of moving a display position of information within the display range. コンピュータを、
前記画像内の実物体の特徴を示す特徴情報と、該実物体に付加される付加情報とを関連付けて記憶している記憶部と、
実空間画像を取得する画像取得部と、
前記特徴情報をもとに、前記実空間画像内の実物体と該実物体の前記実空間画像内での表示位置を検出する検出部と、
前記検出部により検出された前記実空間画像内の前記実物体に付加する前記付加情報の表示範囲を決定する決定部と、
前記付加情報を前記実空間画像内の前記実物体に付加して表示する表示制御部と、
を備え、
前記表示制御部は、前記実空間画像内での前記実物体の表示位置が移動したことが前記検出部により検出され、前記表示している前記付加情報が前記決定部により決定された前記付加情報の表示範囲内である場合に前記付加情報の表示位置を維持する、情報処理装置として機能させるためのプログラム。
Computer
A storage unit that stores feature information indicating characteristics of a real object in the image and additional information added to the real object in association with each other;
An image acquisition unit for acquiring a real space image;
Based on the feature information, a detection unit that detects a real object in the real space image and a display position of the real object in the real space image;
A determination unit that determines a display range of the additional information to be added to the real object in the real space image detected by the detection unit;
A display control unit for displaying the additional information added to the real object in the real space image;
With
The additional information in which the display control unit detects that the display position of the real object has moved in the real space image is detected by the detection unit, and the displayed additional information is determined by the determination unit. A program for functioning as an information processing device that maintains the display position of the additional information when it is within the display range.
JP2009232632A 2009-10-06 2009-10-06 Information processing apparatus, information processing method, and program Expired - Fee Related JP5446700B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009232632A JP5446700B2 (en) 2009-10-06 2009-10-06 Information processing apparatus, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009232632A JP5446700B2 (en) 2009-10-06 2009-10-06 Information processing apparatus, information processing method, and program

Publications (2)

Publication Number Publication Date
JP2011081557A true JP2011081557A (en) 2011-04-21
JP5446700B2 JP5446700B2 (en) 2014-03-19

Family

ID=44075557

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009232632A Expired - Fee Related JP5446700B2 (en) 2009-10-06 2009-10-06 Information processing apparatus, information processing method, and program

Country Status (1)

Country Link
JP (1) JP5446700B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140193038A1 (en) * 2011-10-03 2014-07-10 Sony Corporation Image processing apparatus, image processing method, and program
JP2015184777A (en) * 2014-03-20 2015-10-22 コニカミノルタ株式会社 augmented reality display device, augmented reality display system, augmented reality display method, and augmented reality display program
JP2016184296A (en) * 2015-03-26 2016-10-20 富士通株式会社 Display control method, display control program, and information processing apparatus
JP2019179382A (en) * 2018-03-30 2019-10-17 株式会社スクウェア・エニックス Information processing program, information processing method and information processing system
WO2021075317A1 (en) * 2019-10-18 2021-04-22 株式会社Ｎｔｔドコモ Ar system and terminal

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005149409A (en) * 2003-11-19 2005-06-09 Canon Inc Image reproduction method and apparatus

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005149409A (en) * 2003-11-19 2005-06-09 Canon Inc Image reproduction method and apparatus

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNG200400156010; 寺田，他２名: '拡張現実感を用いた車載型アノテーションシステムの構築' 信学技報 ＣＱ２００１-１０３，ＭＶＥ２００１-１３６, 20020201, ｐ．５５-６０, 社団法人電子情報通信学会 *
JPN6013022737; 寺田，他２名: '拡張現実感を用いた車載型アノテーションシステムの構築' 信学技報 ＣＱ２００１-１０３，ＭＶＥ２００１-１３６, 20020201, ｐ．５５-６０, 社団法人電子情報通信学会 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140193038A1 (en) * 2011-10-03 2014-07-10 Sony Corporation Image processing apparatus, image processing method, and program
US9355496B2 (en) * 2011-10-03 2016-05-31 Sony Corporation Image processing apparatus, image processing method, and medium to display augmented reality objects
JP2015184777A (en) * 2014-03-20 2015-10-22 コニカミノルタ株式会社 augmented reality display device, augmented reality display system, augmented reality display method, and augmented reality display program
JP2016184296A (en) * 2015-03-26 2016-10-20 富士通株式会社 Display control method, display control program, and information processing apparatus
JP2019179382A (en) * 2018-03-30 2019-10-17 株式会社スクウェア・エニックス Information processing program, information processing method and information processing system
JP7209474B2 (en) 2018-03-30 2023-01-20 株式会社スクウェア・エニックス Information processing program, information processing method and information processing system
WO2021075317A1 (en) * 2019-10-18 2021-04-22 株式会社Ｎｔｔドコモ Ar system and terminal
JPWO2021075317A1 (en) * 2019-10-18 2021-04-22
JP7355840B2 (en) 2019-10-18 2023-10-03 株式会社Ｎｔｔドコモ AR system and terminal

Also Published As

Publication number Publication date
JP5446700B2 (en) 2014-03-19

Similar Documents

Publication Publication Date Title
US12020380B2 (en) Systems, methods, and graphical user interfaces for modeling, measuring, and drawing using augmented reality
JP6121647B2 (en) Information processing apparatus, information processing method, and program
JP5765019B2 (en) Display control apparatus, display control method, and program
US20210287439A1 (en) 3d cutout image modification
JP5724543B2 (en) Terminal device, object control method, and program
JP5790692B2 (en) Information processing apparatus, information processing method, and recording medium
JP5592011B2 (en) Multi-scale 3D orientation
WO2011070871A1 (en) Information processing device, information processing method, and program
JP6337907B2 (en) Display control apparatus, display control method, and program
JP2015153046A (en) Image processor, image processing method and program
JP2011081556A (en) Information processor, method of processing information, program, and server
KR101660576B1 (en) Facilitating image capture and image review by visually impaired users
JP2006236013A (en) Environmental information exhibition device, environmental information exhibition method and program for the method
US20150063785A1 (en) Method of overlappingly displaying visual object on video, storage medium, and electronic device
WO2006011556A1 (en) Information processing system, and information processing method
JP5446700B2 (en) Information processing apparatus, information processing method, and program
US8854393B2 (en) Information processing device, information processing method, and program
JP2017085533A (en) Information processing system and information processing method
JP6065084B2 (en) Information processing apparatus, information processing method, and program
JP2013004001A (en) Display control device, display control method, and program
US10915778B2 (en) User interface framework for multi-selection and operation of non-consecutive segmented information
US20180059811A1 (en) Display control device, display control method, and recording medium
KR20140127131A (en) Method for displaying image and an electronic device thereof
JP5397245B2 (en) Information processing apparatus and information processing method
JP2013247454A (en) Electronic apparatus, portable information terminal, image generating method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121002

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130424

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130618

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131216

LAPS Cancellation because of no payment of annual fees