JP2012123548A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2012123548A5 JP2012123548A5 JP2010272835A JP2010272835A JP2012123548A5 JP 2012123548 A5 JP2012123548 A5 JP 2012123548A5 JP 2010272835 A JP2010272835 A JP 2010272835A JP 2010272835 A JP2010272835 A JP 2010272835A JP 2012123548 A5 JP2012123548 A5 JP 2012123548A5
- Authority
- JP
- Japan
- Prior art keywords
- modeling data
- subject
- information
- information display
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Description
上記目的を達成するため、本発明の第１の観点にかかる情報表示システムは、
撮像機能を備え、外部から提供された情報を撮像画像上に重畳表示する情報表示装置と、
前記情報表示装置による撮像画像上に重畳させる情報を前記情報表示装置に提供する情報提供装置と、から構成された、拡張現実感（ＡＲ）による情報表示をおこなう情報表示システムにおいて、
前記情報表示装置は、
前記撮像機能により撮像された撮像画像から３Ｄモデリングデータを生成する３Ｄモデリングデータ生成手段と、
前記撮像画像における被写体を照合するための照合画像を前記情報提供装置から取得する照合画像取得手段と、
前記３Ｄモデリングデータと前記照合画像双方の特徴点及び／又は特徴量に基づいて、該３Ｄモデリングデータの視線方向を変更する視線変更手段と、
前記視線変更手段により変更される視線方向に基づいて前記３Ｄモデリングデータにおける被写体と前記照合画像取得手段により取得された照合画像における被写体とを照合する照合手段と、
前記照合手段により前記３Ｄモデリングデータにおける被写体と前記照合画像における被写体とが照合された場合、前記３Ｄモデリングデータにおける被写体に対応する前記撮像画像における被写体に、前記情報提供装置から提供された情報を重畳して表示するＡＲ表示手段と、
を備えることを特徴とする。
In order to achieve the above object, an information display system according to a first aspect of the present invention includes:
Comprising a IMAGING function, an information display device for superimposing displaying information provided from outside to the captured image,
Configured information to be superimposed on the captured image by the previous SL information display device from an information providing apparatus for providing the information display device, the information display system for displaying information according to augmented reality (AR),
The information display device includes:
3D modeling data generating means for generating 3D modeling data from a captured image captured by the imaging function ;
Collation image acquisition means for acquiring a collation image for collating a subject in the captured image from the information providing device ;
Line-of-sight changing means for changing the line-of-sight direction of the 3D modeling data based on feature points and / or feature quantities of both the 3D modeling data and the collation image;
Collation means for collating the subject in the 3D modeling data with the subject in the collation image acquired by the collation image acquisition means based on the line-of-sight direction changed by the line-of-sight change means;
When the subject in the 3D modeling data and the subject in the collated image are collated by the collating means , the information provided from the information providing device is superimposed on the subject in the captured image corresponding to the subject in the 3D modeling data. And AR display means for displaying
It is characterized by providing.
上記目的を達成するため、本発明の第２の観点にかかる情報表示装置は、
撮像手段と、外部装置との通信をおこなう通信手段と、前記撮像手段による撮像画像に前記外部装置から提供された情報を重畳表示させる表示手段と、を備えた拡張現実感（ＡＲ）による情報表示をおこなう情報表示装置であって、
前記撮像手段により撮像された撮像画像から３Ｄモデリングデータを生成する３Ｄモデリングデータ生成手段と、
前記撮像画像における被写体を照合するための照合画像を前記外部装置から取得する照合画像取得手段と、
前記３Ｄモデリングデータと前記照合画像双方の特徴点及び／又は特徴量に基づいて、該３Ｄモデリングデータの視線方向を変更する視線変更手段と、
前記視線変更手段により変更される視線方向に基づいて前記３Ｄモデリングデータにおける被写体と前記照合画像取得手段により取得された照合画像における被写体とを照合する照合手段と、
前記照合手段により前記３Ｄモデリングデータにおける被写体と前記照合画像における被写体とが照合された場合、前記３Ｄモデリングデータにおける被写体に対応する前記撮像画像における被写体に、前記情報提供装置から提供された情報を重畳して表示するＡＲ表示手段と、
を備えることを特徴とする。
In order to achieve the above object, an information display device according to the second aspect of the present invention provides:
Information and an imaging unit, according to a communication means for communicating with an external device, Augmented Reality and a display means for superimposing display information provided from the external device to the image captured by the imaging means (AR) An information display device that performs display,
3D modeling data generation means for generating 3D modeling data from a captured image captured by the imaging means;
Collation image acquisition means for acquiring a collation image for collating a subject in the captured image from the external device;
Line-of-sight changing means for changing the line-of-sight direction of the 3D modeling data based on feature points and / or feature quantities of both the 3D modeling data and the collation image;
Collation means for collating the subject in the 3D modeling data with the subject in the collation image acquired by the collation image acquisition means based on the line-of-sight direction changed by the line-of-sight change means;
When the subject in the 3D modeling data and the subject in the collated image are collated by the collating means , the information provided from the information providing device is superimposed on the subject in the captured image corresponding to the subject in the 3D modeling data. And AR display means for displaying
It is characterized by providing.
上記目的を達成するため、本発明の第３の観点にかかる情報表示装置は、
撮像機能を備えた情報表示装置と通信する通信手段を備えた、拡張現実感（ＡＲ）による情報表示にかかる情報を前記情報表示装置に提供する情報提供装置であって、
前記通信手段は、前記情報表示装置の撮像機能による撮像画像における被写体を照合するための３Ｄモデリングデータを該情報表示装置に送信する、
ことを特徴とする。
In order to achieve the above object, an information display device according to the third aspect of the present invention provides:
Having communication means for communicating with an information display device provided with an imaging function, an information providing apparatus for providing such information to the information display by the Augmented Reality (AR) to the information display device,
The communication means transmits 3D modeling data for collating a subject in a captured image by an imaging function of the information display device to the information display device.
It is characterized by that.
上記情報提供装置において、
前記通信手段は、近距離ワイヤレス通信及び／又は可視光通信によって前記３Ｄモデリングデータを前記情報表示装置に提供してもよい。
In the information providing apparatus,
The communication means may provide the 3D modeling data to the information display device by short-range wireless communication and / or visible light communication .
上記目的を達成するため、本発明の第４の観点にかかるプログラムは、
撮像手段と、外部装置との通信をおこなう通信手段と、前記撮像手段による撮像画像に前記外部装置から提供された情報を重畳表示させる表示手段と、を備えた拡張現実感（ＡＲ）による情報表示をおこなう情報表示装置を制御するコンピュータに、
前記撮像手段により撮像された撮像画像から３Ｄモデリングデータを生成する機能と、
前記撮像画像における被写体を照合するための照合画像を前記外部装置から取得する機能と、
前記３Ｄモデリングデータと前記照合画像双方の特徴点及び／又は特徴量に基づいて、該３Ｄモデリングデータの視線方向を変更する機能と、
該視線方向を変更した３Ｄモデリングデータにおける被写体と前記照合画像における被写体とを照合する機能と、
前記３Ｄモデリングデータにおける被写体と前記照合画像における被写体とが照合された場合、前記３Ｄモデリングデータにおける被写体に対応する前記撮像画像における被写体に、前記情報提供装置から提供された情報を重畳して表示する機能と、
を実現させることを特徴とする。
In order to achieve the above object, a program according to the fourth aspect of the present invention is:
Information and an imaging unit, according to a communication means for communicating with an external device, Augmented Reality and a display means for superimposing display information provided from the external device to the image captured by the imaging means (AR) To the computer that controls the information display device that performs the display,
A function of generating 3D modeling data from a captured image captured by the imaging means ;
A function of acquiring a collation image for collating a subject in the captured image from the external device;
A function of changing the line-of-sight direction of the 3D modeling data based on the feature points and / or feature amounts of both the 3D modeling data and the matching image;
A function of collating a subject in the 3D modeling data with the line-of-sight direction changed with a subject in the collation image;
When the subject in the 3D modeling data and the subject in the collation image are collated , the information provided from the information providing device is superimposed and displayed on the subject in the captured image corresponding to the subject in the 3D modeling data. Function and
It is characterized by realizing.
上記目的を達成するため、本発明の第５の観点にかかるプログラムは、
撮像機能を備えた情報表示装置と通信する通信手段を備えた、拡張現実感（ＡＲ）による情報表示にかかる情報を前記情報表示装置に提供する情報提供装置を制御するコンピュータに、
前記情報表示装置の撮像機能による撮像画像における被写体を照合するための３Ｄモデリングデータを該情報表示装置に送信する機能、
を実現させることを特徴とする。
In order to achieve the above object, a program according to the fifth aspect of the present invention is:
Having communication means for communicating with an information display device provided with an imaging function, a computer for controlling the information providing device to provide such information to the information display by the Augmented Reality (AR) to the information display device,
A function of transmitting 3D modeling data for collating a subject in a captured image by the imaging function of the information display device to the information display device;
It is characterized by realizing.
Claims (9)
前記情報表示装置による撮像画像上に重畳させる情報を前記情報表示装置に提供する情報提供装置と、から構成された、拡張現実感（ＡＲ）による情報表示をおこなう情報表示システムにおいて、
前記情報表示装置は、
前記撮像機能により撮像された撮像画像から３Ｄモデリングデータを生成する３Ｄモデリングデータ生成手段と、
前記撮像画像における被写体を照合するための照合画像を前記情報提供装置から取得する照合画像取得手段と、
前記３Ｄモデリングデータと前記照合画像双方の特徴点及び／又は特徴量に基づいて、該３Ｄモデリングデータの視線方向を変更する視線変更手段と、
前記視線変更手段により変更される視線方向に基づいて前記３Ｄモデリングデータにおける被写体と前記照合画像取得手段により取得された照合画像における被写体とを照合する照合手段と、
前記照合手段により前記３Ｄモデリングデータにおける被写体と前記照合画像における被写体とが照合された場合、前記３Ｄモデリングデータにおける被写体に対応する前記撮像画像における被写体に、前記情報提供装置から提供された情報を重畳して表示するＡＲ表示手段と、
を備えることを特徴とする情報表示システム。 Comprising a IMAGING function, an information display device for superimposing displaying information provided from outside to the captured image,
Configured information to be superimposed on the captured image by the previous SL information display device from an information providing apparatus for providing the information display device, the information display system for displaying information according to augmented reality (AR),
The information display device includes:
3D modeling data generating means for generating 3D modeling data from a captured image captured by the imaging function ;
Collation image acquisition means for acquiring a collation image for collating a subject in the captured image from the information providing device ;
Line-of-sight changing means for changing the line-of-sight direction of the 3D modeling data based on feature points and / or feature quantities of both the 3D modeling data and the collation image;
Collation means for collating the subject in the 3D modeling data with the subject in the collation image acquired by the collation image acquisition means based on the line-of-sight direction changed by the line-of-sight change means;
When the subject in the 3D modeling data and the subject in the collated image are collated by the collating means , the information provided from the information providing device is superimposed on the subject in the captured image corresponding to the subject in the 3D modeling data. And AR display means for displaying
An information display system comprising:
前記情報表示装置は、前記情報提供装置から提供された３Ｄモデリングデータと、前記３Ｄモデリングデータ生成手段が生成した３Ｄモデリングデータで被写体の照合をおこなう、
ことを特徴とする請求項１に記載の情報表示システム。 The information providing device provides 3D modeling data corresponding to the collation image to the information display device;
The information display device collates a subject with 3D modeling data provided from the information providing device and 3D modeling data generated by the 3D modeling data generation unit.
The information display system according to claim 1.
前記撮像手段により撮像された撮像画像から３Ｄモデリングデータを生成する３Ｄモデリングデータ生成手段と、
前記撮像画像における被写体を照合するための照合画像を前記外部装置から取得する照合画像取得手段と、
前記３Ｄモデリングデータと前記照合画像双方の特徴点及び／又は特徴量に基づいて、該３Ｄモデリングデータの視線方向を変更する視線変更手段と、
前記視線変更手段により変更される視線方向に基づいて前記３Ｄモデリングデータにおける被写体と前記照合画像取得手段により取得された照合画像における被写体とを照合する照合手段と、
前記照合手段により前記３Ｄモデリングデータにおける被写体と前記照合画像における被写体とが照合された場合、前記３Ｄモデリングデータにおける被写体に対応する前記撮像画像における被写体に、前記情報提供装置から提供された情報を重畳して表示するＡＲ表示手段と、
を備えることを特徴とする情報表示装置。 Information and an imaging unit, according to a communication means for communicating with an external device, Augmented Reality and a display means for superimposing display information provided from the external device to the image captured by the imaging means (AR) An information display device that performs display,
3D modeling data generation means for generating 3D modeling data from a captured image captured by the imaging means;
Collation image acquisition means for acquiring a collation image for collating a subject in the captured image from the external device;
Line-of-sight changing means for changing the line-of-sight direction of the 3D modeling data based on feature points and / or feature quantities of both the 3D modeling data and the collation image;
Collation means for collating the subject in the 3D modeling data with the subject in the collation image acquired by the collation image acquisition means based on the line-of-sight direction changed by the line-of-sight change means;
When the subject in the 3D modeling data and the subject in the collated image are collated by the collating means , the information provided from the information providing device is superimposed on the subject in the captured image corresponding to the subject in the 3D modeling data. And AR display means for displaying
An information display device comprising:
前記ＡＲ表示手段は、前記視線変更手段によって視線方向を変更した３Ｄモデリングデータと、前記照合画像取得手段が取得した３Ｄモデリングデータで被写体の照合をおこなう、
ことを特徴とする請求項３に記載の情報表示装置。 The collation image acquisition means acquires 3D modeling data corresponding to the collation image from the external device,
The AR display means collates a subject with the 3D modeling data whose line-of-sight direction has been changed by the line-of-sight change means and the 3D modeling data obtained by the collation image acquisition means.
The information display device according to claim 3.
ことを特徴とする請求項３または４に記載の情報表示装置。 The collation image acquisition means acquires 3D modeling data corresponding to the collation image from the external device by short-range wireless communication and / or visible light communication.
The information display device according to claim 3, wherein the information display device is an information display device.
前記通信手段は、前記情報表示装置の撮像機能による撮像画像における被写体を照合するための３Ｄモデリングデータを該情報表示装置に送信する、
ことを特徴とする情報提供装置。 Having communication means for communicating with an information display device provided with an imaging function, an information providing apparatus for providing such information to the information display by the Augmented Reality (AR) to the information display device,
The communication means transmits 3D modeling data for collating a subject in a captured image by an imaging function of the information display device to the information display device.
An information providing apparatus characterized by that.
ことを特徴とする請求項６に記載の情報提供装置。 The communication means provides the 3D modeling data to the information display device by short-range wireless communication and / or visible light communication .
The information providing apparatus according to claim 6.
前記撮像手段により撮像された撮像画像から３Ｄモデリングデータを生成する機能と、
前記撮像画像における被写体を照合するための照合画像を前記外部装置から取得する機能と、
前記３Ｄモデリングデータと前記照合画像双方の特徴点及び／又は特徴量に基づいて、該３Ｄモデリングデータの視線方向を変更する機能と、
該視線方向を変更した３Ｄモデリングデータにおける被写体と前記照合画像における被写体とを照合する機能と、
前記３Ｄモデリングデータにおける被写体と前記照合画像における被写体とが照合された場合、前記３Ｄモデリングデータにおける被写体に対応する前記撮像画像における被写体に、前記情報提供装置から提供された情報を重畳して表示する機能と、
を実現させることを特徴とするプログラム。 Information and an imaging unit, according to a communication means for communicating with an external device, Augmented Reality and a display means for superimposing display information provided from the external device to the image captured by the imaging means (AR) To the computer that controls the information display device that performs the display,
A function of generating 3D modeling data from a captured image captured by the imaging means ;
A function of acquiring a collation image for collating a subject in the captured image from the external device;
A function of changing the line-of-sight direction of the 3D modeling data based on the feature points and / or feature amounts of both the 3D modeling data and the matching image;
A function of collating a subject in the 3D modeling data with the line-of-sight direction changed with a subject in the collation image;
When the subject in the 3D modeling data and the subject in the collation image are collated , the information provided from the information providing device is superimposed and displayed on the subject in the captured image corresponding to the subject in the 3D modeling data. Function and
A program characterized by realizing.
前記情報表示装置の撮像機能による撮像画像における被写体を照合するための３Ｄモデリングデータを該情報表示装置に送信する機能、
を実現させることを特徴とするプログラム。 Having communication means for communicating with an information display device provided with an imaging function, a computer for controlling the information providing device to provide such information to the information display by the Augmented Reality (AR) to the information display device,
A function of transmitting 3D modeling data for collating a subject in a captured image by the imaging function of the information display device to the information display device;
A program characterized by realizing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010272835A JP5703726B2 (en) | 2010-12-07 | 2010-12-07 | Information display system, information display device, information providing device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010272835A JP5703726B2 (en) | 2010-12-07 | 2010-12-07 | Information display system, information display device, information providing device, and program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2012123548A JP2012123548A (en) | 2012-06-28 |
| JP2012123548A5 true JP2012123548A5 (en) | 2014-01-16 |
| JP5703726B2 JP5703726B2 (en) | 2015-04-22 |
Family
ID=46504935
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010272835A Active JP5703726B2 (en) | 2010-12-07 | 2010-12-07 | Information display system, information display device, information providing device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5703726B2 (en) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103577788A (en) * | 2012-07-19 | 2014-02-12 | 华为终端有限公司 | Augmented reality realizing method and augmented reality realizing device |
| US20160055675A1 (en) * | 2013-04-04 | 2016-02-25 | Sony Corporation | Information processing device, information processing method, and program |
| JP6618068B2 (en) * | 2015-02-02 | 2019-12-11 | 株式会社京都廣川リサーチアンドコンサルティング | Substance learning support device, server device, substance learning support method, and program |
| US9740951B2 (en) * | 2015-09-11 | 2017-08-22 | Intel Corporation | Technologies for object recognition for internet-of-things edge devices |
| JP6621228B1 (en) * | 2019-04-11 | 2019-12-18 | Ｃｅｌｕｍｉｘ株式会社 | Program, information processing apparatus, information processing method, and information processing system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3575679B2 (en) * | 2000-03-31 | 2004-10-13 | 日本電気株式会社 | Face matching method, recording medium storing the matching method, and face matching device |
| JP3893983B2 (en) * | 2002-01-17 | 2007-03-14 | ソニー株式会社 | Information providing apparatus, information providing method, storage medium, and computer program |
| JP2004185386A (en) * | 2002-12-04 | 2004-07-02 | Matsushita Electric Ind Co Ltd | Image collating unit |
| US8547401B2 (en) * | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
-
2010
- 2010-12-07 JP JP2010272835A patent/JP5703726B2/en active Active
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5843340B2 (en) | 3D environment sharing system and 3D environment sharing method | |
| US9824497B2 (en) | Information processing apparatus, information processing system, and information processing method | |
| TWI505709B (en) | System and method for determining individualized depth information in augmented reality scene | |
| US10095461B2 (en) | Outside-facing display for head-mounted displays | |
| JP2012123546A5 (en) | ||
| JP2011107893A5 (en) | ||
| WO2014016987A1 (en) | Three-dimensional user-interface device, and three-dimensional operation method | |
| WO2014052974A3 (en) | Generating images from light fields utilizing virtual viewpoints | |
| EP1995694A3 (en) | Mixed reality presentation apparatus and control method | |
| EP2568355A3 (en) | Combined stereo camera and stereo display interaction | |
| WO2015050938A3 (en) | Augmented reality interface and method of use | |
| JP2011227875A5 (en) | Information processing system, information processing method, and program | |
| CA2673908A1 (en) | Cv tag video image display device provided with layer generating and selection functions | |
| JP2015125641A (en) | Information processing device, control method therefor, and program | |
| JP2015114757A (en) | Information processing apparatus, information processing method, and program | |
| CN105051650A (en) | Three-dimensional unlocking device, three-dimensional unlocking method and program | |
| WO2011029209A3 (en) | Method and apparatus for generating and processing depth-enhanced images | |
| JP2012123548A5 (en) | ||
| JP2014199532A5 (en) | Image processing apparatus, image processing method, and program | |
| JP2014139772A5 (en) | ||
| US20150138301A1 (en) | Apparatus and method for generating telepresence | |
| EP3229482B1 (en) | Master device, slave device, and control method therefor | |
| JP2014170483A5 (en) | ||
| JP2016122392A (en) | Information processing apparatus, information processing system, control method and program of the same | |
| JP6295296B2 (en) | Complex system and target marker |