JP2015176450A - 拡張現実感提供システム、方法及びプログラム - Google Patents
拡張現実感提供システム、方法及びプログラム Download PDFInfo
- Publication number
- JP2015176450A JP2015176450A JP2014053543A JP2014053543A JP2015176450A JP 2015176450 A JP2015176450 A JP 2015176450A JP 2014053543 A JP2014053543 A JP 2014053543A JP 2014053543 A JP2014053543 A JP 2014053543A JP 2015176450 A JP2015176450 A JP 2015176450A
- Authority
- JP
- Japan
- Prior art keywords
- color
- unit
- image
- augmented reality
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 238000003384 imaging method Methods 0.000 claims description 41
- 238000000605 extraction Methods 0.000 claims description 18
- 238000003702 image correction Methods 0.000 claims description 11
- 230000001678 irradiating effect Effects 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 6
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 230000004048 modification Effects 0.000 description 7
- 238000012986 modification Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000005401 electroluminescence Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000012447 hatching Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Abstract
Description
図1は、この実施形態に係る拡張現実感提供システム10の全体構成図である。このシステムは、現実空間20の画像上に仮想物体(例えば、家具)を重ねるAR(Augmented Reality)表示を行うことで、家具のバーチャルカタログサービスを提供する。
図2は、図1に示す携帯端末装置12の電気的なブロック図である。携帯端末装置12は、撮像部22及び表示部24の他、端末側通信部30と、端末側制御部32と、端末側メモリ34(記憶媒体)とを備える。
図3は、図1に示す情報提供サーバ18の電気的なブロック図である。情報提供サーバ18は、サーバ側通信部50と、サーバ側制御部52と、サーバ側メモリ54と、仮想物体データベース(以下、仮想物体DB56)とを備える。
この実施形態に係る拡張現実感提供システム10は、以上のように構成される。続いて、図1の拡張現実感提供システム10の動作について、図4のフローチャートを主に参照しながら説明する。なお、インストールされたアプリケーション・ソフトウェアを実行することで、図2の携帯端末装置12及び図3の情報提供サーバ18を協働させることができる。
以上のように、拡張現実感提供システム10は、現実空間20を撮像する撮像部22と、撮像で得た撮像画像80の上に仮想物体を示す物体画像108を重ねて表示する表示部24を有する。
続いて、本実施形態に係る拡張現実感提供システム10の変形例について、図10及び図11を参照しながら説明する。なお、本実施形態と同様の構成については、同一の参照符号を付すると共にその説明を省略する。
図10は、第1変形例に係る拡張現実感提供システム120の電気的なブロック図である。この拡張現実感提供システム120は、単体の装置で構成されている点が本実施形態(図1の拡張現実感提供システム10)と異なっている。
図11は、第2変形例に係る対象物128の平面図である。この対象物128は、本実施形態(図6の対象物28)と比べて描画内容が異なっている。
なお、この発明は、上述した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。
18…情報提供サーバ 20…現実空間
22…撮像部 24…表示部
28、128…対象物 40…対象物検知部
42…配置決定部 44…表示用データ作成部
46…撮像信号 48…物体画像信号
58…特徴量取得部 60…特徴部位抽出部
62…配光特性推定部 64…原物体画像取得部
66…画像補正部 80…撮像画像
90、130…カラーチャート 92…発現マーク
94、132a〜132d…パッチ群
96a〜96h、134a〜134h…同色パッチ
100…光源 102…光
104…配置位置 106…合成画像
108…物体画像 110…本体部
112…影部 114…暗領域
Claims (7)
- 現実空間を撮像する撮像部と、前記撮像部による撮像で得た撮像画像の上に仮想物体を示す物体画像を重ねて表示する表示部とを有する拡張現実感提供システムであって、
同色である複数の特徴部位を有する対象物を含む前記撮像画像の中から複数の前記特徴部位を抽出する特徴部位抽出部と、
前記特徴部位抽出部により抽出された複数の前記特徴部位における色値の関係から、前記対象物に照射される光の配光特性を推定する配光特性推定部と、
前記仮想物体を示す原物体画像の色を補正することで、前記配光特性推定部により推定された前記配光特性に従って前記仮想物体に前記光を照射する視覚効果が付与された前記物体画像を得る画像補正部と
を備えることを特徴とする拡張現実感提供システム。 - 請求項1記載のシステムにおいて、
複数の前記特徴部位の位置及び/又は形状を特定する特徴量を取得する特徴量取得部を更に備え、
前記特徴部位抽出部は、前記特徴量取得部により取得された前記特徴量を用いて複数の前記特徴部位を抽出する
ことを特徴とする拡張現実感提供システム。 - 請求項1又は2に記載のシステムにおいて、
前記撮像画像の中にある前記対象物の位置を含む周辺の位置を、前記画像補正部により得られた前記物体画像の配置位置として決定する配置決定部を更に備えることを特徴とする拡張現実感提供システム。 - 請求項1〜3のいずれか1項に記載のシステムにおいて、
前記対象物は、2つ以上のカラーパッチを有するカラーチャートであり、
前記特徴部位は、2つ以上の前記カラーパッチに含まれる複数の同色パッチであり、
前記特徴部位抽出部は、前記対象物を含む前記撮像画像の中から複数の前記同色パッチを抽出する
ことを特徴とする拡張現実感提供システム。 - 請求項4記載のシステムにおいて、
前記画像補正部は、2つ以上の前記カラーパッチのうち複数の前記同色パッチを除く残余のカラーパッチを用いて前記原物体画像の色を補正することを特徴とする拡張現実感提供システム。 - 現実空間を撮像する撮像部と、前記撮像部による撮像で得た撮像画像の上に仮想物体を示す物体画像を重ねて表示する表示部とを有するシステムを用いた拡張現実感提供方法であって、
同色である複数の特徴部位を有する対象物を含む前記撮像画像の中から複数の前記特徴部位を抽出する抽出ステップと、
抽出された複数の前記特徴部位における色値の関係から、前記対象物に照射される光の配光特性を推定する推定ステップと、
前記仮想物体を示す原物体画像の色を補正することで、推定された前記配光特性に従って前記仮想物体に前記光を照射する視覚効果が付与された前記物体画像を得る補正ステップと
を備えることを特徴とする拡張現実感提供方法。 - 現実空間を撮像する撮像部と、前記撮像部による撮像で得た撮像画像の上に仮想物体を示す物体画像を重ねて表示する表示部とを有する拡張現実感提供システムに、
同色である複数の特徴部位を有する対象物を含む前記撮像画像の中から複数の前記特徴部位を抽出する抽出ステップと、
抽出された複数の前記特徴部位における色値の関係から、前記対象物に照射される光の配光特性を推定する推定ステップと、
前記仮想物体を示す原物体画像の色を補正することで、推定された前記配光特性に従って前記仮想物体に前記光を照射する視覚効果が付与された前記物体画像を得る補正ステップと
を実行させることを特徴とする拡張現実感提供プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014053543A JP5937128B2 (ja) | 2014-03-17 | 2014-03-17 | 拡張現実感提供システム、方法及びプログラム |
US14/624,866 US9639991B2 (en) | 2014-03-17 | 2015-02-18 | Augmented reality provision system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014053543A JP5937128B2 (ja) | 2014-03-17 | 2014-03-17 | 拡張現実感提供システム、方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015176450A true JP2015176450A (ja) | 2015-10-05 |
JP5937128B2 JP5937128B2 (ja) | 2016-06-22 |
Family
ID=54069424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014053543A Active JP5937128B2 (ja) | 2014-03-17 | 2014-03-17 | 拡張現実感提供システム、方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9639991B2 (ja) |
JP (1) | JP5937128B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017217296A1 (ja) * | 2016-06-16 | 2017-12-21 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
CN109151241A (zh) * | 2017-06-16 | 2019-01-04 | 柯尼卡美能达株式会社 | 印刷系统、显示装置、显示装置的控制方法以及记录介质 |
JP2021518935A (ja) * | 2018-01-24 | 2021-08-05 | アップル インコーポレイテッドApple Inc. | 3dモデルのシステム全体の挙動のためのデバイス、方法、及びグラフィカルユーザーインターフェース |
US11740755B2 (en) | 2017-08-31 | 2023-08-29 | Apple Inc. | Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106558103A (zh) * | 2015-09-24 | 2017-04-05 | 鸿富锦精密工业(深圳)有限公司 | 扩增实境图像处理系统及扩增实境图像处理方法 |
US10134191B2 (en) | 2016-07-18 | 2018-11-20 | Disney Enterprises, Inc. | Systems and methods for generating a virtual space based on a physical layout of objects |
US10002454B2 (en) | 2016-09-16 | 2018-06-19 | International Business Machines Corporation | Reactive overlays of multiple representations using augmented reality |
US9898871B1 (en) * | 2016-10-05 | 2018-02-20 | Disney Enterprises, Inc. | Systems and methods for providing augmented reality experience based on a relative position of objects |
US10922878B2 (en) * | 2017-10-04 | 2021-02-16 | Google Llc | Lighting for inserted content |
TWI675583B (zh) | 2018-07-23 | 2019-10-21 | 緯創資通股份有限公司 | 擴增實境系統及其色彩補償方法 |
CN111445583B (zh) * | 2020-03-18 | 2023-08-01 | Oppo广东移动通信有限公司 | 增强现实处理方法及装置、存储介质和电子设备 |
CN114067085A (zh) * | 2021-09-30 | 2022-02-18 | 北京市商汤科技开发有限公司 | 一种虚拟对象的显示方法及装置、电子设备和存储介质 |
CN114399425A (zh) * | 2021-12-23 | 2022-04-26 | 北京字跳网络技术有限公司 | 一种图像处理方法、视频处理方法、装置、设备及介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003264740A (ja) * | 2002-03-08 | 2003-09-19 | Cad Center:Kk | 展望鏡 |
JP2010170316A (ja) * | 2009-01-22 | 2010-08-05 | Konami Digital Entertainment Co Ltd | 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム |
JP2013025329A (ja) * | 2011-07-14 | 2013-02-04 | Ntt Docomo Inc | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050285878A1 (en) * | 2004-05-28 | 2005-12-29 | Siddharth Singh | Mobile platform |
JP4273108B2 (ja) * | 2005-09-12 | 2009-06-03 | キヤノン株式会社 | 色処理方法、色処理装置及び記憶媒体 |
US8405658B2 (en) * | 2009-09-14 | 2013-03-26 | Autodesk, Inc. | Estimation of light color and direction for augmented reality applications |
-
2014
- 2014-03-17 JP JP2014053543A patent/JP5937128B2/ja active Active
-
2015
- 2015-02-18 US US14/624,866 patent/US9639991B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003264740A (ja) * | 2002-03-08 | 2003-09-19 | Cad Center:Kk | 展望鏡 |
JP2010170316A (ja) * | 2009-01-22 | 2010-08-05 | Konami Digital Entertainment Co Ltd | 拡張現実表示装置、拡張現実表示方法、ならびに、プログラム |
JP2013025329A (ja) * | 2011-07-14 | 2013-02-04 | Ntt Docomo Inc | オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017217296A1 (ja) * | 2016-06-16 | 2017-12-21 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
JPWO2017217296A1 (ja) * | 2016-06-16 | 2018-11-08 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置 |
US10950039B2 (en) | 2016-06-16 | 2021-03-16 | Sony Interactive Entertainment Inc. | Image processing apparatus |
CN109151241A (zh) * | 2017-06-16 | 2019-01-04 | 柯尼卡美能达株式会社 | 印刷系统、显示装置、显示装置的控制方法以及记录介质 |
JP2019001092A (ja) * | 2017-06-16 | 2019-01-10 | コニカミノルタ株式会社 | 印刷システム、表示装置、表示装置の制御方法及びプログラム |
CN109151241B (zh) * | 2017-06-16 | 2020-02-21 | 柯尼卡美能达株式会社 | 印刷系统、显示装置、显示装置的控制方法以及记录介质 |
US11740755B2 (en) | 2017-08-31 | 2023-08-29 | Apple Inc. | Systems, methods, and graphical user interfaces for interacting with augmented and virtual reality environments |
JP2021518935A (ja) * | 2018-01-24 | 2021-08-05 | アップル インコーポレイテッドApple Inc. | 3dモデルのシステム全体の挙動のためのデバイス、方法、及びグラフィカルユーザーインターフェース |
JP7039714B2 (ja) | 2018-01-24 | 2022-03-22 | アップル インコーポレイテッド | 3dモデルのシステム全体の挙動のためのデバイス、方法、及びグラフィカルユーザーインターフェース |
Also Published As
Publication number | Publication date |
---|---|
US20150262427A1 (en) | 2015-09-17 |
JP5937128B2 (ja) | 2016-06-22 |
US9639991B2 (en) | 2017-05-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5937128B2 (ja) | 拡張現実感提供システム、方法及びプログラム | |
US20210248814A1 (en) | Systems and methods for constructing 3d panaroma model | |
CN107993216B (zh) | 一种图像融合方法及其设备、存储介质、终端 | |
JP5397190B2 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2019514123A5 (ja) | ||
US9305399B2 (en) | Apparatus and method for displaying objects | |
JP5132754B2 (ja) | 画像処理装置、方法およびそのプログラム | |
US20130120451A1 (en) | Image processing device, image processing method, and program | |
US9489751B2 (en) | Image processing apparatus and image processing method for color correction based on pixel proximity and color similarity | |
WO2018119406A4 (en) | Image processing to determine center of balance in a digital image | |
US10055824B2 (en) | Image correction device, image correction method and storage medium | |
CN112509117A (zh) | 手部三维模型的重建方法、装置、电子设备及存储介质 | |
JP5349224B2 (ja) | 画像処理装置及び画像処理方法 | |
JP7140209B2 (ja) | 検出装置、情報処理装置、検出方法、及び情報処理プログラム | |
CN113657357B (zh) | 图像处理方法、装置、电子设备及存储介质 | |
US20130182944A1 (en) | 2d to 3d image conversion | |
JP5862635B2 (ja) | 画像処理装置、立体データ生成方法、及びプログラム | |
JP5901370B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラム | |
US11328487B2 (en) | Method and program for providing augmented reality image by using depth data | |
US9628672B2 (en) | Content processing apparatus, content processing method, and storage medium | |
KR101488647B1 (ko) | 모바일 단말의 가상 조명 동작방법 및 장치 | |
KR101893793B1 (ko) | 컴퓨터 그래픽 영상의 실감도 증강을 위한 장치 및 방법 | |
CN111034185B (zh) | 影像处理装置、影像处理方法、程序和远程通信系统 | |
WO2019198446A1 (ja) | 検出装置、検出方法、情報処理装置、及び情報処理プログラム | |
JP7491527B2 (ja) | 対象物状態判定装置及び対象物状態管理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20160113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160205 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160511 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5937128 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |