JP2017228268A - 複合現実環境を作成するためのシステム等 - Google Patents
複合現実環境を作成するためのシステム等 Download PDFInfo
- Publication number
- JP2017228268A JP2017228268A JP2017001926A JP2017001926A JP2017228268A JP 2017228268 A JP2017228268 A JP 2017228268A JP 2017001926 A JP2017001926 A JP 2017001926A JP 2017001926 A JP2017001926 A JP 2017001926A JP 2017228268 A JP2017228268 A JP 2017228268A
- Authority
- JP
- Japan
- Prior art keywords
- real space
- dimensional
- color information
- information
- dimensional shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013500 data storage Methods 0.000 claims abstract description 13
- 238000009877 rendering Methods 0.000 claims abstract description 9
- 238000000034 method Methods 0.000 claims description 55
- 230000008859 change Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 description 20
- 238000005286 illumination Methods 0.000 description 18
- 238000012545 processing Methods 0.000 description 17
- 239000011159 matrix material Substances 0.000 description 15
- 238000010586 diagram Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 238000013507 mapping Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000001678 irradiating effect Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000002366 time-of-flight method Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 102100035767 Adrenocortical dysplasia protein homolog Human genes 0.000 description 1
- 101000929940 Homo sapiens Adrenocortical dysplasia protein homolog Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
Abstract
Description
図1は、本発明の実施形態によるシステム10の全体構成図の一例である。図1に示すように、システム10は、サーバ100と、1又は複数の表示装置200と、1又は複数の画像取得装置300とを含む。サーバ100、表示装置200、及び画像取得装置300は、インターネットなどのネットワーク50に接続され、互いに通信可能である。
本発明の実施形態によるシステム10が複合現実環境43をユーザに提供する現実世界の空間(所定の実空間)として、図6に示すような壁27に覆われた屋内の空間である実空間41を想定する。図6aは実空間41の概観図、図6bは実空間41を上から見た平面図である。実空間41内には、現実世界の光源21及び現実世界の実オブジェクトである建物22が存在する。図6に示すように、実空間41においては、観測対象となる空間、すなわち実空間41内にいるユーザが視認可能な空間を撮影できるように、複数の固定カメラ300が配置される。
色情報cは、RGBやHSV等のフォーマットで表現される。例えばHSVのフォーマットで表現される場合、色情報は、色相、彩度、及び明度を有する。
本実施形態においては、3次元形状要素としてメッシュを用いる。第1の実施形態の場合と同様に、取得された色付き点群データをメッシュと呼ばれるデータ構造へ変換する。例えば、取得された色付き点群データから既知の方法を用いて各点群を頂点としたポリゴンを形成し、1又は複数のポリゴンから形成されるメッシュへと変換する。ただし、基本的な考え方は第1の実施形態のボクセルの場合と同じであるため、第1の実施形態と異なる点を中心に説明する。
本発明の実施形態によるシステム10が複合現実環境53をユーザに提供する現実世界の空間(所定の実空間)として、図12に示すような屋外の空間である実空間51を想定する。実空間51は、天井と一対の横壁が無い点、太陽光を含む光源22が実空間内ではなく実空間外に有する点以外は、実空間41と同じである。実空間51においても、ユーザが視認可能な実空間51内の領域を撮影可能な複数の定点にそれぞれ固定カメラ300が配置される。また説明を簡単にするため、本実施形態においては、3次元形状要素としてボクセルを用いるものとするが、3次元形状要素としてメッシュや点群データを用いることもできる。以下、第1の実施形態と異なる点を中心に説明する。
上記のとおり、図7に示す機能を有するものであるが、1つの実施形態に係るシステムアーキテクチャは、次の6つのモジュールから構成することができる。6つのモジュールは、ボクセルコンバータ(Point Cloud to Voxel Converter)と、ボクセルDBと、3Dアドレスマッピングテーブルジェネレータ(以下、「ジェネレータ」という)と、3Dアドレスマッピングテーブル(以下、「テーブル」という)と、ポジショントラッカーと、環境照明パラメータと、から構成される。このようにモジュール化を行うことにより、一部のモジュールを変更してシステムに適用することが可能になる。
ここで、cidは、固定カメラの識別し、cx、cyは固定カメラのピクセル、vx、vy、vzは、マッピング先となるボクセルの3次元座標を示す。なお、本発明の実施形態はボクセルを使用する方法に依存しておらず、vx、vy、vzは、点群データの座標でもよいし、3次元空間上の特定のメッシュのUV座標でもよい。テーブルは、テーブル作成手段13により作成されたテーブルに対応する機能を有するものである。
11 記憶手段
12 3次元空間データ作成手段
13 テーブル作成手段
14 色情報決定手段
15 色情報更新手段
16 仮想照明情報生成手段
17 ユーザ環境取得手段
18 描画手段
21 光源
22 建物
23 影
24 キャラクタ
25、26 台
27 壁
31、41、51 現実世界(実空間)
32、42、52 仮想世界(仮想空間)
33、43、53 複合現実世界(複合現実環境)
50 ネットワーク
100 サーバ
101、201 処理部
102、202 表示部
103 入力部
104、204 記憶部
105、205 通信部
110、210 バス
200 表示装置
203 撮影部
206 位置姿勢センサ
300 固定カメラ
Claims (12)
- サーバと、ユーザに対して仮想オブジェクトを表示するための表示部及び実空間を撮影する撮影部を有する携帯可能な表示装置と、所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得する画像取得装置とを備え、前記表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画するためのシステムであって、
予め取得された前記所定の実空間内にある実オブジェクトの点群データに基づいて作成された3次元空間データであって、それぞれが3次元位置情報を有する3次元形状要素から構成される3次元空間データを記憶する3次元空間データ記憶手段と、
前記画像取得装置により取得された画像のそれぞれのピクセルの位置情報と、それぞれのピクセルが示す1又は複数の前記3次元形状要素の3次元位置情報とが関連付けられたテーブルを記憶するテーブル記憶手段と、
前記3次元形状要素が関連付けられた1又は複数の前記ピクセルの色情報に基づいて前記3次元形状要素の色情報を決定する色情報決定手段と、
前記画像取得装置により取得された画像のそれぞれのピクセルの色情報の変化に基づいて前記3次元形状要素の色情報を更新する色情報更新手段と、
前記表示装置の位置及び前記撮影部の撮影方向を決定するユーザ環境決定手段と、
前記3次元形状要素の色情報及び3次元位置情報に基づいて、前記描画される仮想オブジェクトに対する仮想照明情報を生成する仮想照明情報生成手段と、
前記表示装置の位置及び前記撮影部の撮影方向、並びに前記仮想照明情報に基づいて、前記表示部に前記仮想オブジェクトを描画する描画手段と、
の各手段を前記サーバ又は前記表示装置が備える、システム。 - 前記仮想照明情報生成手段は、前記3次元形状要素の色情報及び3次元位置情報に基づいて、前記描画される仮想オブジェクトを収容する仮想的な多面体の各面における仮想照明情報を前記描画される仮想オブジェクトに対する仮想照明情報として生成する、請求項1に記載のシステム。
- 前記表示装置は、位置姿勢センサを更に備え、
前記ユーザ環境決定手段は、前記位置姿勢センサにより取得された前記表示装置の位置及び前記撮影部の撮影方向を暫定ユーザ環境とし、該暫定ユーザ環境から所定範囲内の位置及び方向において前記撮影部が撮影可能な前記3次元形状要素を前記3次元空間データ記憶手段から取得し、該取得された3次元形状要素の色情報及び3次元位置情報と前記撮影された実空間の撮影画像とに基づいて、前記表示装置の位置及び前記撮影部の撮影方向を決定する、請求項1又は2に記載のシステム。 - 前記3次元形状要素は、予め取得された前記所定の実空間内にある実オブジェクトの点群データに基づいて作成されたポリゴンから構成されるメッシュである、請求項1から3のいずれか1項に記載のシステム。
- ユーザに対して仮想オブジェクトを表示するための表示部及び実空間を撮影する撮影部を有し、前記表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画するための携帯可能な表示装置であって、
予め取得された所定の実空間内にある実オブジェクトの点群データに基づいて作成された3次元空間データであって、それぞれが3次元位置情報を有する3次元形状要素から構成される3次元空間データを記憶する3次元空間データ記憶手段と、
前記所定の実空間内の領域を撮影可能な複数の定点からそれぞれ取得された画像のそれぞれのピクセルの位置情報と、それぞれのピクセルが示す1又は複数の前記3次元形状要素の3次元位置情報とが関連付けられたテーブルを記憶するテーブル記憶手段と、
前記3次元形状要素が関連付けられた1又は複数の前記ピクセルの色情報に基づいて前記3次元形状要素の色情報を決定する色情報決定手段と、
前記取得された画像のそれぞれのピクセルの色情報の変化に基づいて前記3次元形状要素の色情報を更新する色情報更新手段と、
前記表示装置の位置及び前記撮影部の撮影方向を決定するユーザ環境決定手段と、
前記3次元形状要素の色情報及び3次元位置情報に基づいて、前記描画される仮想オブジェクトに対する仮想照明情報を生成する仮想照明情報生成手段と、
前記表示装置の位置及び前記撮影部の撮影方向、並びに前記仮想照明情報に基づいて、前記表示部に前記仮想オブジェクトを描画する描画手段と、
を備える、表示装置。 - サーバと、ユーザに対して3次元の仮想オブジェクトを表示するための表示部、実空間を撮影する撮影部、及び位置姿勢センサを有する携帯可能な表示装置と、を備え、前記表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画するためのシステムであって、
予め取得された所定の実空間内にある実オブジェクトの点群データに基づいて作成された3次元空間データであって、それぞれが色情報及び3次元位置情報を有する3次元形状要素から構成される3次元空間データを記憶する3次元空間データ記憶手段と、
前記位置姿勢センサにより取得された前記表示装置の位置及び前記撮影部の撮影方向を暫定ユーザ環境とし、該暫定ユーザ環境から所定範囲内の位置及び方向において前記撮影部が撮影可能な前記3次元形状要素を前記3次元空間データ記憶手段から取得し、該取得された3次元形状要素の色情報及び3次元位置情報と前記撮影された実空間の撮影画像とに基づいて、前記表示装置の位置及び前記撮影部の撮影方向を決定するユーザ環境決定手段と、
の各手段を前記サーバ又は前記表示装置が備える、システム。 - 所定の実空間内において携帯可能な表示装置の表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画する方法であって、
前記所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得するステップと、
予め取得された前記所定の実空間内にある実オブジェクトの点群データに基づいて作成された3次元空間データを構成する3次元位置情報を有する3次元形状要素の色情報であって、前記取得された画像の前記3次元形状要素に対応する位置のピクセルの色情報に基づいて前記3次元形状要素の色情報を決定するステップと、
前記取得された画像のそれぞれのピクセルの色情報の変化に基づいて前記3次元形状要素の色情報を更新するステップと、
前記表示装置の位置及び前記表示装置が備える撮影部の撮影方向を決定するステップと、
前記3次元形状要素の色情報及び3次元位置情報に基づいて、前記描画される仮想オブジェクトに対する仮想照明情報を生成するステップと、
前記表示装置の位置及び前記撮影部の撮影方向、並びに前記仮想照明情報に基づいて、前記表示部に前記仮想オブジェクトを描画するステップと、
を有する方法。 - サーバと、ユーザに対して仮想オブジェクトを表示するための表示部及び実空間を撮影する撮影部を有する携帯可能な表示装置と、所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得する画像取得装置とを備えるシステムにおいて、前記表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して仮想オブジェクトを重畳させて描画するためのプログラムであって、
前記プログラムは、前記サーバに、
前記表示装置から画像を取得するステップと、
予め取得された前記所定の実空間内にある実オブジェクトの点群データに基づいて作成された3次元空間データを構成する3次元位置情報を有する3次元形状要素の色情報であって、前記画像取得装置により取得された画像の前記3次元形状要素に対応する位置のピクセルの色情報に基づいて前記3次元形状要素の色情報を決定するステップと、
前記画像取得装置により取得された画像のそれぞれのピクセルの色情報の変化に基づいて前記3次元形状要素の色情報を更新するステップと、
前記表示装置の位置及び前記撮影部の撮影方向を決定するステップと、
前記3次元形状要素の色情報及び3次元位置情報に基づいて、前記描画される仮想オブジェクトに対する仮想照明情報を生成するステップと、
前記表示装置の位置及び前記撮影部の撮影方向、並びに前記仮想照明情報に基づいて、前記表示部に前記仮想オブジェクトを描画するステップと、
を実行させる、プログラム。 - 所定の実空間内において携帯可能な表示装置の表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して3次元の仮想オブジェクトを重畳させて描画するための複合現実環境を作成する方法であって、
前記所定の実空間内にある実オブジェクトの点群データに基づいて、それぞれが3次元位置情報を有する3次元形状要素から構成される3次元空間データを作成するステップと、
前記所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得するステップと、
前記取得された画像のそれぞれのピクセルの位置情報と、それぞれのピクセルが示す1又は複数の前記3次元形状要素の3次元位置情報とを関連付けたテーブルを作成するステップと、
前記3次元形状要素が関連付けられた1又は複数の前記ピクセルの色情報に基づいて前記3次元形状要素の色情報を決定するステップと、
を有する方法。 - 前記方法は、
前記取得された画像のそれぞれのピクセルの色情報の変化に基づいて前記3次元形状要素の色情報を更新するステップを更に有する、請求項9に記載の方法。 - 所定の実空間内において携帯可能な表示装置の表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して3次元の仮想オブジェクトを重畳させて描画するための複合現実環境を作成するためのシステムであって、
前記所定の実空間内にある実オブジェクトの点群データに基づいて、それぞれが3次元位置情報を有する3次元形状要素から構成される3次元空間データを作成する3次元空間データ作成手段と、
前記所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得する画像取得手段と、
前記取得された画像のそれぞれのピクセルの位置情報と、それぞれのピクセルが示す1又は複数の前記3次元形状要素の3次元位置情報とを関連付けたテーブルを作成するテーブル作成手段と、
前記3次元形状要素が関連付けられた1又は複数の前記ピクセルの色情報に基づいて前記3次元形状要素の色情報を決定する色情報決定手段と、
を備えるシステム。 - 所定の実空間内において携帯可能な表示装置の表示部を通してユーザが視認する実空間又は実空間の撮影画像に対して3次元の仮想オブジェクトを重畳させて描画するための複合現実環境を作成するためのデータ構造であって、
前記所定の実空間内の領域を撮影可能な複数の定点からそれぞれ画像を取得し、該取得された画像のそれぞれのピクセルの位置情報を示す2次元座標データと、
前記所定の実空間内にある実オブジェクトの点群データに基づいて作成された3次元空間データを構成する3次元形状要素であって、前記それぞれのピクセルに関連付けられた3次元形状要素の3次元位置情報を示す3次元座標データと、
を含むデータ構造。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017001926A JP6134874B1 (ja) | 2017-01-10 | 2017-01-10 | 複合現実環境を作成するためのシステム等 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017001926A JP6134874B1 (ja) | 2017-01-10 | 2017-01-10 | 複合現実環境を作成するためのシステム等 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016121928A Division JP6088094B1 (ja) | 2016-06-20 | 2016-06-20 | 複合現実環境を作成するためのシステム等 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6134874B1 JP6134874B1 (ja) | 2017-05-24 |
JP2017228268A true JP2017228268A (ja) | 2017-12-28 |
Family
ID=58745756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017001926A Active JP6134874B1 (ja) | 2017-01-10 | 2017-01-10 | 複合現実環境を作成するためのシステム等 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6134874B1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111148967B (zh) * | 2017-09-29 | 2024-03-08 | 松下电器(美国)知识产权公司 | 三维数据制作方法、客户端装置以及服务器 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008033531A (ja) * | 2006-07-27 | 2008-02-14 | Canon Inc | 情報処理方法 |
JP2009199284A (ja) * | 2008-02-21 | 2009-09-03 | Univ Of Tokyo | 道路地物認識方法 |
JP2014120079A (ja) * | 2012-12-18 | 2014-06-30 | Nippon Telegr & Teleph Corp <Ntt> | 陰影情報導出装置、陰影情報導出方法及びプログラム |
-
2017
- 2017-01-10 JP JP2017001926A patent/JP6134874B1/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008033531A (ja) * | 2006-07-27 | 2008-02-14 | Canon Inc | 情報処理方法 |
JP2009199284A (ja) * | 2008-02-21 | 2009-09-03 | Univ Of Tokyo | 道路地物認識方法 |
JP2014120079A (ja) * | 2012-12-18 | 2014-06-30 | Nippon Telegr & Teleph Corp <Ntt> | 陰影情報導出装置、陰影情報導出方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP6134874B1 (ja) | 2017-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6088094B1 (ja) | 複合現実環境を作成するためのシステム等 | |
US10896497B2 (en) | Inconsistency detecting system, mixed-reality system, program, and inconsistency detecting method | |
JP6687204B2 (ja) | 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法 | |
JP4804256B2 (ja) | 情報処理方法 | |
JP4185052B2 (ja) | 拡張仮想環境 | |
US8963943B2 (en) | Three-dimensional urban modeling apparatus and method | |
TWI494898B (zh) | 從地理參考影像擷取和映對三維特徵之技術 | |
CN105190703A (zh) | 使用光度立体来进行3d环境建模 | |
JP2006053694A (ja) | 空間シミュレータ、空間シミュレート方法、空間シミュレートプログラム、記録媒体 | |
MX2013003853A (es) | Modelado tridimensional rápido. | |
JP2018106661A (ja) | 不整合検出システム、複合現実システム、プログラム及び不整合検出方法 | |
JP2023546739A (ja) | シーンの3次元モデルを生成するための方法、装置、およびシステム | |
EP4134917A1 (en) | Imaging systems and methods for facilitating local lighting | |
Reitinger et al. | Augmented reality scouting for interactive 3d reconstruction | |
JP7475022B2 (ja) | 室内空間の3次元地図生成方法及び装置 | |
CN114283243A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
JP6134874B1 (ja) | 複合現実環境を作成するためのシステム等 | |
JP2015099545A (ja) | 画像生成システム及び画像生成プログラム | |
CN114332207A (zh) | 距离确定的方法、装置、计算机设备及存储介质 | |
CN113822936A (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
JP2008203991A (ja) | 画像処理装置 | |
Lai | Augmented Reality visualization of building information model | |
CN114723923B (zh) | 一种传动解决方案模拟展示系统和方法 | |
Wu et al. | Cognition-based augmented reality visualization of the geospatial data | |
DROFOVA et al. | ANALYSIS OF THE DISPLAY OF 3D IMAGE DATA OF INTERIOR SCANNED BY A 3D LASER SCANNER |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170313 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170412 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170424 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6134874 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |