JP2022172833A - 情報処理装置、及び、情報処理方法 - Google Patents
情報処理装置、及び、情報処理方法 Download PDFInfo
- Publication number
- JP2022172833A JP2022172833A JP2021079100A JP2021079100A JP2022172833A JP 2022172833 A JP2022172833 A JP 2022172833A JP 2021079100 A JP2021079100 A JP 2021079100A JP 2021079100 A JP2021079100 A JP 2021079100A JP 2022172833 A JP2022172833 A JP 2022172833A
- Authority
- JP
- Japan
- Prior art keywords
- image
- point cloud
- information processing
- captured image
- selection points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 94
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000003384 imaging method Methods 0.000 claims abstract description 48
- 230000011218 segmentation Effects 0.000 claims description 18
- 238000000034 method Methods 0.000 description 40
- 238000004891 communication Methods 0.000 description 15
- 230000014509 gene expression Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 239000013598 vector Substances 0.000 description 4
- 238000004590 computer program Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
<本開示に至る経緯>
図1Aは、現実空間の撮像画像31の表示画面を示す図である。以下、撮像画像31を撮像した位置を撮像位置と称し、撮像画像31を撮像した方向を撮像方向と称する。図1Bは、現実空間の点群画像70の表示画面を示す図である。点群画像70は、現実空間を3Dレーザスキャナでセンシングして得られた複数の3次元座標点(3D点)によって構成されたデータである3次元(3D)点群データ32(図2参照)を、撮像位置から撮像方向に見た場合の透視投影画像である。
図2は、本実施の形態に係る情報処理システム1の構成例を示すブロック図である。
次に、図3A、図3B、図4、図5を参照して、撮像画像31に3D点群データ32を合わせ込む第1の方法について説明する。
次に、図4、図6A、図6B、図7を参照して、撮像画像31に3D点群データ32を合わせ込む第2の方法について説明する。
次に、図8、図9を参照して、学習器34の生成方法について説明する。
本開示は以下のように表現できる。
現実空間を撮像した撮像画像31に当該現実空間を3次元スキャンして得られた3次元点群データ32を重畳させる情報処理装置20は、プロセッサ21及びメモリ22を備え、プロセッサ21はメモリ22と協働して、撮像画像31に少なくとも4つの画像選定点41を設定し、撮像画像31の撮像位置及び撮像方向と共通する視点位置及び視点方向から3次元点群データ32を見た場合の点群画像である第1の点群画像に、少なくとも4つの画像選定点41に対応する少なくとも4つの点群選定点42を設定し、画像選定点41と点群選定点42の対応関係に基づいて、撮像画像31に適合する第2の点群画像を生成する。
これにより、撮像画像31に対する3次元点群データ32の合わせ込み、すなわち、撮像画像31に適合する第2の点群画像の生成を簡単かつ効率的に行うことができる。加えて、第1の点群画像よりも撮像画像31に対する適合精度が高い第2の点群画像を生成することができる。
表現1に記載の情報処理装置20において、プロセッサ21は、撮像画像31に第2の点群画像を重畳した画像(AR画像33)を生成し、表示装置13に表示してよい。
これにより、撮像画像31と第2の点群画像とが精度良く重畳された画像(AR画像33)を表示することができる。
表現1又は2に記載の情報処理装置20において、プロセッサ21は、撮像画像31のセグメンテーションと、3D点群データ32のセグメンテーションとのマッチングに基づいて、第1の点群画像を生成してよい。
これにより、効率的に第1の点群画像を生成できる。
表現1から3のいずれか1つに記載の情報処理装置20において、プロセッサ21は、撮像画像31から特徴点(2D特徴点61)を検出し、検出した特徴点(2D特徴点61)の中から画像選定点41を設定してよい。
これにより、自動的に画像選定点41を設定することができる。
表現4に記載の情報処理装置20において、上記特徴点(2D特徴点61)は、撮像画像31を4分割した各区画52A、52B、52C、52Dから検出されたものであってよい。
これにより、画像選定点41が撮像画像31の全体に満遍なく設定されるので、撮像画像31により適合する第2の点群画像を生成することができる。
表現1から5のいずれか1つに記載の情報処理装置20において、プロセッサ21は、地物の共通部分における撮像画像の特徴点(2D特徴点61)の特徴量(2D特徴量62)と、当該共通部分における3次元点群データ32の特徴点(3D特徴点63)の特徴量(3D特徴量65)との対応関係を学習済みである学習器34を用いて、画像選定点41に対応する点群選定点42を設定してよい。
これにより、自動的に画像選定点41に対応する点群選定点42を設定することができる。
表現1から3のいずれか1つに記載の情報処理装置20において、プロセッサ21は、撮像画像31と第1の点群画像とを表示装置13に表示し、表示された撮像画像31に対する画像選定点41をユーザに設定させ、表示された第1の点群画像に対して画像選定点41に対応する点群選定点42をユーザに設定させてよい。
これにより、ユーザは、画像選定点41と点群選定点42を設定すればよいので、撮像画像31に3次元点群データ32を合わせ込む作業を簡単かつ効率的に行うことができる。
情報処理装置20によって、現実空間を撮像した撮像画像31に現実空間を3次元スキャンして得られた3次元点群データ32を重畳させる情報処理方法では、撮像画像31に少なくとも4つの画像選定点41を設定し、撮像画像31の撮像位置及び撮像方向に対応する視点位置及び視点方向から3次元点群データ32を見た場合の点群画像である第1の点群画像に、少なくとも4つの画像選定点41に対応する少なくとも4つの点群選定点42を設定し、画像選定点41と点群選定点42の対応関係に基づいて、撮像画像31に適合する第2の点群画像を生成する。
これにより、撮像画像31に対する3次元点群データ32の合わせ込み、すなわち、撮像画像31に適合する第2の点群画像の生成を簡単かつ効率的に行うことができる。加えて、第1の点群画像よりも撮像画像31に対する適合精度が高い第2の点群画像を生成することができる。
11 撮像装置
12 入力装置
13 表示装置
20 情報処理装置
21 プロセッサ
22 メモリ
23 通信I/F
24 入力I/F
25 表示I/F
26 ストレージ
27 バス
31 撮像画像
32 3D点群データ
33 AR画像
34 学習器
36 第1の点群画像
41、41A、41B、41C、41D、41E 画像選定点
42、42A、42B、42C、42D、42E 点群選定点
51A、51B 直線
52A、52B、52C、52D 区画
61 2D特徴点
62 2D特徴量
63 3D特徴点
64、65 3D特徴量
70 点群画像
71 画像アンカー
72 点群アンカー
Claims (8)
- 現実空間を撮像した撮像画像に前記現実空間を3次元スキャンして得られた3次元点群データを重畳させる情報処理装置であって、プロセッサ及びメモリを備え、
前記プロセッサは前記メモリと協働して、
前記撮像画像に少なくとも4つの画像選定点を設定し、
前記撮像画像の撮像位置及び撮像方向に対応する視点位置及び視点方向から前記3次元点群データを見た場合の点群画像である第1の点群画像に、前記少なくとも4つの画像選定点に対応する少なくとも4つの点群選定点を設定し、
前記画像選定点と前記点群選定点の対応関係に基づいて、前記撮像画像に適合する第2の点群画像を生成する、情報処理装置。 - 前記プロセッサは、前記撮像画像に前記第2の点群画像を重畳した画像を生成し、表示装置に表示する、
請求項1に記載の情報処理装置。 - 前記プロセッサは、前記撮像画像のセグメンテーションと、前記3次元点群データのセグメンテーションとのマッチングに基づいて、前記第1の点群画像を生成する、
請求項1又は2に記載の情報処理装置。 - 前記プロセッサは、前記撮像画像から特徴点を検出し、検出した前記特徴点の中から前記画像選定点を設定する、
請求項1から3のいずれか1項に記載の情報処理装置。 - 前記特徴点は、前記撮像画像を4分割した各区画から検出されたものである、
請求項4に記載の情報処理装置。 - 前記プロセッサは、地物の共通部分における撮像画像の特徴点の特徴量と、前記共通部分における3次元点群データの特徴点の特徴量との対応関係を学習済みである学習器を用いて、前記画像選定点に対応する前記点群選定点を設定する、
請求項1から5のいずれか1項に記載の情報処理装置。 - 前記プロセッサは、
前記撮像画像と前記第1の点群画像とを表示装置に表示し、
表示された前記撮像画像に対する前記画像選定点をユーザに設定させ、
表示された前記第1の点群画像に対して前記画像選定点に対応する前記点群選定点を前記ユーザに設定させる、
請求項1から3のいずれか1項に記載の情報処理装置。 - 情報処理装置によって、現実空間を撮像した撮像画像に前記現実空間を3次元スキャンして得られた3次元点群データを重畳させる情報処理方法であって、
前記撮像画像に少なくとも4つの画像選定点を設定し、
前記撮像画像の撮像位置及び撮像方向に対応する視点位置及び視点方向から前記3次元点群データを見た場合の点群画像である第1の点群画像に、前記少なくとも4つの画像選定点に対応する少なくとも4つの点群選定点を設定し、
前記画像選定点と前記点群選定点の対応関係に基づいて、前記撮像画像に適合する第2の点群画像を生成する、情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021079100A JP6967816B1 (ja) | 2021-05-07 | 2021-05-07 | 情報処理装置、及び、情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021079100A JP6967816B1 (ja) | 2021-05-07 | 2021-05-07 | 情報処理装置、及び、情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6967816B1 JP6967816B1 (ja) | 2021-11-17 |
JP2022172833A true JP2022172833A (ja) | 2022-11-17 |
Family
ID=78509620
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021079100A Active JP6967816B1 (ja) | 2021-05-07 | 2021-05-07 | 情報処理装置、及び、情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6967816B1 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012057960A (ja) * | 2010-09-06 | 2012-03-22 | Topcon Corp | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム |
JP2012063866A (ja) * | 2010-09-14 | 2012-03-29 | Topcon Corp | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム |
WO2012117706A1 (ja) * | 2011-03-01 | 2012-09-07 | パナソニック株式会社 | 映像処理装置、映像処理方法、プログラム |
JP2019212225A (ja) * | 2018-06-08 | 2019-12-12 | 朝日航洋株式会社 | 端末装置および端末装置の制御方法 |
JP2020135679A (ja) * | 2019-02-25 | 2020-08-31 | 富士通株式会社 | データセット作成方法、データセット作成装置、及びデータセット作成プログラム |
JP6863634B1 (ja) * | 2020-05-27 | 2021-04-21 | シンメトリー・ディメンションズ・インク | モデル生成装置、学習器生成装置、モデル生成方法、及び、学習器生成方法 |
-
2021
- 2021-05-07 JP JP2021079100A patent/JP6967816B1/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012057960A (ja) * | 2010-09-06 | 2012-03-22 | Topcon Corp | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム |
JP2012063866A (ja) * | 2010-09-14 | 2012-03-29 | Topcon Corp | 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム |
WO2012117706A1 (ja) * | 2011-03-01 | 2012-09-07 | パナソニック株式会社 | 映像処理装置、映像処理方法、プログラム |
JP2019212225A (ja) * | 2018-06-08 | 2019-12-12 | 朝日航洋株式会社 | 端末装置および端末装置の制御方法 |
JP2020135679A (ja) * | 2019-02-25 | 2020-08-31 | 富士通株式会社 | データセット作成方法、データセット作成装置、及びデータセット作成プログラム |
JP6863634B1 (ja) * | 2020-05-27 | 2021-04-21 | シンメトリー・ディメンションズ・インク | モデル生成装置、学習器生成装置、モデル生成方法、及び、学習器生成方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6967816B1 (ja) | 2021-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10134196B2 (en) | Mobile augmented reality system | |
US10269092B2 (en) | Image processing device, image processing method, and storage medium | |
US10593014B2 (en) | Image processing apparatus, image processing system, image capturing system, image processing method | |
US9723203B1 (en) | Method, system, and computer program product for providing a target user interface for capturing panoramic images | |
CN110300292B (zh) | 投影畸变校正方法、装置、系统及存储介质 | |
US9530235B2 (en) | Aligning panoramic imagery and aerial imagery | |
AU2018200055B2 (en) | Show personalized preview for 360 or panoramic images based on search query to enhance customer experience by providing them most relevant view of images | |
US10855916B2 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
US20170374256A1 (en) | Method and apparatus for rolling shutter compensation | |
US10063792B1 (en) | Formatting stitched panoramic frames for transmission | |
CN112750203B (zh) | 模型重建方法、装置、设备及存储介质 | |
JP6096634B2 (ja) | 仮想現実を用いた3次元地図表示システム | |
Gomez-Jauregui et al. | Quantitative evaluation of overlaying discrepancies in mobile augmented reality applications for AEC/FM | |
US9549169B2 (en) | Stereoscopic map display system | |
US20190306420A1 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
US20190289206A1 (en) | Image processing apparatus, image capturing system, image processing method, and recording medium | |
WO2019093457A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN113496503B (zh) | 点云数据的生成及实时显示方法、装置、设备及介质 | |
JP2014009993A (ja) | 情報処理システム、情報処理装置、サーバ、端末装置、情報処理方法、及びプログラム | |
CN114185073A (zh) | 一种位姿显示方法、装置及系统 | |
JP2022172833A (ja) | 情報処理装置、及び、情報処理方法 | |
US11861864B2 (en) | System and method for determining mediated reality positioning offset for a virtual camera pose to display geospatial object data | |
JP2020071854A (ja) | 画像処理装置、画像処理方法及びプログラム | |
US11770551B2 (en) | Object pose estimation and tracking using machine learning | |
JP6405539B2 (ja) | 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210507 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210507 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210726 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211012 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211019 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6967816 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |