JP2019213039A - 俯瞰映像提示システム - Google Patents
俯瞰映像提示システム Download PDFInfo
- Publication number
- JP2019213039A JP2019213039A JP2018107239A JP2018107239A JP2019213039A JP 2019213039 A JP2019213039 A JP 2019213039A JP 2018107239 A JP2018107239 A JP 2018107239A JP 2018107239 A JP2018107239 A JP 2018107239A JP 2019213039 A JP2019213039 A JP 2019213039A
- Authority
- JP
- Japan
- Prior art keywords
- video
- mobile device
- overhead
- overlooking
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 claims abstract description 22
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 72
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 70
- 238000004891 communication Methods 0.000 claims description 42
- 238000001514 detection method Methods 0.000 claims description 30
- 230000001678 irradiating effect Effects 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract description 5
- 238000003384 imaging method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 29
- 238000000034 method Methods 0.000 description 25
- 239000011159 matrix material Substances 0.000 description 19
- 238000003860 storage Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 11
- 238000002474 experimental method Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000011161 development Methods 0.000 description 5
- 230000010354 integration Effects 0.000 description 5
- 238000013523 data management Methods 0.000 description 4
- 239000000470 constituent Substances 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011084 recovery Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 241000255925 Diptera Species 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Landscapes
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
図1は、実施形態に係る俯瞰映像提示システム1の構成例を示す図である。図2は、実施形態に係る俯瞰映像提示システム1の機能構成を模式的に示すブロック図である。
図3は、実施形態に係る各座標系の概念を示す図である。図3に示す座標系21は、移動装置10の座標系である。図3において、ロボット座標系のxwyw平面は、床面(移動装置20の走行面2)と同一であり、zw軸の正方向は、床面に対して鉛直上向きとする。以下、図3に示す座標系21を、適宜「ロボット座標系21」と表記する。図3に示す座標系23は、例えば、カメラ11aの位置及び姿勢を規定する座標系である。以下、図3に示す座標系23を、適宜「カメラ座標系23」と表記する。なお、図示は省略するが、カメラ座標系23と同様に、カメラ11b〜11dの位置及び姿勢を規定する座標系が設定される。図3に示す座標系25は、検出装置12により取得される検出点を規定する座標系である。以下、図3に示す座標系25を、適宜「センサ座標系25」と表記する。図3に示す座標系27は、例えば、カメラ11aにより撮影されるカメラ映像11G上の点を規定する座標系である。以下、図3に示す座標系27を、適宜「カメラ画像座標系27」と表記する。なお、図示は省略するが、カメラ画像座標系27と同様に、カメラ11b〜11dにより撮影されるカメラ映像上の点を規定する座標系が設定される。図3に示す座標系29は、移動装置20を上空から俯瞰する位置にあると仮定した仮想的な仮想カメラ31による仮想カメラ映像31上の点の位置を規定する座標系である。以下、図3に示す座標系29を、適宜「仮想カメラ画像座標系29」と表記する。ロボット座標系21における点Pw=[xw,yw,zw]Tのカメラ座標系23における表現を点Pf=[xf,yf,zf]Tとする。ロボット座標系21における点Pw=[xw,yw,zw]Tのセンサ座標系25における表現を点Pd=[xd,yd,zd]Tとする。ロボット座標系21における点Pw=[xw,yw,zw]Tのカメラ画像座標系27における表現を点mf=[uf,vf]Tとする。第1俯瞰映像生成部117aは、各座標系における各点を、仮想カメラ画像座標系29における点mv=[uv,vv]Tに変換する。以下の説明において、任意の座標系における点Nの同次座標系による座標表現をN〜とする。
第1俯瞰映像生成部117aは、以下に示す式(1)で示されるカメラ座標系23における点Pf=[xf,yf,zf]Tと、カメラ画像座標系27における点mf=[uf,vf]Tとの関係に基づいて、魚眼レンズにより撮影された映像特有の歪みを除去した透視投影映像を生成する。以下に示す式(1)は、参考文献3(Davide Schramuzza, Agostion Martinelli, and Roland Siegwart: A flexible technique for accurate omnidirectional camera calibration and structure from motion, Proceeding of IEEE International Conference of Computer Vision Systems (2006) 45)及び参考文献4(Davide Schramuzza, Agostion Martinelli, and Roland Siegwart: A toolbox for easily calibrating omnidirectional cameras, Proceedings of IEEE/RSJ International Conference of Intelligent Robots and Systems (2006) 5695)に提案される手法によって求められる。
第2俯瞰映像生成部117bは、検出装置12により検出された3次元情報に基づいて、移動装置10の周囲の物体を俯瞰した第2俯瞰映像を生成する。3次元情報は、移動装置10の周囲の物体の表面の位置を示す3次元点の集合体である3次元点群の情報であり、3次元座標値で表される。第2俯瞰映像生成部117bは、まず、形状が既知の3次元物体33を用いて、検出装置12のロボット座標系21に対する位置及び姿勢を示す4×4行列の外部パラメータ行列Mdを求める。
第3映像生成部117cは、第2俯瞰映像における移動装置10と移動装置10の周囲にある物体との相対的な位置関係に基づいて、移動装置10にとって死角となる遮蔽領域を設定した第3映像を生成する。遮蔽領域は、移動装置10の周囲にある物体によって検出装置12のレーザー光が遮蔽されることにより、検出装置12により3次元計測ができず、3次元情報を取得できない領域のことをいう。遮蔽領域は、移動装置10の周囲にある物体によって移動装置10が侵入できない領域と言い換えることもできる。検出装置12により3次元情報が取得できないので、遮蔽領域に関する正確な情報を俯瞰画像上に提示することはできない。そこで、本実施形態において、情報処理装置100は、移動装置10からみて死角となる物体の背後に位置する領域を遮蔽領域と判定し、俯瞰画像上に遮蔽領域を明示することにより、移動装置10の周辺環境において不確かな領域についてオペレータの察知を促す。
統合俯瞰映像生成部117dは、第1俯瞰映像、第2俯瞰映像及び第3映像を重ねあわせて統合することにより、移動装置10と移動装置10の周囲にある物体との位置関係をオペレータに提示するための最終的な統合俯瞰映像を生成する。図7は、実施形態に係る映像統合処理の概念を示す概念図である。
以下、実施形態に係る俯瞰映像提示システム1により提供される俯瞰映像の検証実験の結果について説明する。図9は、検証実験に係る実験環境を示す図である。図10は、比較例に係る俯瞰画像の一例を示す図である。図11は、図10に示す位置から移動装置を移動させたときの俯瞰映像の一例を示す図である。図12は、図11に示す移動装置を第三者視点から撮影した映像の一例を示す図である。図13は、実施形態に係る俯瞰映像の一例を示す図である。図14は、図13に示す位置から移動装置を移動させたときの俯瞰映像の一例を示す図である。図15は、図14に示す移動装置を第三者視点から撮影した映像の一例を示す図である。
図9は、実施形態に係る俯瞰映像提示システム1により提供される俯瞰映像の検証実験の実験環境を示す図である。図9に例示するように、検証実験は、屋内において移動装置10の前方に一組の障害物50を配置した環境で実施した。障害物50を構成する障害物51及び障害物52は、それぞれ配管の一部を模擬したような形状を有し、それぞれ高さ及び水平位置をかえて宙吊りの状態で設置した。一方の障害物51は、移動装置10に備えられたカメラ11a〜11dの高さと同様の高さとなるように設置した。また、実験環境において、検出装置12により取得される3次元点群のうち、特に、xwyw平面、ywzw平面、zwxw平面上の3次元点群を確認しながら、上述した「R3」及び「td→w」を推定することにより、外部パラメータ行列Mdを算出した。
11a〜11d カメラ
12 検出装置
13 通信部
14 アクチュエータ
15 記憶部
16 制御部
100 情報処理装置
111 通信部
113 表示部
115 記憶部
117 制御部
117a 第1俯瞰映像生成部
117b 第2俯瞰映像生成部
117c 第3映像生成部
117d 統合俯瞰映像生成部
Claims (2)
- 遠隔操作可能な移動装置と、前記移動装置とデータ通信可能な情報処理装置とを含む俯瞰映像提示システムであって、
前記移動装置は、
通信部と、
前記移動装置の周囲を広角に撮影する複数台のカメラと、
前記移動装置の走行面に平行な全方位に向かって放射状のレーザー光を照射することにより、前記移動装置の周囲の物体の位置を示す3次元情報を取得する検出装置と
を有し、
前記情報処理装置は、
通信部と、
前記カメラにより取得される映像を、前記移動装置を俯瞰する仮想的な俯瞰視点からみた映像に視点変換することにより第1俯瞰映像を生成する第1俯瞰映像生成部と、
前記俯瞰視点を規定する座標系に前記3次元情報を投影することにより第2俯瞰映像を生成する第2俯瞰映像生成部と、
前記第2俯瞰映像における前記移動装置と前記物体との相対的な位置関係に基づいて、前記移動装置から死角となる領域を設定した第3映像を生成する第3映像生成部と、
前記第1俯瞰映像、前記第2俯瞰映像、及び前記第3映像を統合することにより、統合俯瞰映像を生成する統合映像生成部と、
前記統合俯瞰映像を表示する表示部と
を備えることを特徴とする俯瞰映像提示システム。 - 前記第2俯瞰映像生成部は、
前記カメラに取得される映像に基づいて、前記3次元情報に対してテクスチャ情報を付与することを特徴とする請求項1に記載の俯瞰映像提示システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018107239A JP7138856B2 (ja) | 2018-06-04 | 2018-06-04 | 俯瞰映像提示システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018107239A JP7138856B2 (ja) | 2018-06-04 | 2018-06-04 | 俯瞰映像提示システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019213039A true JP2019213039A (ja) | 2019-12-12 |
JP7138856B2 JP7138856B2 (ja) | 2022-09-20 |
Family
ID=68845690
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018107239A Active JP7138856B2 (ja) | 2018-06-04 | 2018-06-04 | 俯瞰映像提示システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7138856B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7040660B1 (ja) | 2021-03-23 | 2022-03-23 | 株式会社リコー | 情報処理装置および情報処理方法 |
JP2022151877A (ja) * | 2021-03-23 | 2022-10-07 | 株式会社リコー | 情報処理装置 |
WO2023074279A1 (ja) * | 2021-10-29 | 2023-05-04 | オムロン株式会社 | 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010287029A (ja) * | 2009-06-11 | 2010-12-24 | Konica Minolta Opto Inc | 周辺表示装置 |
-
2018
- 2018-06-04 JP JP2018107239A patent/JP7138856B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010287029A (ja) * | 2009-06-11 | 2010-12-24 | Konica Minolta Opto Inc | 周辺表示装置 |
Non-Patent Citations (1)
Title |
---|
佐藤貴亮,ALESSANDRO MORO,山下淳,淺間一: "複数の魚眼カメラとLRFを用いた重畳型全方位俯瞰画像提示手法の構築", 第13回計測自動制御学会システムインテグレーション部門講演会講演論文集 (SI2012), JPN6022012268, 18 December 2012 (2012-12-18), JP, pages 2433 - 2436, ISSN: 0004736628 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7040660B1 (ja) | 2021-03-23 | 2022-03-23 | 株式会社リコー | 情報処理装置および情報処理方法 |
JP2022151877A (ja) * | 2021-03-23 | 2022-10-07 | 株式会社リコー | 情報処理装置 |
JP2022151477A (ja) * | 2021-03-23 | 2022-10-07 | 株式会社リコー | 情報処理装置および情報処理方法 |
WO2023074279A1 (ja) * | 2021-10-29 | 2023-05-04 | オムロン株式会社 | 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット |
JP7438510B2 (ja) | 2021-10-29 | 2024-02-27 | オムロン株式会社 | 俯瞰データ生成装置、俯瞰データ生成プログラム、俯瞰データ生成方法、及びロボット |
Also Published As
Publication number | Publication date |
---|---|
JP7138856B2 (ja) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10165255B2 (en) | Indoor navigation via multi-beam laser projection | |
JP4825980B2 (ja) | 魚眼カメラの校正方法。 | |
JP5455124B2 (ja) | カメラ姿勢パラメータ推定装置 | |
Sato et al. | Spatio-temporal bird's-eye view images using multiple fish-eye cameras | |
CN105190234A (zh) | 三维表面测量的装置和方法 | |
WO2018043525A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
WO2017126368A1 (ja) | 撮影支援装置及び撮影支援方法 | |
Gao et al. | Dual-fisheye omnidirectional stereo | |
JP2007024647A (ja) | 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。 | |
JP7138856B2 (ja) | 俯瞰映像提示システム | |
JP2012063350A (ja) | 測位処理装置、測位処理方法、画像処理装置および画像処理方法 | |
JP4132068B2 (ja) | 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム | |
KR20210049581A (ko) | 이동체의 전방향에 대한 거리 취득 장치 및 방법 | |
WO2020195875A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP2011174799A (ja) | 撮影経路計算装置 | |
US20210156710A1 (en) | Map processing method, device, and computer-readable storage medium | |
Vunder et al. | Improved situational awareness in ros using panospheric vision and virtual reality | |
JP2011243076A (ja) | 対象管理画像生成装置及び対象管理画像生成プログラム | |
US20230070281A1 (en) | Methods and systems of generating camera models for camera calibration | |
WO2014102995A1 (ja) | モニタリングシステム、方法およびプログラムを記憶した情報記録媒体 | |
JP2778376B2 (ja) | カメラ視点変更方式 | |
KR102438490B1 (ko) | 단일 체커보드를 이용하는 이종 센서 캘리브레이션 방법 및 장치 | |
US20240005556A1 (en) | System and method for assessing imaged object location | |
JP2019179015A (ja) | 経路表示装置 | |
JP7162218B2 (ja) | 俯瞰映像提示システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20180620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180620 |
|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20180620 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220329 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220519 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220816 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7138856 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |