JP2019213039A

JP2019213039A - 俯瞰映像提示システム

Info

Publication number: JP2019213039A
Application number: JP2018107239A
Authority: JP
Inventors: 山下　淳; Atsushi Yamashita; 淳山下; 一淺間; Hajime Asama; 雄介田村; Yusuke Tamura; 浩光藤井; Hiromitsu Fujii; 靖之粟島; Yasuyuki Awashima; 新吾山本; Shingo Yamamoto; 拓史千葉; Takuji Chiba; 郁也坂井; Ikuya Sakai
Original assignee: Fujita Corp; University of Tokyo NUC
Current assignee: Fujita Corp; University of Tokyo NUC
Priority date: 2018-06-04
Filing date: 2018-06-04
Publication date: 2019-12-12
Anticipated expiration: 2038-06-04
Also published as: JP7138856B2

Abstract

【課題】遠隔操作により移動可能な移動装置を取り巻く周囲の状況をできるだけ正確に提示すること。【解決手段】本発明に係る俯瞰映像提示システムにおいて、移動装置は、移動装置の周囲を広角に撮影する複数台のカメラと、移動装置の走行面に平行な全方位に向かって放射状のレーザー光を照射することにより、移動装置の周囲の物体の位置を示す３次元情報を取得する検出装置とを有する。情報処理装置は、カメラにより取得される映像を、移動装置を俯瞰する仮想的な俯瞰視点からみた映像に視点変換することにより第１俯瞰映像を生成し、俯瞰視点を規定する座標系に３次元情報を投影することにより第２俯瞰映像を生成し、第２俯瞰映像における移動装置と物体との相対的な位置関係に基づいて、移動装置から死角となる領域を設定した第３映像を生成し、第１俯瞰映像、第２俯瞰映像、及び第３映像を重畳して、統合俯瞰映像を生成する。【選択図】図２

Description

本発明は、俯瞰映像提示システムに関する。

近年、災害現場の復旧作業における遠隔操作可能な移動装置（以下、適宜「遠隔移動装置」と記載する）の利用に伴って、復旧作業の作業効率の向上を目的とした遠隔移動装置の映像提示技術の開発が盛んに行なわれている。例えば、災害現場の映像提示技術の１つとして例示される俯瞰映像提示システムは、遠隔移動装置に広角レンズを備えた複数台のカメラを搭載し、複数台のカメラから取得した映像を処理することによって、遠隔移動装置を上空の第三者視点から俯瞰したような映像を疑似的に提示することができる。

特表２０１７−５３８２０８号公報特開２０１７−１７３２９８号公報特開２０１８−５０１１９号公報

従来の俯瞰映像提示システムは、カメラ映像の投影方法などを原因として、遠隔移動装置の周囲にある物体が俯瞰映像上に正確に描画されない結果、遠隔移動装置を取り巻く周囲の状況を、遠隔移動装置のオペレータに正確に伝えられない場合がある。

本発明は、遠隔操作により移動可能な移動装置を取り巻く周囲の状況をできるだけ正確に提示することができる俯瞰映像提示システムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明に係る俯瞰映像提示システムは、１つの態様として、遠隔操作可能な移動装置と、前記移動装置とデータ通信可能な情報処理装置とを含む俯瞰映像提示システムであって、前記移動装置は、通信部と、前記移動装置の周囲を広角に撮影する複数台のカメラと、前記移動装置の走行面に平行な全方位に向かって放射状のレーザー光を照射することにより、前記移動装置の周囲の物体の位置を示す３次元情報を取得する検出装置とを有する。前記情報処理装置は、通信部と、前記カメラにより取得される映像を、前記移動装置を俯瞰する仮想的な俯瞰視点からみた映像に視点変換することにより第１俯瞰映像を生成する第１俯瞰映像生成部と、前記俯瞰視点を規定する座標系に前記３次元情報を投影することにより第２俯瞰映像を生成する第２俯瞰映像生成部と、前記第２俯瞰映像における前記移動装置と前記物体との相対的な位置関係に基づいて、前記移動装置から死角となる領域を設定した第３映像を生成する第３映像生成部と、前記第１俯瞰映像、前記第２俯瞰映像、及び前記第３映像を統合することにより、統合俯瞰映像を生成する統合映像生成部と、前記統合俯瞰映像を表示する表示部とを備える。

本発明に係る俯瞰映像提示システムは、遠隔操作により移動可能な移動装置を取り巻く周囲の状況をできるだけ正確に提示することができるという効果を奏する。

図１は、実施形態に係る俯瞰映像提示システムの構成例を示す図である。図２は、実施形態に係る俯瞰映像提示システムの機能構成を模式的に示すブロック図である。図３は、実施形態に係る各座標系の概念を示す図である。図４は、実施形態に係る外部パラメータ行列を求める際の概念図である。図５は、実施形態に係る３次元点群の情報に対してテクスチャ情報の付与および３次元点群の床面への投影に関する概念図である。図６は、実施形態に係る遮蔽領域の生成方法を示す概念図である。図７は、実施形態に係る映像統合処理の概念を示す概念図である。図８は、実施形態に係る情報処理装置により実行される俯瞰映像生成処理の流れの一例を示すフローチャートである。図９は、検証実験に係る実験環境を示す図である。図１０は、比較例に係る俯瞰画像の一例を示す図である。図１１は、図１０に示す位置から移動装置を移動させたときの俯瞰映像の一例を示す図である。図１２は、図１１に示す移動装置を第三者視点から撮影した映像の一例を示す図である。図１３は、実施形態に係る俯瞰映像の一例を示す図である。図１４は、図１３に示す位置から移動装置を移動させたときの俯瞰映像の一例を示す図である。図１５は、図１４に示す移動装置を第三者視点から撮影した映像の一例を示す図である。

以下に、本発明に係る俯瞰映像提示システムの実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、以下に記載した実施形態における構成要素には、当業者が置換可能、且つ、容易なもの、或いは実質的に同一のものが含まれる。さらに、以下に記載した実施形態における構成要素は、本発明の要旨を逸脱しない範囲で構成の種々の省略、置換又は変更を行うことができる。以下の実施形態では、本発明に係る俯瞰映像提示システムの実施形態の１つを例示する上で、必要となる構成要素を説明し、その他の構成要素を省略する。

［システムの構成］
図１は、実施形態に係る俯瞰映像提示システム１の構成例を示す図である。図２は、実施形態に係る俯瞰映像提示システム１の機能構成を模式的に示すブロック図である。

図１に示すように、実施形態に係る俯瞰映像提示システム１は、遠隔操作可能な移動装置１０と、移動装置１０とデータ通信可能な情報処理装置１００とを含んで構成される。移動装置１０及び情報処理装置１００は、相互にデータ通信可能な状態で通信ネットワーク５に接続される。通信ネットワーク５は、公衆通信回線及び専用通信回線等を含んで構築されてよい。

移動装置１０は、物体３などが存在する災害現場などを走行する。移動装置１０は、魚眼レンズを備える複数のカメラ１１ａ〜１１ｄと、検出装置１２と、通信部１３と、アクチュエータ１４と、記憶部１５と、制御部１６とを有する。移動装置１０は、情報処理装置１００から受信する動作コマンドに従って走行してもよいし、情報処理装置１００とは別の遠隔装置から受信する動作コマンドに従って走行してもよい。移動装置１０として、参考文献Ｘ（新エネルギー・産業技術総合開発機構：災害対応無人化システム研究開発プロジェクト計測・作業要素技術の開発水陸両用モニタリングデバイスの開発，平成23年度〜平成24年度成果報告書(2013)）における災害対応プロジェクトで開発された装置が例示される。

カメラ１１ａ〜１１ｄは、移動装置１０の周囲（周辺環境）を所定の撮影範囲よりも広角に撮影する。カメラ１１ａ〜１１ｄは、例えば、例えば、１８０ｄｅｇ前後の広い画角を持った魚眼レンズを備える。以下の説明において、カメラ１１ａ〜１１ｄにより取得される映像データに基づく映像を、「カメラ映像」と表記する場合がある。移動装置１０にカメラ１１ａ〜１１ｄを設置する場合、例えば、参考文献２（小松廉，藤井浩光，山下淳，淺間一：カメラ配置設計による故障時に備えたロボット遠隔操作のための俯瞰映像提示システムの開発，精密工学学会誌，81，12(2015)1206）に提案される配置に基づいて設置することができる。

検出装置１２は、移動装置１０の周囲に向かって複数本のレーザー光を放射状に照射することにより、ＴＯＦ（Time of Flight）の原理に基づいて、移動装置１０の周囲の物体の位置を示す３次元情報を取得する３次元測域センサである。検出装置１２は、移動装置１０が災害現場などにおいて走行する走行面２に平行な全方位に向かって複数本のレーザー光を放射状に照射し、照射したレーザー光が移動装置１０の周囲に存在する物体の表面で反射されて帰ってくるまでの反射時間を計測することにより、物体の表面の位置を示す３次元点の集合体である３次元点群の情報を３次元情報として取得できる。検出装置１２により取得される３次元点群を構成する各３次元点は、物体の表面の位置を示す３次元座標値で表される。３次元座標値は、任意の原点における、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の各軸に対応する座標値で構成される。

検出装置１２は、図１に例示するように、移動装置１０を中心として水平方向に３６０度の全方位、そして垂直方向に４１．３度（垂直走査中心を０度として＋１０．６７度〜−３０．６７度の範囲）の円筒状の検出範囲１２ＤＲを有する。レーザー光線は、例えば、波長が９０５ｎｍ（ナノメートル）の赤外線を用いることができる。検出装置１２として、例えば、少なくとも水平方向に関して、３６０度の全方位３次元計測を実現できるＬｉＤＡＲ（Light Detection and Ranging）が例示される。検出装置１２は、少なくとも水平方向に関して、３６０度の全方位３次元計測を実現することができれば、ＬＲＦ（Laser Range Finder）及びＧＰＳ（Global Positioning System）が搭載されるＭＭＳ（Mobile Mapping System）などによって３次元情報を取得してもよい。

通信部１３は、通信ネットワーク５を介して、情報処理装置１００との間で各種データをやり取りするためのデータ通信を実行する。通信部１３は、走行に関する動作コマンドを受信できる。通信部１３は、動作コマンドを制御部１６に送出できる。通信部１３は、情報処理装置１００に対して、カメラ１１ａ〜１１２ｄにより取得された映像データ、及び検出装置１２により検出された３次元情報を送信できる。通信部１３は、情報処理装置１００との間の通信を可能とする各種通信方式をサポートできる。通信部１３の通信方式は、無線通信及び有線通信のいずれの通信方式を適用してもよい。

アクチュエータ１４は、制御部１６の制御信号を、移動装置１０が災害現場などの走行面２の走行させるための動力に変換する。アクチュエータ１４は、例えば、電気モータなどを含む。

記憶部１５は、制御部１６により実行される各種処理を実現するためのプログラム及びデータを記憶する。記憶部１５が記憶するプログラムにより提供される機能は、移動装置１０の走行を制御する機能、並びにカメラ１１ａ〜１１２ｄにより取得された映像データ及び検出装置１２により検出された３次元情報を情報処理装置１００に送信する機能を含む。記憶部１５は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤにより実装されてよい。

制御部１６は、記憶部１５に記憶されているプログラム及びデータに基づいて、移動装置１０に関する各種処理を実行する。特に、本実施形態において、制御部１６は、通信部１３を介して、カメラ１１ａ〜１１２ｄにより取得された映像データ、及び検出装置１２により検出された３次元情報を情報処理装置１００に送信する。制御部１６は、ＣＰＵ（Central Processing Unit）マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ、システムＬＳＩ（Large Scale Integration）などのプロセッサにより実装されてよい。

移動装置１０は、段差などがある不整地な災害現場の走行面に追従できるクローラ、クローラを下部に備える台車、及び台車上に配置された胴体部などを備えてよい。上述したカメラ１１ａ〜１１ｄ及び検出装置１２は、胴体部に設置されてよい。

情報処理装置１００は、移動装置１０から受信する映像データ及び３次元情報を用いて、移動装置１０の周囲にある物体の位置を提示する俯瞰映像を生成する。情報処理装置１００は、通信部１１１と、表示部１１３と、記憶部１１５と、制御部１１７とを備える。

通信部１１１は、通信ネットワーク５を介して、移動装置１０との間で各種データをやり取りするためのデータ通信を実行する。通信部１１１は、移動装置１０から送信された映像データ、及び３次元情報を受信できる。通信部１１１は、移動装置１０との間の通信を可能とする各種通信方式をサポートできる。通信部１１１の通信方式は、無線通信及び有線通信のいずれの通信方式を適用してもよい。

表示部１１３は各種情報を表示する。表示部１１３は、後述する制御部１１７により生成された俯瞰映像を表示できる。表示部１１３は、液晶ディスプレイ（LCD：Liquid Crystal Display）、有機ＥＬディスプレイ（OELD：Organic Electro-Luminescence Display）、又は無機ＥＬディスプレイ（IELD：Inorganic Electro-Luminescence Display）等の表示デバイスを含んでよい。表示部１１３は、タッチスクリーンなどの入力デバイスを含んでよい。

記憶部１１５は、制御部１１７により実行される各種処理を実現するためのプログラム及びデータを記憶する。記憶部１１５が記憶するプログラムにより提供される機能は、移動装置１０の周囲にある物体の位置を提示する俯瞰映像を生成する機能を含む。記憶部１１５が記憶するデータは、移動装置１０から受信する映像データ及び３次元情報を含む。記憶部１５は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）などの不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤにより実装されてよい。

制御部１１７は、記憶部１１５に記憶されているプログラム及びデータに基づいて、移動装置１０に関する各種処理を実行する。特に、本実施形態において、制御部１１７は、移動装置１０の周囲にある物体の位置を提示する俯瞰映像を生成する処理を実行する。制御部１１７は、ＣＰＵ（Central Processing Unit）マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）、システムＬＳＩ（Large Scale Integration）などのプロセッサを含んで実装されてよい。制御部１１７は、記憶部１１５に記憶されているプログラムを読み出してＲＡＭなどのワーキングメモリに展開し、ワーキングメモリに展開されたプログラムに含まれる命令をＣＰＵなどのプロセッサに実行させる。これにより、制御部１１７は、以下に説明する第１俯瞰映像生成部１１７ａ、第２俯瞰映像生成部１１７ｂ、第３映像生成部１１７ｃ、並びに統合俯瞰映像生成部１１７ｄにより提供される各機能に基づいた各処理を実行できる。

制御部１１７は、第１俯瞰映像生成部１１７ａと、第２俯瞰映像生成部１１７ｂと、第３映像生成部１１７ｃと、統合俯瞰映像生成部１１７ｄとを有する。

第１俯瞰映像生成部１１７ａは、移動装置１０から受信する映像データ、すなわちカメラ１１ａ〜１１ｄにより取得される映像（カメラ映像）を、移動装置１０を俯瞰する仮想的な俯瞰視点からみた映像に視点変換することにより第１俯瞰映像を生成する。第１俯瞰映像生成部１１７ａは、移動装置１０のカメラ１１ａ〜カメラ１１ｄにより撮影された全ての物体がロボット座標系におけるある平面上に存在するという仮定の下、カメラ映像をその平面上に透視投影した後、視点変換処理を行うことにより、第１俯瞰映像を生成する。第１俯瞰映像生成部１１７ａは、参考文献１（佐藤高亮，藤井浩光，Alessandro Moro，山下淳，淺間一：複数の魚眼カメラとＬＲＦを用いた重畳型全方位俯瞰映像提示手法の構築，第１３回計測自動制御学会システムインテグレーション部門講演会講演論文集（２０１２））に提案される従来手法を用いることによって、第１俯瞰映像を生成できる。

［座標系の定義］
図３は、実施形態に係る各座標系の概念を示す図である。図３に示す座標系２１は、移動装置１０の座標系である。図３において、ロボット座標系のｘ_ｗｙ_ｗ平面は、床面（移動装置２０の走行面２）と同一であり、ｚ_ｗ軸の正方向は、床面に対して鉛直上向きとする。以下、図３に示す座標系２１を、適宜「ロボット座標系２１」と表記する。図３に示す座標系２３は、例えば、カメラ１１ａの位置及び姿勢を規定する座標系である。以下、図３に示す座標系２３を、適宜「カメラ座標系２３」と表記する。なお、図示は省略するが、カメラ座標系２３と同様に、カメラ１１ｂ〜１１ｄの位置及び姿勢を規定する座標系が設定される。図３に示す座標系２５は、検出装置１２により取得される検出点を規定する座標系である。以下、図３に示す座標系２５を、適宜「センサ座標系２５」と表記する。図３に示す座標系２７は、例えば、カメラ１１ａにより撮影されるカメラ映像１１Ｇ上の点を規定する座標系である。以下、図３に示す座標系２７を、適宜「カメラ画像座標系２７」と表記する。なお、図示は省略するが、カメラ画像座標系２７と同様に、カメラ１１ｂ〜１１ｄにより撮影されるカメラ映像上の点を規定する座標系が設定される。図３に示す座標系２９は、移動装置２０を上空から俯瞰する位置にあると仮定した仮想的な仮想カメラ３１による仮想カメラ映像３１上の点の位置を規定する座標系である。以下、図３に示す座標系２９を、適宜「仮想カメラ画像座標系２９」と表記する。ロボット座標系２１における点Ｐ_ｗ＝［ｘ_ｗ，ｙ_ｗ，ｚ_ｗ］^Ｔのカメラ座標系２３における表現を点Ｐ_ｆ＝［ｘ_ｆ，ｙ_ｆ，ｚ_ｆ］^Ｔとする。ロボット座標系２１における点Ｐ_ｗ＝［ｘ_ｗ，ｙ_ｗ，ｚ_ｗ］^Ｔのセンサ座標系２５における表現を点Ｐ_ｄ＝［ｘ_ｄ，ｙ_ｄ，ｚ_ｄ］^Ｔとする。ロボット座標系２１における点Ｐ_ｗ＝［ｘ_ｗ，ｙ_ｗ，ｚ_ｗ］^Ｔのカメラ画像座標系２７における表現を点ｍ_ｆ＝［ｕ_ｆ，ｖ_ｆ］^Ｔとする。第１俯瞰映像生成部１１７ａは、各座標系における各点を、仮想カメラ画像座標系２９における点ｍ_ｖ＝［ｕ_ｖ，ｖ_ｖ］^Ｔに変換する。以下の説明において、任意の座標系における点Ｎの同次座標系による座標表現をＮ^〜とする。

［第１俯瞰映像の作成］
第１俯瞰映像生成部１１７ａは、以下に示す式（１）で示されるカメラ座標系２３における点Ｐ_ｆ＝［ｘ_ｆ，ｙ_ｆ，ｚ_ｆ］^Ｔと、カメラ画像座標系２７における点ｍ_ｆ＝［ｕ_ｆ，ｖ_ｆ］^Ｔとの関係に基づいて、魚眼レンズにより撮影された映像特有の歪みを除去した透視投影映像を生成する。以下に示す式（１）は、参考文献３（Davide Schramuzza, Agostion Martinelli, and Roland Siegwart: A flexible technique for accurate omnidirectional camera calibration and structure from motion, Proceeding of IEEE International Conference of Computer Vision Systems (2006) 45）及び参考文献４（Davide Schramuzza, Agostion Martinelli, and Roland Siegwart: A toolbox for easily calibrating omnidirectional cameras, Proceedings of IEEE/RSJ International Conference of Intelligent Robots and Systems (2006) 5695）に提案される手法によって求められる。

式（１）における「ｆ（ｕ_ｆ，ｕ_ｖ）」は、カメラ画像座標系２７における原点からの距離√｛ｕ_ｆ ^２＋ｕ_ｖ ^２｝に関する関数であり、式（１）における「ａ」は、カメラ座標系における各点とカメラ画像座標系における各方向ベクトルの関係を等式で表現するために設定する定数である。

続いて、第１俯瞰映像生成部１１７ａは、上述した式（１）に基づいて生成した透視投影映像を、特定の平面に対して透視投影する。ロボット座標系２１とカメラ画像座標系２７は、３×４行列の透視投影行列Ｈ_ｗ→ｆにより関係付けることができ、ロボット座標系２１とカメラ画像座標系２７との間には、以下の式（２）の関係が成立する。

移動装置１０のカメラ１１ａ〜カメラ１１ｄにより撮影された全ての物体がロボット座標系２１におけるある平面上に存在すると仮定する。例えば、カメラ映像をｚ_ｗ＝０の平面（床面）に透視投影する場合、以下の式（３）に示すように、透視投影行列Ｈ_ｗ→ｆの３列目成分を省略できる。

ここで、式（３）におけるＨ´_ｗ→ｆおよびＰ^〜´_ｗは、それぞれ、Ｈ´_ｗ→ｆの３列目と、Ｐ^〜´_ｗの３行目の成分を省略した行列とする。式（３）により、ロボット座標系２１と、カメラ画像座標系２７との関係が決定される。

続いて、第１俯瞰映像生成部１１７ａは、上述した式（３）に示す関係に基づいて、特定の平面に対して透視投影された透視投影映像の視点変換処理を行い、第１俯瞰映像を生成する。まず、第１俯瞰映像生成部１１７ａは、ロボット座標系２１と仮想カメラ画像座標系２９との関係を求める。ロボット座標系２１と仮想カメラ画像座標系２９との間には、以下の式（４）の関係が成立する。

式（４）におけるＨ´_ｗ→ｖは、ロボット座標系２１と仮想カメラ画像座標系２９とを関係付ける透視投影行列Ｈ_ｗ→ｖの３列目の成分を省略した行列である。上述した式（３）および式（４）を用いると、カメラ画像座標系２７と仮想カメラ画像座標系２９との間には、式（５）に示す関係が成立する。

ただし、式（５）において、Ｈ´_ｆ→ｗ＝（Ｈ´_ｗ→ｆ）^−１である。第１俯瞰映像生成部１１７ａは、式（５）より、移動装置１０から受信したカメラ映像（映像データ）から、移動装置２０を上空から俯瞰したような第１俯瞰映像を生成できる。

ここで、式（５）から確認できるように、Ｈ´_ｗ→ｖおよびＨ´_ｆ→ｗを求める必要がある。本実施形態では、参考文献５（佐藤高亮，藤井浩光，Alessandro Moro，杉元和也，野末晃，三村洋一，小幡克実，山下淳，淺間一：無人化施工用俯瞰映像システムの開発，日本機械学会論文集，81，823(2015)1）、及び参考文献６（淺利圭介，石井洋平，本郷仁志，蚊野浩：鳥瞰画像生成における校正環境の簡易化，第13回画像センシングシンポジウム予稿集(2017)IN1-13）などに提案される手法を参考として、Ｈ´_ｗ→ｖおよびＨ´_ｆ→ｗを非線形の最適化手法により推定する。推定したＨ´_ｗ→ｖおよびＨ´_ｆ→ｗの行列をもとに、カメラ１１ａ〜１１ｄにより取得されるカメラ映像と、仮想カメラ３１により取得される仮想カメラ映像の各画素の１対１の対応関係をあらかじめ取得することができる。なお、カメラ映像と仮想カメラ映像の各画素の１対１の対応関係をルックアップテーブルとしてあらかじめ保存しておいて、第１俯瞰映像の生成時に利用できるようにしてもよい。

［第２俯瞰映像の作成］
第２俯瞰映像生成部１１７ｂは、検出装置１２により検出された３次元情報に基づいて、移動装置１０の周囲の物体を俯瞰した第２俯瞰映像を生成する。３次元情報は、移動装置１０の周囲の物体の表面の位置を示す３次元点の集合体である３次元点群の情報であり、３次元座標値で表される。第２俯瞰映像生成部１１７ｂは、まず、形状が既知の３次元物体３３を用いて、検出装置１２のロボット座標系２１に対する位置及び姿勢を示す４×４行列の外部パラメータ行列Ｍ_ｄを求める。

図４は、実施形態に係る外部パラメータ行列を求める際の概念図である。センサ座標系２５をロボット座標系２１へと変換する際のｘ_ｄ軸，ｙ_ｄ軸，ｚ_ｄ軸に関する３×３行列の回転行列をそれぞれＲ_１，Ｒ_２，Ｒ_３とし、３次元の並進移動ベクトルをｔ_ｄ→ｗとすると、Ｍ_ｄは以下の式（６）で表現することができる。ただし、式（６）における「０」は、３次元のゼロ列ベクトルを表わすこととする。

式（６）により、Ｒ_１，Ｒ_２，Ｒ_３，ｔ_ｄ→ｗが求まれば、外部パラメータ行列Ｍｄが一意に定まる。検出装置１２を床面と平行な平面上に設置することにより、ｚ_ｄ軸の正方向が床面に対して鉛直上向きである条件が成り立つので、Ｒ_１＝Ｒ_２＝Ｉが求まる。ただし、Ｉは、３×３行列の単位行列とする。続いて、図４に例示するように、形状が既知の３次元物体３３、具体的には直方体形状の物体を２つ用意して、一方の物体の一面をｙ_ｗｚ_ｗ平面と一致させるように配置するとともに、他方の物体の一面をｚ_ｗｘ_ｗ平面と一致させるように配置する。このような環境において検出装置１２により取得される３次元情報のうち、特に、ｘ_ｗｙ_ｗ平面、ｙ_ｗｚ_ｗ平面、ｚ_ｗｘ_ｗ平面の各平面上の３次元点群の情報（３次元座標値）を用いることにより、Ｒ_３およびｔ_ｄ→ｗを推定する。以上により、外部パラメータ行列Ｍ_ｄが求められる。外部パラメータ行列Ｍ_ｄにより、ロボット座標系２１とセンサ座標系２５とを、以下の式（７）によって関係付けることができ、センサ座標系２５における３次元点群（各３次元点）の情報（３次元座標値）をロボット座標系２１における表現に変換できる。

このようにして、第２俯瞰映像生成部１１７ｂは、ロボット座標系２１における表現に変換した３次元点群の情報（３次元座標値）を得ることができる。第２俯瞰映像生成部１１７ｂは、ロボット座標系２１における表現に変換した３次元点群の情報（３次元座標値）のうち、高さ方向にｚ_ｗ＞０の条件を満たす３次元点の情報のみを抽出することにより、床面よりも上方に存在する３次元点群、すなわち、移動装置１０の周囲に存在し、かつ高さのある物体の位置を示す３次元点群の情報（３次元座標値）のみを抽出できる。

移動装置１０の周囲に存在する物体の位置を示す３次元点群の情報（３次元座標値）を抽出した後、第２俯瞰映像生成部１１７ｂは、これらの３次元点群の情報に対してテクスチャ情報を付与し、テクスチャ情報を付与した３次元点群の情報を床面に投影する。

図５は、実施形態に係る３次元点群の情報に対してテクスチャ情報の付与および３次元点群の床面への投影に関する概念図である。第２俯瞰映像生成部１１７ｂは、移動装置１０の周囲に存在する物体の位置を示す３次元点群の情報（３次元座標値）に対して、カメラ１１ａ〜１１ｄにより得られるテクスチャ情報を付与するため、上述した参考文献３，４に提案された手法に基づいて、カメラ１１ａ〜１１ｄのロボット座標系２１に対する位置および姿勢を示す４×４行列の外部パラメータ行列Ｋを求める。そして、第２俯瞰映像生成部１１７ｂは、外部パラメータ行列Ｋを用いて、ロボット座標系２１およびカメラ座標系２３を、以下の式（８）により関係付けることができる。

続いて、第２俯瞰映像生成部１１７ｂは、式（７）および式（８）から得らえる、以下の式（９）を用いて、検出装置１２により取得される３次元点群の情報（３次元座標値）を、センサ座標系２５からカメラ座標系２３へと変換する。

上述の式（１）により、カメラ画像座標系２７における各点と、カメラ座標系２３における各方向ベクトルとの１対１対応の関係は、既に求められている。そこで、第２俯瞰映像生成部１１７ｂは、式（１）および式（９）を用いることにより、検出装置１２により取得された３次元点群に含まれる各３次元点を通る方向ベクトルをそれぞれ求めることができる。このため、第２俯瞰映像生成部１１７ｂは、カメラ１１ａ〜１１ｄにより取得されるカメラ映像から、移動装置１０の周囲に存在する物体の位置を示す３次元点群の各３次元点（例えば、図５に示す点３５Ａなど）に対して、物体のテクスチャ情報（例えば、ＲＧＢ値）を付与できる。

続いて、第２俯瞰映像生成部１１７ｂは、テクスチャ情報を付与した３次元点群の情報（３次元座標値）を床面に投影する。具体的には、第２俯瞰映像生成部１１７ｂは、図５に例示するように、ロボット座標系２１における点３５Ａ＝［ｘ_ｗ，ｙ_ｗ，ｚ_ｗ］^Ｔを、床面の点３５Ｂ＝［ｘ_ｗ，ｙ_ｗ，０］^Ｔに正射影変換する。第２俯瞰映像生成部１１７ｂは、３次元点群に含まれる各３次元点について、それぞれ正射影変換を実行する。

続いて、第２俯瞰映像生成部１１７ｂは、上述の式（４）を用いて、正射影変換後の各点（例えば、点３５Ｂなど）を仮想カメラ画像座標系２９に投影することにより、第２俯瞰映像の生成を完了する。

［第３映像の生成］
第３映像生成部１１７ｃは、第２俯瞰映像における移動装置１０と移動装置１０の周囲にある物体との相対的な位置関係に基づいて、移動装置１０にとって死角となる遮蔽領域を設定した第３映像を生成する。遮蔽領域は、移動装置１０の周囲にある物体によって検出装置１２のレーザー光が遮蔽されることにより、検出装置１２により３次元計測ができず、３次元情報を取得できない領域のことをいう。遮蔽領域は、移動装置１０の周囲にある物体によって移動装置１０が侵入できない領域と言い換えることもできる。検出装置１２により３次元情報が取得できないので、遮蔽領域に関する正確な情報を俯瞰画像上に提示することはできない。そこで、本実施形態において、情報処理装置１００は、移動装置１０からみて死角となる物体の背後に位置する領域を遮蔽領域と判定し、俯瞰画像上に遮蔽領域を明示することにより、移動装置１０の周辺環境において不確かな領域についてオペレータの察知を促す。

図６は、実施形態に係る遮蔽領域３９の生成方法を示す概念図である。第３映像生成部１１７ｃは、図６に例示するように、第２俯瞰映像生成部１１７ｂにより生成された第２俯瞰映像において、センサ座標系２７の原点を視点としたときに、この視点からみて死角となる物体の背後、すなわち仮想カメラ３１の仮想カメラ画像座標系２９に投影された仮想カメラ映像３１上の３次元点群３７の背後に該当する領域に遮蔽領域３９を設定する。

［統合俯瞰映像の生成］
統合俯瞰映像生成部１１７ｄは、第１俯瞰映像、第２俯瞰映像及び第３映像を重ねあわせて統合することにより、移動装置１０と移動装置１０の周囲にある物体との位置関係をオペレータに提示するための最終的な統合俯瞰映像を生成する。図７は、実施形態に係る映像統合処理の概念を示す概念図である。

図７に例示するように、統合俯瞰映像生成部１１７ｄは、まず、遮蔽領域３９が設定された第３映像Ｇ３に対して、仮想カメラ画像座標系２９に３次元点群の情報（３次元座標値）が投影された第２俯瞰映像Ｇ２を重ね合わせて統合する。続いて、統合俯瞰映像生成部１１７ｄは、第３映像Ｇ３に対して第２俯瞰映像Ｇ２を統合することにより得られた映像を、第１俯瞰映像Ｇ１に重ね合わせて統合することにより、オペレータに提示する最終的な統合俯瞰映像を生成する。

図８は、実施形態に係る情報処理装置により実行される俯瞰映像生成処理の流れの一例を示すフローチャートである。図８に示す処理は、制御部１１７が、記憶部１１５に記憶されているプログラム及びデータに基づいて実行する。

図８に示すように、制御部１１７は、カメラ１１ａ〜１１ｄにより取得されるカメラ映像を俯瞰視点に視点変換した第１俯瞰映像を生成する（ステップＳ１０１）。俯瞰視点は、移動装置１０を上空から俯瞰する仮想的な俯瞰視点に対応する。

続いて、制御部１１７は、検出装置１２により取得された、移動装置１０の周囲にある物体の３次元情報を仮想カメラ座標系２９に投影した第２俯瞰映像を生成する（ステップＳ１０２）。

続いて、制御部１１７は、第２俯瞰映像における前記移動装置と前記物体との相対的な位置関係に基づいて、移動装置１０から死角となる遮蔽領域３９を設定した第３映像を生成する（ステップＳ１０３）。

続いて、制御部１１７は、第１俯瞰映像、第２俯瞰映像、及び第３映像を統合して、と合俯瞰映像を生成し（ステップＳ１０４）、図８に示す処理を終了する。

［検証実験］
以下、実施形態に係る俯瞰映像提示システム１により提供される俯瞰映像の検証実験の結果について説明する。図９は、検証実験に係る実験環境を示す図である。図１０は、比較例に係る俯瞰画像の一例を示す図である。図１１は、図１０に示す位置から移動装置を移動させたときの俯瞰映像の一例を示す図である。図１２は、図１１に示す移動装置を第三者視点から撮影した映像の一例を示す図である。図１３は、実施形態に係る俯瞰映像の一例を示す図である。図１４は、図１３に示す位置から移動装置を移動させたときの俯瞰映像の一例を示す図である。図１５は、図１４に示す移動装置を第三者視点から撮影した映像の一例を示す図である。

［実験環境］
図９は、実施形態に係る俯瞰映像提示システム１により提供される俯瞰映像の検証実験の実験環境を示す図である。図９に例示するように、検証実験は、屋内において移動装置１０の前方に一組の障害物５０を配置した環境で実施した。障害物５０を構成する障害物５１及び障害物５２は、それぞれ配管の一部を模擬したような形状を有し、それぞれ高さ及び水平位置をかえて宙吊りの状態で設置した。一方の障害物５１は、移動装置１０に備えられたカメラ１１ａ〜１１ｄの高さと同様の高さとなるように設置した。また、実験環境において、検出装置１２により取得される３次元点群のうち、特に、ｘ_ｗｙ_ｗ平面、ｙ_ｗｚ_ｗ平面、ｚ_ｗｘ_ｗ平面上の３次元点群を確認しながら、上述した「Ｒ_３」及び「ｔ_ｄ→ｗ」を推定することにより、外部パラメータ行列Ｍｄを算出した。

図１０および図１１に例示するように、参考文献Ｚにより提案される従来手法により生成される俯瞰画像３０１及び俯瞰画像３０２によれば、移動装置１０の移動前及び移動装置１０の移動後のいずれにおいても、移動装置１０の前方に配置した１組の障害物５０のうち、移動装置１０に対して相対的に近い位置に配置されている障害物５１が俯瞰映像中に描画されていない。また、図１１に示す俯瞰画像３０２において、障害物５０のうち、移動装置１０に対して相対的に離れた位置に配置されている障害物５２が、鉛直方向に歪んだ状態で描画されている。図１２に例示する映像３０３からも分かるとおり、図１１に示す状況は、移動装置１０と障害物５０とが衝突してしまっているが、従来の手法により生成される俯瞰画像３０２では障害物５０の位置が正確に提示されていないので、オペレータが俯瞰画像３０１及び俯瞰画像３０２を参照することによって、移動装置１０と障害物５０との衝突を回避することは難しい。

一方、図１３および図１４に例示するように、実施形態に係る情報処理装置１００の処理によって生成される俯瞰画像３１１及び俯瞰画像３１２によれば、移動装置１０の移動前及び移動装置１０の移動後のいずれにおいても、移動装置１０の前方に配置した１組の障害物５０を構成する障害物５１及び障害物５２が描画されている。特に、図１５に示す映像からも分かるとおり、図１４に例示する俯瞰画像３１２では、障害物５１の手前で移動装置１０が旋回されている様子が確認できる。このように、実施形態に係る俯瞰映像提示システム１は、図１３に例示する俯瞰画像３１１及び図１４に例示する俯瞰画像３１２のように、移動装置１０の周囲に存在する物体の位置をできるだけ正確に提示する俯瞰映像をオペレータに提示できる。このため、実際の災害現場等において、情報処理装置１００により生成される俯瞰画像に基づいて、オペレータは移動装置１０の周囲環境を認識することができるので、移動装置１０と移動装置１０の周囲に存在する物体との衝突を回避させる効果が期待できる。

また、実施形態に係る俯瞰画像３１１及び俯瞰画像３１２によれば、障害物５０の背後の遮蔽領域３９が透過色で描画されており、オペレータが床面に配置された標識４１のテクスチャ情報を認識することができる。このため、実施形態に係る俯瞰映像提示システム１は、床面に配置される標識の情報など、災害現場等において移動装置１０のオペレーションに重要な情報を認識可能な俯瞰映像をオペレータに提示することができる。

なお、図１３における点線間の距離ｄは画素換算で２３５ピクセルであり、実世界の尺度に換算した場合、１１９８ｍｍ（ミリメートル）に相当する。図１３における点線間の距離ｄの実測値は１２００ｍｍであり、この結果からも、実施形態に係る俯瞰映像提示システム１により提供される俯瞰映像には、移動装置１０の周囲にある物体の位置をできるだけ正確に提示していることが証明された。

上述してきたように、実施形態に係る俯瞰映像提示システム１によれば、検出装置１２によって全方位３次元計測を行い、３次元計測により取得される３次元情報を用いることによって、移動装置１０の周囲にある物体の位置ができるだけ正確に描画された映像をオペレータに提供できる。移動装置１０の周囲にある物体の位置をできるだけ正確に描画した映像をオペレータに提供することができる結果、人の立ち入りが困難な屋内の災害現場などにおいて、移動装置１０などのように、遠隔操作により移動可能な遠隔移動装置を操作して災害現場の復旧作業及び調査などを行う際、遠隔移動装置の周囲環境に対するオペレータの認識の誤り、遠隔移動装置の障害物への衝突を容易に回避することでき、災害現場の復旧作業及び調査の安全性を高めることができる。

上記の実施形態は、本発明に係るデータ管理システム、データ記録装置２００及びデータ検索装置３００の理解を容易にするためのものであって、本発明に係るデータ管理システム、データ記録装置２００及びデータ検索装置３００を限定的に解釈するものではない。本発明に係るデータ管理システム、データ記録装置２００及びデータ検索装置３００は、その趣旨を逸脱しない範囲で任意に変更または改良され得る。また、本発明に係るデータ管理システム、データ記録装置２００及びデータ検索装置３００の構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。

１０移動装置
１１ａ〜１１ｄカメラ
１２検出装置
１３通信部
１４アクチュエータ
１５記憶部
１６制御部
１００情報処理装置
１１１通信部
１１３表示部
１１５記憶部
１１７制御部
１１７ａ第１俯瞰映像生成部
１１７ｂ第２俯瞰映像生成部
１１７ｃ第３映像生成部
１１７ｄ統合俯瞰映像生成部

Claims

遠隔操作可能な移動装置と、前記移動装置とデータ通信可能な情報処理装置とを含む俯瞰映像提示システムであって、
前記移動装置は、
通信部と、
前記移動装置の周囲を広角に撮影する複数台のカメラと、
前記移動装置の走行面に平行な全方位に向かって放射状のレーザー光を照射することにより、前記移動装置の周囲の物体の位置を示す３次元情報を取得する検出装置と
を有し、
前記情報処理装置は、
通信部と、
前記カメラにより取得される映像を、前記移動装置を俯瞰する仮想的な俯瞰視点からみた映像に視点変換することにより第１俯瞰映像を生成する第１俯瞰映像生成部と、
前記俯瞰視点を規定する座標系に前記３次元情報を投影することにより第２俯瞰映像を生成する第２俯瞰映像生成部と、
前記第２俯瞰映像における前記移動装置と前記物体との相対的な位置関係に基づいて、前記移動装置から死角となる領域を設定した第３映像を生成する第３映像生成部と、
前記第１俯瞰映像、前記第２俯瞰映像、及び前記第３映像を統合することにより、統合俯瞰映像を生成する統合映像生成部と、
前記統合俯瞰映像を表示する表示部と
を備えることを特徴とする俯瞰映像提示システム。
前記第２俯瞰映像生成部は、
前記カメラに取得される映像に基づいて、前記３次元情報に対してテクスチャ情報を付与することを特徴とする請求項１に記載の俯瞰映像提示システム。