JP2021136521A - 移動体周囲モニタリング装置及び方法並びにプログラム - Google Patents

Abstract

【課題】 自由な視点で移動体の周囲の状況を監視でき、当該状況の音を可視化できる移動体周囲モニタリング装置を提供する。【解決手段】 移動体周囲モニタリング装置は、各々が移動体の周囲に配置され各モニター領域を撮像する複数の撮像素子の出力画像データに基づいて、移動体の画像と移動体を中心とした半球面上の視点から俯瞰された移動体の周囲の俯瞰画像とを合成して拡張現実の俯瞰画像データを生成する俯瞰画像合成部１３と、各々が移動体の周囲に配置され各モニター領域の音を取得する複数のマイクの出力音響データに基づいて、取得した音の移動体を中心とした音源方向を検出して音源方向データを生成する音源情報生成部１７と、俯瞰画像データ及び音源方向データに基づいて、モニター領域に関連付けて移動体の周囲の俯瞰画像に音源方向の情報を重ねて表示する画像表示部１９と、を有する。【選択図】図１

Description

本発明は、移動体の周囲をモニターする移動体周囲モニタリング装置及び方法並びにプログラムに関する。

移動体周囲モニタリング装置としては、例えば、特許文献１に記載されている、車載向けのアラウンドビューモニター（以下、ＡＶＭという)が知られている。ＡＶＭにおいては、車両に設けられた複数のカメラにより撮像される映像を合成し、トップビュー形式の映像を得て（特許文献１の図４等、参照）、各種センサーから車両走行情報を受信している（特許文献１の段落００２９等、参照）。特許文献１に開示のＡＶＭは自動車等の車両周辺の映像情報に特化されている。現在、ＡＶＭは自動車の駐車支援に特化したシステムになっており、操作者が自動車内に搭乗していることが前提のシステムである。

特開２０１３−１３３０９８号公報

しかしながら、従来のＡＶＭでは自動車車両の極近い周辺の映像情報しか得られず、その他の移動体への応用範囲は限られたものである。例えば、建機等の特殊車両や船舶ではＡＶＭのトップビュー形式の映像だけでは情報量が少ない。更に、移動体の遠隔操作や自動運転等の支援へのＡＶＭの応用は難しい。

また、ＡＶＭを移動体遠隔操作に適用した場合、遠隔地の車両を操作するには操作者は遠隔地からの車両周囲の音がなく映像情報のみに頼って車両を操作する事になる。遠隔地車両にマイクを付けて周囲の音を操作地へ転送する事により、操作者が臨場感を得られると想像できるが、実際にどの方向から音が聞こえるのかが分かり難いという問題がある事が想定される。

本発明は、以上の従来技術の問題点に鑑みなされたものであり、移動体の遠隔操作や自動運転等の支援への応用ができ、自由な視点で移動体の周囲の状況を監視でき、当該状況の音を可視化できる移動体周囲モニタリング装置及び方法並びにプログラムを提供することを目的とする。

本発明の移動体周囲モニタリング装置は、移動体の周囲をモニターする移動体周囲モニタリング装置であって、各々が前記移動体の周囲に配置され各モニター領域を撮像する複数の撮像素子の出力画像データに基づいて、前記移動体の画像と前記移動体を中心とした半球面上の視点から俯瞰された前記移動体の周囲の俯瞰画像とを合成して拡張現実の俯瞰画像データを生成する俯瞰画像合成部と、各々が前記移動体の周囲に配置され各モニター領域の音を取得する複数のマイクの出力音響データに基づいて、前記取得した音の前記移動体を中心とした音源方向を検出して音源方向データを生成する音源情報生成部と、前記俯瞰画像データ及び前記音源方向データに基づいて、前記モニター領域に関連付けて前記移動体の周囲の俯瞰画像に前記音源方向の情報を重ねて表示する画像表示部と、を有することを特徴とする。

本発明の移動体周囲モニタリング方法は、移動体の周囲をモニターする移動体周囲モニタリング方法であって、俯瞰画像合成部が、各々が前記移動体の周囲に配置され各モニター領域を撮像する複数の撮像素子の出力画像データに基づいて、前記移動体の画像と前記移動体を中心とした半球面上の視点から俯瞰された前記移動体の周囲の俯瞰画像とを合成して拡張現実の俯瞰画像データを生成する俯瞰画像合成ステップと、音源情報生成部が、各々が前記移動体の周囲に配置され各モニター領域の音を取得する複数のマイクの出力音響データに基づいて、前記取得した音の前記移動体を中心とした音源方向を検出して音源方向データを生成する音源情報生成ステップと、画像表示部が、前記俯瞰画像データ及び前記音源方向データに基づいて、前記モニター領域に関連付けて前記移動体の周囲の俯瞰画像に前記音源方向の情報を重ねて表示する画像表示ステップと、を含むことを特徴とする。

本発明の移動体周囲モニタリングプログラムは、移動体の周囲をモニターする移動体周囲モニタリング装置に搭載されるコンピュータを、各々が前記移動体の周囲に配置され各モニター領域を撮像する複数の撮像素子の出力画像データに基づいて、前記移動体の画像と前記移動体を中心とした半球面上の視点から俯瞰された前記移動体の周囲の俯瞰画像とを合成して拡張現実の俯瞰画像データを生成する俯瞰画像合成部と、各々が前記移動体の周囲に配置され各モニター領域の音を取得する複数のマイクの出力音響データに基づいて、前記取得した音の前記移動体を中心とした音源方向を検出して音源方向データを生成する音源情報生成部と、前記俯瞰画像データ及び前記音源方向データに基づいて、前記モニター領域に関連付けて前記移動体の周囲の俯瞰画像に前記音源方向の情報を重ねて表示する画像表示部として機能させることを特徴とする。

本発明の移動体周囲モニタリング装置及び方法並びにプログラムによれば、移動体の遠隔操作や自動運転等の支援への応用ができ、自由な視点で移動体の周囲の状況を監視でき、当該状況の音を可視化できる効果が得られる。

本発明の実施例の移動体周囲モニタリング装置のブロック図である。 本実施例の移動体周囲モニタリング装置がモニターする自動車とその周囲の前方、右方、左方及び後方のモニター領域の関係を示す上面図である。 本実施例の移動体周囲モニタリング装置における３次元モデルの自動車ＶＨの画像を臨む自動車ＶＨを中心とした半球面上の複数の任意の視点の例を示す斜視図である。 本実施例の移動体周囲モニタリング装置におけるディスプレイ画面上のビーム毎に表示画面の予め決められた箇所に合成されたアイコンと俯瞰合成画像とを示すトップビュー形式の映像の図である。 本実施例の移動体周囲モニタリング装置におけるディスプレイ画面上のビーム箇所に合成されたアイコンの文字列と俯瞰合成画像とを示す任意視点の映像の図である。

以下、図面を参照しつつ本発明による実施例の移動体周囲モニタリング装置について移動体の自動車を一例として用いて説明する。

（構成の説明）
図１は、自動車の周囲をモニターする本実施例の移動体周囲モニタリング装置１０のブロック図である。図２は、自動車ＶＨとその周囲の前方、右方、左方及び後方のモニター領域ＭＲ−Ｆ、ＭＲ−Ｒ、ＭＲ−Ｌ、ＭＲ−Ｈの関係を示す上面図である。

図２に示すように、移動体周囲モニタリング装置１０は、各々が自動車ＶＨの周囲に配置された前方、右方、左方及び後方のモニター領域ＭＲ−Ｆ、ＭＲ−Ｒ、ＭＲ−Ｌ、ＭＲ−Ｈを撮像する複数の魚眼レンズ付きカメラ（魚眼カメラとも呼ばれるが、以下、単にカメラとも呼ぶ）の前方、右方、左方及び後方の１１ａ、１１ｂ、１１ｃ、１１ｄを有する。更に、移動体周囲モニタリング装置１０は、各々が自動車ＶＨの周囲に配置された前方、右方、左方及び後方のモニター領域ＭＲ−Ｆ、ＭＲ−Ｒ、ＭＲ−Ｌ、ＭＲ−Ｈの音を取得する前方、右方、左方及び後方のマイク１５ａ、１５ｂ、１５ｃ、１５ｄを有する。図２において、各カメラと各マイクは例えば、前方、右方、左方及び後方のモジュールとして１１ａ１５ａ、１１ｂ１５ｂ、１１ｃ１５ｃ、１１ｄ１５ｄとして示されている。

図１に示すように、移動体周囲モニタリング装置１０は、更に、俯瞰画像合成部１３と、音源情報生成部１７と、画像表示部１９と、操作部２１を備える。

［俯瞰画像合成部、操作部＆画像表示部］
図１に示すように、俯瞰画像合成部１３は、前方、右方、左方及び後方のカメラ１１ａ、１１ｂ、１１ｃ、１１ｄのモニター領域ＭＲ−Ｆ、ＭＲ−Ｒ、ＭＲ−Ｌ、ＭＲ−Ｈをそれぞれ撮影した出力画像データを取り込んで、これらに基づいて、自動車ＶＨの画像と自動車ＶＨを中心とした半球面上の視点から俯瞰された自動車ＶＨの周囲の俯瞰画像とを合成して拡張現実の俯瞰画像データＢＥＶを生成する。

俯瞰画像合成部１３に接続された操作部２１は、カメラ１１ａ、１１ｂ、１１ｃ、１１ｄによる視点の位置（視点位置データＶＰＤ）を設定する、例えばタブレットＰＣである。操作部２１は、操作者により任意に視点の位置を変更するための入力手段である。

画像表示部１９は例えばディスプレイ１９ｂを含み、俯瞰画像合成部１３によって生成されたモニタリング映像を表示する。俯瞰画像合成部１３の映像出力は、例えば、ＨＤＭＩ(登録商標)インターフェースで有効画像サイズ1920pixel、1080line、60fpsの速度で出力できる。

俯瞰画像合成部１３は、操作部２１からの指示に応じて選択された視点の位置（仮想カメラ視点位置）を用いて、予め準備されたモニター領域の３次元モデル（予め自車両モデルの３Ｄ描画を行い、仮想カメラ視点位置から見た車両の映像を生成してある）と合成してモニタリング映像（俯瞰画像データ）を生成する。

俯瞰画像合成部１３におけるカメラ映像の３次元モデルの合成は、映像処理能力の高いＦＰＧＡ（Field-Programmable Gate Array）上で行うことにより、リアルタイムかつ小型省電力のシステムでの大容量高画質の映像処理を実現し、走行中車両の全周囲で、リアルタイムで死角のないシームレスな広域エリア映像（自動車ＶＨの画像と自動車ＶＨを中心とした半球面上の視点から俯瞰された自動車ＶＨの周囲の俯瞰画像）を得ることが可能である。すなわち、俯瞰画像合成部１３により、３次元モデルで生成されたモニタリング映像（俯瞰画像データ）は、コンピュータグラフィックスを用いて、前後左右の４台の魚眼カメラの映像をそれぞれ歪み補正し、シームレスにそれらを合成して仮想カメラ視点位置ＶＰから見た俯瞰映像信号が生成される。図３は、３次元モデルにおける自動車ＶＨの画像を臨む自動車ＶＨを中心とした半球面上の複数の任意の視点（操作部２１からの指示に応じた仮想カメラ視点位置ＶＰ）の例を示す。

これにより、移動体周囲モニタリング装置１０は移動体の周囲監視や操縦支援等多様な用途に適用可能である。また、取得した映像は、タブレットＰＣによるタッチスクリーン操作により、操作者が俯瞰する視点を３次元的に３６０度リアルタイムで任意に変更でき、自動車ＶＨを中心とした半球面上のあらゆる角度から移動体の全周囲映像モニタリングが行える。

［音源情報生成部＆画像表示部］
図１に示すように、音源情報生成部１７は、前方、右方、左方及び後方のマイク１５ａ、１５ｂ、１５ｃ、１５ｄのモニター領域ＭＲ−Ｆ、ＭＲ−Ｒ、ＭＲ−Ｌ、ＭＲ−Ｈからの音を収音した出力音響データを取り込んで、これらに基づいて、取得した音の自動車ＶＨを中心とした音源方向を検出して音源方向データＯＨを生成する。

画像表示部１９は音源情報画像合成回路１９ａをも有し、音源情報画像合成回路１９ａは俯瞰画像データＢＥＶ及び音源方向データＯＨを取り込み、これらに基づいて、モニター領域ＭＲに関連付けて自動車ＶＨの周囲の俯瞰画像に音源方向の情報を重ねてディスプレイ１９ｂに表示する。

図１に示すように、音源情報生成部１７は、音源ビーム生成回路１７ａ、ビーム選択回路１７ｂ、音源種類推定部１７ｃ（音源種類推定回路１７ｃａ及び音源データベース１７ｃｂ）から構成されている。音源ビーム生成回路１７ａは例えば遅延和法を用いて音源の位置（ビーム）を推定する回路である。ビーム選択回路１７ｂは表示用ビームを選定する回路である。音源種類推定部１７ｃは音源の種類を推定する機能部である。

（動作の説明）
４個のマイク１５ａ、１５ｂ、１５ｃ、１５ｄは周辺（モニター領域ＭＲ−Ｆ、ＭＲ−Ｒ、ＭＲ−Ｌ、ＭＲ−Ｈ）の音を受信する。音響データは音源ビーム生成回路１７ａに転送される。

図２に示すモニター領域ＭＲ−Ｆ、ＭＲ−Ｒ、ＭＲ−Ｌ、ＭＲ−Ｈにおいて、ビームの方位例（上面視で前方のモニター領域ＭＲ−Ｆから時計回りでビームＢ１からＢ８）を示しており、８方向のビームＢ１からＢ８を予め規定している。図１に示す音源ビーム生成回路１７ａは、前方、右方、左方及び後方のマイク１５ａ、１５ｂ、１５ｃ、１５ｄの座標情報と各ビームの方位から、各マイクから取得した音響データに各ビームの先に音源があった場合に前方、右方、左方及び後方のマイク１５ａ、１５ｂ、１５ｃ、１５ｄに到着する位相遅延を与えて加算する事で各ビームのレベルと周波数を解析する事ができ、その解析データを生成する。

音源ビーム生成回路１７ａは、解析データを音源ビーム情報としてビーム選択回路１７ｂに転送する。

ビーム選択回路１７ｂはレベルの大きなビームから表示させるビームを選定し、選択した音源ビーム情報を音源種類推定回路１７ｃａに転送する。

音源種類推定回路１７ｃａは、音源ビーム情報の周波数パターンを音源データベース１７ｃｂの音源データと照合し、音の種類別・方位情報に変換し、画像表示部１９の音源情報画像合成回路１９ａに転送する。音源種類推定回路１７ｃａは、このように音源データベース１７ｃｂを用いて、取得した音の音源の種類を推定して、照合した音源データを音源方向データと共に画像表示部１９へ送る。

音源情報画像合成回路１９ａは、俯瞰画像合成部１３から転送された俯瞰合成画像に音の種類に割り当てられたアイコンをビーム毎に表示画面の予め決められた箇所に合成し、ディスプレイ１９ｂに表示させる。

図４は、ディスプレイ１９ｂ画面上のビーム毎に表示画面の予め決められた箇所に合成されたアイコンと俯瞰合成画像とを示すトップビュー形式の映像の図である。アイコンとしてはビームレベルの大きさに応じた色分けを丸いアイコンに表示し、所定のレベル以下ではアイコンを非表示とすることが考えられる。

図５は、ディスプレイ１９ｂ画面上のビーム４の箇所に合成されたアイコン「ピーポー」と俯瞰合成画像とを示す任意視点の映像の図である。周辺の状況にて緊急車両ＶＨ１を音源とする場合等では、アイコンとして「ピーポー」文字列をビームの方向に応じて表示することができる。視点の移動指示があっても、俯瞰合成画像にあけるビーム４のアイコンの位置は維持される。

（効果の説明）
以上のように、本実施例によれば、俯瞰画像やアラウンドビュー画面に音の情報を表示する事により、車両等の移動体の周辺の状況を把握することができるようになる。

（変形例）
上記の実施例では移動体の自動車に搭載されている移動体周囲モニタリング装置１０を説明しているが、図１に示す移動体周囲モニタリング装置１９のディスプレイ１９ｂを音源情報画像合成回路１９ａと別体とすることもできる。それらのディスプレイ１９ｂと音源情報画像合成回路１９ａとの間に通信システムを挿入して、更に、操作部２１も俯瞰画像合成部１３から離して、それらの間に通信システムを挿入して、通信システムを介して、ディスプレイ１９ｂと操作部２１とにより移動体周囲モニタリング装置１０を遠隔操作できるように構成することもできる。

移動体周囲モニタリング装置１０は、移動体周囲モニタリングプログラムをインストールしたコンピュータ装置である。移動体周囲モニタリング装置１０は、図示しないが、ＣＰＵ（Central Processing Unit）と、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等のメモリ部を含み、オペレーティングシステム（Operating System）ソフトウェアプログラムに従い、移動体周囲モニタリングステップを実行するコンピュータ装置である。その移動体周囲モニタリング装置１０において、各信号をデジタル処理した後、俯瞰画像合成部１３、音源情報生成部１７、音源情報画像合成回路１９ａの機能部は、上記プログラムにより、実現されてもよい。すなわち、これら機能部は、移動体周囲モニタリング装置１０にADC(Analog to Digital Converter)等のハードウェアを除き、移動体周囲モニタリングプログラムをメモリ部中に展開され実現されていてもよい。

１０ 移動体周囲モニタリング装置
１１ａ、１１ｂ、１１ｃ、１１ｄ カメラ
１３ 俯瞰画像合成部
１５ａ、１５ｂ、１５ｃ、１５ｄ マイク
１７ 音源情報生成部
１７ａ 音源ビーム生成回路
１７ｂ ビーム選択回路
１７ｃ 音源種類推定部
１７ｃａ 音源種類推定回路
１７ｃｂ 音源データベース
１９ 画像表示部
１９ａ 音源情報画像合成回路
１９ｂ ディスプレイ
ＶＨ 自動車
ＶＰ 視点
ＢＥＶ 俯瞰画像データ
ＭＲ−Ｆ、ＭＲ−Ｒ、ＭＲ−Ｌ、ＭＲ−Ｈ 前方、右方、左方及び後方のモニター領域

Claims (9)

1. 移動体の周囲をモニターする移動体周囲モニタリング装置であって、
   各々が前記移動体の周囲に配置され各モニター領域を撮像する複数の撮像素子の出力画像データに基づいて、前記移動体の画像と前記移動体を中心とした半球面上の視点から俯瞰された前記移動体の周囲の俯瞰画像とを合成して拡張現実の俯瞰画像データを生成する俯瞰画像合成部と、
   各々が前記移動体の周囲に配置され各モニター領域の音を取得する複数のマイクの出力音響データに基づいて、前記取得した音の前記移動体を中心とした音源方向を検出して音源方向データを生成する音源情報生成部と、
   前記俯瞰画像データ及び前記音源方向データに基づいて、前記モニター領域に関連付けて前記移動体の周囲の俯瞰画像に前記音源方向の情報を重ねて表示する画像表示部と、
   を有することを特徴とする移動体周囲モニタリング装置。
2. 前記視点の位置を取得する操作部を有し、前記操作部は前記視点の位置を連続的に変更するための入力手段を有し、前記視点の位置が連続的に変化する際に前記視点の位置と同期して前記移動体の周囲の俯瞰画像及び前記音源方向の情報を連続的に変化させて表示することを特徴とする請求項１に記載の移動体周囲モニタリング装置。
3. 前記音源情報生成部は前記取得した音の種類を推定する音源推定部を有し、
   前記音源推定部はその音源データベースの音源データと前記取得した音のデータとを照合し、照合した音源データを前記音源方向データと共に前記画像表示部へ送り、前記画像表示部は前記音源データをも重ねて表示することを特徴とする請求項１又は２に記載の移動体周囲モニタリング装置。
4. 前記画像表示部は前記音源データ及び前記音源方向データに基づいて、前記音源データに対応するアイコンを前記音源方向の情報として表示することを特徴とする請求項３に記載の移動体周囲モニタリング装置。
5. 移動体の周囲をモニターする移動体周囲モニタリング方法であって、
   俯瞰画像合成部が、各々が前記移動体の周囲に配置され各モニター領域を撮像する複数の撮像素子の出力画像データに基づいて、前記移動体の画像と前記移動体を中心とした半球面上の視点から俯瞰された前記移動体の周囲の俯瞰画像とを合成して拡張現実の俯瞰画像データを生成する俯瞰画像合成ステップと、
   音源情報生成部が、各々が前記移動体の周囲に配置され各モニター領域の音を取得する複数のマイクの出力音響データに基づいて、前記取得した音の前記移動体を中心とした音源方向を検出して音源方向データを生成する音源情報生成ステップと、
   前記俯瞰画像データ及び前記音源方向データに基づいて、前記モニター領域に関連付けて前記移動体の周囲の俯瞰画像に前記音源方向の情報を重ねて表示する画像表示ステップと、
   を含むことを特徴とする移動体周囲モニタリング方法。
6. 操作部が、前記視点の位置を取得する操作ステップをさらに有し、前記操作ステップは前記視点の位置を連続的に変更するための入力ステップを有し、前記視点の位置が連続的に変化する際に前記視点の位置と同期して前記移動体の周囲の俯瞰画像及び前記音源方向の情報を連続的に変化させて表示する
   ことを特徴とする請求項５に記載の移動体周囲モニタリング方法。
7. 前記音源情報生成ステップは前記取得した音の種類を推定する音源推定ステップを含み、
   前記音源推定ステップはその音源データベースの音源データと前記取得した音のデータとを照合し、照合した音源データを前記音源方向データと共に前記画像表示部へ送り、前記画像表示ステップは前記音源データをも重ねて表示する
   ことを特徴とする請求項５又は６に記載の移動体周囲モニタリング方法。
8. 前記画像表示ステップは前記音源データ及び前記音源方向データに基づいて、前記音源データに対応するアイコンを前記音源方向の情報として表示する
   ことを特徴とする請求項７に記載の移動体周囲モニタリング方法。
9. 移動体の周囲をモニターする移動体周囲モニタリング装置に搭載されるコンピュータを、
   各々が前記移動体の周囲に配置され各モニター領域を撮像する複数の撮像素子の出力画像データに基づいて、前記移動体の画像と前記移動体を中心とした半球面上の視点から俯瞰された前記移動体の周囲の俯瞰画像とを合成して拡張現実の俯瞰画像データを生成する俯瞰画像合成部と、
   各々が前記移動体の周囲に配置され各モニター領域の音を取得する複数のマイクの出力音響データに基づいて、前記取得した音の前記移動体を中心とした音源方向を検出して音源方向データを生成する音源情報生成部と、
   前記俯瞰画像データ及び前記音源方向データに基づいて、前記モニター領域に関連付けて前記移動体の周囲の俯瞰画像に前記音源方向の情報を重ねて表示する画像表示部として機能させるためのプログラム。

Images