JP2019185105A - 車両システム、空間領域推測方法及び空間領域推測装置 - Google Patents

Abstract

【課題】死角領域の内部をより適切に把握可能な車両システムを提供する。【解決手段】車両１に用いられる車両システム９は、車両１の外界を撮影して画像を生成する撮像部１０と、画像において、死角の原因となっている物体を認識し、物体の奥行きを推測し、推測された奥行きの情報を用いて物体が形成する死角領域の内部を推測する死角領域推測部４３と、を備える。【選択図】図１

Description

この明細書による開示は、車両システム、空間領域推測方法及び空間領域推測装置に関する。

従来、車両に用いられる車両システムが開示されている。特許文献１に開示のシステムは、車両の外界を撮影して画像を生成する撮像部を有している。撮像部は、サイドミラーの死角領域を撮影するようになっている。撮像部が生成した画像は、拡大又は縮小処理され、表示装置により略そのまま表示される。

特許第５８３６４９０号公報

この特許文献１では、サイドミラーに対しての死角領域を撮影するものの、撮影した画角内に物体が存在する場合には、その物体が形成する死角領域の内部まで十分に把握することができない。

開示されるひとつの目的は、死角領域の内部をより適切に把握可能な車両システム、空間領域推測方法及び空間領域推測装置を提供することにある。

ここに開示された態様のひとつは、車両（１）に用いられる車両システムであって、
車両の外界を撮影して画像を生成する撮像部（１０）と、
画像において、死角の原因となっている物体を認識し、物体の奥行きを推測し、推測された奥行きの情報を用いて物体が形成する死角領域（ＢＳ）の内部を推測する死角領域推測部（４３）と、を備える。

また、開示された態様の他のひとつは、車両（１）の外界の空間領域を推測する空間領域推測方法であって、
外界が撮影された画像を取得する画像取得ステップと、
画像取得ステップにおいて取得した画像において、死角の原因となっている物体を認識する認識ステップと、
認識ステップにて認識した物体の奥行きを推測する奥行推測ステップと、
奥行推測ステップにて推測された物体の奥行きの情報を用いて物体が形成する死角領域（ＢＳ）の内部を推測する死角領域推測ステップと、を備える。

また、開示された態様の他のひとつは、車両に搭載された撮像部（１０）と通信可能に接続された空間領域推測装置であって、
撮像部から車両の外界の画像を取得する画像取得部（４０ａ）と、
画像取得部と接続されて、画像取得部が取得した画像を処理する演算回路（４０ｂ）と、
演算回路と接続され、演算回路が画像を処理するために用いる情報（５０，５１）を記憶しているメモリ装置（４０ｃ）と、を備え、
演算回路がメモリ装置から読み込んだ情報に基づいて、画像において、死角の原因となっている物体を認識し、認識した物体の奥行きを推測し、
推測された物体の奥行きの情報を用いて物体が形成する死角領域の内部を推測した領域データ（ＢＳ）を生成するように構成されている。

また、開示された態様の他のひとつは、車両に搭載された撮像部（１０）と通信可能に接続された空間領域推測装置であって、
撮像部から車両の外界の画像を取得する画像取得部（４０ａ）と、
画像取得部と接続されて、画像取得部が取得した画像を処理する演算回路（４０ｂ）と、
演算回路と接続され、演算回路が画像を処理するために用いる情報を記憶しているメモリ装置（４０ｃ）と、を備え、
メモリ装置は、画像を処理するために用いる情報として、
画像において、死角の原因となっている物体にラベルを付加するためのラベルデータベース（５０）と、
ラベルが付加された物体の奥行きを推測するための奥行情報データベース（５１）と、を記憶しており、
演算回路は、ラベルデータベース及び奥行情報データベースによって推測した物体の奥行きの情報を用いて物体が形成する死角領域（ＢＳ）の内部を推測した領域データを生成するように構成されている。

これらの態様によると、車両の外界を撮影して得られた画像において、死角の原因となっている物体が認識され、当該物体が形成する死角領域の内部が推測される。この死角領域の内部の推測においては、物体の奥行きが推測され、推測された奥行きの情報が用いられる。すなわち、死角領域において、撮像部に対して表側から奥行き分の領域は、当該物体の存在可能性を推測することができる。そして、奥行き分よりもさらに裏側の領域は、当該物体以外の存在可能性を推測することができる。このようにして、死角領域の内部をより適切に把握可能となるのである。

なお、括弧内の符号は、後述する実施形態の部分との対応関係を例示的に示すものであって、技術的範囲を限定することを意図するものではない。

第１実施形態の車両システムのシステム構成を示すブロック図である。 図１のＥＣＵの回路構成を概略的に示すブロック図である。 第１実施形態の撮像部が撮影した画像の一例である。 第１実施形態における鳥瞰変換された領域データを示す図である。 図４に対して、ラベルが付加され、死角領域が区別された領域データを示す図である。 第１実施形態における統合認識の一例を説明するための図である。 図５に対して、歩行者の位置の推測結果が付加された領域データを示す図である。 第１実施形態における歩行者の位置の推測を説明するための図である。 第１実施形態の車両システムによる領域データの生成処理を示すフローチャートである。 第１実施形態の車両システムによる統合認識処理を示すフローチャートである。 第１実施形態の車両システムによる情報提示処理を示すフローチャートである。 第１実施形態の車両システムによる警報処理を示すフローチャートである。 第１実施形態の車両システムによる車両走行制御処理を示すフローチャートである。

一実施形態を図面に基づいて説明する。

（第１実施形態）
本開示の第１実施形態による車両システム９は、図１に示すように、車両１に用いられるシステムであって、当該車両１に搭載されている。ここでいう車両１とは、他車両４と区別する上では、厳密には自車両を意味しているが、以下の説明において、自車両を単に「車両」と記載し、他車両を「他車両」と記載することとする。車両システム９は、撮像部１０、自律センサ部１５、ＨＭＩ機器部２０、車両走行制御部３０、及びＥＣＵ（Electronic Control Unit）４０等により構成されている。

撮像部１０は、複数のカメラ１１を有している。各カメラ１１は、撮像素子、レンズ、及び制御部としての回路ユニット１２を有している。撮像素子は、光電変換により光を電気信号に変換する素子であり、例えばＣＣＤイメージセンサないしはＣＭＯＳイメージセンサを採用することができる。レンズは、撮影対象を撮像素子上に結像させるために、撮像対象と撮像素子との間に配置されている。

回路ユニット１２は、少なくとも１つのプロセッサ、メモリ装置、入出力インターフェースを含む電子回路であり、プロセッサは、メモリ装置に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置は、例えば半導体メモリ等によって提供され、プロセッサによって読み取り可能なコンピュータプログラムを非一時的に格納するための非遷移的実体的記憶媒体である。回路ユニット１２は、撮像素子と電気的に接続されていることにより、撮像素子を制御すると共に、画像をデータとして生成し、ＥＣＵ４０へ向けて当該データを電気信号として出力する。

このようにして、撮像部１０の各カメラ１１は、車両１の外界を、逐次撮影して画像のデータを生成する。本実施形態では、複数のカメラ１１は、車両１の外界のうち互いに異なる方向を撮影するようになっている。複数のカメラ１１には、車両１の外界のうち当該車両１に対する前方を撮影するカメラ１１が含まれている。

自律センサ部１５は、撮像部１０を補助するように、車両１の外界における歩行者、他車両４等の移動物体、路上の落下物、交通信号、ガードレール、縁石、道路標識、道路標示、及び区画線等の静止物体を検出する。自律センサ部１５は、例えばライダユニット、ミリ波レーダ、ソナー等のうち少なくとも１つの自律センサを有している。自律センサ部１５は、ＥＣＵ４０と通信可能となっていることにより、各自律センサ部１５の検出結果データを、ＥＣＵ４０へ向けて電気信号として出力する。

ＨＭＩ機器部２０は、ＨＭＩ（Human Machine Interface）を実現するための機器群を主体として構成されている。具体的にＨＭＩ機器部２０は、情報提示部２１、警報部２２及び振動部２３を有している。

情報提示部２１は、主に視覚的情報を車両１の乗員へ向けて提示する。情報提示部２１は、例えば画像を表示する表示器を備えたコンビネーションメータ、画像を車両１のウインドシールド等に投影して虚像表示するヘッドアップディスプレイ、ナビゲーション画像を表示可能に構成されたナビゲーション用ディスプレイ等のうち、少なくとも１つのディスプレイを有している。情報提示部２１は、ＥＣＵ４０と通信可能となっていることにより、ＥＣＵ４０からの電気信号の入力に応じた視覚的情報の提供を行なう。

警報部２２は、車両１の乗員へ向けた警報を行なう。警報部２２は、例えばスピーカ、ブザー等のうち、少なくとも１つの音発振装置を有している。警報部２２は、ＥＣＵ４０と通信可能となっていることにより、ＥＣＵ４０からの電気信号の入力に応じた警報を行なう。

振動部２３は、車両１の乗員へ向けて振動による情報提供又は警報を行なう。振動部２３は、例えば車両１の操舵ハンドルを振動させるアクチュエータ、乗員が着座する座席を振動させるアクチュエータ等のうち、少なくとも１つのアクチュエータを有している。振動部２３は、ＥＣＵ４０と通信可能となっていることにより、ＥＣＵ４０からの電気信号の入力に応じた振動を行なう。

また、上記ＨＭＩ機器部２０には、情報提示部２１、警報部２２及び振動部２３を制御する制御部としての回路ユニット２０ａを設けることができる。回路ユニット２０ａは、少なくとも１つのプロセッサ、メモリ装置、入出力インターフェースを含む電子回路であり、プロセッサは、メモリ装置に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置は、例えば半導体メモリ等によって提供され、プロセッサによって読み取り可能なコンピュータプログラムを非一時的に格納するための非遷移的実体的記憶媒体である。回路ユニット２０ａは、ＥＣＵ４０からの電気信号を、情報提示部２１、警報部２２及び振動部２３に応じた信号に変換することができ、後に詳述する情報提示処理及び警報処理の一部を分担することができる。

車両走行制御部３０は、少なくとも１つのプロセッサ、メモリ装置、入出力インターフェースを含む電子回路を主体として構成されている。プロセッサは、メモリ装置に記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置は、例えば半導体メモリ等によって提供され、プロセッサによって読み取り可能なコンピュータプログラムを非一時的に格納するための非遷移的実体的記憶媒体である。車両走行制御部３０は、ＥＣＵ４０、車両１の駆動装置、制動装置及び操舵装置と通信可能となっていることにより、ＥＣＵ４０からの電気信号が入力されるようになっていると共に、車両１の駆動装置、制動装置及び操舵装置へ向けて電気信号を出力するようになっている。

車両走行制御部３０は、コンピュータプログラムの実行により発現される機能ブロックとして、自動運転制御部３１、駆動制御部３２、制動制御部３３及び操舵制御部３４を有している。

自動運転制御部３１は、車両１の運転操作のうち少なくとも一部範囲を乗員としての運転者から代行可能な自動運転機能を備えている。自動運転制御部３１は、自動運転機能が作動している場合に、ＥＣＵ４０の統合メモリ５２（詳細は後述）から自動運転に有用な情報を取得し、当該情報を利用して、車両１の自動運転制御を実施する。具体的に、自動運転制御部３１は、駆動制御部３２を介して車両１の駆動装置を制御し、制動制御部３３を介して車両１の制動装置を制御し、操舵制御部３４を介して車両１の操舵装置を制御する。自動運転制御部３１は、駆動装置、制動装置及び操舵装置を互いに連携させて、車両１の走行を制御し、車両１の外界の状況によっては、当該車両１に来襲し得る危険を回避する。

ＥＣＵ４０は、車両１の外界の空間領域を推測する空間領域推測装置として機能している。ＥＣＵ４０は、図２に示すように、少なくとも１つのプロセッサ４０ｂ、メモリ装置４０ｃ、入出力インターフェース（例えば画像取得部４０ａ）を含む電子回路を主体として構成されている。プロセッサ４０ｂは、メモリ装置４０ｃに記憶されているコンピュータプログラムを実行する演算回路である。メモリ装置４０ｃは、例えば半導体メモリ等によって提供され、プロセッサ４０ｂによって読み取り可能なコンピュータプログラム及びデータベースを非一時的に格納するための非遷移的実体的記憶媒体である。コンピュータプログラムのうち少なくとも一部は、ニューラルネットワークを用いた人工知能アルゴリズムに置き換えることができ、本実施形態においても、一部の機能がニューラルネットワークによって実現されている。

図１に示すようにＥＣＵ４０は、上述のように、撮像部１０、自律センサ部１５、ＨＭＩ機器部２０及び車両走行制御部３０と通信可能になっている。加えて、ＥＣＵ４０は、通信を用いた電気信号の入力によって、車両１の走行情報、車両１の制御情報、車両１の自己位置情報、クラウド３からの情報及び他車両４からの情報を取得可能に構成され、さらにはクラウド３及び他車両４へ情報を提示することが可能となっている。ここでクラウド３とは、クラウドコンピューティングにより実現されたネットワーク及びネットワークにより接続されたコンピュータの一方又は両方を意味し、データを共有したり、車両１に対する各種サービスを受けることができる。

なお、本実施形態においてＥＣＵ４０と各要素との間の通信は、例えばＣＡＮ（登録商標）等の車内ネットワーク、及び例えば携帯電話網、インターネット等の公衆通信ネットワークにより提供されるが、有線通信、無線通信を問わず各種の好適な通信方式が採用され得る。

またなお、図１において、クラウド３は、便宜上、２か所に記載されているが、これらは互いに同一のクラウドであってもよいし、互いに別のクラウドであってもよい。他車両４についても同様である。本実施形態では、これらは同一であるとして、同じ符号を付して説明を続ける。なお、車両１と通信を行なう他車両４とは別の他車両には、別の符号を付すか、符号を付さないで区別する。

ＥＣＵ４０は、機能ブロックとして、自車両情報理解部４１、他車両情報理解部４２及び死角領域推測部４３を有している。またＥＣＵ４０は、画像取得部４０ａを有している。またＥＣＵ４０は、例えばメモリ装置４０ｃに記憶されたデータベースとして、ラベルデータベース５０及び奥行情報データベース５１を有している。またＥＣＵ４０は、上述のメモリ装置４０ｃの一部の領域を占有するメモリ領域により規定された統合メモリ５２を有している。

自車両情報理解部４１は、自律センサ部１５からの情報、自車両の走行情報、自車両の制御情報及び自己位置情報、すなわち自車両に関する情報を、入出力インターフェースを介して逐次取得し、これら情報を整理及び理解する。

他車両情報理解部４２は、クラウド３からの情報及び他車両４からの情報、すなわち他車両に関する情報を、入出力インターフェースを介して逐次取得し、これら情報を整理及び理解する。

画像取得部４０ａは、撮像部１０からの画像データを取得する入出力インターフェース及び信号変換回路である。

死角領域推測部４３は、撮像部１０から取得された画像データを主体とし、これに自車両情報理解部４１が理解した情報及び他車両情報理解部４２が理解した情報を連携させて、車両１の外界の各領域の推測を行なう。

死角領域推測部４３は、サブ機能ブロックとして、デプス認識部４４、鳥瞰変換部４５、ラベル付加部４６、奥行情報付加部４７、統合認識部４８及び将来情報推測部４９を有している。

デプス認識部４４は、撮像部１０から取得した画像に映り込んだ各物体を認識する。画像には、図３に示すように、物体が透光性を有していない限り、当該物体の裏側が映り込まない。このため、各物体は画像における死角の原因となる。そして、デプス認識部４４は、こうした各物体のデプス、すなわちカメラ１１から各物体までの距離を推測（より詳細には推定）する。

鳥瞰変換部４５は、デプス認識部４４が推測した各物体のデプスに基づいて、撮像部１０から取得した画像を、図４に示すように、車両１の外界を鳥瞰したように表したデータに鳥瞰変換する。このデータは、重力方向に対応した高さ方向の座標情報が除外された２次元的な座標情報を有する領域データである。こうした鳥瞰変換と共に、領域データにおいて各物体が死角を形成する領域として、死角領域ＢＳが規定される。

鳥瞰変換によって３次元情報が２次元情報に圧縮されるので、ＥＣＵ４０が処理するデータ量を低減することができ、ＥＣＵ４０の処理への付加を低減し、処理速度を向上させることができる。延いては、より多方向の外界の情報を取り扱う処理の余地が生ずる。

図５に示すように、ラベル付加部４６は、デプス認識部４４が認識した各物体に、ラベルを付加する。ここでいうラベルとは、物体の種類に準じた記号、例えば歩行者（pedestrian）、他車両（car）、車道（road）、歩道（sidewalk）、電柱（pole）等である。物体に対するラベルの付加は、ラベルデータベース５０を参照して実施される。ラベルデータベース５０は、例えば事前の機械学習により画像と物体の種類とが紐付けられて構成することができ、また、人間が事前にデータ入力することによっても構成することができる。なお、ラベルデータベース５０に代えて、ライブラリ形式のラベルライブラリが採用されていてもよい。

奥行情報付加部４７は、各物体について、ラベル付加部４６により付加されたラベルに基づいて奥行きの情報を付加する。具体的に奥行情報付加部４７は、奥行情報データベース５１を参照し、物体に負荷されたラベルに対応した奥行きの情報を取得することによって、物体の奥行きを推測することができる。奥行情報データベース５１は、例えば事前の機械学習において、物体の種類と奥行きが紐付けられて構成することができ、また、人間が事前にデータ入力することによっても構成することができる。なお、奥行情報データベース５１に代えて、ライブラリ形式の奥行情報ライブラリが採用されていてもよい。

こうして図５に示すように、上述の領域データにラベル及び奥行きの情報が付加されることによって、当該領域データでは、死角領域ＢＳの内部に対して、物体の存在可能性が高い領域ＢＳ１と、当該物体の裏の領域ＢＳ２とを、区別することが可能となる。

統合認識部４８は、デプス認識部４４、鳥瞰変換部４５、ラベル付加部４６及び奥行情報付加部４７によって得られた領域データに加えて、自車両情報理解部４１が理解した情報及び他車両情報理解部４２が理解した情報、さらには撮像部１０が過去に撮影した画像から得られた領域データを統合して認識することにより、死角領域ＢＳの内部の推測精度を高める。

具体的に、統合認識部４８は、自車両情報理解部４１が理解した情報を加味する。たとえば、自律センサ部１５が、撮像部１０による死角領域ＢＳの内部の一部を検出している場合、その検出された領域を推測できるので、当該死角領域ＢＳを実質的に狭めることができる。そして、統合認識部４８は、上述の情報が加味された結果を領域データに反映させることができる。

また、統合認識部４８は、他車両情報理解部４２が理解した情報を加味する。例えば、他車両４に搭載された撮像部１０が、車両１による死角領域ＢＳの内部の一部を認識している場合、その認識された領域を推測できるので、当該死角領域ＢＳを実質的に狭めることができる。そして、統合認識部４８は、上述の情報が加味された結果を領域データに反映させることができる。

例えば図６に示すように、車両１の撮像部１０が当該車両１の前方を撮影した画像から得られた領域データと、当該車両１よりも前方に位置する他車両４の撮像部１０が当該他車両４の後方を撮影した画像から得られた領域データとが、統合される。これにより、車両１と他車両４の間にさらに別の他車両４Ｘ及び電柱等の物体が存在していたとしても、死角領域ＢＳが狭められて、精度の高い推測結果を得ることができる。

また、統合認識部４８は、撮像部１０が過去に撮影した画像から得られた領域データを加味する。例えば、過去の領域データにて認識され、徐々に死角領域ＢＳの方向へ移動している歩行者が、現在の領域データにて認識されていない場合、統合認識部４８は、歩行者の過去の移動速度から、死角領域ＢＳの内部にて歩行者の存在可能性が高い位置ＰＰを割り出す。そして、統合認識部４８は、図７に示すように、領域データに、歩行者の存在可能性が高い位置ＰＰの情報を付加することができる。

将来情報推測部４９は、統合認識部４８と連携して、将来の予測を行なう。例えば、将来情報推測部４９は、現在の領域データにおける死角領域ＢＳの内部での歩行者の存在可能性が高い位置ＰＰと、上述の歩行者の過去の移動速度及び移動方向から、当該歩行者が何時ごろ死角領域ＢＳの内部から死角領域ＢＳの外部へ現出するかを推測することができる。

具体的に図８に示すように、車両１に対する前方の他車両４Ｙが、例えば赤信号等により停止しており、当該他車両４Ｙが死角領域ＢＳを形成している場合を考える。過去である時刻ｔ−ｎの領域データと、過去である時刻ｔ−１の領域データにおいて、死角領域ＢＳの外部に認識されている歩行者の位置ＰＰから、歩行者の移動速度及び移動方向が割り出される。そして、現在である時刻ｔの画像において歩行者が認識されなかったとしても、割り出された移動速度及び移動方向に基づいて、死角領域ＢＳの内部に歩行者の存在可能性が高い位置ＰＰが推測される。さらには、将来である時刻ｔ＋ｎに、歩行者が再び死角領域ＢＳの外部に現出することが推測される。

こうして推測結果が付加された領域データは、図１に示すように、統合メモリ５２に記憶され、蓄積される。

また統合認識部４８は、歩行者等の存在可能性に基づいてＨＭＩ機器部２０の警報部２２による警報及び振動部２３による振動が必要であるか否かを判定する。

以上のように、死角領域推測部４３は、画像において死角の原因となっている物体を認識し、物体の奥行を推測し、推測された奥行きの情報を用いて、当該物体が形成する死角領域ＢＳの内部を推測する。なお、死角領域推測部４３の少なくとも一部がニューラルネットワークを用いて提供される場合には、死角領域推測部４３に各サブ機能ブロックのうち少なくとも一部が個別に定義されていなくてもよい。例えば、死角領域推測部４３がニューラルネットワークにより各サブ機能ブロックに相当する機能を複合的又は包括的に構成していてもよい。なお、図４〜８において、死角領域ＢＳに該当する部分は、ドットのハッチングを付して図示されている。

統合メモリ５２に記憶された領域データは、ＨＭＩ機器部２０、車両走行制御部３０、クラウド３及び他車両４へ向けて、通信を用いた電気信号として出力可能となっている。

領域データの出力先であるＨＭＩ機器部２０の情報提示部２１は、ＥＣＵ４０の統合メモリ５２から、情報の提示に必要なデータ、例えば最新の領域データ等を取得する。情報提示部２１は、取得した領域データを可視化した視覚的情報として、車両１の乗員へ向けて提示する。具体的に、図７に示されるような領域データが２次元の地図形態による視覚的情報としての鳥瞰ビューとなった上で、コンビネーションメータの表示器、ヘッドアップディスプレイ及びナビゲーション用ディスプレイのうち例えば１つにより、画像として表示される。

ＨＭＩ機器部２０の警報部２２は、警報が必要であると判定された場合に、ＥＣＵ４０の統合メモリ５２を介して、警報の内容を取得する。そして、警報部２２は、車両１の乗員に向けた警報を行なう。具体的に、スピーカが発する音声による警報、又はブザーが発する警報音による警報が実施される。

ＨＭＩ機器部２０の振動部２３は、振動が必要であると判定された場合に、ＥＣＵ４０の統合メモリ５２を介して、振動の内容を取得する。そして、振動部２３は、車両１の乗員が感知できるような形態で、振動を発生させる。振動部２３は、警報部２２による警報と連動していることが好ましい。

警報及び振動が必要であるか否かは、死角領域推測部４３が推測した情報、より詳細には領域データを用いて、判断される。この判断には死角領域ＢＳの内部の推測情報が含まれる。

これについて、例えば、死角領域推測部４３により、死角領域ＢＳを形成する物体が静止状態の他車両である場合に、当該他車両の奥行きの情報に基づいて、死角領域ＢＳのうち、当該他車両の存在可能性が高い領域ＢＳ１が区別される。そうすると、他車両４Ｙの存在可能性が高い領域ＢＳ１は、歩行者の存在可能性が低い領域であると推測される。

警報及び振動は、車両１から例えば所定距離の領域に設定された警報範囲に歩行者の存在可能性が高い領域又は歩行者の存在可能性を十分に否定できない領域が存在すると、必要であると判断される。したがって、仮に、死角領域ＢＳのうち、物体の存在可能性が高い領域ＢＳ１と、当該物体の裏の領域ＢＳ２とが区別されない場合では、当該死角領域ＢＳが上述の警報範囲に含まれた時点で警報及び振動が必要であると判断される。

しかしながら、死角領域ＢＳのうち、当該他車両の存在可能性が高い領域ＢＳ１が区別され、この領域が歩行者の存在可能性が低い領域であると推測された状況では、当該領域ＢＳ１が警報範囲に含まれていたとしても、領域ＢＳ１に関する歩行者についての警報は必要でないと判断される。このようにして警報部２２による警報の実施が規制され、不必要な警報への煩わしさが抑制される。

領域データの出力先である車両走行制御部３０の自動運転制御部３１は、ＥＣＵ４０の統合メモリ５２から、自動運転に必要なデータ、例えば最新の領域データ等を取得する。自動運転制御部３１は、取得したデータを用いて、車両１の走行の制御を行なう。

例えば、死角領域ＢＳを形成する物体として、車両１の前方を車両１よりも速度が遅い他車両が認識されている場合に、自動運転制御部３１は、自動運転制御による当該他車両に対する追い越し走行を実施するか否かを判断する。このとき、死角領域推測部４３が当該他車両の奥行きの情報に基づいて、死角領域ＢＳのうち、当該他車両の存在可能性が高い領域ＢＳ１を推測しているので、死角となっている当該他車両の前端部分の位置も推測されている。

そして、自動運転制御部３１は、車両１が他車両を追い越して、当該他車両の前端部分より前方の領域に入り込めるか否かを判定する。肯定判定が下された場合には、他車両に対する追い越し走行が自動運転により実行される。否定判定が下された場合には、他車両に対する追い越し走行の実行が中止される。

この自動運転制御部３１による判定において、将来情報推測部４９の推測結果も加味されると、より判定の妥当性を高めることができる。

以下、第１実施形態の車両システム９による処理を、図９〜１３のフローチャートを用いて説明する。各フローチャートによる処理は、例えば所定の周期毎に、逐次実施される。各フローチャートによる領域データの生成処理、統合認識処理、情報提示処理、警報処理、及び車両走行制御処理は、他の処理の完了を待って、順次実施されるようにしてもよく、可能であれば互いに同時並行で実施されるようにしてもよい。最初に、図９のフローチャートを用いて、領域データの生成処理について説明する。

ステップＳ１１では、撮像部１０が車両１の外界を撮影し、画像を生成する。Ｓ１１の処理後、Ｓ１２へ移る。

ステップＳ１２では、デプス認識部４４は、Ｓ１１にて撮像部１０が撮影した画像について、各物体のデプス推定を行なう。Ｓ１２の処理後、Ｓ１３へ移る。

ステップＳ１３では、鳥瞰変換部４５は、デプス推定結果に基づいて、撮像部１０から取得した画像を、車両１の外界を鳥瞰したように表したデータに鳥瞰変換する。Ｓ１３の処理後、Ｓ１４へ移る。

ステップＳ１４では、ラベル付加部４６は、デプス認識部４４が認識した各物体に、ラベルを付加する。Ｓ１４の処理後、Ｓ１５へ移る。

ステップＳ１５では、奥行情報付加部４７は、各物体について、ラベル付加部４６により付加されたラベルに基づいて奥行きの情報を付加する。Ｓ１５の処理後、Ｓ１６へ移る。

ステップＳ１６では、死角領域ＢＳの内部が推測された領域データが生成され、当該領域データが統合メモリ５２へ反映される。Ｓ１６を以って、領域データの生成処理を終了する。

次に、図１０のフローチャートを用いて、統合認識処理について説明する。なお、ステップＳ２１〜２４の処理の順番は、適宜入れ替えることができ、可能であれば同時に実施してもよい。

ステップＳ２１では、統合認識部４８は、自車両情報理解部４１を介して自律センサ部１５からの情報を取得する。Ｓ２１の処理後、Ｓ２２へ移る。

ステップＳ２２では、統合認識部４８は、統合メモリ５２から他車両４へ車車間通信により送信する情報を選定し、選定された情報をデータとして当該他車両４へ送信する。これと共に、統合認識部４８は、他車両情報理解部４２を介して他車両４へ車車間通信により受信する情報を選定し、選定された情報をデータとして当該他車両４から受信して取得する。Ｓ２２の処理後、Ｓ２３へ移る。

ステップＳ２３では、統合認識部４８は、統合メモリ５２からクラウド３にアップロードする情報を選定し、選定された情報を当該クラウド３へアップロードする。これと共に、統合認識部４８は、他車両情報理解部４２を介してクラウド３からダウンロードする情報を選定し、選定された情報をダウンロードする。Ｓ２３の処理後、Ｓ２４へ移る。

ステップＳ２４では、統合認識部４８は、統合メモリ５２から最新の情報（換言すると現在の情報）、より詳細には最新の領域データ等を取得し、また、必要に応じて、統合メモリ５２から過去の情報（換言すると現在の情報）、より詳細には過去の領域データ等を取得する。Ｓ２４の処理後、Ｓ２５へ移る。

ステップＳ２５では、統合認識部４８は、Ｓ２１〜２４にて取得したデータを統合して認識することにより、死角領域ＢＳの内部の推測精度を高める。Ｓ２５の処理後、Ｓ２６へ移る。

ステップＳ２６では、Ｓ２５の結果が統合メモリ５２へ反映される。Ｓ２６を以って、統合認識処理を終了する。

なお、例えば死角領域推測部４３の少なくとも一部がニューラルネットワークを用いて提供される場合には、上述のステップＳ１１〜１６及びステップＳ２１〜２６の処理のうち少なくとも一部が複合的又は包括的に処理されるようにしてもよい。

次に、図１１のフローチャートを用いて、情報提示処理について説明する。

ステップＳ３１では、情報提示部２１は、ＥＣＵ４０の統合メモリ５２から、情報の提示に必要なデータ、例えば最新の領域データ等を取得する。Ｓ３１の処理後、Ｓ３２へ移る。

ステップＳ３２では、情報提示処理として、情報提示部２１は、最新の領域データを可視化し、視覚的情報として乗員へ向けて提示する。Ｓ３２を以って一連の処理を終了する。

次に、図１２のフローチャートを用いて、警報処理について説明する。

ステップＳ４１では、警報部２２は、ＥＣＵ４０の統合メモリ５２から、警報が必要であると判定された場合に、ＥＣＵ４０の統合メモリ５２を介して、警報の内容を取得する。Ｓ４１の処理後、Ｓ４２へ移る。

ステップＳ４２では、警報処理として、警報部２２は、Ｓ４１にて取得した内容に基づいて、音声又は警報音を乗員へ向けて発し、警報を行なう。Ｓ３２を以って一連の処理を終了する。

次に、図１３のフローチャートを用いて、車両走行制御処理について説明する。

ステップＳ５１では、自動運転制御部３１は、ＥＣＵ４０の統合メモリ５２から、自動運転に必要なデータ、例えば最新の領域データ等を取得する。Ｓ５１の処理後、Ｓ５２へ移る。

ステップＳ５２では、自動運転制御部３１は、車両走行制御処理を行なう。より詳細に、自動運転制御部３１は、領域データを用いて、車両１の走行の制御を行なう。Ｓ５２を以って一連の処理を終了する。

（作用効果）
以上説明した第１実施形態の作用効果を以下に改めて説明する。

第１実施形態によると、撮像部１０により車両１の外界を撮影して得られた画像において、死角の原因となっている物体が認識され、当該物体が形成する死角領域ＢＳの内部が推測される。この死角領域ＢＳの内部の推測においては、物体の奥行きが推測され、推測された奥行きの情報が用いられる。すなわち、死角領域ＢＳにおいて、撮像部１０に対して表側から奥行き分の領域ＢＳ１は、当該物体の存在可能性を推測することができる。そして、奥行き分よりもさらに裏側の領域ＢＳ２は、当該物体以外の存在可能性を推測することができる。このようにして、死角領域ＢＳの内部をより適切に把握可能となるのである。

また、第１実施形態によると、奥行きの情報を用いて、死角領域ＢＳに対して、物体の存在可能性が高い領域ＢＳ１と、物体の裏の領域ＢＳ２とを、区別した領域データが生成される。死角領域ＢＳの内部において区別された各領域ＢＳ１，ＢＳ２がデータとして利用可能となるので、推測結果の価値を高めることができる。

また、第１実施形態によると、情報提示部２１が領域データを可視化した視覚的情報を提示する。視覚的情報では空間領域をすぐに理解することができるので、車両１の乗員は推測された死角領域ＢＳの内部を、容易に把握することができる。

また、第１実施形態によると、情報提示部２１は、視覚的情報として、車両１の外界を鳥瞰した鳥瞰ビューを提示する。鳥瞰ビューは２次元情報として距離関係を理解し易いので、車両１の乗員は推測された死角領域ＢＳの内部を、より容易に把握することができる。

また、第１実施形態によると、死角領域ＢＳの内部を推測した情報を用いて、当該死角領域ＢＳについて、車両１の乗員へ向けた警報が実施される。こうした警報により、乗員が死角領域ＢＳの内部に対して注意を払うことができるようになる。

また、第１実施形態によると、死角領域ＢＳの内部のうち、歩行者の存在可能性が否定推測された領域ＢＳ１に対する歩行者について警報は、規制される。この態様では、車両１の乗員が歩行者の存在可能性が否定推測された領域ＢＳ１に対して過剰な注意を払うことが抑制され、警報の煩わしさを低減することができる。

また、第１実施形態によると、死角領域ＢＳの内部を推測した情報を用いて、車両１の走行の制御が行なわれる。この態様では、死角領域ＢＳの内部が不明なのに物体が存在しないとみなして無責任な走行の制御が行なわれる事態や、逆に当該死角領域ＢＳの全体に物体が存在するとみなしてより適切な走行の制御が行なわれる事態を、抑制することができる。故に、自動運転制御の妥当性を向上させることができる。

また、第１実施形態によると、車両走行制御部３０は、物体の裏の領域ＢＳ２へ向けて車両１を走行させるか否かを判定する。こうした判定を元に、より適切な車両１の走行の制御を行なうことができる。

また、第１実施形態によると、最新の画像と、過去の画像とを両方用いて、死角領域ＢＳの内部が推測される。すなわち、過去の画像に映り込んでいた物体により、最新の画像の死角領域ＢＳの内部を推測することができるので、推測精度を高めることができる。

また、第１実施形態によると、車両１の画像と、他車両４からの情報とを両方用いて、死角領域ＢＳの内部が推測される。すなわち、車両１の撮像部１０から死角になっている領域であっても、他車両４にとっては死角になっていない場合もあるので、死角領域ＢＳを実質的に狭めることができ、その結果、死角領域ＢＳの内部の推測精度を高め、車両１の外界をより正確に把握することができる。

また、第１実施形態によると、画像と、自律センサ部１５からの情報とを両方用いて、すなわちセンサフュージョンにより、死角領域ＢＳの内部が推測される。故に死角領域ＢＳについての自律センサ部１５からの検出情報を加味して、死角領域ＢＳの推測精度の内部を高めることができる。

また、第１実施形態によると、ＥＣＵ４０は、他車両４又はクラウド３と通信可能に接続され、他車両４又はクラウド３へ死角領域ＢＳの内部を推測した領域データを送信する。したがって、車両１を主体として推測された情報を、他の主体と共有することができ、推測結果の価値を高めることができる。

また、第１実施形態において実現されている空間領域推測方法によると、車両１の外界が撮影された画像を取得する画像取得ステップと、画像取得ステップにおいて取得した画像において、死角の原因となっている物体を認識する認識ステップと、認識ステップにて認識した物体の奥行きを推測する奥行推測ステップと、奥行推測ステップにて推測された物体の奥行きの情報を用いて当該物体が形成する死角領域ＢＳの内部を推測する死角領域推測ステップと、を備えている。すなわち、死角領域ＢＳにおいて、画像の撮影側から奥行き分の領域ＢＳ１は、当該物体の存在可能性を推測することができる。そして、奥行き分よりもさらに裏側の領域ＢＳ２は、当該物体以外の存在可能性を推測することができる。このようにして、死角領域ＢＳの内部をより適切に把握可能となるのである。

（他の実施形態）
以上、一実施形態について説明したが、本開示は、当該実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態に適用することができる。

具体的に変形例１としては、ＥＣＵ４０及び車両走行制御部３０等がハードウエアである電子回路によって提供される場合、それは多数の論理回路を含むデジタル回路、又はアナログ回路によって提供することができる。

変形例２としては、車両走行制御部３０又はＨＭＩ機器部２０が有する少なくとも一部の機能は、ＥＣＵ４０により実現されていてもよい。この例として、ＥＣＵ４０と車両走行制御部３０が１つの装置に統合されていてもよい。逆に、ＥＣＵ４０が有する一部の機能が、車両走行制御部３０又はＨＭＩ機器部２０により実現されていてもよい。

変形例３としては、車両システム９に、ＨＭＩ機器部２０が含まれていなくてもよい。この例として、死角領域推測部４３が推測した結果を、専ら自動運転制御部３１による車両１の走行の制御に利用するようにしてもよい。

変形例４としては、車両システム９に、車両走行制御部３０が含まれていなくてもよい。この例として、死角領域推測部４３が推測した結果を、専らＨＭＩ機器部２０による視覚的情報の提供、警報及び振動のうち少なくとも１つに利用するようにしてもよい。

変形例５としては、ＥＣＵ４０は、クラウド３及び他車両４のうち少なくとも１つと情報のやりとりをしないものであってもよい。

変形例６としては、領域データは、３次元的な座標情報を扱うものであってもよい。すなわち、鳥瞰変換部４５が撮像部１０から取得した画像を鳥瞰変換する代わりに、撮像部１０から取得した画像から３次元空間が認識されるようにしてもよい。この場合に、例えばステレオカメラによってこの３次元空間の認識精度を高めるようにしてもよい。

変形例７としては、警報部２２により実現される警報及び警報の規制の対象は、歩行者に限られず、各種障害物に対象を拡大して実施することができる。

１ 車両（自車両）、９ 車両システム、１０ 撮像部、４０ ＥＣＵ（空間領域推測装置）、４０ａ 画像取得部、４０ｂ プロセッサ（演算回路）、４０ｃ メモリ装置、４３ 死角領域推測部、ＢＳ 死角領域

Claims (19)

1. 車両（１）に用いられる車両システムであって、
   前記車両の外界を撮影して画像を生成する撮像部（１０）と、
   前記画像において、死角の原因となっている物体を認識し、前記物体の奥行きを推測し、推測された前記奥行きの情報を用いて前記物体が形成する死角領域（ＢＳ）の内部を推測する死角領域推測部（４３）と、を備える車両システム。
2. 前記死角領域推測部は、前記奥行きの情報を用いて、前記死角領域に対して、前記物体の存在可能性が高い領域（ＢＳ１）と、前記物体の裏の領域（ＢＳ２）とを、区別した領域データを生成する請求項１に記載の車両システム。
3. 前記領域データを可視化した視覚的情報を提示する情報提示部（２１）をさらに備える請求項２に記載の車両システム。
4. 前記情報提示部は、前記視覚的情報として、前記車両の外界を鳥瞰した鳥瞰ビューを提示する請求項３に記載の車両システム。
5. 前記死角領域推測部は、前記画像を、前記外界を鳥瞰したように表したデータに鳥瞰変換した上で、前記死角領域を推測する請求項１から４のいずれか１項に記載の車両システム。
6. 前記死角領域推測部が推測した情報を用いて、前記死角領域について、前記車両の乗員へ向けた警報を行なう警報部（２２）をさらに備える請求項１から５のいずれか１項に記載の車両システム。
7. 前記死角領域の内部のうち、歩行者の存在可能性が否定推測された領域に対する前記歩行者についての前記警報部による前記警報は、規制される請求項６に記載の車両システム。
8. 前記死角領域推測部が推測した情報を用いて、前記車両の走行の制御を行なう車両走行制御部（３０）をさらに備える請求項１から７のいずれか１項に記載の車両システム。
9. 前記車両走行制御部は、前記物体の裏の領域へ向けて前記車両を走行させるか否かを判定する請求項８に記載の車両システム。
10. 前記撮像部は、前記画像を逐次撮影し、
    前記死角領域推測部は、最新の前記画像と、過去の前記画像とを両方用いて、前記死角領域の内部を推測する請求項１から９のいずれか１項に記載の車両システム。
11. 他車両からの情報を取得する他車両情報理解部（４２）をさらに備え、
    前記死角領域推測部は、前記画像と、前記他車両からの情報とを両方用いて、前記死角領域の内部を推測する請求項１から１０のいずれか１項に記載の車両システム。
12. 前記外界についての検出を行なう自律センサ（１５）をさらに備え、
    前記死角領域推測部は、前記画像と、前記自律センサからの情報とを両方用いて、前記死角領域の内部を推測する請求項１から１１のいずれか１項に記載の車両システム。
13. 車両（１）の外界の空間領域を推測する空間領域推測方法であって、
    前記外界が撮影された画像を取得する画像取得ステップと、
    前記画像取得ステップにおいて取得した画像において、死角の原因となっている物体を認識する認識ステップと、
    前記認識ステップにて認識した物体の奥行きを推測する奥行推測ステップと、
    前記奥行推測ステップにて推測された前記物体の奥行きの情報を用いて前記物体が形成する死角領域の内部を推測する死角領域推測ステップと、を備える空間領域推測方法。
14. 車両に搭載された撮像部（１０）と通信可能に接続された空間領域推測装置であって、
    前記撮像部から前記車両の外界の画像を取得する画像取得部（４０ａ）と、
    前記画像取得部と接続されて、前記画像取得部が取得した画像を処理する演算回路（４０ｂ）と、
    前記演算回路と接続され、前記演算回路が前記画像を処理するために用いる情報（５０，５１）を記憶しているメモリ装置（４０ｃ）と、を備え、
    前記演算回路が前記メモリ装置から読み込んだ情報に基づいて、前記画像において、死角の原因となっている物体を認識し、認識した前記物体の奥行きを推測し、
    推測された前記物体の奥行きの情報を用いて前記物体が形成する死角領域（ＢＳ）の内部を推測した領域データを生成するように構成されている空間領域推測装置。
15. 車両に搭載された撮像部（１０）と通信可能に接続された空間領域推測装置であって、
    前記撮像部から前記車両の外界の画像を取得する画像取得部（４０ａ）と、
    前記画像取得部と接続されて、前記画像取得部が取得した画像を処理する演算回路（４０ｂ）と、
    前記演算回路と接続され、前記演算回路が前記画像を処理するために用いる情報を記憶しているメモリ装置（４０ｃ）と、を備え、
    前記メモリ装置は、前記画像を処理するために用いる情報として、
    前記画像において、死角の原因となっている物体にラベルを付加するためのラベルデータベース（５０）と、
    前記ラベルが付加された前記物体の奥行きを推測するための奥行情報データベース（５１）と、を記憶しており、
    前記演算回路は、前記ラベルデータベース及び前記奥行情報データベースによって推測した前記物体の奥行きの情報を用いて前記物体が形成する死角領域（ＢＳ）の内部を推測した領域データを生成するように構成されている空間領域推測装置。
16. 前記車両に関する情報を取得して整理する自車両情報理解部（４１）を、さらに備える請求項１４又は１５に記載の空間領域推測装置。
17. 他車両に関する情報を取得して整理する他車両情報理解部（４２）を、さらに備える請求項１４から１６のいずれか１項に記載の空間領域推測装置。
18. 最新の前記画像と、過去の前記画像とを両方用いて、将来の予測を行なう将来情報推測部（４９）を、さらに備える請求項１４から１７のいずれか１項に記載の空間領域推測装置。
19. 他車両又はクラウドと通信可能に接続され、
    前記他車両又は前記クラウドへ前記死角領域の内部を推測した前記領域データを送信する請求項１４から１８のいずれか１項に記載の空間領域推測装置。

Images