JP2023108862A - 車両用装置、情報統合方法 - Google Patents

Abstract

【課題】取得元が異なる同一対象に関する情報を統合することができる車両用装置、情報統合方法を提供する。【解決手段】実施形態の車両用装置１は、自車両２に設けられている車両側センサ５あるいは車載センサ９で検知した情報を内部情報として取得する取得部１０ａと、内部情報と、自車両２の外部で取得された情報であって自車両２に設けられているＶ２Ｘ通信部１４を介して受信される外部情報とを比較する比較部１０ｂと、比較部１０ｂによる比較結果に基づいて内部情報および外部情報の双方に同一対象に関する情報が含まれているか否かを判定する判定部１０ｃと、判定部による判定結果に基づいて異なる取得元で取得された同一対象に関する情報を統合する統合部１０ｄと、を備える。【選択図】図１

Description

本開示は、取得元が異なる情報を統合する車両用装置、情報統合方法に関する。

従来、複数の車両に搭載した画像センサを利用して、複数の車両で撮像された画像に含まれる同一物体を判定することにより交通イベントを把握する情報処理システムが提案されている（例えば、特許文献１参照）。

特開２０１９－１２５３６８号公報

さて、上記した情報処理システムのように自車両の外部で取得された情報を受信することにより、各車両は、自車両で取得した情報以外の情報を用いて例えば危険予測などに利用することが可能になると考えられる。

しかしながら、従来では、外部から受信した情報が自車両で取得した情報とは異なる情報として扱われていたことから、同一対象に関する情報であっても個別に扱われていた。

本開示は、上記した事情に鑑みてなされたものであり、その目的は、取得元が異なる同一対象に関する情報を統合することができる車両用装置、情報統合方法を提供することにある。

上記目的を達成するために、本開示の一態様による車両用装置は、自車両（２）に設けられているセンサ（５、９）で検知した情報を内部情報として取得する取得部（１０ａ）と、前記内部情報と、自車両の外部で取得された情報であって自車両に設けられている通信部（１４）を介して受信される外部情報とを比較する比較部（１０ｂ）と、前記比較部による比較結果に基づいて、前記内部情報および前記外部情報の双方に同一対象に関する情報が含まれているか否かを判定する判定部（１０ｃ）と、前記判定部による判定結果に基づいて、異なる取得元で取得された同一対象に関する情報を統合する統合部（１０ｄ）と、を備える。これにより、取得元が異なる同一対象に関する情報が統合することができる。

第１実施形態による車両用装置の電気的構成例を模式的に示す図 自車両の周辺環境の一例を模式的に示す図 自車両が実行する情報統合処理の流れを示す図 内部情報、外部情報および統合情報の一例を示す図 種別の設定例を示す図 危険を報知する態様の一例を模式的に示す図その１ 危険を報知する態様の一例を模式的に示す図その２ 第２実施形態による物体の特徴点を抽出する態様を模式的に示す図 特徴点に基づいて危険を予測する態様の一例を模式的に示す図 特徴点に基づいて同一対象を判定する態様の一例を模式的に示す図 第３実施形態による自車両の周辺環境の一例を模式的に示す図 自車両が実行する情報統合調整処理の流れを示す図 色調の設定例を示す図 情報量を調整した統合情報の一例を示す図 車線の設定例を示す 情報量を調整した送信用情報の例を示す図

以下、複数の実施形態について図面を参照しながら説明する。第１実施形態では情報を統合する基本的な構成および処理の流れについて説明し、第２実施形態と第３実施形態において変形例あるいは拡張例などの詳細を説明する。また、各実施形態において実質的に共通する部位には同一符号を付して説明する。

（第１実施形態）
第１実施形態では、情報を統合する基本的な構成と処理の流れについて説明する。図１に示すように、本実施形態の車両用装置１は、自車両２に搭載されており、表示装置３、音声入出力装置４、車両側センサ５、複数のＥＣＵ６などに接続されている。なお、ＥＣＵはElectronic Control Unitの略である。また、車両用装置１もＥＣＵ６と同じく自車両２に設けられている電子機器の１つではあるものの、ここでは説明のために両者を区別している。

表示装置３は、例えば液晶表示器で構成されており、車両用装置１から出力された画像信号や映像信号を受信して画像や映像を表示する。また、表示装置３は、図示しない機械式のスイッチや画面に対応して設けられているタッチパネルにより、車両用装置１に対して各種の操作を入力するための入力装置としても機能する。また、本実施形態では表示装置３としてセンターコンソールに取り付けられる態様を想定しているが、いわゆるヘッドアップディスプレイやフロントシールドに投影するタイプのものを採用したり、それらと組み合わせたりすることもできる。

音声入出力装置４は、スピーカやマイクで構成されており、車両用装置１から出力された音声信号を再生して音声を出力したり、利用者の音声によって車両用装置１に対する操作を入力したりすることを可能にする。また、音声入出力装置４は、いわゆるハンズフリー通話用のものと共用あるいは兼用することができる。

車両側センサ５は、例えばカメラ５ａ、ＬｉＤＡＲ５ｂ、ミリ波レーダ５ｃ、ジャイロ５ｄ、ＧＮＳＳ５ｅなどのセンサで構成されている。なお、ＬｉＤＡＲはLight Detection And Rangingの略であり、ＧＮＳＳはGlobal Navigation Satellite Systemの略である。ただし、車両用装置１は必ずしもこれら全てを備えている必要はなく、少なくともいずれか１つが設けられていればよい。また、車両用装置１は、各センサ（カメラ５ａ、ＬｉＤＡＲ５ｂ、ミリ波レーダ５ｃ、ジャイロ５ｄ）を１つずつ備えてもよいし、複数備えていてもよい。

これらの車両側センサ５は、周知のものであるため詳細な説明は省略するが、カメラ５ａは、自車両２の前方、後方、側方などの周囲の画像や映像を撮像するものであり、本実施形態ではカラーでの撮像が可能になっている。カメラ５ａは、前方用、後方用、側方用と用途に応じて複数個が車両用装置１（自車両２）に備えられていてもよい。ＬｉＤＡＲ５ｂは、レーザーを物体に照射した際の散乱光を測定し、物体までの距離や方向を検知するものである。ＬｉＤＡＲ５ｂは、前方用、後方用、側方用と用途に応じた複数個が車両用装置１（自車両２）に備えられていてもよいし、車両の全周囲を検知可能な回転式のものが備えられていてもよい。ミリ波レーダ５ｃは、物体にミリ波を照射し、物体までの距離、自車両２との位置関係、物体との相対速度などを高精度に検知するものである。ミリ波レーダ５ｃは、前方用、後方用、側方用と用途に応じた複数個が車両用装置１（自車両２）に備えられていてもよい。また、ミリ波レーダ５ｃは、例えば設置位置や異なる検知対象向けとして、周波数が異なるものを設ける構成とすることもできる。ＧＮＳＳ５ｅは、人工衛星からの信号を受信することで自車両２の位置や現在時刻などを取得可能なものであり、例えば自車両２の航法制御や経路案内などに用いられる。

ＥＣＵ６は、例えばエアコンや駆動装置あるいはブレーキといった環境系や制御系の車両設備７を制御するために自車両２に複数設けられている。各ＥＣＵ６は、車内ネットワーク８によって互いに、且つ、車両用装置１との間で通信可能に接続されている。また、ＥＣＵ６には、例えば車速、加速度、旋回状態、アクセル開度、ブレーキペダルの操作状態などを検知する車載センサ９が接続されていることがある。以下、車両側センサ５および車載センサ９を単にセンサとも称する。

車載センサ９で検知された情報は、車内ネットワーク８を介して車両用装置１で取得可能となっている。以下、ＥＣＵ６側で取得された情報を便宜的に車両情報とも称する。また、車両情報は、車内ネットワーク８を介して他のＥＣＵ６でも利用可能することがきできる。

さて、車両用装置１は、センサからの情報を取得することができる。以下、自車両２で取得された情報を内部情報と称するが、ここで言う内部情報とは、自車両２で直接取得した情報を意味している。そのため、前方の道路状況などのように自車両２の外部に関する情報であっても、車両側センサ５や車載センサ９によって検知された情報であればそれは内部情報になる。また、自車両２の車速や進行方向などの情報は、もちろん内部情報に含まれる。

また、車両用装置１には、制御部１０、記憶部１１、入出力回路１２、車内通信部１３、およびＶ２Ｘ通信部１４などを備えている。制御部１０は、図示しないＣＰＵ(Central Processing Unit)、ＲＯＭ(Read Only Memory)およびＲＡＭ(Random Access Memory)、入出力インターフェースなどを備えたコンピュータシステムとして構成されており、記憶部１１に記憶されているコンピュータプログラムを実行することにより車両用装置１の全体を制御する。

また、制御部１０は、本実施形態に関連して取得部１０ａ、比較部１０ｂ、判定部１０ｃ、統合部１０ｄ、調整部１０ｅ、および危険予測部１０ｆを備えている。これら各部は、本実施形態ではプログラムを実行することによりソフトウェアで構成されている。ただし、各部をハードウェアで構成することができるし、ソフトウェアとハードウェアとで構成することもできる。

詳細は後述するが、取得部１０ａは、車両側センサ５や車載センサ９で検知された情報を所定の周期で内部情報として取得する処理を実行する。取得した内部情報および自車両２の外部で取得されて受信された外部情報は、例えばＲＡＭに一時的に記憶される。比較部１０ｂは、自車両２で取得された内部情報と、自車両２の外部で取得された外部情報とを比較する処理を実行する。判定部１０ｃは、内部情報と外部情報とに同一対象に関する情報が含まれているか否かを判定する処理を実行する。このとき、判定部１０ｃは、内部情報と外部情報に含まれている物体の位置、速度、方位または形状のうち少なくとも１つ以上の情報に基づいて、同一対象であるか否かを判定する。

統合部１０ｄは、内部情報と外部情報とに含まれている同一対象に関する取得元が異なる情報を統合する処理を実行する。このとき、統合部１０ｄは、詳細は後述するが、カメラ５ａやＬｉＤＡＲ５ｂなどによって検知された自車両２の周囲に存在する移動体に関する情報、または、ジャイロ５ｄやＧＮＳＳ５ｅあるいは車載センサ９などによって検知された自車両２に関する情報の少なくとも一方を統合する。また、統合部１０ｄは、詳細は後述するが、内部情報と外部情報を、自車両２の走行の制御に利用可能な状態または利用者への報知に利用可能な状態の少なくとも一方の態様で情報を統合する。また、統合部１０ｄは、詳細は後述するが、同一対象に関して内部情報と外部情報とで異なる情報が取得された場合、それぞれの情報の信頼度に基づいて情報を統合する。ただし、統合対象となるそれぞれの情報は、信頼度だけに基づいて統合されることに限定されず、例えば速度などのパラメータの平均を算出するなど、他の手法により統合することができる。

調整部１０ｅは、詳細は後述するが、統合部１０ｄが統合した統合情報を取捨選択し、送信する際の情報量を調整する処理を実行する。危険予測部１０ｆは、内部情報や外部情報あるいは統合情報の少なくとも１つの情報に基づいて危険を予測する処理や、予測した危険を利用者に報知する処理を実行する。このため、危険予測部１０ｆは、利用者への報知を行う報知部としても機能する。

記憶部１１は、例えばｅＭＭＣ（embedded Multi Media Card）やフラッシュメモリのような半導体記憶装置やＨＤＤ（Hard Disk Drive）などによって構成されており、制御部１０で実行されるコンピュータプログラム、制御部１０で実行する処理に必要とされる各種のデータなどを記憶している。また、記憶部１１は、車両用装置１の設定などの情報を記憶することもできる。入出力回路１２は、制御部１０と表示装置３や音声入出力装置４あるいは車両側センサ５などの周辺機器との間で信号の入出力を行うものであり、例えば制御部１０から出力された電気信号を周辺機器に入力可能な電気信号に変換したり、その逆に周辺機器から出力された電気信号を制御部１０に入力可能な電気信号に変換したりする信号変換回路などによって構成されている。車内通信部１３は、車内ネットワーク８を介してＥＣＵ６との間で通信を行うためのインターフェースとして実現されている。本実施形態では車内通信部１３としてＣＡＮ通信を想定しているが、例えばＥｔｈｅｒｎｅｒ（登録商標）などの他の規格のものを採用することもできる。なお、ＣＡＮは、Controller Area Networkの略である。

Ｖ２Ｘ通信部１４は、自車両２の外部に存在する外部装置との間で通信を行うインターフェースとして実現されており、本実施形態ではＶ２Ｘ通信を行うことを想定している。このＶ２Ｘ通信は、Vehicle to Everything、すなわち、車両と様々な機器やシステムとの間を無線通信で接続して相互連携を行うための通信技術の総称である。

このＶ２Ｘ通信には、例えば車両と車両との間で通信を行うＶ２Ｖ（Vehicle to Vehicle）、車両と路側機のようなインフラ設備との間で通信を行うＶ２Ｉ（Vehicle to Infrastructure）、車両と人が所有している端末との間で通信を行うＶ２Ｐ（Vehicle to People）、車両とネットワークとの間で通信を行うＶ２Ｎ（Vehicle to Network）などが含まれる。

ただし、Ｖ２Ｘ通信部１４は、必ずしも上記した全ての通信技術に対応している必要はなく、例えば本実施形態の場合には、Ｖ２Ｘ通信部１４はＶ２ＶおよびＶ２Ｉに対応したものとなっている。もちろん、Ｖ２Ｘ通信部１４が上記した全ての通信技術に対応しているものであってもよい。なお、Ｖ２Ｘ通信は、具体的には専用狭域（短区間）通信であるＤＳＲＣ（Dedicated Short-Range Communications）や、地域を特定の区画に分割してそれぞれの区画に基地局を設けて区画内の装置との間で通信を行うセルラー方式などを利用して通信が行われる。

車両用装置１の場合、自車両２の近傍に存在するＶ２Ｘ通信可能な外部装置との間で通信を行うことができる。このとき、外部装置としては、例えば道路の近傍に設置されている路側機２０が考えられる。この場合、路側機２０は、周辺環境の情報を取得する路側センサ２１とその路側センサ２１で検知された情報を自車両２に送信可能な路側通信部２２とを備えている。

また、外部装置としては、自車両２の近傍に存在する他車両２３Ａも考えられる。他車両２３Ａは、車両側センサ５と同様の構成の他車側センサ２４とその他車側センサ２４で検知された情報を路側機２０に送信可能なＶ２Ｉに対応した他車側通信部２５とを備えており、路側機２０を介して自車両２に対して情報を提供することができる、なお、他車側通信部２５がＶ２Ｖに対応していれば、自車両２と他車両２３Ａとの間で直接的にＶ２Ｘ通信を行うこともできる。

また、現実的には、自車両２の周辺にＶ２Ｘ通信に対応していない他車両２３Ｂや歩行者２６あるいは自転車２７などが存在していることも想定される。ただし、歩行者２６が所持している携帯通信端末２６ａや自転車２７に取り付けられている撮影記録装置２７ａなどが例えばＶ２Ｐや路側機２０との通信が可能なものであれば、それらの携帯通信端末２６ａや撮影記録装置２７ａも外部装置とみなすことができる。

このように、自車両２と路側機２０や他車両２３Ａなどの外部装置との間を通信可能に接続することにより、複数の観測点で取得された情報つまりは取得元が異なる情報を互いに共有可能且つ利用可能にする情報共有システム３０が構築される。このとき、Ｖ２Ｘ通信で受信される情報は基本的には自車両２の近傍の情報であると考えられるため、自車両２で取得した内部情報に含まれている同一対象に関する情報が、外部で取得された外部情報にも含まれていることが想定される。

次に、上記した構成の作用について説明する。
例えば路側機２０や他車両２３Ａといった外部装置側で取得された外部情報を受信することにより、自車両２は、内部情報よりも詳細な情報や精度の高い情報を得ることができたり、内部情報には含まれていない新たな情報を取得できたりすることが想定される。そして、その外部情報を利用することにより、例えば危険予測をより高精度に行うことなどが可能になると考えられる。

ところで、受信された外部情報は基本的には自車両２の近傍の情報であると考えられるため、外部情報には、内部情報として取得済みの同一対象に関する情報が含まれていることが想定される。その場合、外部情報を内部情報とは異なる別の情報として単独で扱うと、同一対象に関する情報であっても個別に処理する必要があり、情報処理の負荷が増加したり処理が遅延したりするおそれがあった。

そこで、車両用装置１は、取得元が異なる内部情報と外部情報に含まれている同一対象に関する情報を統合する。以下、車両用装置１で統合された情報を統合情報と称するが、ここで言う統合とは、同一対象に対して同じ処理を繰り返し実行したりする必要がないように、内部情報と外部情報から同一対象に関する情報を集約することを意味している。以下、車両用装置１が情報を統合する具体的な手法について説明するが、理解を助けるために、まずは図２に示すように自車両２が走行中に発生し得る仮想的な状況を想定し、その状況に沿って処理の流れを説明することとする。

図２に示すように、北を方位０°、東を方位９０°、南を方位１８０°、西を方位２７０°とした場合において、自車両２は２車線の道路を北向きに走行しているものとする。なお、各車両に重ねて付されている黒矢印はそれぞれの進行方向を示している。また、所定の基準位置を原点とし、自車両２の進行方向に対して右向きつまりは東向きがＸ方向、自車両２の進行方向とは逆向きつまりは南向きがＹ方向となるＸＹ座標系が設定されているものとする。なお、ＸＹ座標系は説明を理解し易くするために便宜的に設定したものであるが、ＧＮＳＳ５ｅで取得した緯度および経度を基準位置からの距離に変換することでＸＹ座標系を設定することができる。

また、自車両２の周辺環境として、自車両２の前方に交差点が存在しており、その交差点の近傍には路側機２０が設置されており、交差点から右方向つまりは東に向かって他車両２３Ａが走行しており、左方向から交差点つまりは東に向かって他車両２３Ｂが走行しているとする。また、交差点の近傍には自車両２の左方側に建物２８が存在しており、その建物２８によって破線のハッチングで示す範囲（Ｈ１）が車両側センサ５による検知が不可または困難な範囲となっているものとする。また、路側機２０の近傍に道路標識が存在しており、その道路標識によって破線のハッチングで示す範囲（Ｈ２）が路側センサ２１による検知が困難になっており、その範囲（Ｈ２）に落下物２９が存在しているとものとする。

つまり、図２は、自車両２と路側機２０のような外部装置との双方で検知可能な物体である他車両２３Ａと、自車両２では検知できないものの路側機２０では検知可能な物体である他車両２３Ｂと、自車両２では検知可能であるものの路側機２０では検知できない物体である落下物２９とが存在する状況を模式的に示している。換言すると、図２には、他車両２３Ａに関する情報が内部情報と外部情報の双方に含まれ、他車両２３Ｂに関する情報が内部情報には含まれず外部情報には含まれ、落下物２９に関する情報が内部情報には含まれるものの外部情報には含まれない状況を模式的に示している。ただし、図２に示す状況は一例である。

さて、車両用装置１は、内部情報と外部情報とを統合するために、図３に示す情報統合処理を実行する。なお、この情報統合処理は上記した比較部１０ｂ、判定部１０ｃ、統合部１０ｄおよび調整部１０ｅなどにより実行される処理であるものの、説明の簡略化のために以下では車両用装置１を主体にして説明する。

車両用装置１は、電源投入後に処理を開始すると、内部情報を取得する（Ｓ１）。このとき、車両用装置１は、図４に示すように、例えばＮ１、Ｎ２およびＮ３の３つの物体に関して、Ｘ座標、Ｙ座標、速度、方位、種別、信頼度の情報を内部情報として取得したとする。なお、内部情報を取得する手法については後述する第２実施形態で説明するが、内部情報は、自車両２で取得した例えば画像データを送受信するとＶ２Ｘ通信の帯域が不足したり受信した情報の処理の負荷が高くなったりするおそれがあることから、主としてＶ２Ｘ通信の負荷を低減するために設定されたものである。また、図４に示した内部情報に含まれる情報の種類や数などは一例である。

Ｘ座標、Ｙ座標は、上記したＸＹ座標系での位置を示し、速度は物体の移動速度を示し、方位は物体の移動方向を示している。種別は、物体の種類を示すものであり、物体の種類に対応した識別番号として設定されている。本実施形態の場合、種別として０は移動体、１は自動二輪車、２は乗用車、３はトラック、４はバス、５はトレーラ、６は緊急走行車両、７は人、８は自転車２７、１００は静止体、１０１は自車両２と同一車線の落下物２９、１０２は他の車線の落下物２９として設定されている。

このため、種別が分かれば物体の形状をある程度特定することが可能となる。また、物体の種類を種別により示すことにより、画像データのような比較的容量が大きな情報を送受信しなくても、外部に対して物体の情報を通知できるとともに、外部から物体の情報を取得することができるようになる。なお、種別は、情報共有システム３０で共通の態様で設定されることを想定している。また、０は種別を特定できなかった移動体、１００は種別を特定できなかった静止体を想定して設定されている。ただし、図５に示す種別は一例であり、いわゆる道路交通法や車両法といった法規、あるいはＶ２Ｘ通信を使用するための共通規格や仕様などに基づいた設定とすることができる。

信頼度は、情報の正確さを示している。一例ではあるが、例えばカメラ５ａで撮像した画像に対して画像処理を施すことにより移動体の速度を求めることができると考えられる。しかし、一般論で言えば、画像処理により求めた速度よりも例えばミリ波レーダ５ｃによって測定した速度のほうが精度は高いと考えられる。

そのため、ミリ波レーダ５ｃによって測定された速度であれば、その信頼度は、画像処理により求めた速度よりも相対的に高く設定されることになる。また、同じミリ波レーダ５ｃであっても、より分解能が高い方が精度は高いと考えられる。そのため、信頼度は、車両側センサ５や路側センサ２１の検知能力やそれらのセンサが取り付けられている位置や向きなどの測定条件を考慮した相対的な値として設定されている。

さて、車両用装置１は、上記した図２の状況においては、検知範囲内に存在する他車両２３Ａと落下物２９に関する情報を取得することになる。また、車両用装置１は上記したように自車両２の車両情報も内部情報として取得するため、内部情報としては自車両２に対応するＮ１、他車両２３Ａに対応するＮ２、落下物２９に対応するＮ３の３つの物体の情報が取得されることになる。

そして、車両用装置１は、図３に示すように、内部情報をＶ２Ｘ通信のメッセージとして外部に向けて送信するとともに（Ｓ２）、外部情報をＶ２Ｘ通信のメッセージとして受信する（Ｓ３）。このとき、車両用装置１は、例えば集合的認識メッセージ（ＣＰＭ：Collective Perception Message）でエンコードする。このように、車両用装置１は、内部情報をＶ２Ｘ通信で外部装置に送信するとともに、外部装置からＶ２Ｘ通信で外部情報を取得することで情報の共有を可能にしている。ただし、ステップＳ１～Ｓ２の処理と、ステップＳ３の処理とは順不同に実行可能である。

さて、図２に示す状況の場合、車両用装置１は路側機２０との間でメッセージの送受信を行うことから、路側機２０から受信するメッセージには、図４に示すように他車両２３Ｂに相当するＥ１、自車両２に相当するＥ２、および他車両２３Ａに相当するＥ３の３つの物体に関する情報が含まれていることになる。ただし、図４に示した外部情報に含まれる情報の種類や数などは一例である。

続いて、車両用装置１は、図３に示すように、内部情報と外部情報とを比較し（Ｓ４）、内部情報と外部情報とに同一対象に関する情報が含まれているか否かを判定する（Ｓ５）。この処理は、比較部１０ｂおよび判定部１０ｃによって行われる。具体的には、車両用装置１は、例えば図４に示す内部情報として取得されているＮ１、Ｎ２およびＮ３の情報と、外部情報として取得されたＥ１～Ｅ３の情報とをそれぞれ比較する。

そして、車両用装置１は、例えばＮ１とＥ２あるいはＮ２とＥ３のように、内部情報と外部情報とにおいてＸ座標、Ｙ座標、速度、方位、種別といった情報が一致する場合、あるいは、両者が概ね一致すると考えられる範囲にある場合、それらが同一対象であると判定する。つまり、車両用装置１は、第２実施形態で説明する物体のベクトルの類似性に基づいて同一対象であるか否かを判定している。

換言すると、車両用装置１は、内部情報と外部情報に含まれている物体の位置、速度、方位となどの異なる視点から観測された物体に関する情報に基づいて同一対象であるか否かを判定している。ただし、必ずしも全ての情報を比較対象に含める必要は無く、例えば位置のみを比較したり、位置と速度とを比較したりするなど、比較対象を適宜設定あるいは選択することができる。また、各情報に重みづけを行い、各情報の一致度を重みづけした結果に基づいて同一対象であるかの判定を行う構成とすることもできる。

そして、車両用装置１は、同一対象の情報が含まれていると判定した場合には（Ｓ５：ＹＥＳ）、内部情報と外部情報とを統合する（Ｓ６）。このとき、車両用装置１は、情報に順位付けを行ったり情報を平均化したりするなど、所定の条件に従って内部情報と外部情報とを統合する。つまり、車両用装置１は、自車両２に関する情報も含めて、移動体に関する情報を統合する。

これにより、例えば自車両２に接近する物体を把握して危険予測に役立てることなどが可能となる。また、自車両２の情報が外部情報に含まれていれば、自車両２が少なくとも外部情報の送信元に把握されていることを確認できるとともに、内部情報と外部情報に含まれている自車両２の情報が一致していれば、情報共有システム３０が正常に動作していることも確認できる。

具体的には、車両用装置１は、図４に示す内部情報と外部情報が取得され、Ｎ１とＥ２が同一対象と判定されてそれらの情報を統合する場合、Ｎ１の信頼度のほうがＥ２の信頼度よりも高いことから、信頼度の高い内部情報を外部情報よりも優先する。これにより、統合情報として示すように、Ｎ１については内部情報と同一の情報が記憶される。

つまり、車両用装置１は、同一対象に関して内部情報と外部情報とで異なる情報が取得された場合、それぞれの情報の信頼度に基づいて情報を統合する。この場合、外部情報に含まれているＥ２の情報が除外されることにより、同一対象に関する情報量は、内部情報と外部情報とに分散している状態よりも削減されたことになる。

また、車両用装置１は、Ｎ２とＥ３のように信頼度が同じであるものの例えば速度に若干の違いがある場合、それらを平均化することで統合する。これにより、統合情報として示すように、Ｎ２の速度については内部情報と外部情報の平均値が記憶される。

また、車両用装置１は、内部情報には含まれているものの外部情報には含まれていない情報についても、統合情報として記憶する。例えば、Ｎ３に該当する情報が外部情報には含まれていなくても、車両用装置１は、Ｎ３の信頼度が高いことから、正しい情報であるして統合情報として記憶する。つまり、車両用装置１は静止体に関する情報も統合する。

さて、車両用装置１は、ステップＳ６で同一対象に関する情報を統合すると、あるいは、ステップＳ５において同一対象に関する情報が含まれていなかったと判定すると（Ｓ５：ＮＯ）、外部情報に未取得情報があるか否かを判定する（Ｓ７）。ここで、未取得情報とは、内部情報には含まれていないものの外部情報には含まれている情報を意味している。例えば、図２に示す他車両２３Ｂの場合、自車両２で検知できない範囲（Ｈ１）に位置していることから、図３に示すように内部情報には含まれていないものの、外部情報にはＥ１として含まれている。

この場合、車両用装置１は、Ｅ１に該当する物体に関する内部情報がないことから、未取得情報があると判定し（Ｓ７：ＹＥＳ）、Ｅ１に関する情報を未取得情報として統合する（Ｓ８）。具体的には、車両用装置１は、未取得情報に相当するＥ１に関する情報を、自車両２の近傍に存在する４つめの物体を示すＮ４として統合情報に追加する。つまり、情報を統合する際には、内部情報と外部情報とで重複している情報については削減される一方、いずれか一方に含まれる情報については統合情報として記憶される。これにより、自車両２側では検知できなかった物体についても把握することができる。

そして、車両用装置１は、例えば危険予測部１０ｆや駆動系あるいはブレーキ系を制御するＥＣＵ６などに統合情報を受け渡す（Ｓ９）。つまり、車両用装置１は、利用者への報知に利用可能な状態や自車両２の走行の制御に利用可能な状態に内部情報と外部情報とを統合している。これにより、内部情報と外部情報という取得元が異なる個別の情報を、自車両２では１つの統合情報という形で利用することが可能になる。

さて、統合情報の利用形態としては、危険予測に関する処理が考えられる。例えば、図２に示すように、自車両２では検知されていない他車両２３Ｂが交差点に接近している場合、危険予測部１０ｆは、統合情報を参照することによって自車両２とＮ４との相対位置、Ｎ４の種別や方位および速度を把握することが可能となる。

換言すると、外部情報を統合して外部装置側のセンサで検知された情報を共有することにより、危険予測部１０ｆは、自車両２で検知されていない潜在的な危険を予測することが可能となる。また、危険予測部１０ｆは、統合情報に対して処理を実行することによって自車両２の危険性に関する予測を行うことが可能となるため、内部情報と外部情報に対して個別の処理を行う必要は無く、処理が重複したり遅延したりすることを抑制できる。

そして、危険予測部１０ｆは、例えば自車両２が走行中の道路にトラックが進入する可能性があることを把握した場合には、衝突の可能性が予見されることから、例えば図６に示すように表示装置３に対して「左からトラックが来ます」といった表示を行うことにより、利用者に対して危険性を報知することができる。あるいは、危険予測部１０ｆは、外部情報には含まれていない落下物２９については、自車両２に接触する可能性が予見されることから、例えば図７に示すように表示装置３に対して「１００ｍ先に落下物あり」といった表示を行うことにより、利用者に対して危険性を報知することができる。ただし、表示装置３への表示方法は、図６あるいは図７に示したような文字を表示する手法に限らず、例えば車両のイラストと衝突した態様を模式的に示す例えば星形や雲形のイラストとを併せて表示するなどのグラフィカルな表示手法や、音声による報知と組み合わせた複数の報知態様により危険性を報知する構成とすることができる。

このように、車両用装置１は、内部情報と外部情報とを統合することにより、外部装置のセンサ等で検知された情報を自車両２で共有することが可能となり、上記したように自車両２が検知していない危険性を予測できるようになるなど、危険予測の精度や信頼性を向上させることが可能となる。また、危険予測部１０ｆは、音声入出力装置４から音声を出力することによって危険性を報知することもできる。

また、車両用装置１は、統合情報をＥＣＵ６に受け渡すことにより、例えばアクセル制御やブレーキ制御を統合情報に基づいて行うことができる。その場合、ＥＣＵ６は、統合情報に対して処理を実行すればよいことから、内部情報と外部情報という個別の情報に対してそれぞれ処理を実行する場合と比べて迅速に状況を把握および判断することが可能となる。その結果、自車両２の制御を迅速に行うことができ、危険を回避すること、つまりは、安全性の向上を図ることができる。

以上説明した実施形態によれば、次のような効果を得ることができる。
車両用装置１は、自車両２に設けられているセンサで検知された情報を内部情報として取得する取得部１０ａと、内部情報と、自車両２の外部で取得された情報であって自車両２に設けられている通信部を介して受信される外部情報とを比較する比較部１０ｂと、比較部１０ｂによる比較結果に基づいて、内部情報および外部情報の双方に同一対象に関する情報が含まれているか否かを判定する判定部１０ｃと、判定部１０ｃによる判定結果に基づいて、同一対象に関して異なる取得元で取得された情報を統合する統合部１０ｄと、を備えている。

これにより、車両用装置１は、取得元が異なる内部情報と外部情報に含まれている物体のうち、同一対象に関する情報を統合することができ、例えば同一対象に関する処理を単一の情報に基づいて実施することなどができるようになる。また、内部情報と外部情報とを個別に処理することにより同一対象に対して処理が重複したり繰り返されたりすることが抑制されることから、処理の負荷が増加したり処理が遅延したりするおそれが低減される。すなわち、車両用装置１は、同一対象に関する情報を迅速に処理することができる。

そして、同一対象に関する情報を迅速に処理することができれば、例えば危険予測を迅速に行うことや、予測した危険に対応するための自車両２の制御を迅速に行うことなどが可能となり、安全性の向上を図ることができる。
また、車両用装置１の統合部１０ｄは、移動体に関する情報を統合する。例えば自車両２に接近する物体を把握して危険予測に役立てることなどが可能となる。

また、車両用装置１の統合部１０ｄは、自車両２に関する情報を統合する。これにより、自車両２の情報が外部情報に含まれていれば自車両２が少なくとも外部情報の送信元に把握されていることを確認できるとともに、内部情報と外部情報に含まれている自車両２の情報が一致していれば、情報共有システム３０が正常に動作していることなどを確認することができる。

また、車両用装置１の統合部１０ｄは、自車両２の走行の制御に利用可能な状態に統合する。これにより、例えば自車両２では検知されていない物体を把握した場合などにおいて、統合情報に基づいてアクセル制御やブレーキ制御を行うことによって潜在的な危険に対処することなどが可能となり、安全性の向上を図ることができる。

また、車両用装置１の統合部１０ｄは、利用者への報知に利用可能な状態に統合する。これにより、例えば自車両２では検知されていない物体の危険性を報知することなどが可能となり、安全性の向上を図ることができる。

また、車両用装置１の統合部１０ｄは、同一対象に関して内部情報と外部情報とで異なる情報が取得された場合、それぞれの情報の信頼度に基づいて情報を統合する。これにより、情報の信頼度を向上させることができるとともに、信頼度の高い情報を例えば危険予測や自車両２の制御に利用することができ、安全性のより一層の向上を図ることができる。

また、車両用装置１の統合部１０ｄは、内部情報には含まれておらず外部情報には含まれている情報を、未取得情報として統合する。これにより、自車両２では検知されていない物体を把握することができ、危険予測の精度の向上や危険を避けるための自車両２の制御などを行うことができ、安全性のより一層の向上を図ることができる。

また、車両用装置１の統合部１０ｄは、内部情報には含まれていて外部情報には含まれていない情報を、未取得情報として統合する。これにより、自車両２で検知されたものの外部情報には同一対象に関する情報がない場合であっても、自車両２で検知した情報が破棄されてしまうことを防止でき、危険予測の精度の向上や危険を避けるための自車両２の制御などを行うことができ、安全性のより一層の向上を図ることができる。

また、情報統合方法は、車両において取得元が異なる情報を統合するためのものであって、自車両２に設けられているセンサで検知された情報を内部情報として取得するステップと、内部情報と自車両２の外部で取得された情報であって自車両２に設けられている通信部を介して受信される外部情報とを比較するステップと、内部情報および外部情報の双方に同一対象に関する情報が含まれているか否かを判定するステップと、判定結果に基づいて同一対象に関して異なる取得元で取得された情報を統合するステップと、を含んでいる。

このような情報統合方法によっても、同一対象に関する情報を迅速に処理することができれば、例えば危険予測を迅速に行うことや、予測した危険に対応するための自車両２の制御を迅速に行うことなどが可能となり、安全性の向上を図ることができるなど、車両用装置１と同様の上記した効果を得ることができる。
また、取得した内部情報を送信する構成を例示したが、取得した内部情報で既に記憶されている統合情報を更新したものを送信する構成とすることができる。

（第２実施形態）
以下、第２実施形態について説明する。第２実施形態では、内部情報の設定手法とその活用について説明する。なお、外部情報も同様の手法により設定されているが、ここでは説明の簡略化のために車両用装置１における設定を例にして説明する。つまり、第２実施形態は、第１実施形態と組み合わせることができる。

車両用装置１は、取得した画像から特徴量を抽出し、物体検出、特徴抽出、モダリティ処理、コンパクト表現生成、類似性スコアリング、識別、関連付けの処理を行うことにより種別を設定している。なお、これらの処理は制御部１０によってソフトウェアで行われているが、画像処理ＩＣなどのハードウェアを設けて処理を行わせる構成とすることができる。

車両用装置１は、自車両２に設けられているカメラ５ａによって周囲を撮像することにより、画像を取得する。このとき、車両用装置１は、例えば５秒間隔、１０秒間隔、３０秒間隔などのような予め設定された撮像周期ごとにカメラ５ａで撮像することで画像を取得する。画像を取得すると、車両用装置１は、撮像した画像に含まれている物体を１つあるいは複数特定し、特定した物体の特徴を抽出する。なお、以下に説明する特徴の抽出手法は画像処理分野における一般的な手法であるため、ここでは処理の流れを理解できる程度に簡略化して説明する。

車両用装置１は、特定した物体からマルチモーダル特徴のセットを抽出する。なお、マルチモーダル特徴はモダリティ特徴とも称される。具体的には、車両用装置１は、モダリティ特徴を正規化して初期特徴ベクトル（Ｖ）を生成する。この初期特徴ベクトルは、例えば物体の位置や移動方向、テクスチャ特徴、色特徴、コンテキスト特徴、視点特徴などが含まれている。

物体の位置は、内部情報に含まれるＸ座標、Ｙ座標に相当し、移動方向は内部情報に含まれる方位に相当する。テクスチャ特徴は、例えばフードやホイールあるいはバンパーなど物体の様々な部分を示すテクスチャとして記述されるものであり、例えば幾何学的形状や構造あるいはテクスチャパターンなどである。色特徴は、物体の色として記述されるものである。

コンテキスト特徴は、物体の周辺にあるバックグラウンド環境として記述されるものであり、例えば他車両２３が交差点を走行している状況などである。視点特徴は、物体を含む画像が取り込まれた視点を示しており、自車両２の移動方向、カメラ５ａの取り付け位置や撮像したときの向きを含んでいる。

続いて、車両用装置１は、抽出した特徴に基づいて、コンパクト表現生成を実施する。このコンパクト表現生成は、画像から特定した物体をコンパクトな状態つまりは情報量を削減した状態で表現可能なコンパクト特徴ベクトルを生成する処理である。このとき、車両用装置１では、効率的にコンパクト表現生成を実行可能にするために、いわゆる学習モデルを生成している。このコンパクト特徴ベクトルは、例えば内部情報に含まれているＸ座標やＹ座標あるいは種別の特定に利用される。

例えば、図８に撮像画像として示すように、カメラ５ａで撮像した画像から普通自動車に相当する抽出物体Ｍ１とトラックに相当する抽出物体Ｍ２とが特定されたとする。この場合、車両用装置１は、各物体について上記したテクスチャ特徴や色特徴を取得することができる。これにより、車両用装置１は、テクスチャ特徴からホイールの位置などを特定し、コンテキスト特徴から自車両２との相対位置などを特定することにより、物体の外観や大きさを求めることができる。

そして、求めた物体の大きさや外観に該当する車両の種類を特定すれば、種別を設定することができる。換言すると、画像データに比べて圧倒的に情報量が小さい種別という情報を用いることにより、通信負荷を抑制しつつ物体の種類を特定可能な情報を送受信することができる。換言すると、センサで取得した情報を、その情報によって特定できる物体の特徴を把握可能な状態であって、且つ、取得した時点よりも情報量が少なくなる状態に変換した変換情報を生成し、その変換情報を用いて通信を行うことにより、情報共有システム３０に含まれる各装置において、通信負荷を抑制しつつ情報を共有することができる。

また、種別が特定できれば、物体の中心位置を推定することができる。例えばミリ波レーダ５ｃで距離を測定した場合には、自車両２と物体の表面までの距離とが検出されることになる。しかし、その距離を送信すると、例えば自車両２と異なる位置に存在する他車両２３などにとっては誤差を含んだ値となってしまうおそれがある。そこで、車両用装置１は、他車両２３などにおいて汎用的に利用できるように、物体の中心位置を求めている。

具体的には、例えば抽出物体Ｍ１の場合、乗用車であると判定されていることから、検知された物体までの距離と種別に対応付けられている横幅の半分とを加算することにより、図８にコンパクト化として示すように抽出物体Ｍ１の中心位置（Ｐ０）が求まる。また、中心位置が求まれば、その物体の外縁を繋ぐ直方体の各頂点（Ｐ１～Ｐ８）の座標つまりは物体の立体形状を特定することが可能になる。この中心位置（Ｐ０）の座標が、内部情報に含まれるＸ座標、Ｙ座標になる。

同様に、抽出物体Ｍ２の中心位置（Ｐ０）が求まる。また、中心位置が求まれば、その物体の外縁を繋ぐ直方体の各頂点（Ｐ１～Ｐ８）の座標を特定できる。そして、中心位置と各頂点とにより表されるコンパクト特徴ベクトルにより、物体の立体形状を特定可能な情報を画像データよりも少ない情報量で提供することが可能となる。

そして、コンパクト特徴ベクトルを黒矢印で示す初期特徴ベクトルに対応付けることにより、物体の特徴がまとめられた内部情報として外部装置にメッセージで送信したり、外部装置からメッセージで外部情報として受信したりすることが可能となる。その結果、各車両は、物体の中心位置や種別を特定することにより、同一対象であるか否かの判断を行うことができる。すなわち、自車両２との間で画像データを送受信しなくても、物体の特徴を把握可能な情報をコンパクト化した状態で共有することができる。

また、自身に対する相対的な位置関係や向き、さらには、その物体の立体形状も求めることができることから、各車両は、取得した情報を車両の制御や危険予測に一層活用することができるようになる。例えば、図９に模式的に示すように、自車両２と他車両２３Ｈとが逆方向に走行しており、両者の間を他車両２３Ｉが横切っている状況を想定する。このとき、物体の中心位置で見れば、線分（ＣＬ１）で示す自車両２の中心位置および線分（ＣＬ２）で示す他車両２３Ｈの中心位置は、線分（ＣＬ３）で示す他車両２３Ｉの前後方向における中心位置からずれているものとする。

この場合、自車両２は、自身の中心位置が他車両２３Ｉの中心位置からずれているとともに、立体形状においても他車両２３Ｉの後端から外れているため、接触等の危険性が少ないと判断することができる。一方、他車両２３Ｈは、自身の中心位置は他車両２３Ｉの中心位置からずれているものの、立体形状で見れば他車両２３の先端に掛かっていることが分かる。

つまり、他車両２３Ｈと他車両２３Ｉの位置関係はそのままであれば接触する可能性が高い状況にあると考えられるため、他車両２３Ｈや他車両２３Ｉでは、車両の速度を低下させたり重大な危険があることを報知したりすることなどが可能になる。すなわち、物体の立体形状に基づいて、あるいは、物体の立体毛状を加味して車両の制御や危険予測を行うことにより、安全性を向上させることができると考えられる。

ところで、内部情報や外部情報としては、物体に関する情報に限らず、周辺環境に関する情報を含めることができる。例えば、図１０に示すように、片側２車線の道路において自車両２の前方を他車両２３Ｊが走行しており、他車両２３Ｊの隣を他車両２３Ｋが走行しているとする。この場合、センサの検知能力等によっては他車両２３Ｊと他車両２３Ｋとが概ね同じ位置で同じ方向に走行していることが検出される可能性がある。

その場合、カメラ５ａで撮像した画像から各車線の境界を示す境界線（Ｌ１）を特定し、他車両２３Ｊが境界線の左側の車線を走行しており、他車両２３Ｋが境界線の右側の車線を走行していることが把握できれば、他車両２３Ｊと他車両２３Ｋとを個別に認識することができる。そして、同一対象であるかの判定に物体と境界線との位置関係を含めることにより、同一対象であるかの判定を正確に行うことができる。

このように、車両用装置１は、内部情報と外部情報に含まれている物体の位置、速度、方位、立体形状、または周辺環境との一致性のうち少なくとも１つ以上の情報に基づいて、または、複数の情報の一致性に基づいて、あるいは、個別の情報に重みづけした結果に基づいて、同一対象であるか否かを判定している。これにより、同一対象であるかの判定をより正確に行うことができる。

また、内部情報の種別は、上記したような特徴点を抽出する代わりに、各車両から送信する情報に自身の種別を含めることで設定することができる。あるいは、内部情報の種別は、カメラ５ａで撮像した画像中に特定した物体の外観と、例えば車両の画像を複数記憶しているデータベース１１ａとを照合し、外観が類似しているものを種別として選択する構成とすることができる。

また、このような構成によっても、取得元が異なる内部情報と外部情報に含まれている物体のうち同一対象に関する情報を統合することができ、同一対象に関する情報を迅速に処理することができるなど、第１実施形態と同様の効果を得ることができる。

（第３実施形態）
以下、第３実施形態について説明する。第３実施形態では、情報量を調整する手法について説明する。なお、外部情報も同様の手法により調整することができるが、ここでは説明の簡略化のために車両用装置１における設定を例にして説明する。また、車両用装置１の構成は他の実施形態とも共通するため、図１から図１０も参照しながら説明する。また、第３実施形態の一部構成は、第２実施形態で説明した内部情報の設定手法にも関連している。つまり、第３実施形態は、第１実施形態および第２実施形態と組み合わせることができる。

＜統合する情報の情報量の調整について＞
まず、情報を統合する際に情報量を調整する構成について説明する。第１実施形態では取得した外部情報に含まれる個別の情報を取捨選択したり平均化したりすることを説明したが、車両用装置１は、特定の判定基準を用いて統合する情報を取捨選択することができる。

例えば、図１１に示すように、自車両２のＶ２Ｘ通信の通信可能範囲（Ｋ１）内に、複数の路側機２０Ａ～路側機２０Ｄが設置されていたり、Ｖ２Ｖに対応している複数の他車両２３Ａ～他車両２３Ｇが存在していたりする状況が想定される。なお、歩行者２６や自転車２７が車両との通信が可能な装置を所持している場合には、取得される外部情報の数がさらに増加することが想定されるが、ここでは説明の簡略化のために路側機２０Ａ～路側機２０Ｄと、他車両２３Ｃ～他車両２３Ｅとから外部情報を受信可能な状況を想定している。

この場合、自車両２は、複数の取得元から取得した外部情報を全て統合することもできるが、取得する外部情報の数が多くなると統合する処理や統合情報を処理する際の負荷が大きくなったり遅延したりするおそれがある。そこで、車両用装置１は、受信した外部情報に順位付けを行い、統合対象とする外部情報を取捨選択したり、外部情報に含まれる情報のうち統合対象とするものを取捨選択したりすることができる。

車両用装置１は、図１２に示す情報統合調整処理を実行することにより情報量を調整する。なお、図１２では、第１実施形態で説明した情報統合処理と実質的に共通するステップには同一符号を付しており、その詳細な説明は省略するものとする。

さて、車両用装置１は、内部情報を取得し（Ｓ１）、外部情報を取得すると（Ｓ３）、内部情報と外部情報とを比較し（Ｓ４）、同一対象に関する情報がある場合には（Ｓ５：ＹＥＳ）、同一対象に関する情報を統合する（Ｓ６）。また、車両用装置１は、未取得情報がある場合には（Ｓ７：ＹＥＳ）、未取得情報を統合する（Ｓ８）。

このとき、車両用装置１は、取得した複数の外部情報に含まれるＸ座標やＹ座標、方位などの情報に基づいて取得元と自車両２との距離を求め、自車両２からの距離が近い場所で取得された外部情報から順番に所定数の外部情報を統合対象として選択することができる。図１１に示す状況の場合、自車両２との距離が路側機２０Ａ、他車両２３Ｅ、他車両２３Ｃ、路側機２０Ｄ、路側機２０Ｂ、路側機２０Ｃ、他車両２３Ｄの順に近かったとする。この場合、車両用装置１は、距離が近いものから順に所定の上限数までの外部情報を統合対象として優先的に選択することができる。ただし、上限数は車両用装置１の処理能力などに応じて適宜設定することができる。

また、車両用装置１は、複数の外部情報のうち自車両２に対して接近している物体、または、自車両２に接近することが想定される物体に関する情報が含まれている外部情報を、統合対象として優先的に選択することができる。図１１に示す状況の場合、他車両２３Ｃは自車両２と同一方向に走行しており、他車両２３Ｄは自車両２が走行中の道路に向かって走行している位置関係となっていることから、他車両２３Ｃ、他車両２３Ｄが自車両２に接近する可能性があると考えられる。

この場合、車両用装置１は、自車両２の制御や危険予測への影響が大きいと予想される他車両２３Ｃ、他車両２３Ｄから取得された外部情報を統合対象として優先的に選択することができる。なお、処理能力に余裕がある場合には、例えば距離に基づいて他の外部情報を取得することができる。

また、車両用装置１は、路側機２０から送信された外部情報を統合対象として優先的に選択することができる。路側機２０は、一般的に考えれば通信の規格やセンサの性能等が共通化されており、また定期的な点検等も実施されていると考えられる。そのため、路側機２０で取得された外部情報は信頼度が高いと考えられるため、車両用装置１は、路側機２０から取得された外部情報を統合対象として優先的に選択することができる。なお、処理能力に余裕がある場合には、例えば距離や自車両２との位置関係に基づいて他の外部情報を取得することができる。

また、車両用装置１は、例えばナビゲーション機能によって設定された走行予定経路（Ｔ１）上、あるいは、走行予定経路の近傍で取得された外部情報を統合対象として優先的に選択することができる。車両側センサ５の検知範囲よりも通信可能範囲の方が広い場合、自車両２では検知されていない物体に関する情報を外部情報として取得することができる。そのため、走行予定経路の近傍の取得元で取得された情報を統合することにより、走行予定経路の危険予測を予め行うことが可能となり、安全性の向上を図ることができる。

また、車両用装置１は、外部情報そのものを取捨選択するのではなく、外部情報に含まれる個別の情報を取捨選択することができる。例えば、路側機２０Ｃによって走行予定経路の近傍に他車両２３Ｇと自転車２７とが検知されており、外部情報に、他車両２３が自車両２から離間する向きに移動していること、および、自転車２７が自車両２に接近する向きに移動していることが個別の情報として含まれていたとする。

この場合、車両用装置１は、路側機２０Ｃから受信した外部情報のうち、自車両２に接近する向きに移動している物体の情報を個別に統合対象として選択することができる。これにより、自車両２の制御や危険予測への影響が大きいと予想される情報を統合情報として取得でき、安全性の向上を図ることができる。

このように、車両用装置１は、受信した外部情報を全て統合するのではなく、所定の判断基準に基づいて外部情報やその外部情報に含まれている個別の情報を取捨選択して統合することにより、統合情報の情報量が増加して処理の負荷が過度に大きくなったり処理が遅延したりするおそれを低減することができる。

＜統合した情報の情報量の調整について＞
次に、統合した情報の情報量を調整する構成について説明する。車両用装置１は、図１２に示す情報統合調整処理において情報を統合すると、統合した情報の情報量を調整する（Ｓ２０）。このとき、情報量の調整は、調整部１０ｅによって行われる。ただし、ここで言う情報用の調整には、外部装置と共有する情報の利便性や有用性を向上させるために情報量を増加させる構成、および、主としてＶ２Ｘ通信における通信負荷を低減するために外部装置に対して送信する際に情報量を削減する構成が含まれている。

まず、情報を付加することにより情報量を調整する構成例について説明する。車両用装置１は、上記したようにカメラ５ａにより物体の色を検知することができる。そして、物体の色を報知すれば、利用者はその物体を視覚的に把握し易くなると考えられる。そのため、車両用装置１は、図１３に示すように物体の色を示す色調の項目を設け、色に対応した識別番号を付すことにより、検知した物体の色を図１４に示すように統合情報に付加情報として付加する。

これにより、例えば落下物２９であるＮ３に関する危険予測を行う際、「赤い落下物があります」といった報知が可能となり、利用者は、落下物２９に近づいた際にどれが落下物２９であるかを把握し易くなり、安全性を向上させることができると考えられる。

また、上記したようにカメラ５ａにより境界線やセンターラインを把握している場合には、図１５に示すように物体が位置する車線の項目を設け、車線に対応した識別番号や自車両２との相対的な位置関係などを示す識別番号を付すことにより、検知した物体が存在する車線を図１４に示すように統合情報に付加情報として付加する。例えば車線としては、自車両２の同一車線：前方、同一車線：後方、進行方向左側の車線、進行方向右側の車線、対向車線、交差車線：左から接続、交差車線：右へ離脱、自転車２７レーンなどが考えられる。ただし、ここに示したのは一例であり、車線の分類や数はこれに限定されない。

これにより、例えば落下物２９であるＮ３に関する危険予測を行う際、「赤い落下物が進路上にあります」といった報知が可能となり、利用者は、落下物２９に近づいた際にどれが落下物２９であるか、さらには、その落下物２９が接触する可能性があるのかどうかを把握し易くなり、安全性を向上させることができると考えられる。

このように、車両用装置１は、統合した情報に対して何らかの情報を付加することにより、換言すると、統合情報の情報量を増加させるように調整することにより、統合情報の利便性や有効性を高めることができる。

次に、情報を削減することにより情報量を調整する構成例について説明する。上記した統合情報を外部装置に送信することにより、外部装置側で情報を共有することが可能になる。しかし、統合情報をそのまま送信する構成とすると、Ｖ２Ｘ通信の通信負荷が増加したり帯域が不足したりするおそれがある。また、上記した付加情報は、自車両２においては有効ではあるものの、他車両２３や外部装置にとっては必ずしも必要とされないかのせいもある。

そこで、車両用装置１は、図１２に示すステップＳ２０において情報量を調整するとき、情報を削減することにより、外部装置に送信するための送信用情報を生成する。このとき、車両用装置１は、予め定められた選択基準に基づいて統合情報をフィルタリングすることで情報量を調整する。この選択基準は、例えば以下のようなものが考えられるが、ここに示す選択基準は一例であり、他の選択基準を設定することもできる。

・自車両２と物体との衝突余裕時間(ＴＴＣ：Time-To-Collision）
・自車両２と物体との距離
・物体に関する情報の信頼度
・物体の種別
・物体に関する情報が内部情報に含まれているか否か
・物体に関する情報が外部情報に含まれているか否か
・物体の数が所定の上限数に達したか

そして、車両用装置１は、例えば図１４に示す付加情報が付加された統合情報から、選択基準のいずれか１つに従って、または、複数の条件に従って統合情報をフィルタリングする。例えば、車両用装置１は、図１４に示した統合情報から、図１６に送信用情報例その１として示すように、自車両２であるＮ１、外部情報に含まれていないＮ３、自車両２との距離が近いＮ４を送信対象として抽出する一方、外部情報から統合されたＮ４については送信対象から除外している。なお、自車両２との距離が近いということは、自車両２と物体との移動方向にもよるもののＴＴＣが短く危険度が高い可能性を示唆している。

また、車両用装置１は、抽出した物体に関する情報の項目のうち、Ｘ座標、Ｙ座標、速度、種別、方位、信頼度を抽出しており、基本的には自車両２で利用される車線、色調、相対速度といった情報を削減する。これにより、図１４に示した統合情報よりも情報量が削減された送信用情報が生成される。なお、送信用情報を統合情報とは別の情報として生成および記憶する構成とすることもできるが、上記した選択基準に従って統合情報から情報を抽出することにより、送信時に動的に送信用情報を生成および送信する構成とすることもできる。

また、車両用装置１は、図１６に送信用情報例その２として示すように、物体ごとに項目を変更したり追加したりすることができる。これは、選択基準に従って選択した場合、送信対象となる物体の数が所定の上限数に達していないことが想定され、その場合には通信帯域に余裕があると考えられるためである。

そのため、車両用装置１は、選択基準に設定されている優先度に従って他の物体を送信対象に含めたり、送信対象の物体に関する情報量を増加させたりすることができる。例えば、車両用装置１は、落下物２９であるＮ３について色調を含めることにより、前述のように視覚的に物体を把握し易くすることができる情報を送信用情報に含めることができる。あるいは、車両用装置１は、接触する可能性があり危険度が相対的に高いと考えられるＮ４については自車両２が認識している危険度の情報を送信用情報に含めることができる。

情報量を調整すると、車両用装置１は、図１２に示すように、外部に向けて送信用情報を所定のフォーマットでエンコードしたメッセージを送信する（Ｓ２１）。これにより、自車両２から送信された情報が外部装置で受信可能となり、情報を共有することができる。

このように、車両用装置１は、送信用情報の情報量を調整している。これにより、送信用情報は自車両２が持つ全ての情報の情報量に比べて情報量が削減されていることから、Ｖ２Ｘ通信における通信負荷を低減することができる。また、Ｖ２Ｘ通信の帯域に余裕がある場合にはより多くの情報を共有することができる。

この場合、車両用装置１は、上記したように付加情報を付加した統合情報から送信用情報を生成するのではなく、付加情報が付加されていない統合情報から送信用情報を生成したり、取得した内部情報から送信用情報を生成したりすることもできる。

このような構成によっても、取得元が異なる内部情報と外部情報に含まれている物体のうち同一対象に関する情報を統合することができ、同一対象に関する情報を迅速に処理することができるなど、第１実施形態と同様の効果を得ることができる。

また、車両用装置１は、ステップＳ２０において情報量を調整する場合、ステップＳ１で取得した内部情報の情報量を調整して構成とすることができる。すなわち、車両用装置１は、上記したように統合した情報の情報量を調整する構成に限らず、統合する前の情報の情報量を調整することにより、メッセージとして送信される際の通信量を削減する構成とすることができる。また、車両用装置１は、一旦取得した外部情報をメッセージとして外部装置に再度送信する場合にも、情報量を削減した情報をメッセージとして送信することにより、通信量を削減する構成とすることができる。

具体的には、車両用装置１は、ステップＳ１で取得した内部情報に含まれる情報を例えば上記した選択基準に基づいて取捨選択することで、情報量を削減することができる。そして、車両用装置１は、ステップＳ２１において、情報量を削除した情報をメッセージとして外部装置に送信することにより、外部装置との間のＶ２Ｘ通信の通信量を削減することができる。このように、メッセージとして送信される情報の情報量を削減可能な構成とすることにより、通信帯域などのリソーセスが不足するおそれを低減することができるとともに、情報量が少なければ通信時間を短縮できると考えられることから迅速な通信を実現することができる。

また、自車両２に限らず路側機２０や他車両２３も同様に、自身が取得している情報を外部に対してメッセージとして送信する際には、情報量を削減してからメッセージとして送信する構成とすることができる。これにより、自車両２と外部装置との間に限らず、例えば路側機２０と他車両２３、他車両２３同士、路側機２０同士といったＶ２Ｘ通信が可能な装置間においても、換言すると、情報共有システム３０においても、通信帯域が不足するおそれを低減することができるとともに迅速な通信を実現することができる。

また、メッセージとして送信される情報の情報量を削減する構成は、上記したように情報を統合構成に対して適用することができる。具体的には、例えば付加情報が追加された統合情報をメッセージとして送信する際に、情報を削減してからメッセージとして送信する構成とすることができる。このような構成によっても、通信量を削減でき、通信帯域が不足するおそれを低減することができるとともに迅速な通信を実現することができる。

（その他の実施形態）
車両用装置１は、情報を統合するための専用装置として設ける構成とすることができるが、例えばナビゲーション装置と共用あるいは兼用する構成とすることができる。その場合、表示装置３もナビゲーション装置用のものと共用あるいは兼用する構成とすることができる。また、カメラ５ａは、いわゆるドライブレコーダ用のものと共用あるいは兼用する構成とすることができる。

実施形態では所定の基準点を原点とするＸＹ座標系を設定したが、例えば自車両２の位置を原点とするＸＹ座標系を設定したり、高低差を示すＺ座標を設けたＸＹＺ座標系を設定したりすることができる。その場合、自車両２の現在位置を同時に送信すれば、外部装置側で物体の位置を把握することができる。また、座標系への変換を行わず、ＧＮＳＳ５ｅで取得した緯度および経度をそのまま用いて処理する構成とすることもできる。

実施形態では未取得情報をそのまま統合する例を示したが、未取得情報のＸ座標やＹ座標に基づいて統合するか否かを判定する構成とすることができる。また、該当する物体が自車両２側での検知が不可または困難な範囲であるかを判定し、検知可能であるにもかかわらず未取得である場合には誤情報として外部情報を再取得する構成や、自車両２側のセンサに不具合が生じている可能性を利用者に報知する構成などとすることもできる。

本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に含まれるものである。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

図面中、１は車両用装置、２は自車両、５は車両側センサ（センサ）、５ａはカメラ（センサ）、５ｂはＬｉＤＡＲ（センサ）、５ｃはミリ波レーダ（センサ）、５ｄはジャイロ（センサ）、５ｅはＧＮＳＳ（センサ）、９は車載センサ（センサ）、１０ａは取得部、１０ｂは比較部、１０ｃは判定部、１０ｄは統合部、１０ｅは調整部、１４はＶ２Ｘ通信部（通信部）、２３は他車両（物体、移動体）、２４は建物（物体、静止物）、２６は歩行者（物体、移動体）、２７は自転車（物体、移動体）、２８は落下物（物体、静止体）を示す。

Claims (11)

1. 自車両（２）に設けられているセンサ（５、９）で検知した情報を内部情報として取得する取得部（１０ａ）と、
   前記内部情報と、自車両の外部で取得された情報であって自車両に設けられている通信部（１４）を介して受信される外部情報とを比較する比較部（１０ｂ）と、
   前記比較部による比較結果に基づいて、前記内部情報および前記外部情報の双方に同一対象に関する情報が含まれているか否かを判定する判定部（１０ｃ）と、
   前記判定部による判定結果に基づいて、異なる取得元で取得された同一対象に関する情報を統合する統合部（１０ｄ）と、を備える車両用装置。
2. 前記統合部は、移動体に関する情報を統合する請求項１記載の車両用装置。
3. 前記統合部は、自車両に関する情報を統合する請求項１または２記載の車両用装置。
4. 前記統合部は、自車両の走行の制御に利用可能な状態に統合する請求項１から３のいずれか一項記載の車両用装置。
5. 前記統合部は、利用者への報知に利用可能な状態に統合する請求項１から４のいずれか一項記載の車両用装置。
6. 前記統合部は、同一対象に関して前記内部情報と前記外部情報とで異なる情報が取得された場合、それぞれの情報の信頼度に基づいて情報を統合する請求項１から５のいずれか一項記載の車両用装置。
7. 前記統合部は、前記内部情報には含まれておらず前記外部情報には含まれている情報を、自車両では取得されていない未取得情報として統合対象に加える請求項１から６のいずれか一項記載の車両用装置。
8. 前記統合部は、前記内部情報には含まれていて前記外部情報には含まれていない情報を、自車両の外部では取得されていない未取得情報として統合対象に加える請求項１から７のいずれか一項記載の車両用装置。
9. 前記判定部は、前記内部情報と前記外部情報に含まれている物体の位置、速度、方位、立体形状、または周辺環境との一致性のうち少なくとも１つ以上の情報に基づいて、同一対象であるか否かを判定する請求項１から８のいずれか一項記載の車両用装置。
10. 予め定められた選択基準に従って情報量を調整する調整部（１０ｅ）を備える請求項１から９のいずれか一項記載の車両用装置。
11. 車両において取得元が異なる情報を統合するための情報統合方法であって、
    自車両（２）に設けられているセンサ（５、９）で検知された情報を内部情報として取得する工程と、
    前記内部情報と、自車両の外部で取得された情報であって自車両に設けられている通信部（１４）を介して受信される外部情報とを比較する工程と、
    前記内部情報および前記外部情報の双方に同一対象に関する情報が含まれているか否かを判定する工程と、
    判定結果に基づいて異なる取得元で取得された同一対象に関する情報を統合する工程と、を含む情報統合方法。

Images