JP2017161998A - 車両用画像生成装置 - Google Patents

Abstract

【課題】自車両以外で生成された周辺画像を自車両で取得する処理に要する時間を短くすることを可能とした車両用画像生成装置を提供する。
【解決手段】要求処理部１１３は、周辺画像の領域を複数に区切るエリアＡＺの各々に対して、車両１０の進行方向であって車両１０に近いエリアＡＺほど高い優先順位を設定し、優先順位が高いエリアＡＺから順に、該エリアＡＺに含まれる画像の取得と、該エリアＡＺに含まれる画像を用いた合成とに要する時間である処理時間を算出すると共に、車両１０で予め設定された所要時間になるまで処理時間を加算し、エリア画像提供装置２１が生成する周辺画像のなかで、該加算の対象となったエリアＡＺに含まれる画像のみを、エリア画像提供装置２１に要求して取得する。
【選択図】図１

Description

本発明は、自車両以外の装置で生成された画像を用いて新たな画像を自車両で生成する車両用画像生成装置に関する。

車両で画像を生成する技術のなかには、自車両で撮影された画像と、自車両が走行している車線とは異なる車線を走行している他車両で撮影された画像とを、自車両で取得すると共に、これら取得された画像を合成することによって、自車両でパノラマ画像を生成することが知られている（例えば、特許文献１を参照）。

特開２００８−２９３０９５号公報

ところで、画像の解像度を高めることや撮影の画角を広げることは、画像を用いた処理の精度を高めることができる一方で、車両で取得される画像のデータ量を増加させてしまう。そして、車両で取得される画像のデータ量を増加させることは、自車両以外から画像を取得するための処理の長期化を招き、結果として、自車両の運転を支援するための処理など、新たに生成された画像を用いる後段の処理において、その処理の開始に遅れを来すおそれがある。

本発明は、自車両以外で生成された画像を自車両で取得する処理に要する時間を短くすることを可能とした車両用画像生成装置を提供することを目的とする。

上記課題を解決するための車両用画像生成装置は、自車両以外の画像提供装置が生成した自車両の周辺画像における一部を前記画像提供装置から前記自車両で取得する画像取得部と、前記画像取得部が取得した周辺画像の一部と、該周辺画像以外の他の周辺画像とを合成する画像合成部とを備える。そして、前記画像取得部は、各周辺画像の領域を複数に区切る区画領域の各々に対して、前記自車両の進行方向であって前記自車両に近い区画領域ほど高い優先順位を設定し、前記優先順位が高い区画領域から順に、該区画領域に含まれる画像の取得と、該区画領域に含まれる画像を用いた他の周辺画像との合成とに要する時間である処理時間を算出すると共に、前記自車両で予め設定された所要時間になるまで前記処理時間を加算し、前記画像提供装置が生成する周辺画像のなかで、該加算の対象となった区画領域に含まれる画像のみを、前記画像提供装置に要求して取得する。

上記車両用画像生成装置によれば、自車両以外の画像提供装置が生成した自車両の周辺画像の領域、および、その一部と合成される他の周辺画像の領域が、複数の区画領域に区切られる。また、自車両の進行方向であって、かつ、自車両に近い区画領域に含まれる画像に、高い優先順位が設定される。また、区画領域に含まれる画像の取得と、該区画領域に含まれる画像を用いた他の周辺画像との合成とに要する時間である処理時間が、優先順位の高い順に加算され、かつ、合計の処理時間が所定時間になるまで加算が行われる。そして、加算の対象となった区画領域に含まれる画像のみが、画像提供装置に対する要求によって、車両用画像生成装置で取得される。結果として、自車両以外で生成された周辺画像の全てを単に自車両で取得する場合に比べて、優先順位が高く、かつ、所定時間内で取得できる画像のみを、車両用画像生成装置は選択的に取得できる。それゆえに、自車両以外で生成された画像を自車両で取得する処理に要する時間を短くすることが可能となる。

車両用画像生成装置の一実施の形態における装置構成をエリア座標系で定められる監視対象範囲や検出エリアと共に示すブロック図。 エリア画像の要求に対する優先順位の一例をエリアごとに示す概念図。 エリア画像の要求先となる候補の一例をエリアごとに示す概念図。 エリア画像の要求先の一例をエリアごとに示す概念図。 エリア画像提供装置が切り出す画像の範囲をエリアと共に示す投影図。 車両用画像生成装置とエリア画像提供装置とが行う通信処理の流れを示すシーケンス図。 車両用画像生成装置が行う処理の推移を示すタイミングチャート。

図１から図７を参照して車両用画像生成装置の一実施の形態を説明する。
車両１０は、車両用画像生成装置１１と運転支援システム１２とを備える。車両用画像生成装置１１は、第１画像生成部１１１、第１通信部１１２、要求処理部１１３、および、第１情報記憶部１１５を備える。エリア画像提供装置２１は、車両１０の周辺に位置する施設２０Ａや、車両１０の周辺に位置して車両１０とは異なる車両である他車両２０Ｂに備えられる。エリア画像提供装置２１は、第２画像生成部２１１、第２通信部２１２、回答処理部２１３、第２画像処理部２１４、および、第２情報記憶部２１５を備える。

運転支援システム１２が行う運転支援は、車両１０と対象物との衝突を回避するための運転支援を含む。運転支援システム１２は、運転支援を有効とするか否かを、データの監視結果に基づき判断する。運転支援システム１２が監視する対象は、例えば、車両１０の周辺領域における対象物の有無である。運転支援システム１２が対象物の有無を監視する範囲は、車両１０の周辺領域であって、運転支援システム１２の監視対象領域１２Ａである。

車両用画像生成装置１１は、監視対象画像を生成する。監視対象画像は、第１画像生成部１１１が生成した画像の少なくとも一部、および、第２画像生成部２１１が生成した画像の少なくとも一部から構成される。監視対象画像は、監視対象領域１２Ａの少なくとも一部において、対象物の有無を示す画像であって、運転支援システム１２が監視に用いるデータである。運転支援システム１２は、車両用画像生成装置１１が生成した監視対象画像の解析の結果に基づき、運転支援を有効とするか否かを判断する。運転支援システム１２は、運転支援を有効とする判断に基づき、ハードウェアの駆動を制御するための制御信号を生成する。運転支援システム１２が生成する制御信号は、例えば、ブレーキの駆動を制御するための制御信号、ステアリングの駆動を制御するための制御信号、アクセルの駆動を制御するための制御信号、乗員に対する警告の出力を制御するための制御信号、車外視認性を高める表示の出力を制御するための制御信号などである。

運転支援システム１２では、運転支援が有効か否かを判断するための処理に費やすことのできる時間、例えば、車両１０と対象物との衝突を回避するための運転支援が有効か否かを判断するための処理に費やすことのできる時間を、予算処理時間Ｔとする。

第１画像生成部１１１は、車両１０の周辺画像を車両１０で生成する。第１画像生成部１１１が生成する車両１０の周辺画像は、監視対象画像の一部として用いられるデータを含む。第１画像生成部１１１は、第１センサー１１１Ｓを備える。第１センサー１１１Ｓは、例えば、レーダー、超音波センサー、カメラなどである。第１センサー１１１Ｓは、第１検出範囲１１Ｚに存在する対象物に対して、第１センサー１１１Ｓと対象物との距離や、対象物における輝度値などのデータを、画素ごとに収集する。第１検出範囲１１Ｚは、車両１０の周辺領域に含まれる。第１画像生成部１１１は、第１センサー１１１Ｓが収集したデータに基づき、車両用画像生成装置１１における車両１０の周辺画像を生成する。第１情報記憶部１１５は、監視対象画像を記憶するための記憶領域を備え、第１画像生成部１１１は、監視対象画像を記憶するための記憶領域の一部に、車両用画像生成装置１１で生成された車両１０の周辺画像を記憶させる。

第２画像生成部２１１は、車両１０とは異なる位置から、車両１０の周辺画像を生成する。第２画像生成部２１１が生成する周辺画像は、監視対象画像の一部として用いられるデータを含む。第２画像生成部２１１は、第１画像生成部１１１と同様に、第２センサー２１１Ｓを備える。第２センサー２１１Ｓは、第２検出範囲２１Ｚに存在する対象物に対して、第２センサー２１１Ｓと対象物との距離や、対象物における輝度値などのデータを、画素ごとに収集する。第２検出範囲２１Ｚの少なくとも一部は、車両１０の周辺領域に含まれ、第１検出範囲１１Ｚと重なる部分を含んでもよく、また、他の第２検出範囲２１Ｚを含んでもよい。第２画像生成部２１１は、第２センサー２１１Ｓが収集したデータに基づき、エリア画像提供装置２１における車両１０の周辺画像を生成する。第２画像生成部２１１は、生成された周辺画像を第２情報記憶部２１５に記憶させる。

第１情報記憶部１１５は、エリア座標系に基づく範囲として、上記第１検出範囲１１Ｚを備える。エリア座標系は、仮想平面上の座標系であって、複数の区画領域であるエリアＡＺから構成される。エリア座標系を構成する各エリアＡＺには、エリアＡＺに固有のエリア座標が付随する。エリア座標は、エリア座標系でのエリアＡＺの位置を、要求処理部１１３、回答処理部２１３、および、第２画像処理部２１４が一意に識別するためのデータである。例えば、図１が示すように、エリア座標系における車両１０の位置は（２，ｂ）であり、エリア座標系における他車両２０Ｂの位置は（１６，ｅ）である。

第１検出範囲１１Ｚは、第１画像生成部１１１に固有となるエリア座標の集合である。車両用画像生成装置１１は、第１画像生成部１１１の生成した周辺画像を、各エリアＡＺに割り当てられたエリア画像の集合として処理する。第１画像生成部１１１がエリア画像の生成を担うエリアＡＺは、第１検出エリアである。第１検出エリアは、例えば、（３，ａ）〜（３，ｃ）や（８，ａ）から（８，ｄ）のエリア座標で示される。これら第１検出範囲１１Ｚを構成する各エリア座標は、要求処理部１１３が第１検出エリアを特定するためのデータである。

第２情報記憶部２１５は、上記エリア座標系に基づく範囲として、上記第２検出範囲２１Ｚを備える。第２検出範囲２１Ｚは、第２画像生成部２１１に固有となるエリア座標の集合である。エリア画像提供装置２１は、第２画像生成部２１１が生成した周辺画像を、各エリアＡＺに割り当てられたエリア画像の集合として処理する。第２画像生成部２１１がエリア画像の提供を担えるエリアＡＺは、第２検出エリアである。例えば、施設２０Ａの第２検出エリアは、（６，ａ）〜（１１，ａ）や（７，ｆ）から（９，ｆ）のエリア座標で示される。これら第２検出範囲２１Ｚを構成する各エリア座標とは、車両用画像生成装置１１が第２検出エリアを特定するためのデータである。

第１通信部１１２は、各エリア画像提供装置２１と通信するための処理を行う。すなわち、第１通信部１１２は、各エリア画像提供装置２１に対して、属性情報の要求を送信するための処理を行う。また、第１通信部１１２は、各エリア画像提供装置２１が送信する属性情報を受信するための処理を行う。また、第１通信部１１２は、エリア画像提供装置２１に対して、エリア画像の要求を送信するための処理を行う。そして、第１通信部１１２は、エリア画像提供装置２１が送信するエリア画像を受信するための処理を行う。

第２通信部２１２は、車両用画像生成装置１１と通信するための処理を行う。すなわち、第２通信部２１２は、車両用画像生成装置１１から各要求を受信するための処理を行う。また、第２通信部２１２は、車両用画像生成装置１１に、要求された属性情報を送信するための処理を行う。そして、第２通信部２１２は、車両用画像生成装置１１に、要求されたエリア画像を送信するための処理を行う。

属性情報は、エリア画像提供装置２１の位置を特定するための位置情報や、第２検出範囲２１Ｚを含む。この属性情報に含まれる位置情報は、属性情報を生成したエリア画像提供装置２１の位置を特定するためのエリア座標などの情報である。また、この属性情報に含まれる第２検出範囲２１Ｚは、その属性情報を生成したエリア画像提供装置２１での第２検出範囲２１Ｚである。例えば、施設２０Ａが生成する属性情報は、施設２０Ａの位置情報や、施設２０Ａの第２検出範囲２１Ｚを含む。また、他車両２０Ｂが生成する属性情報は、他車両２０Ｂの位置情報や、他車両２０Ｂの第２検出範囲２１Ｚを含む。

また、属性情報は、その属性情報を生成したエリア画像提供装置２１での処理時間に関する情報を含む。この処理時間に関する情報は、エリア画像の提供を行うことに際して、車両用画像生成装置１１やエリア画像提供装置２１が処理に要する時間に関する情報である。この処理時間に関する情報は、例えば、通信速度、データ量、および、単位処理時間を含む。通信速度は、第１通信部１１２と第２通信部２１２との間における、単位データ量あたりの通信に要する速度である。通信速度は、例えば、エリア画像提供装置２１と車両１０との距離、通信路におけるノイズの有無、通信路における混雑の程度、通信経路そのものなどに応じて変わる。データ量は、エリア画像を含め、エリア画像を提供するための処理において、送信されるデータの容量である。データ量は、エリア画像の解像度や、送信されるエリア画像の数量などに応じて変わる。単位処理時間は、エリア画像提供装置２１が単位データ量あたりの処理に要する時間であって、エリア画像の生成に際して要する時間である。この単位処理時間に含まれる処理は、エリア画像提供装置２１が周辺画像を生成するための処理、エリア画像提供装置２１が周辺画像からエリア画像を生成するための処理、および、生成されたエリア画像をエリア画像提供装置２１が送信用に加工するための処理などを含む。

要求処理部１１３は、各エリア画像提供装置２１に対する属性情報の要求を生成する。また、要求処理部１１３は、受信された各属性情報に基づき、優先度情報を生成する。

優先度情報は、各エリア座標と、エリア画像の要求における優先度とを対応付けた情報である。優先度情報に含まれるエリア座標は、第１検出範囲１１Ｚを構成するエリア座標、および、第２検出範囲２１Ｚを構成するエリア座標である。要求処理部１１３は、車両１０の位置をエリア座標系で特定するためのエリア座標を生成すると共に、優先度情報に含まれる各エリア座標に対して、優先度を設定する。この際、図２が示すように、要求処理部１１３は、第１検出範囲１１Ｚ、および、第２検出範囲２１Ｚを構成する全てのエリア座標に対して、車両１０の進行方向であって、かつ、車両１０のエリア座標に近い順に、高い優先度を設定する。例えば、要求処理部１１３は、第１検出範囲１１Ｚによって特定される各第１検出エリア、および、第２検出範囲２１Ｚによって特定される各第２検出エリアに、それぞれ優先度の値を設定する。そして、要求処理部１１３は、優先度の値が小さいエリアＡＺほど、エリア画像を要求する優先順位が高いように、車両１０の進行方向であって、かつ、車両１０のエリア座標に近い順に、例えば、「１」から「５８」までの優先度の値を設定する。

例えば、エリア座標が（３，ｂ）であるエリアＡＺは、車両１０のエリア座標に最も近い第１検出エリアであり、そこのエリア画像に対する優先度の値は「１」であって最も高い優先順位が設定される。これに対して、エリア座標が（８，ｅ）であるエリアＡＺは、車両１０における進行方向の右斜め前方に離れた第２検出エリアであり、そこのエリア画像に対する優先度の値は「２９」であって、優先度情報に含まれるエリア座標のなかで、中間となる優先順位が設定される。そして、エリア座標が（１５，ｆ）であるエリアＡＺは、優先度情報に含まれるエリア座標のなかで、車両１０のエリア座標から最も離れた第２検出エリアであり、そこのエリア画像に対する優先度の値は「５８」であって最も低い優先順位が設定される。

図１に戻り、要求処理部１１３は、生成された優先度情報に基づき、優先度の値が小さいエリア座標から順に、エリアＡＺごとの処理時間を算出する。また、要求処理部１１３は、合計の処理時間が予算処理時間Ｔ以上になるまで、優先度の値が小さい順に、エリアＡＺごとの処理時間を加算する。そして、要求処理部１１３は、この加算の対象となったエリア座標におけるエリア画像を、監視対象画像を構成するエリア画像に設定する。

要求処理部１１３は、エリア画像を要求する先である要求先を決定するための処理を行う。また、要求処理部１１３は、こうした要求先の決定を、上記加算の対象となったエリア座標ごとに行う。また、要求処理部１１３は、この要求先を決定するための処理を、優先度の値が小さいエリア座標から順に行う。すなわち、加算の対象となったエリア座標に対応するエリアＡＺが、第１検出エリアである場合、要求処理部１１３は、そのエリア画像の要求先の候補のなかに、車両用画像生成装置１１を含める。また、加算の対象となったエリア座標に対応するエリアＡＺが、第２検出エリアである場合、要求処理部１１３は、そのエリア画像の要求先の候補のなかに、エリア画像提供装置２１を含める。そして、エリア画像を要求する要求先の候補が２以上である場合、要求処理部１１３は、２以上の要求先の候補のなかから１つの要求先を決定するための処理を行う。この際、要求処理部１１３は、エリア画像の生成に要する時間や、エリア画像の取得に要する時間が短い候補を、エリア画像の要求先として決定する。なお、エリア画像の生成に要する時間や、エリア画像の取得に要する時間は、車両用画像生成装置１１と要求先の候補との通信速度や、要求先の候補における単位処理時間や、車両用画像生成装置１１における単位処理時間を用い、要求処理部１１３が算出する。

例えば、図３が示すように、（３，ａ）や（５，ｄ）に割り当てられたエリア画像の要求先の候補は、「Ａ」であって、車両１０の備える第１画像生成部１１１が、要求先として決定される。（８，ｆ）や（１０，ａ）に割り当てられたエリア画像の要求先の候補は、「Ｂ」であって、施設２０Ａの備えるエリア画像提供装置２１が、要求先として決定される。（１０，ｆ）や（１５，ｄ）に割り当てられたエリア画像の要求先の候補は、「Ｃ」であって、他車両２０Ｂの備えるエリア画像提供装置２１が、要求先として決定される。一方、（８，ｂ）に割り当てられたエリア画像の要求先の候補は、「ＡＢ」であって、第１画像生成部１１１と、施設２０Ａが備えるエリア画像提供装置２１の両方である。また、（１１，ｄ）に割り当てられたエリア画像の要求先の候補は、「ＢＣ」であって、他車両２０Ｂが備えるエリア画像提供装置２１と、施設２０Ａが備えるエリア画像提供装置２１との両方である。そこで、要求処理部１１３は、エリア画像の生成に要する時間や、エリア画像の取得に要する時間を、候補ごとに以下のように算出し、算出された処理時間に基づき、要求先を決定する。

例えば、（１１，ｄ）に割り当てられたエリア画像の要求に際して、施設２０Ａの備えるエリア画像提供装置２１が要求先である場合、エリア画像提供装置２１の処理時間は、施設処理時間ＴＢとして算出される。施設処理時間ＴＢは、下式が示すように、通信処理時間ＣｏｍＡＢ、第１処理時間ＰｒｏｃＡ、および、第２処理時間ＰｒｏｃＢの合計として示される。
ＴＢ＝ＣｏｍＡＢ＋ＰｒｏｃＡ＋ＰｒｏｃＢ

通信処理時間ＣｏｍＡＢは、施設２０Ａと車両１０との各種通信の処理に要する時間である。通信処理時間ＣｏｍＡＢは、施設２０Ａと車両１０との間での通信速度や、施設２０Ａでのエリア画像のデータ量など、施設２０Ａの属性情報に基づき、要求処理部１１３が算出する。第１処理時間ＰｒｏｃＡは、施設２０Ａのエリア画像を第１情報記憶部１１５に記憶するための処理などに、車両用画像生成装置１１が要する時間である。この第１処理時間ＰｒｏｃＡは、施設２０Ａでのエリア画像のデータ量や、車両用画像生成装置１１での単位処理時間などに基づき、要求処理部１１３が算出する。第２処理時間ＰｒｏｃＢは、施設２０Ａの備えるエリア画像提供装置２１が、要求されたエリア画像を生成するための処理に要する時間である。この第２処理時間ＰｒｏｃＢは、施設２０Ａでのエリア画像のデータ量や、エリア画像提供装置２１での単位処理時間など、施設２０Ａの属性情報に基づき、要求処理部１１３が算出する。

また、例えば、（１１，ｄ）に割り当てられたエリア画像の要求に際して、他車両２０Ｂの備えるエリア画像提供装置２１が要求先である場合、エリア画像提供装置２１の処理時間は、車両処理時間ＴＣとして算出される。車両処理時間ＴＣは、下式が示すように、通信処理時間ＣｏｍＡＣ、第１処理時間ＰｒｏｃＡ、および、第２処理時間ＰｒｏｃＣの合計として示される。
ＴＣ＝ＣｏｍＡＣ＋ＰｒｏｃＡ＋ＰｒｏｃＣ

通信処理時間ＣｏｍＡＣは、他車両２０Ｂと車両１０との各種通信の処理に要する時間である。通信処理時間ＣｏｍＡＣは、他車両２０Ｂと車両１０との間での通信速度や、他車両２０Ｂでのエリア画像のデータ量など、他車両２０Ｂの属性情報に基づき、要求処理部１１３が算出する。第１処理時間ＰｒｏｃＡは、他車両２０Ｂのエリア画像を第１情報記憶部１１５に記憶するための処理などに、車両用画像生成装置１１が要する時間である。この第１処理時間ＰｒｏｃＡは、他車両２０Ｂでのエリア画像のデータ量や、車両用画像生成装置１１での単位処理時間などに基づき、要求処理部１１３が算出する。また、第２処理時間ＰｒｏｃＣは、他車両２０Ｂの備えるエリア画像提供装置２１が、要求されたエリア画像を生成するための処理に要する時間である。この第２処理時間ＰｒｏｃＣは、他車両２０Ｂでのエリア画像のデータ量や、エリア画像提供装置２１での単位処理時間など、他車両２０Ｂの属性情報に基づき、要求処理部１１３が算出する。

そして、要求処理部１１３は、施設処理時間ＴＢと車両処理時間ＴＣとを比較し、施設処理時間ＴＢが車両処理時間ＴＣよりも小さい場合には、エリア画像の要求先を施設２０Ａに決定する。これに対して、要求処理部１１３は、施設処理時間ＴＢが車両処理時間ＴＣよりも大きい場合には、エリア画像の要求先を他車両２０Ｂに決定する。そして、要求処理部１１３は、第１通信部１１２による処理を通じ、エリア画像を特定するためのエリア座標の集合を、決定された要求先に送信する。

例えば、図４が示すように、要求処理部１１３は、（３，ａ）〜（３，ｃ）、（４，ａ）〜（４，ｄ）、（５，ａ）〜（５，ｄ）、（６，ａ）〜（６，ｄ）、（７，ａ）〜（７，ｄ）、（８，ａ）〜（８，ｃ）の各エリア画像の要求先を、第１画像生成部１１１に決定する。また、要求処理部１１３は、（７，ｅ）、（８，ｄ）〜（８，ｆ）、（９，ａ）〜（９，ｆ）、（１０，ａ）〜（１０，ｃ）、（１１，ｂ）の各エリア画像の要求先を、施設２０Ａに決定し、これら各エリア座標におけるエリア画像の要求を、施設２０Ａに送信する。また、要求処理部１１３は、（１０，ｄ）、（１０，ｅ）、（１１，ｃ）、（１１，ｄ）の各エリア画像の要求先を、他車両２０Ｂに決定し、これら各エリア座標におけるエリア画像の要求を、他車両２０Ｂに送信する。そして、要求処理部１１３は、加算の対象となったエリア座標に対応するエリア画像を、監視対象画像を構成するエリア画像として処理する。

なお、第１通信部１１２、および、要求処理部１１３は、エリア画像提供装置２１が生成した車両１０の周辺画像における一部を、エリア画像提供装置２１から車両１０で取得する画像取得部として機能する。また、要求処理部１１３、および、第１情報記憶部１１５は、画像合成部として機能する。すなわち、要求処理部１１３、および、第１情報記憶部１１５は、エリア画像提供装置２１から取得した周辺画像の一部であるエリア画像と、その周辺画像以外の他の周辺画像である第１画像生成部１１１が生成した周辺画像とを、監視対象画像の記憶領域に記憶することによって、これらを合成する。

図１に戻り、回答処理部２１３は、上記属性情報を生成するための処理を行う。また、回答処理部２１３は、エリア画像を生成する処理を第２画像処理部２１４に行わせるための処理を行う。第２画像処理部２１４は、第２画像生成部２１１が生成した周辺画像を第２情報記憶部２１５から読み出し、要求されたエリア座標に対応するエリア画像を、読み出された周辺画像から切り出すための処理を行う。回答処理部２１３は、切り出されたエリア画像を、第２通信部２１２による処理を通じ、車両用画像生成装置１１に送信するための処理を行う。

例えば、図５が示すように、回答処理部２１３が、エリア画像の要求として、上述したエリア座標（９，ａ）、（１０，ａ）…を受信する場合、第２画像生成部２１１は、車両１０以外での周辺画像の生成を開始し、第２画像処理部２１４は、第２画像生成部２１１が生成した周辺画像を、第２情報記憶部２１５から読み出す。また、第２画像処理部２１４は、要求されたエリア座標に対応するエリア画像を、読み出された周辺画像から切り出すための処理を行う。そして、第２画像処理部２１４は、切り出された各エリア画像ＰＡを、第２通信部２１２による処理を通じ、車両用画像生成装置１１に送信する。この際、第２画像処理部２１４は、図５の実線が示すように、周辺画像から切り出されるエリア画像の高さ方向における範囲を予め定め、その範囲に相当する画像を、要求されたエリア画像ＰＡとして切り出す。エリア画像の高さ方向における範囲とは、例えば、対象物の一例である歩行者Ｍが含まれる範囲に設定される。
次に、車両用画像生成装置１１が行う画像生成処理の流れを車両用画像生成装置１１とエリア画像提供装置２１とが行う通信処理の流れと共に説明する。

図６が示すように、車両１０では、運転支援システム１２が周期的に行う監視に伴い、車両用画像生成装置１１の要求処理部１１３が、第１通信部１１２による通信の処理を通じ、施設２０Ａに対する属性情報の要求を施設２０Ａに送信し、また、他車両２０Ｂに対する属性情報の要求を他車両２０Ｂに送信する（ステップＳ１１）。施設２０Ａは、第２通信部２１２による通信の処理を通じ、施設２０Ａの属性情報を車両１０に送信する。他車両２０Ｂもまた、第２通信部２１２による通信の処理を通じ、他車両２０Ｂの属性情報を車両１０に送信する（ステップＳ２１）。

車両１０の要求処理部１１３は、第１通信部１１２による通信の処理を通じ、各属性情報を受信し、施設２０Ａの属性情報と他車両２０Ｂの属性情報とに基づき、優先度情報を生成する（ステップＳ１２）。また、車両１０の要求処理部１１３は、生成された優先度情報を参照し、施設２０Ａの属性情報、他車両２０Ｂの属性情報、および、予算処理時間Ｔに基づき、エリア画像の要求先を決定する（ステップＳ１３）。そして、車両１０の要求処理部１１３は、第１通信部１１２による通信の処理を通じ、施設２０Ａに対するエリア画像の要求を施設２０Ａに送信し、他車両２０Ｂに対するエリア画像の要求を他車両２０Ｂに送信する（ステップＳ１４）。

要求処理部１１３による要求の送信が行われると、第１画像生成部１１１は、車両１０の周辺画像を車両１０で生成する。また、第１画像生成部１１１は、生成された周辺画像を、監視対象画像の記憶領域に記憶させる。

また、施設２０Ａの回答処理部２１３が、要求処理部１１３による要求を受信すると、施設２０Ａの第２画像生成部２１１は、施設２０Ａにおける車両１０の周辺画像を、施設２０Ａで生成する。そして、施設２０Ａの第２画像処理部２１４は、第２画像生成部２１１が生成した周辺画像のなかから、施設２０Ａが要求先となるエリア画像を切り出し（ステップＳ２２）、切り出されたエリア画像を車両１０に送信する（ステップＳ２３）。また、他車両２０Ｂの回答処理部２１３が、要求処理部１１３による要求を受信すると、他車両２０Ｂの第２画像生成部２１１は、他車両２０Ｂにおける車両１０の周辺画像を他車両２０Ｂで生成する。そして、他車両２０Ｂの第２画像処理部２１４は、第２画像生成部２１１が生成した周辺画像のなかから、他車両２０Ｂが要求先となるエリア画像を切り出し（ステップＳ２２）、切り出されたエリア画像を車両１０に送信する（ステップＳ２３）。

車両１０の要求処理部１１３は、各第２画像生成部２１１が生成したエリア画像を、そのエリア画像のエリア座標が特定される状態で、監視対象画像の記憶領域に記憶する。運転支援システム１２は、監視対象画像の記憶領域に記憶された監視対象画像を解析し、運転支援が有効であるか否かを判断する（ステップＳ１５）。そして、運転支援が有効であると判断された場合、運転支援システム１２は、運転支援に必要とされる制御信号を、解析に基づき生成して、今回の監視を終了する。他方、運転支援が有効でないと判断された場合、運転支援システム１２は、次回の監視まで待機する。

次に、車両用画像生成装置１１とエリア画像提供装置２１とが行う各処理の時間的な推移の一例を説明する。なお、ここでは、以下の状態を前提として説明する。そして、対象物の一例である歩行者が、車両１０の走行路に向かって移動し、この状態から６秒経過した後には、車両１０と歩行者とが衝突するため、この衝突を回避するための運転支援を行うものとする。
・車両１０の走行速度 ：６０ｋｍ／ｈ
・車両１０と歩行者との距離 ：１００ｍ
・予算処理時間Ｔ ：２．５秒
・車両１０と施設２０Ａとの通信速度：３０Ｍｂｐｓ
・第１情報記憶部１１５の書込み速度：４００ＭＢ／ｓ
・第２情報記憶部２１５の書込み速度：４００ＭＢ／ｓ
・第１情報記憶部１１５の読出し速度：５００ＭＢ／ｓ
・第２情報記憶部２１５の読出し速度：５００ＭＢ／ｓ
・第２画像生成部２１１における周辺画像のデータ容量 ：１ＭＢ／枚
・運転支援を有効とするか否かの判断に必要な監視対象画像の数 ：１０枚
・第２画像生成部２１１が周辺画像を生成する速度 ：１０ｆｐｓ
・第２画像生成部に要求されるエリア画像のデータ量 ：周辺画像の５０％

図７が示すように、車両用画像生成装置１１は、属性情報の要求を施設２０Ａに対して送信し、施設２０Ａのエリア画像提供装置２１は、その要求の回答として、施設２０Ａの属性情報を車両用画像生成装置１１に送信する。次いで、車両用画像生成装置１１が、施設２０Ａの属性情報を用いて優先情報を生成すると共に、歩行者が含まれるエリア画像ＰＡについて、その要求先を施設２０Ａのエリア画像提供装置２１に決定する。そして、車両用画像生成装置１１は、要求先である施設２０Ａにエリア画像ＰＡの要求を行う。これによって、施設２０Ａのエリア画像提供装置２１は、施設２０Ａでの周辺画像の生成を第２画像生成部２１１で開始し、生成された周辺画像を１枚ずつ第２情報記憶部２１５に記憶させる。また、施設２０Ａのエリア画像提供装置２１は、運転支援を有効とするか否かの判断に必要な１０枚分の周辺画像の生成を、施設２０Ａでの周辺画像の生成から１．０秒後に終了する。次いで、エリア画像提供装置２１は、第２情報記憶部２１５に記憶された周辺画像から順に、周辺画像が有するデータ量の５０％に相当するエリア画像の切り出しと、切り出されたエリア画像の送信とを開始し、１０枚分のエリア画像の送信を、施設２０Ａでの周辺画像の生成から１．１秒後に終了する。

一方、車両用画像生成装置１１は、１枚目のエリア画像の受信を０．４秒後に開始し、１０枚分のエリア画像の受信を、施設２０Ａでの周辺画像の生成から１．４秒後に終了する。また、車両用画像生成装置１１は、１枚目のエリア画像が受信されたタイミングである０．５秒後から、受信されたエリア画像を監視対象画像の記憶領域に順に記憶させ、１０枚分のエリア画像の記憶を、施設２０Ａでの周辺画像の生成から１．５秒後に終了する。そして、運転支援システム１２は、監視対象画像を記憶するための記憶領域から、第１画像生成部１１１が生成した周辺画像と、エリア画像提供装置２１から提供されたエリア画像とを、監視対象画像として読み出し、読み出された監視対象画像の解析を行う。そして、運転支援システム１２は、車両１０と歩行者との衝突を回避するためのタイミングよりも前に、提供されたエリア画像ＰＡを含めた監視対象画像の解析を終え、猶予期間を経過した後に、衝突を回避するための運転支援を行うことが可能となる。

上記実施の形態によれば、以下の効果を得ることができる。
（１）エリア画像提供装置２１で生成された周辺画像の全てを単に車両１０で取得する場合に比べて、優先順位が高く、かつ、予算処理時間Ｔ内で取得できるエリア画像のみを、車両用画像生成装置１１は選択的に取得できる。それゆえに、車両１０以外で生成されたエリア画像を車両１０で取得する処理に要する時間を短くすることが可能となる。

（２）車両１０の進行方向であって、かつ、車両１０のエリア座標に近い順に、高い優先度が設定されるため、第１検出範囲１１Ｚの外側に位置する各エリア画像を、第１検出範囲１１Ｚに近い順に取得することが可能となる。結果として、監視対象画像の解析では、第１検出範囲１１Ｚを擬似的に拡張させた解析を行うことが可能であるため、運転支援を有効とするか否かの判断において、その精度を高めることが可能ともなる。

（３）要求先の候補が２以上となるエリアＡＺに対して、要求処理部１１３は、エリア画像の合成までに要する処理時間を候補ごとに算出し、その処理時間の短い候補を要求先に決定する。それゆえに、上述した車両用画像生成装置１１は、予算処理時間Ｔ内で取得できるエリア画像の数量を多くできる観点において、すなわち、監視対象画像の範囲を大きくできる観点において、優れている。

上記実施の形態は、以下のように変更して実施することもできる。
・要求先の候補が２以上となるエリアＡＺに対して、要求処理部１１３は、例えば、各候補の属性情報に基づき、２以上の候補のなかでエリア画像の解像度が高い候補を、そこの要求先として決定してもよい。ここで、要求先の候補が２以上となるエリアＡＺとは、車両１０との距離が比較的に大きい位置に対応するエリアＡＺである可能性が高い。そのため、こうした要求先の決定であれば、車両１０から離れた位置に対する解析の精度を、ひいては、運転支援を有効とするか否かの判断の精度を高めることが可能ともなる。

・車両１０から第１画像生成部１１１が割愛され、要求処理部１１３は、施設２０Ａのエリア画像提供装置２１に要求するエリア画像と、他車両２０Ｂのエリア画像提供装置２１に要求するエリア画像のみから、監視対象画像を生成してもよい。すなわち、要求処理部１１３が取得した周辺画像の一部と合成される他の周辺画像は、第１画像生成部１１１が生成する周辺画像に限らず、要求処理部１１３が取得する他の周辺画像のみであってもよい。

・運転支援システム１２が行う運転支援は、車両１０と先行車両との距離を保ちながら車両１０の走行を先行車両の走行に追従させるための運転支援や、車両１０を走行車線に沿って走行させるため運転支援であってもよい。

Ｔ…予算処理時間、ＰＡ…エリア画像、ＡＺ…エリア、ＴＢ…施設処理時間、ＴＣ…車両処理時間、ＣｏｍＡＢ，ＣｏｍＡＣ…通信処理時間、ＰｒｏｃＡ…第１処理時間、ＰｒｏｃＢ，ＰｒｏｃＣ…第２処理時間、１０…車両、１１…車両用画像生成装置、１１Ｚ…第１検出範囲、２１Ｚ…第２検出範囲、１２…運転支援システム、１２Ａ…監視対象領域、２０Ａ…施設、２０Ｂ…他車両、２１…エリア画像提供装置、１１１…第１画像生成部、１１１Ｓ…第１センサー、１１２…第１通信部、１１３…要求処理部、１１４…第１画像処理部、１１５…第１情報記憶部、２１１…第２画像生成部、２１１Ｓ…第２センサー、２１２…第２通信部、２１３…回答処理部、２１４…第２画像処理部、２１５…第２情報記憶部。

Claims (1)

1. 自車両以外の画像提供装置が生成した自車両の周辺画像における一部を前記画像提供装置から前記自車両で取得する画像取得部と、
   前記画像取得部が取得した周辺画像の一部と、該周辺画像以外の他の周辺画像とを合成する画像合成部とを備え、
   前記画像取得部は、
   各周辺画像の領域を複数に区切る区画領域の各々に対して、前記自車両の進行方向であって前記自車両に近い区画領域ほど高い優先順位を設定し、
   前記優先順位が高い区画領域から順に、該区画領域に含まれる画像の取得と、該区画領域に含まれる画像を用いた他の周辺画像との合成とに要する時間である処理時間を算出すると共に、前記自車両で予め設定された所要時間になるまで前記処理時間を加算し、前記画像提供装置が生成する周辺画像のなかで、該加算の対象となった区画領域に含まれる画像のみを、前記画像提供装置に要求して取得する
   車両用画像生成装置。