JP2017182139A - 判定装置、判定方法、および判定プログラム - Google Patents

Abstract

【課題】死角となる領域における移動物の存在を判定できるようにすること。【解決手段】判定装置１２０は、車両の周辺の画像データを時系列で取得するセンシングカメラから、画像データを受け取る入力部１２１と、画像データにおいて第１所定値以上の大きさの静止物が存在するとき、ブラインド領域の周辺領域に含まれる画素の第１フレームと第２フレームの間の輝度変化量が、所定の計算方法により算出された周辺領域に含まれる画素の輝度変化量の算出値に対して第２所定値以上大きく、かつ、第２フレームから所定時間以内のフレームまでに輝度が周期的に変化しないとき、ブラインド領域に移動物が存在すると判定する制御部１２２と、を備える。【選択図】図１

Description

本発明は、死角となる領域における対象物の存在を判定する判定装置、判定方法、および判定プログラムに関する。

近年、車両の運転者を支援するために様々な運転支援技術が開発されている。例えば、特許文献１には、車両の周辺を撮像した時系列の画像から対象物を抽出し、その対象物に係る領域における時系列の輝度変化量に基づいて、対象物が歩行者以外の人工構造物であるか否かを判定する技術が開示されている。

特開２００８−２３６０２９号公報

しかしながら、上述した特許文献１の技術は、画像に映っている対象物を判定するものであり、画像に映っていない対象物が死角となる領域に存在するかを判定することはできない。

本発明の目的は、死角となる領域における移動物の存在を判定することができる判定装置、判定方法、および判定プログラムを提供することである。

本発明の一態様に係る判定装置は、車両の周辺の画像データを時系列で取得するセンシングカメラから、前記画像データを受け取る入力部と、前記画像データにおいて第１所定値以上の大きさの静止物が存在するとき、前記静止物により前記車両から死角となるブラインド領域の周辺領域に含まれる画素の、第１フレームと前記第１フレーム以降のフレームである第２フレームの間の輝度変化量が、所定の計算方法により算出された前記周辺領域に含まれる画素の輝度変化量の算出値に対して第２所定値以上大きく、かつ、前記第２フレームから所定時間以内のフレームまでに輝度が周期的に変化しないとき、前記ブラインド領域に移動物が存在すると判定する制御部と、を備える構成を採る。

本発明の一態様に係る判定方法は、車両の周辺の画像データを時系列で取得するセンシングカメラから、前記画像データを受け取る工程と、前記画像データにおいて第１所定値以上の大きさの静止物が存在するとき、前記静止物により前記車両から死角となるブラインド領域の周辺領域に含まれる画素の、第１フレームと前記第１フレーム以降のフレームである第２フレームの間の輝度変化量が、所定の計算方法により算出された前記周辺領域に含まれる画素の輝度変化量の算出値に対して第２所定値以上大きく、かつ、前記第２フレームから所定時間以内のフレームまでに輝度が周期的に変化しないとき、前記ブラインド領域に移動物が存在すると判定する工程と、を含むようにした。

本発明の一態様に係る判定プログラムは、車両の周辺の画像データを時系列で取得するセンシングカメラから、前記画像データを受け取る処理と、前記画像データにおいて第１所定値以上の大きさの静止物が存在するとき、前記静止物により前記車両から死角となるブラインド領域の周辺領域に含まれる画素の、第１フレームと前記第１フレーム以降のフレームである第２フレームの間の輝度変化量が、所定の計算方法により算出された前記周辺領域に含まれる画素の輝度変化量の算出値に対して第２所定値以上大きく、かつ、前記第２フレームから所定時間以内のフレームまでに輝度が周期的に変化しないとき、前記ブラインド領域に移動物が存在すると判定する処理と、をコンピュータに実行させるようにした。

本発明によれば、死角となる領域における移動物の存在を判定できる。

本発明の実施の形態に係る運転支援システムおよび判定装置の構成の一例を示すブロック図 ブラインド領域および周辺領域の一例を示す図 ブラインド領域に移動物が存在する場合における周辺領域の輝度の一例を示す図 候補領域の大きさの一例を示す図 輝度の周期的な変化の一例を説明する図 本発明の実施の形態に係る判定装置の動作の流れの一例を示すフロー図 ブラインド領域に移動物が存在する場合における周辺領域の輝度の変形例を示す図 判定装置の周辺領域設定動作の流れの変形例を示すフロー図 光源の位置に応じた周辺領域の設定の一例を説明する図 各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図

以下、本発明の実施の形態について、図面を参照して詳細に説明する。ただし、実施の形態において、同一機能を有する構成には、同一符号を付し、重複する説明は省略する。

まず、図１を用いて、本実施の形態に係る運転支援システム１００および判定装置１２０の構成について説明する。図１は、本実施の形態に係る運転支援システム１００および判定装置１２０の構成の一例を示すブロック図である。本実施の形態では、運転支援システム１００が車両に適用されたものとして説明する。

運転支援システム１００は、センシングカメラ１１０、記憶装置１１１、検知装置１１２、判定装置１２０、および車両制御装置１３０を備える。また、判定装置１２０は、入力部１２１および制御部１２２を備える。

センシングカメラ１１０は、車室内または車室外に搭載され、車両（運転支援システム１００を搭載した自車両）の周辺を撮像する。センシングカメラ１１０は、所定の時間間隔で車両周辺の撮像を行い、時系列の画像データを取得する。

センシングカメラ１１０は、時系列の画像データを、判定装置１２０の入力部１２１へ出力する。

記憶装置１１１は、車室内または車室外に搭載され、例えば３次元の地図情報を記憶する。この地図情報には、例えば、道路に関する道路情報、道路周辺に存在する静止物に関する静止物情報などが含まれる。静止物は、例えば、電柱、街灯、樹木、看板、建物などである。３次元の地図情報は、公知技術であるため、その詳細な説明は省略する。

記憶装置１１１は、地図情報を、判定装置１２０の入力部１２１へ出力する。

なお、図１では、記憶装置１１１が運転支援システム１００に備えられるように図示したが、記憶装置１１１は、運転支援システム１００の外部（例えば、車両の外部）に備えられてもよい。記憶装置１１１が車両の外部に備えられる場合、例えば、運転支援システム１００は、その記憶装置１１１に記憶された地図情報を無線通信により受信し、受信した地図情報を入力部１２１へ出力してもよい。

検知装置１１２は、車室内または車室外に搭載され、車両（運転支援システム１００を搭載した自車両）の位置を検知する。検知装置１１２としては、例えば、カメラまたはＧＰＳ（Global Positioning System）装置が挙げられる。検知装置１１２における検知技術は、公知技術であるため、その詳細な説明は省略する。

以下、判定装置１２０について説明する。

入力部１２１は、センシングカメラ１１０、記憶装置１１１、検知装置１１２から上記各種情報を受け取り、受け取った情報を制御部１２２へ出力する。

制御部１２２は、入力部１２１から、時系列の画像データ、地図情報、車両位置情報を受け取る。

そして、制御部１２２は、まず、時系列の画像データに対して画像処理を行い、予め設定された第１所定値以上の大きさの静止物が存在する場合、その静止物の位置と車両の位置に基づいて、ブラインド領域の抽出を行う。

ブラインド領域とは、静止物により車両から死角となる領域である。また、第１所定値以上の静止物とは、ブラインド領域が生じうる大きさの静止物であり、例えば建物である。すなわち、画像データ中の静止物がブラインド領域が生じない大きさである場合、ブラインド領域の抽出以降の処理は行われない。

ここで、図２を用いて、制御部１２２によって抽出されるブラインド領域の一例について説明する。図２は、制御部１２２によって抽出されるブラインド領域の一例を示す図である。また、図２は、車道Ｒ１と車道Ｒ２との交差点付近を真上から見た状態を示している。

図２において、車両Ｖ１は、車道Ｒ１に位置しており、停車中である。矢印ｄ１は、車両Ｖ１の進行方向を示している。車両Ｖ１には、図１に示した運転支援システム１００が搭載されている。

また、図２において、車両Ｖ２（移動物の一例）は、車道Ｒ２に位置しており、走行中である。矢印ｄ２は、車両Ｖ２の進行方向を示している。なお、本実施の形態では、移動物の一例が車両（自動車）である場合を例に挙げて説明するが、歩行者または二輪車等であってもよい。

また、図２において、車両Ｖ１の左斜め前方には、第１所定値以上の大きさである静止物Ｂが存在している。

このような場合、制御部１２２は、静止物Ｂの位置と車両Ｖ１の位置からブラインド領域Ａを抽出する。ブラインド領域Ａは、図２に示すように、車両Ｖ１から静止物Ｂを見たときに、静止物Ｂの後方に広がる領域である。

図２に示すように、ブラインド領域Ａに移動中の車両Ｖ２が存在する場合、静止物Ｂの存在により車両Ｖ１から車両Ｖ２を視認するのは困難となる。

以上、制御部１２２によって抽出されるブラインド領域の一例について説明した。以下、制御部１２２の説明に戻る。

上述のようにしてブラインド領域を抽出した後、制御部１２２は、周辺領域の設定を行う。周辺領域とは、例えば、ブラインド領域に隣接する領域である。

ここで、図２を用いて、制御部１２２によって設定される周辺領域の一例について説明する。

まず、制御部１２２は、抽出したブラインド領域Ａに隣接する２つの領域ａ１、ａ２を周辺領域の候補として抽出する。なお、領域ａ１、ａ２の形状、大きさは予め定められている。なお、図２に示すｅ１、ｅ２はともに、領域ａ１の端部を示している。

次に、制御部１２２は、地図情報に基づいて、２つの領域ａ１、ａ２から衝突可能性のある領域のみに限定して選択し、選択した領域を周辺領域に設定する。

例えば、制御部１２２は、領域ａ１、ａ２のうち、地図情報から車両Ｖ１の進行方向に近い側を周辺領域に設定する。図２の例では、領域ａ２よりも領域ａ１の方が車両Ｖ１の進行方向に近いため、制御部１２２は、領域ａ１を周辺領域に設定する。

以上、制御部１２２によって設定される周辺領域の一例について説明した。以下、制御部１２２の説明に戻る。

上述のようにして周辺領域を設定した後、制御部１２２は、時系列の画像データのそれぞれにおいて、周辺領域に含まれる画素の輝度（以下、周辺領域の輝度という）を算出する。

ここで、図３を用いて、制御部１２２によって算出される周辺領域の輝度の一例について説明する。なお、以下では、図２に示した領域ａ１が周辺領域として設定された場合を例に挙げて説明する。

また、以下では、時系列の画像データのフレームが、連続する３つのフレーム（以下、第１フレーム、第２フレーム、第３フレームという）である場合を例に挙げて説明する。例えば、第２フレームは、第１フレームの次のフレームであり、第３フレームは、第２フレームの次のフレームであるとする。なお、第１〜第３フレームは、連続するものでなくてもよい。例えば、第２フレームは、第１フレーム以降の所定のフレームであり、第３フレームは、第２フレーム以降の所定のフレームであってもよい。

例えば、第１フレームでは、矢印ｄ２の方向へ走行中の車両Ｖ２が領域ａ１から最も離れた位置（例えば、図２に示した車両Ｖ２の位置よりも後方（図２中の左方））に存在しているとする。また、例えば、第２フレームでは、矢印ｄ２の方向へ走行中の車両Ｖ２が図２に示した位置に存在しているとする。また、第３フレームでは、矢印ｄ２の方向へ走行中の車両Ｖ２が領域ａ１に最も近い位置（例えば、図２に示した車両Ｖ２の位置よりも前方（図２中の右方））に存在しているとする。

制御部１２２は、第１フレームに含まれる領域ａ１の端部ｅ１から端部ｅ２までの輝度を算出する。算出された輝度をプロットした例を図３（ａ）に示す。図３（ａ）の縦軸は輝度の大きさを示しており、図３（ａ）の横軸は領域ａ１の端部ｅ１から端部ｅ２までを示している。

上述したとおり、第１フレームでは、車両Ｖ２は領域ａ１から最も離れた位置にあるため、図２に示した車両Ｖ２の後方に位置する光源Ｌ（例えば、太陽、街灯など）によって生じる車両Ｖ２の影は、領域ａ１にかからない。よって、領域ａ１の輝度は車両Ｖ２の影の影響を受けないため、図３（ａ）に示すように、輝度の低下部分（例えば、後述の図３（ｂ）に示すｐ１）は現われない。なお、輝度の低下部分は、特異点ともいう。

また、制御部１２２は、第２フレームに含まれる領域ａ１の端部ｅ１から端部ｅ２までの輝度を算出する。算出された輝度をプロットした例を図３（ｂ）に示す。

上述したとおり、第２フレームでは、車両Ｖ２は第１フレームにおける位置よりも領域ａ１に近付いた位置（例えば、図２に示した位置）にあるため、光源Ｌによって生じる車両Ｖ２の影は、領域ａ１にかかる。よって、図３（ｂ）に示すように、輝度の低下部分ｐ１が現われる。

また、制御部１２２は、第３フレームに含まれる領域ａ１の端部ｅ１から端部ｅ２までの輝度を算出する。算出された輝度をプロットした例を図３（ｃ）に示す。

上述したとおり、第３フレームでは、車両Ｖ２は領域ａ１に最も近い位置にあるため、光源Ｌによって生じる車両Ｖ２の影は、領域ａ１にかかる。よって、図３（ｃ）に示すように、輝度の低下部分ｐ２が現われる。

以上、制御部１２２によって算出される周辺領域の輝度の一例について説明した。以下、制御部１２２の説明に戻る。

上述のようにして周辺領域の輝度をフレーム毎に算出した後、制御部１２２は、第１フレームと第２フレームの間の輝度変化量（例えば、最大値）が、周辺領域に含まれる画素の輝度変化量の中央値（以下、単に中央値という）に対して、予め設定された第２所定値以上大きいか否かを判定する（第１の判定処理）。

第１の判定処理について具体的に説明する。第１フレームと第２フレームの間の輝度変化量は、例えば、図３（ｂ）に示した輝度の低下部分ｐ１における変化量の最大値である。また、中央値は、有限個のデータを小さい順に並べたとき中央に位置する値である。例えば、制御部１２２は、図３（ｂ）に示した輝度の低下部分ｐ１における変化量の最大値が図３（ａ）に示した中央値に対して第２所定値以上大きいか否かを判定する。なお、ここでは最大値と中央値を採用したが、これらの値は、周辺領域の特異点を抽出できる別の計算方法で求めたもの（例えば、平均値と最大値、最小二乗法近似と最大値など）でもよい。

第１の判定処理の結果、輝度変化量が中央値に対して第２所定値以上大きくない場合、制御部１２２は、ブラインド領域に移動物が存在しないと判定する。なお、制御部１２２は、その判定結果を示す情報（以下、判定結果情報という）を車両制御装置１３０へ出力してもよい。

一方、第１の判定処理の結果、輝度変化量が中央値に対して第２所定値以上大きい場合、制御部１２２は、第２フレームから所定時間以内のフレームにおいて輝度が周期的に変化していないかを判定する（第２の判定処理）。

ここで、図５を用いて、輝度の周期的な変化の一例について説明する。

例えば、図５（ａ）に示すように、周辺領域である領域ａ１の近傍に樹木Ｔが存在するとする。この場合、風などの影響を受けて揺れた樹木Ｔの枝や葉が領域ａ１にかかることが起こりうる。

その場合における時系列の輝度の変化を図５（ｂ）〜（ｄ）に示す。図５（ｂ）〜（ｄ）は、それぞれ、連続する第１〜第３フレームにおける領域ａ１の輝度を示す。

樹木Ｔの枝などが領域ａ１にかかっていない場合、図５（ｂ）、図５（ｄ）に示す輝度となるが、樹木Ｔの枝などが領域ａ１にかかった場合、図５（ｃ）に示す輝度となり、輝度の低下部分ｐ３が現われる。

このように、第１フレームにおいて輝度の低下部分ｐ３が現われておらず、次の第２フレームにおいて輝度の低下部分ｐ３が現われ、次の第３フレームにおいて輝度の低下部分ｐ３が現われないといった場合、輝度の周期的な変化があることになる。

このような輝度の周期的な変化をブラインド領域における移動物の移動によるものと捉えてしまうと、ブラインド領域に移動物が存在するとの誤判定につながる。そこで、本実施の形態では、第２の判定処理により、輝度の周期的な変化がある場合を排除することとした。

以上、輝度の周期的な変化の一例について説明した。以下、第２の判定処理について具体的に説明する。

例えば、制御部１２２は、第２フレームから第３フレーム（所定時間以内のフレームの一例）において輝度が周期的に変化していないかを判定する。

例えば、図３（ｂ）に示すように第２フレームにおいて輝度の低下部分ｐ１が現われており、図３（ｃ）に示すように第３フレームにおいても輝度の低下部分ｐ２が現われている場合、制御部１２２は、輝度の周期的な変化がないと判定する。

一方、例えば、図３（ｂ）に示すように第２フレームにおいて輝度の低下部分ｐ１が現われていたが、第３フレームにおいて輝度の低下部分が現われていない場合（例えば、第３フレームの輝度が図３（ａ）に示す第１フレームの輝度と同じである場合）、制御部１２２は、輝度の周期的な変化があると判定する。

第２の判定処理の結果、輝度の周期的な変化がある場合、制御部１２２は、ブラインド領域に移動物が存在しないと判定する。なお、制御部１２２は、その判定結果を示す判定結果情報を車両制御装置１３０へ出力してもよい。

一方、第２の判定処理の結果、輝度の周期的な変化がない場合、制御部１２２は、ブラインド領域（例えば、図２のブラインド領域Ａ）に移動物（例えば、図２の車両Ｖ２）が存在すると判定する。そして、制御部１２２は、判定結果を示す判定結果情報を車両制御装置１３０へ出力する。

なお、第２の判定処理の結果、輝度の周期的な変化がない場合、制御部１２２は、さらに、第２フレームから所定時間以内のフレームまでの周辺領域内の候補領域の大きさ（図３における横軸方向の幅）が、予め設定された第３所定値以上大きいか否かを判定してもよい（第３の判定処理）。

第３の判定処理について図４を用いて具体的に説明する。第２フレームにおける周辺領域の輝度を図４（ａ）に示し、第３フレームにおける周辺領域の輝度を図４（ｂ）に示す。また、例えば所定時間以内のフレームが第３フレームである場合の、第２フレームから第３フレームまでの輝度変化量を図４（ｃ）に示す。

制御部１２２は、輝度変化量の最大値と中央値との差分が第４の所定値ＴＨ４以上の部分より大きい部分の幅ｗを候補領域の大きさとして、この候補領域ｗの大きさが第３の所定値以上大きいか否かを判定する。

第３の判定処理の結果、候補領域の大きさが第３所定値以上大きくない場合、制御部１２２は、ブラインド領域に移動物が存在しないと判定する。なお、制御部１２２は、その判定結果を示す判定結果情報を車両制御装置１３０へ出力してもよい。

一方、第３の判定処理の結果、候補領域の大きさが第３所定値以上大きい場合、制御部１２２は、ブラインド領域（例えば、図２のブラインド領域Ａ）に移動物（例えば、図２の車両Ｖ２）が存在すると判定する。そして、制御部１２２は、判定結果を示す判定結果情報を車両制御装置１３０へ出力する。

上述した第３の判定処理を行うことによって、ブラインド領域に移動物が存在するかをより確実に判定することができる。

以上、判定装置１２０について説明した。

車両制御装置１３０は、車両において用いられる機器を制御する装置である。車両において用いられる機器としては、例えば、走行機器または表示機器などが挙げられる。

ここで、車両制御装置１３０が走行機器を制御する場合について説明する。

例えば、判定結果情報がブラインド領域に移動物が存在しない旨を示す場合、車両制御装置１３０は、車両の走行を許可する旨の制御信号を走行機器へ出力する。走行機器は、その制御信号に基づいて、走行を許可するように車両を制御する。これにより、例えば図２の場合、車両Ｖ１は交差点内へ進入することができる。

一方、例えば、判定結果情報がブラインド領域に移動物が存在する旨を示す場合、車両制御装置１３０は、車両の走行を禁止する旨の制御信号を走行機器へ出力する。走行機器は、その制御信号に基づいて、走行を禁止するように車両を制御する。これにより、例えば図２の場合、車両は交差点内へ進入することができない。

次に、車両制御装置１３０が表示機器を制御する場合について説明する。

例えば、判定結果情報がブラインド領域に移動物が存在しない旨を示す場合、車両制御装置１３０は、その旨を表す画像の生成を指示する制御信号を表示機器へ出力する。表示機器は、その制御信号に基づいて、ブラインド領域に移動物が存在しない旨を表す画像を生成し、その画像を所定の表示媒体へ出力する。これにより、例えば図２の場合、車両の乗員は、交差点内へ進入可能であることを知ることができる。

一方、例えば、判定結果情報がブラインド領域に移動物が存在する旨を示す場合、車両制御装置１３０は、その旨を表す画像の生成を指示する制御信号を表示機器へ出力する。表示機器は、その制御信号に基づいて、ブラインド領域に移動物が存在する旨を表す画像を生成し、その画像を所定の表示媒体へ出力する。これにより、例えば図２の場合、車両の乗員は、交差点内へ進入できないことを知ることができる。

なお、上記表示機器に対する制御の説明では、画像の出力を例に挙げたが、これに限定されず、車両の乗員が判定結果情報の内容を識別可能な手段（例えば、音声の出力、座席の振動等）が用いられてもよい。

以上、運転支援システム１００および判定装置１２０の構成について説明した。

なお、上述した運転システム１００の各装置における動作は、自動運転の実行時またはマニュアル運転（手動運転）の実行時のいずれにおいても有効である。

次に、図６を用いて、判定装置１２０の動作について説明する。図６は、判定装置１２０における動作の流れを示すフロー図である。本フローは、例えば、判定装置１２０を搭載した車両の走行停止時に実施される。

まず、入力部１２１は、センシングカメラ１１０から時系列の画像データを受け取る（ステップＳ１０１）。また、入力部１２１は、記憶装置１１１から地図情報（道路情報、静止物情報等を含む）を受け取り、検知装置１１２から車両位置情報を受け取る。そして、入力部１２１は、画像データ、地図情報、車両位置情報を制御部１２２へ出力する。

次に、制御部１２２は、入力部１２１から画像データ、地図情報、車両位置情報を受け取ると、時系列の画像データにおいてブラインド領域の抽出を行う（ステップＳ１０２）。この抽出処理は、上述したとおり、画像データにおいて第１所定値以上の大きさの静止物が存在する場合に実行される。また、上述したとおり、ブラインド領域は、静止物の位置および車両の位置に基づいて抽出される。

次に、制御部１２２は、周辺領域の設定を行う（ステップＳ１０３）。上述したとおり、周辺領域の設定は、例えば、地図情報に基づいて行われる。

次に、制御部１２２は、時系列の画像データのフレーム毎に周辺領域の輝度を算出する（ステップＳ１０４）。

次に、制御部１２２は、第１フレームと第２フレームの間の輝度変化量が中央値に対して第２所定値以上大きいか否かを判定する（ステップＳ１０５）。

輝度変化量が中央値に対して第２所定値以上大きくない場合（ステップＳ１０５：ＮＯ）、フローは終了する。なお、ステップＳ１０５においてＮＯの場合、制御部１２２は、ブラインド領域に移動物が存在しないと判定し、その旨の判定結果情報を車両制御装置１３０へ出力してもよい。

輝度変化量が中央値に対して第２所定値以上大きい場合（ステップＳ１０５：ＹＥＳ）、制御部１２２は、第２フレームから所定時間以内のフレームにおいて輝度が周期的に変化していないかを判定する（ステップＳ１０６）。

輝度が周期的に変化している場合（ステップＳ１０６：ＹＥＳ）、フローは終了する。なお、ステップＳ１０６においてＹＥＳの場合、制御部１２２は、ブラインド領域に移動物が存在しないと判定し、その旨の判定結果情報を車両制御装置１３０へ出力してもよい。

輝度が周期的に変化していない場合（ステップＳ１０６：ＮＯ）、制御部１２２は、さらに、第２フレームから所定時間以内のフレームまでの周辺領域内の候補領域の大きさ（例えば、図３における横軸方向の幅）が、予め設定された第３所定値以上大きいか否かを判定する（ステップＳ１０７）。

候補領域の大きさが第３所定値以上大きくない場合（ステップＳ１０７：ＮＯ）、フローは終了する。なお、ステップＳ１０７においてＮＯの場合、制御部１２２は、ブラインド領域に移動物が存在しないと判定し、その旨の判定結果情報を車両制御装置１３０へ出力してもよい。

候補領域の大きさが第３所定値以上大きい場合（ステップＳ１０７：ＹＥＳ）、制御部１２２は、ブラインド領域に移動物が存在すると判定する（ステップＳ１０８）。そして、制御部１２２は、ブラインド領域に移動物が存在する旨の判定結果情報を車両制御装置１３０へ出力する。

以上、判定装置１２０の動作例について説明した。

本発明の実施の形態によれば、時系列の画像データにおけるブラインド領域の周辺領域の輝度変化量に基づいて、ブラインド領域に移動物が存在するか否かを判定することができる。よって、例えばマニュアル運転の場合、上記判定により、車両の乗員がブラインド領域に移動物が存在することを認識できるので、安全運転の向上に寄与することができる。また、例えば自動運転の場合、ブラインド領域における移動物の有無が判らないことによって停車中の車両が交差点に進入できないという課題を解決できる。

なお、本発明は上記実施の形態に限定されるものではなく、種々の変形が可能である。以下、各変形例について説明する。

（変形例１）
実施の形態では、周辺領域に設定された領域ａ１において、車両Ｖ２の影による輝度の低下が生じる場合を例に挙げて説明したが、これに限定されない。例えば、車両Ｖ２のヘッドライトの点灯による輝度の増加であってもよい。この例について図７を用いて以下に説明する。

図７（ａ）〜（ｃ）は、それぞれ、連続する第１〜第３フレームにおける領域ａ１の輝度を示す。第１〜第３フレームにおける車両Ｖ２の位置は、上述した実施の形態と同様である。

第１フレームでは、車両Ｖ２は領域ａ１から最も離れた位置にあるため、車両Ｖ２のヘッドライトの光は、領域ａ１にかからない。よって、領域ａ１の輝度は車両Ｖ２のヘッドライトの光の影響を受けないため、図７（ａ）に示すように、輝度の増加部分（例えば、後述の図７（ｂ）に示すｐ４）は現われない。なお、輝度の増加部分は、特異点ともいう。

第２フレームでは、車両Ｖ２は第１フレームにおける位置よりも領域ａ１に近付いた位置（例えば、図２に示した位置）にあるため、車両Ｖ２のヘッドライトの光は、領域ａ１にかかる。よって、図７（ｂ）に示すように、輝度の増加部分ｐ４が現われる。

第３フレームでは、車両Ｖ２は領域ａ１に最も近い位置にあるため、車両Ｖ２のヘッドライトの光は、領域ａ１にかかる。よって、図７（ｃ）に示すように、輝度の増加部分ｐ５が現われる。ｐ５は、ｐ４に比べて、輝度の増加量が多い。

（変形例２）
実施の形態では、地図情報に基づいて周辺領域を設定する場合を例に挙げて説明したが、これに限定されない。例えば、図２に示した光源Ｌ（例えば、太陽、街灯など）の位置に基づいて周辺領域を設定してもよい。この例について、図８、図９を用いて以下に説明する。なお、以下では、光源Ｌが太陽である場合を例に挙げて説明する。

まず、入力部１２１は、検知装置１１２から現在時刻を示す時刻情報を受け取る（ステップＳ２０１）。そして、入力部１２１は、その時刻情報を制御部１２２へ出力する。

なお、上述したとおり、現在時刻は、制御部１２２が検知してもよい。その場合、ステップＳ２０１の処理は省略される。

次に、制御部１２２は、地図情報と時刻情報に基づいて、光源Ｌの位置を認識する（ステップＳ２０２）。地図情報と時刻情報に基づく光源Ｌの位置を認識する技術は、公知技術であるため、その詳細な説明は省略する。なお、光源が街灯である場合は、制御部１２２は、地図情報のみに基づいて光源Ｌの位置を認識する。その場合、ステップＳ２０１の処理は省略される。

次に、制御部１２２は、光源Ｌの位置と、地図情報（静止物情報）に示される静止物Ｂの位置とに基づいて、ブラインド領域Ａの周辺にある複数の領域ａ１、ａ２のうちの１つを選択する（ステップＳ２０３）。

ここで、図９を用いて、ステップＳ２０３の処理の例について説明する。

例えば、図９（ａ）に示すように、光源Ｌがブラインド領域Ａよりも左側にあると認識した場合、ブラインド領域Ａに存在しうる移動物（例えば、図２の車両Ｖ２）の影は領域ａ１に向けてのびるため、制御部１２２は、領域ａ１を選択し、周辺領域に設定する。

また、例えば、図９（ｂ）に示すように、光源Ｌがブラインド領域Ａよりも右側にあると認識した場合、ブラインド領域Ａに存在しうる移動物（例えば、図２の車両Ｖ２）の影は領域ａ２に向けてのびるため、制御部１２２は、領域ａ２を選択し、周辺領域に設定する。

以上、本発明の各変形例について説明した。なお、各変形例は、任意に組み合わせてもよい。

実施の形態および各変形例における各部の機能は、プログラムにより実現されてもよい。その場合におけるコンピュータのハードウェア構成例を図１０に示す。

図１０に示すように、コンピュータ２１００は、入力ボタン、タッチパッドなどの入力装置２１０１、ディスプレイ、スピーカなどの出力装置２１０２、ＣＰＵ（Central Processing Unit）２１０３、ＲＯＭ（Read Only Memory）２１０４、ＲＡＭ（Random Access Memory）２１０５を備える。また、コンピュータ２１００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置２１０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置２１０７、ネットワークを介して通信を行う送受信装置２１０８を備える。上述した各部は、バス２１０９により接続される。

そして、読取装置２１０７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置２１０６に記憶させる。あるいは、送受信装置２１０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置２１０６に記憶させる。

そして、ＣＰＵ２１０３が、記憶装置２１０６に記憶されたプログラムをＲＡＭ２１０５にコピーし、そのプログラムに含まれる命令をＲＡＭ２１０５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ２１０５または記憶装置２１０６には、実施の形態および各変形例で述べた各種処理で得られた情報が記憶され、適宜利用される。

本発明にかかる判定装置、判定方法、および判定プログラムは、死角となる領域における対象物の存在を判定する技術全般に有用である。

１００ 運転支援システム
１１０ センシングカメラ
１１１ 記憶装置
１１２ 検知装置
１２０ 判定装置
１２１ 入力部
１２２ 制御部
１３０ 車両制御装置
２１００ コンピュータ
２１０１ 入力装置
２１０２ 出力装置
２１０３ ＣＰＵ
２１０４ ＲＯＭ
２１０５ ＲＡＭ
２１０６ 記憶装置
２１０７ 読取装置
２１０８ 送受信装置
２１０９ バス

Claims (7)

1. 車両の周辺の画像データを時系列で取得するセンシングカメラから、前記画像データを受け取る入力部と、
   前記画像データにおいて第１所定値以上の大きさの静止物が存在するとき、前記静止物により前記車両から死角となるブラインド領域の周辺領域に含まれる画素の、第１フレームと前記第１フレーム以降のフレームである第２フレームの間の輝度変化量が、所定の計算方法により算出された前記周辺領域に含まれる画素の輝度変化量の算出値に対して第２所定値以上大きく、かつ、前記第２フレームから所定時間以内のフレームまでに輝度が周期的に変化しないとき、前記ブラインド領域に移動物が存在すると判定する制御部と、
   を備える判定装置。
2. 前記制御部は、さらに、前記第２フレームから所定時間以内のフレームまでの候補領域の大きさが、予め設定された第３所定値以上大きいとき、前記ブラインド領域に移動物が存在すると判定する、
   請求項１に記載の判定装置。
3. 前記入力部は、地図情報をさらに受け取り、
   前記制御部は、前記地図情報に基づいて、前記周辺領域を設定する、
   請求項１または２に記載の判定装置。
4. 前記入力部は、時刻情報をさらに受け取り、
   前記制御部は、前記地図情報と前記時刻情報に基づいて所定の光源の位置を認識し、前記光源の位置と、前記地図情報における前記静止物の位置とに基づいて、前記周辺領域を設定する、
   請求項３に記載の判定装置。
5. 前記算出値は、前記周辺領域に含まれる画素の輝度変化量の中央値である、
   請求項１から４のいずれか１項に記載の判定装置。
6. 車両の周辺の画像データを時系列で取得するセンシングカメラから、前記画像データを受け取る工程と、
   前記画像データにおいて第１所定値以上の大きさの静止物が存在するとき、前記静止物により前記車両から死角となるブラインド領域の周辺領域に含まれる画素の、第１フレームと前記第１フレーム以降のフレームである第２フレームの間の輝度変化量が、所定の計算方法により算出された前記周辺領域に含まれる画素の輝度変化量の算出値に対して第２所定値以上大きく、かつ、前記第２フレームから所定時間以内のフレームまでに輝度が周期的に変化しないとき、前記ブラインド領域に移動物が存在すると判定する工程と、
   を含む判定方法。
7. 車両の周辺の画像データを時系列で取得するセンシングカメラから、前記画像データを受け取る処理と、
   前記画像データにおいて第１所定値以上の大きさの静止物が存在するとき、前記静止物により前記車両から死角となるブラインド領域の周辺領域に含まれる画素の、第１フレームと前記第１フレーム以降のフレームである第２フレームの間の輝度変化量が、所定の計算方法により算出された前記周辺領域に含まれる画素の輝度変化量の算出値に対して第２所定値以上大きく、かつ、前記第２フレームから所定時間以内のフレームまでに輝度が周期的に変化しないとき、前記ブラインド領域に移動物が存在すると判定する処理と、
   をコンピュータに実行させる判定プログラム。

Images