JP2020160554A - 移動体検出装置、移動体検出方法、移動物、及びプログラム - Google Patents

Abstract

【課題】画像データから、移動体を検出する際に、移動体と移動体により形成される影とを区別し、移動体の検出精度を向上させる。【解決手段】移動体検出装置（１）は、撮影装置で撮影された画像データを取得する取得部（１１）と、画像データから移動体及び当該移動体の影を移動ベクトルとして検出する検出部（１２）と、移動ベクトルを含む矩形領域を画像データから抽出し、移動体領域として検知する検知部（１３）と、検知された移動体領域の構成要素を画像の横方向で分析して影領域を特定し、影領域を除いて移動体領域を補正する補正部（１４）とを備える。【選択図】図１

Description

本開示は、撮影された画像データから移動体を検出する移動体検出装置、移動体検出方法、移動物、及びプログラムに関する。

特許文献１は、車両前方を撮影した画像中に含まれる影を高精度に検出する影検出装置について開示する。具体的には、特許文献１の影検出装置は、自車が保有或いは取得する情報に基づいて走行路の段差を認識し、段差と交差するエッジを検出し、エッジの連続性に基づいて影エッジを判定して影を判定する。

特許第５８６７１６７号公報

本開示は、撮影された画像データから、移動体の影を除いて移動体部分を検出する移動体検出装置、移動体検出方法、移動物、及びプログラムを提供する。

本開示の移動体検出装置は、撮影装置で撮影された画像データを取得する取得部と、画像データから移動体及び当該移動体の影を特定する移動ベクトルとして検出する検出部と、移動ベクトルを含む矩形領域を画像データから抽出し、移動体領域として検知する検知部と、検知された移動体領域の構成要素を画像の横方向で分析して影領域特定し、当該影領域を除いて移動体領域を補正する補正部とを備える。

これらの概括的かつ特定の態様は、システム、方法、及びコンピュータプログラム、並びに、それらの組み合わせにより、実現されてもよい。

本開示の移動体検出装置、移動体検出方法、移動物、及びプログラムによれば、撮影された画像データから、移動体の影を除いた移動体の領域を検出することができる。

本開示に係る移動体検出装置の構成を示すブロック図である。 移動体検出装置が検出対象の移動体を含む画像データの一例である。 図２Ｂの画像データから検出される移動ベクトルの一例である。 図２Ａの画像データから検知される移動体領域を説明する図である。 移動体の検出で利用する移動ベクトルの密度について説明する図である。 移動体領域に設定する第１中心線を示す図である。 移動体領域に設定する第１領域及び第２領域の一例を説明する図である。 移動体領域に設定する第１領域及び第２領域の他の例を説明する図である。 図２Ｃで抽出した移動体領域から設定した第１領域及び第２領域を説明する図である。 図５Ａに示した第１領域及び第２領域の調整を説明する図である。 図４Ｂに示す第１領域及び第２領域の調整を説明する図である。 図６Ａに示す第１領域及び第２領域の調整を説明する図である。 図２Ｃで検知された移動体領域から決定した候補領域を説明する図である。 図７Ａで決定した候補領域が含む移動体及び影を説明する図である。 移動体と移動体の影で形成される角度を説明する図である。 移動体と移動体の影で形成される角度が９０°未満の場合の例を示す図である。 移動体と移動体の影で形成される角度が９０°以上の場合の例を示す図である。 候補領域に設定する第２中心線及び画素ラインを示す図である。 分割点の決定で利用する画素値について説明する図である。 画素値の変化の一例を示すグラフである。 図１１Ａの画素値の変化を微分した一例を示すグラフである。 図１１Ａの画素値の変化を微分した他の例を示すグラフである。 移動体と移動体の影で形成される角度が９０°以上の場合の移動体領域及び候補領域の一例を示す図である。 図１２Ａに示す候補領域から決定した最終的な移動体領域を示す図である。 移動体と移動体の影で形成される角度が９０°未満の場合の移動体領域及び候補領域の一例を示す図である。 図１２Ｃに示す候補領域から決定した最終的な移動体領域を示す図である。 本開示に係る移動体検出装置の処理を説明するフローチャートである。 図１３Ａに続いて本開示に係る移動体検出装置の処理を説明するフローチャートである。

[本開示の基礎となった知見]
特許文献１の影検出装置は、走行路の幅方向端部に段差があることが必要である。また段差を認識するため、地図データ等に含まれる種々の情報を利用する。すなわち、影検出に、様々な条件が必要であり、かつ、予め様々な情報を必要とする。仮に、地図データ等の情報が無い場合には、特許文献１の影検出装置で影を検出することができない。

近年、車両の自動運転の開発が進められている。ここで利用される画像認識では、撮影画像から車両の周囲に存在する移動体を検出することが重要である。ところで、撮影画像には、この移動体の影も含まれ、移動体の位置を正確に特定するためには、移動体と影とを正確に区別する必要がある。例えば、移動体の影が撮影装置の方向に伸びている場合、車両との距離を実際より短いと誤検出することがある。移動体と移動体の影とは同時に移動するため、切り分けが特に難しく、移動体自体の影を含まずに移動体を精度良く検出することが困難であった。

本開示は、画像データから移動する移動体を検出する場合、移動体によって形成される影を除いて、移動体部分を検出する移動体検出装置、移動体検出方法、移動物、及びプログラムを提供する。例えば、本開示の移動体検出装置、移動体検出方法、移動物、及びプログラムは、自動車の自動運転において、運転で障害物となり得る歩行者や他の車両等の移動する物体である移動体の検出に利用される。このとき、移動体の影を移動体と区別し、移動体部分を検出することができるため、移動体の検出の精度を向上することができる。

[実施形態]
以下に、図面を用いて本開示における実施の形態を、図面を適宜参照しながら説明する。ただし、詳細な説明において、従来技術および実質的に同一の構成に関する説明のうち不必要な部分は省略されることもある。これは、説明を簡単にするためである。また、以下の説明および添付の図面は、当業者が本開示を充分に理解できるよう開示されるのであって、特許請求の範囲の主題を限定することを意図されていない。

本開示に係る、移動体検出方法、移動体、及びプログラムは、画像データから移動体の影を除いて移動体自身を検出するものである。
本開示において、検出の対象となる「移動体」は、人間、動物、自動車等の移動する可能性のあるものである。また、「移動体」は、この移動体と接して路面等に自身の影を形成し得るものである。

〈移動体検出装置〉
図１に示すように、本開示の一実施の形態に係る移動体検出装置１は、撮影装置２と接続され、撮影装置２で撮影された画像データが入力される。移動体検出装置１はこの画像データの被写体から、移動体の影を除いた移動体自身を検出する。移動体検出装置１は、制御部１０、記憶部２０及び通信インタフェース（Ｉ／Ｆ）３０等を備える情報処理装置である。

制御部１０は、移動体検出装置１全体の制御を司るコントローラである。例えば、制御部１０は、記憶部２０に記憶される移動体検出プログラムＰを読み出して実行することにより、取得部１１、検出部１２、検知部１３、補正部１４及び出力処理部１５としての処理を実現する。また、制御部１０は、ハードウェアとソフトウェアの協働により所定の機能を実現するものに限定されず、所定の機能を実現する専用に設計されたハードウェア回路でもよい。すなわち、制御部１０は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＦＰＧＡ、ＤＳＰ、ＡＳＩＣ等、種々のプロセッサで実現することができる。

記憶部２０は種々の情報を記録する記録媒体である。記憶部２０は、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ（Solid State Device）、ハードディスク、その他の記憶デバイス又はそれらを適宜組み合わせて実現される。記憶部２０には、制御部１０が実行する移動体検出プログラムＰの他、移動体検出のために取得された画像データＤ１等の種々の情報等が格納される。

通信Ｉ／Ｆ３０は、撮影装置２とのデータ通信を可能とするためのインタフェース回路（モジュール）である。移動体検出装置１は、通信Ｉ／Ｆ３０を介して撮影装置２で撮影された画像データを取得する。

取得部１１は、撮影装置２で撮影された画像データＤ１を取得する。また、取得部１１は、取得した画像データＤ１を記憶部２０に記憶させる。図２Ａに、撮影装置２から取得した画像データＤ１の一例を示す。図２Ａに示す画像データＤ１では、移動体Ｍ１である人物と、移動体Ｍ１の影を含む。なお、その他の被写体は移動体でないものとし、図２Ａにおいてその他の影は省略する。

具体的には、取得部１１は、連続して撮影された複数の画像データＤ１を取得する。少なくとも２枚の連続して撮影された画像データＤ１を比較することにより、後述する検出部１２において、移動する被写体を特定することができる。ここで、連続する２枚の画像データＤ１のうち、先に撮影された画像データＤ１を「先画像データ」とし、後に撮影された画像データＤ１を「後画像データ」とする。

検出部１２は、記憶部２０から画像データＤ１を読み出し、画像データＤ１から移動する被写体を特定する移動ベクトルを検出する。例えば、検出部１２は、既存のオプティカルフローの検出方法を用いて、移動ベクトルを検出する。本開示において、「移動ベクトル」は、「先画像データ」に対し「後画像データ」の画素値の動きを表わすベクトルである。この移動ベクトルにより、被写体の移動量を特定することができる。

図２Ｂに、図２Ａに一例を示す画像データＤ１から検出される移動ベクトルの一例を示す。なお、図２Ｂでは、移動ベクトルを見やすくするため、画像データＤ１から切り出した移動ベクトルの部分を含む矩形領域のみを図示する。検出部１２は、移動体Ｍ１と影Ｍ２の区別をすることができないため、図２Ｂに示すように、移動体Ｍ１の移動ベクトルと共に、移動体Ｍ１の影Ｍ２の移動ベクトルを検出する。

検知部１３は、移動ベクトルを含む矩形領域を画像データＤ１から抽出し、移動体領域として検知する。図２Ｃに、図２Ａに示す画像データＤ１から検知される移動体領域Ｘ１の一例を示す。

補正部１４は、検知された移動体領域Ｘ１の構成要素を画像の横方向及び縦方向で分析し、影領域を除いて移動体領域を補正する。この補正部１４は、移動体領域を補正するため、図１に示すように、領域設定部１４１、算出部１４２、調整部１４３、候補決定部１４４、角度算出部１４５、演算部１４６及び変更部１４７を有する。領域設定部１４１乃至候補決定部１４４は、画像の横軸方向（ｘ軸方向）の補正を実行する。また、角度算出部１４５乃至変更部１４７は、画像の縦軸方向（ｙ軸方向）の補正を実行する。

（横軸方向の補正）
まず、横軸方向の補正を実行する各処理部１４１乃至１４４について説明する。
領域設定部１４１は、矩形領域である移動体領域Ｘ１の右端を右辺とする又は左端を左辺とする所定の第１領域を設定すると共に、この第１領域に隣接して第１領域と同一のサイズの第２領域を設定する。例えば、領域設定部１４１は、移動体領域Ｘ１の右端に第１領域を設定するように予め定めておいてもよい。また、例えば、移動体領域Ｘ１の左端に第１領域を定めておいてもよい。

その他、領域設定部１４１は、移動体領域Ｘ１における移動ベクトルの密度分布に応じて第１領域を設定してもよい。例えば、領域設定部１４１は、まず、移動体領域Ｘ１から移動ベクトルの密度の分布を画像の横軸方向で分析する。図３は、図２Ｃに示す移動体領域Ｘ１から移動ベクトルを抽出した一例である。ここで、影は、人体と比較し色的特徴が少ないため、画素値の変化量が小さく、移動ベクトルが少なくなる傾向がある。したがって、移動ベクトルの密度を分析することによって、移動体の領域と影の領域を区別することができる。

次に、領域設定部１４１は、図４Ａに示すように、移動体領域Ｘ１において、横軸方向の中央に縦軸方向に第１中心線Ｌ１を設定する。ここで、第１中心線Ｌ１は、移動体領域Ｘ１において、画素と画素の間を特定するものであって、この第１中心線に対して左右の領域は同一画素数であるものとする。また、領域設定部１４１は、移動体領域Ｘ１において左右のどちらが移動体の密度分布が大きいか、すなわち、左右のどちらに移動ベクトルが多く検知されたかを判定する。

また、領域設定部１４１は、移動体領域Ｘ１において設定した第１中心線Ｌ１より右側の移動ベクトルの密度が左側よりも高いとき、図４Ｂに示すように、右辺が移動体領域Ｘ１の右端となる所定の第１領域Ａ１を設定するとともに、右辺が第１領域Ａ１の左辺と隣接し、第１領域Ａ１と同サイズ、すなわち、同画素数の第２領域Ａ２を設定する。この第１領域Ａ１のサイズは、例えば、移動体領域Ｘ１の所定割合（例えば、２０％）のサイズで設定される。

一方、移動体領域Ｘ１において第１中心線Ｌ１より左側の移動ベクトルの密度が右側よりも高いとき、領域設定部１４１は、図４Ｃに示すように、左辺が移動体領域Ｘ１の左端となる所定の第１領域Ａ１を設定するとともに、左辺が第１領域Ａ１の右辺と隣接し、第１領域Ａ１と同サイズ、すなわち、同画素数の第２領域Ａ２を設定する。

このように、移動ベクトルの密度が高い方から判定することで、例えば、電柱、交通標識、郵便ポスト、街路樹、建物等の人物以外の左右対称性のある物体が移動体領域Ｘ１内に存在する場合、それらの物体を移動体として検出するのを防ぐことができる。

算出部１４２は、領域設定部１４１で設定された又は調整部１４３で拡大された第１領域Ａ１の第１画像成分と第２領域Ａ２の第２画像成分とを算出する。具体的には、算出部１４２は、第１画像成分及び第２画像成分として、各領域の画素値の総和、高周波成分の総和又はヒストグラムを算出する。例えば、移動体は、画像上で左右対称性がある。したがって、第１画像成分と第２画像成分とが類似する場合、移動体の中心であると考えられるためである。このような左右対称性は、特に、人間では高いため、この方法によれば、人間の検出精度を特に向上させることができる。

図５Ａと図５Ｂに移動体領域Ｘ１から設定された第１領域Ａ１及び第２領域Ａ２の一例を示す。図５Ａは、移動体Ｍ１のほぼ中心で第１領域Ａ１と第２領域Ａ２とが分かれる例である。したがって、図５Ａの例では、第１領域Ａ１と第２領域Ａ２との画像の特徴すなわち、画像成分が類似すると考えられる。また、図５Ｂに示す例は、図５Ｂの場合と比較して第１領域Ａ１及び第２領域が拡大された場合であって、第１領域Ａ１に移動体Ｍ１が含まれ、第２領域Ａ２には移動体Ｍ１は含まれない。すなわち、図５Ｂの例では、第１領域Ａ１と第２領域Ａ２とで被写体が異なるため、画像の特徴すなわち、画像成分は類似しないと考えられる。

調整部１４３は、第１領域Ａ１を第１中心線Ｌ１に向かって拡大するとともに、第２領域Ａ２も第１領域Ａ１に合わせて調整する。この場合も、第２領域Ａ２は、第１領域Ａ１と同一のサイズ、すなわち、同一の画素数である。また、第１領域Ａ１と第２領域Ａ２とは重ならずに隣接する。図６Ａは、図４Ｂに示す第１領域Ａ１及び第２領域Ａ２が、拡大された一例である。具体的には、調整部１４３は、図６Ｂに示す例のように、第１領域Ａ１と第２領域Ａ２の合計のサイズが移動体領域Ｘ１のサイズになるまで、処理を継続する。

例えば、調整部１４３は、第１領域Ａ１及び第２領域Ａ２を、所定割合（例えば、１０％）毎に拡大する。または、領域設定部１４１及び調整部１４３は、移動体領域Ｘ１を等分し、この拡大を所定回数繰り返す。例えば、移動体領域Ｘ１が１０等分されたとき、領域設定部１４１では、第１領域Ａ１及び第２領域Ａ２をそれぞれ移動体領域Ｘ１の１０分の１のサイズとし、調整部１４３は、第１領域Ａ１及び第２領域Ａ２を１０分の１のサイズずつ増大する。

候補決定部１４４と、第１画像成分と第２画像成分との差分が最小となる、第１画像成分と第２画像成分とで構成される画像データを、影を除いた移動体の領域である候補領域Ｘ２とする。図７Ａは、図５Ａに示す第１領域Ａ１及び第２領域Ａ２が候補領域Ｘ２として検出された一例を示す。候補決定部１４４は、図７Ｂに示すような移動体の影Ｍ２を除くための候補領域Ｘ２を決定する。

（縦軸方向の補正）
続いて、縦軸方向の補正を実行する各処理部１４５乃至１４７について説明する。
角度算出部１４５は、画像データにおいて移動体Ｍ１及び移動体の影Ｍ２で構成される角度を算出する。例えば、角度算出部１４５は、画像データの撮影時の撮影装置２の位置及び向き、太陽の位置から、移動体Ｍ１と影Ｍ２との角度を算出する。

仮に、撮影装置２が、車載カメラ等の車両等に設置されるものである場合、角度算出部１４５は、撮影装置２の位置及び向きを、ＧＰＳ受信装置から取得される位置情報と、車両における撮影装置２の設置位置や設置角度等の情報から特定することができる。また、撮影装置２が、固定の場所に設置される監視カメラ等である場合、角度算出部１４５は、撮影装置２の設置の際に取得された設置位置及び設置角度等の情報から、撮影装置の位置及び向きを特定することができる。

また、角度算出部１４５は、太陽の位置（方角及び高さ）を、現在時刻と現在地とから特定することができる。さらに、角度算出部１４５は、求めた撮影装置２の位置及び向きから、撮影装置２に対する現在の太陽の方向も特定することができる。加えて、角度算出部１４５は、画像データ中の移動体Ｍ１の位置及び現在の太陽の位置から、移動体Ｍ１に対する太陽の方向を特定することが可能である。このようにして、角度算出部１４５は、移動体Ｍ１と影Ｍ２とがどのような角度を構成するかを特定することができる。

図８Ａは、移動体Ｍ１と影Ｍ２の角度を説明する図である。図８Ａに示すように、角度算出部１４５は、移動体Ｍ１の中心の垂直線と影Ｍ２の成す撮影装置２側に形成される角度θを算出する。

ここで、角度θが９０°以上である場合（９０°≦θ≦１８０°）、図８Ｂに示すように、移動体領域Ｘ１から抽出した候補領域Ｘ２の画像データにおいて、移動体Ｍ１の足元に影Ｍ２は含まれていないと考えられる。すなわち、角度θが９０°以上である場合、この候補領域Ｘ２には除く必要がある影領域は含まれておらず、候補領域Ｘ２全体を移動体Ｍ１の領域として利用できると考えられる。

一方、角度θが、９０°未満である場合（０°≦θ＜９０°）、図８Ｃに示すように、移動体領域Ｘ１から抽出した候補領域Ｘ２の画像データにおいて、移動体Ｍ１の足元に影Ｍ２が含まれていると考えられる。すなわち、角度θが９０°未満である場合、この候補領域Ｘ２には除く必要がある影領域が含まれているため、まず、影領域を特定する必要がある。なお、図８Ｃ中の一点鎖線で囲まれる部分は、図１１Ｃの説明で利用する画像中に含まれるパターンの一例を示すものである。

演算部１４６は、角度算出部１４５で求めた角度θが９０°未満であるとき、候補領域Ｘ２から、所定の縦方向の画素のパターンを演算する。ここで、演算部１４６は、図９に示すように、候補領域Ｘ２の横軸方向の中央に縦軸方向に第２中心線Ｌ２を設定する。ここで、第２中心線Ｌ２は、候補領域Ｘ２における横軸方向で中心となる画素の一列または、画素と画素の間を特定するものである。また、演算部１４６は、この第２中心線Ｌ２から所定方向に所定距離ずれた縦方向一列の画素パターン演算用の画素ラインＬ３として選択し、この画素ラインＬ３を形成する画素を用いて縦方向パターンを演算する。

なお、演算部１４６において、第２中心線Ｌ２ではなく、第２中心線Ｌ２から所定方向及び距離ずれた位置を利用するのは、第２中心線Ｌ２は、図９に示すように、移動体Ｍ１である人間の中心である可能性があるからである。このように第２中心線Ｌ２が人間の中心に引かれた場合、第２中心線Ｌ２に人間の股下が含まれ、この部分で最終的な移動体領域が決定されると、脚が最終的な移動体領域に含まれなくなる恐れがある。したがって、演算部１４６は、脚も移動体領域として含むことで、正確に移動体領域を検出するため、第２中心線Ｌ２から所定方向に所定距離ずれた位置に画素ラインＬ３を設定し、パターンを演算する。

なお、第２中心線Ｌ２から所定方向及び所定距離ずれた位置とは、第２中心線Ｌ２から右側又は左側に、候補領域Ｘ２横軸の画素数の所定割合（例えば、１０％）分の画素数移動した位置である。

図１０に、画素ラインＬ３を形成する画素から縦方向の画素のパターンを求めた一例を示す。図１０に示す例では、画素のパターンとして画素値を用いた例である。画像データにおいて、画素のパターンは、被写体によって異なる傾向がある。具体的には、被写体として移動体Ｍ１と影Ｍ２とが含まれるとき、画素値等の画素のパターンは、移動体Ｍ１と影Ｍ２とで異なる。したがって、その画素のパターンが急峻に変化する点を“分割点”とするため、演算部１４６は、画素のパターンの変化を演算する。

図１１Ａに、図９で設定された画素ラインＬ３の縦軸方向の画素値の変化Ｉ（ｙ）を示す。図１１Ａに示すグラフは、横軸を画像の縦軸の座標、縦軸を画素値とし、画素ラインＬ３の画素値の変化Ｉ（ｙ）を表わすものである。被写体の部位毎に画素値は変化する。したがって、図９の候補領域Ｘ２の画像において上から頭、体、脚、靴、路面と被写体の部位が変わると図１１Ａに示すように、画素値も変化する。演算部１４６は、この変化Ｉ（ｙ）を微分する。

図１１Ｂは、横軸を画像の縦軸の座標、縦軸を微分で得られた値とし、図１１Ａに示す画素値の変化Ｉ（ｙ）を微分して得られた結果Ｉ’（ｙ）を示すグラフである。演算部１４６は、画素値の変化Ｉ（ｙ）を微分することにより、図１１Ｂに示すように、画素ラインＬ３で被写体の変化が現れる位置を特定することができる。具体的には、演算部１４６は、変化の前後の差分が所定の閾値ｔ以上であるとき、画像の最も下端に生じた変化の位置を分割点とする。

図１１Ｂに示す例は、路面に模様等のパターンが含まれない例である。ここで、模様等のパターンとは、例えば、図８Ｃに一点鎖線によって示す規則的な画像中の変化又は規則的に類似する画像中の変化である。図仮に、路面に模様等のパターンが含まれる場合、図１１Ｃに示すように、その模様で生じる変化も微分によって現れる。このような路面の模様等のパターンによって現れる変化は規則的な変化であるため、演算部１４６は、このような規則的な変化を除くことで、影Ｍ２を除いた移動体Ｍ１の領域を特定する。すなわち、このようなパターンがある場合、演算部１４６は、変化の前後の差分が所定の閾値ｔ以上とならないため、変化の前後の差分が所定の閾値ｔとなる画素のうち最も横軸の値が最も高い点を、分割点とする。

ここでは、演算部１４６は、画素値を微分する例で説明したが、画素値自体ではなく、画素値のヒストグラムを用いても同様である。例えば、横軸の各ピクセルにおいて、横軸方向へのヒストグラムを作成し、その差分を利用してもよい。

この演算部１４６での演算を表す式（１）を以下に示す。

また、演算部１４６は、候補領域の画像データを低周波フィルタで処理した後に、パターンを演算してもよい。これにより、路面の傷等の多少の色の変化に影響されずに分割点を演算することが可能となる。

変更部１４７は、角度算出部１４５で求めた角度θが９０°以上であるとき、候補領域Ｘ２を最終的な移動体領域Ｘ３とする。具体的には、角度θが９０°以上であるとき、図１２Ａに示すように、移動体領域Ｘ１から得られた候補領域Ｘ２において、移動体Ｍ１である人間の足元に影Ｍ２は含まれない。したがって、図１２Ｂに示すように、変更部１４７は、この候補領域Ｘ２を最終的な移動体領域Ｘ３として補正する。

また、角度算出部１４５で求めた角度が９０°未満であるとき、候補領域Ｘ２のうち、演算部１４６で演算されたパターンの程度が閾値以上の点を移動体領域の下端とした領域を、最終的な移動体領域Ｘ３として変更する。具体的には、角度θが９０°未満であるとき、図１２Ｃに示すように、移動体領域Ｘ１から得られた候補領域Ｘ２において、移動体Ｍ１である人間の足元に人間の影Ｍ２が含まれる。したがって、図１２Ｄに示すように、変更部１４７は、候補領域Ｘ２から、演算部１４６で演算された“分割点”の縦軸上の座標を“境界”として抽出した領域を最終的な移動体領域Ｘ３として補正する。

出力処理部１５は、変更部１４７によって最終的に得られた移動体領域Ｘ３を、所定の出力先に出力する。例えば、この結果を車両の自動運転に利用する場合、自動運転のための制御装置に出力する。また例えば、この結果を監視装置等に利用する場合、監視のための制御装置に出力する。

上述したように、本開示に係る移動体検出装置１によれば移動体を検出する際、移動体によって移動体に接して形成される影を除いて移動体の領域を精度よく検出することができる。

《移動体検出方法》
続いて、図１３Ａ及び図１３Ｂに示すフローチャートを用いて、本開示に係る移動体検出方法について説明する。
まず、図１３Ａに示すように、移動体検出装置１は、撮影装置２で撮影された画像データを取得する（Ｓ１）。

移動体検出装置１は、ステップＳ１で取得された画像データから、移動体を特定する移動ベクトルを検出する（Ｓ２）。

移動体検出装置１は、ステップＳ１で取得した画像データから、ステップＳ２で検出した移動ベクトルを含む領域を移動体領域Ｘ１として検知する（Ｓ３）。

移動体検出装置１は、ステップＳ３で検知した移動体領域Ｘ１から第１領域Ａ１及び第２領域Ａ２を設定する（Ｓ４）。

移動体検出装置１は、ステップＳ４で設定した第１領域Ａ１と第２領域Ａ２の画像成分を算出する（Ｓ５）。

移動体検出装置１は、第１領域Ａ１及び第２領域Ａ２を合わせた領域は、移動体領域Ｘ１であるか否かを判定する（Ｓ６）。具体的には、移動体検出装置１は、第１領域Ａ１及び第２領域Ａ２を合わせたサイズは、移動体領域Ｘ１のサイズと同じであるか否かを判定する。

第１領域Ａ１及び第２領域Ａ２を合わせた領域が移動体領域Ｘ１でないとき（Ｓ６でＮＯ）、移動体検出装置１は、第１領域Ａ１及び第２領域Ａ２を調整し（Ｓ７）、ステップＳ５の処理に戻る。

第１領域Ａ１及び第２領域Ａ２を合わせた領域が移動体領域Ｘ１であるとき（Ｓ６でＹＥＳ）、移動体検出装置１は、ステップＳ５で求めた第１領域Ａ１及び第２領域の画像成分の複数の組み合わせのうち、差分が最小の画像成分の組み合わせとなる第１領域Ａ１及び第２領域Ａ２で構成される画像データを、候補領域Ｘ２として決定する（Ｓ８）。

続いて、移動体検出装置１は、ステップＳ１で取得した画像データにおいて、移動体Ｍ１と移動体の影Ｍ２とで構成される角度θを算出する（Ｓ９）。

続いて、図１３Ｂに示すように、移動体検出装置１は、ステップＳ９で算出した角度θが、０°≦θ＜９０°であるか否かを判定する（Ｓ１０）。

０°≦θ＜９０°であるとき（Ｓ１０でＹＥＳ）、移動体検出装置１は、候補領域Ｘ２の画像データに対して、低周波フィルタで画像処理する（Ｓ１１）。

また、移動体検出装置１は、候補領域Ｘ２から所定の条件で画素ラインＬ３を選択する（Ｓ１２）。

移動体検出装置１は、ステップＳ１１で画像処理された候補領域Ｘ２の画像データから、ステップＳ１２で選択された画素ラインの画素を抽出し、パターンを演算する（Ｓ１３）。

移動体検出装置１は、ステップＳ１３の演算結果から移動体Ｍ１と影Ｍ２との分割点を特定する（Ｓ１４）。

移動体検出装置１は、候補領域Ｘ２から、ステップＳ１４で特定された分割点を移動体Ｍ１の下端とした領域を、最終的な移動体領域Ｘ３として変更する（Ｓ１５）。

また、ステップＳ１０で０°≦θ＜９０°でないとき（Ｓ１４でＮＯ）、移動体検出装置１は、候補領域Ｘ２を最終的な移動体領域Ｘ３として変更する（Ｓ１６）。

その後、移動体検出装置１は、ステップＳ１５又はＳ１６で得られた移動体領域Ｘ３に含まれる移動体Ｍ１を検出した移動体として出力する（Ｓ１７）。

［効果及び補足］
以上のように、本出願において開示する技術の例示として、上記実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施形態にも適用可能である。

《実施形態の概要》

（１）本開示の移動体検出装置は、撮影装置で撮影された画像データを取得する取得部と、画像データから移動する移動体及び当該移動体の影を移動ベクトルとして検出する検出部と、移動ベクトルを含む矩形領域を前記画像データから抽出し、移動体領域として検知する検知部と、検知された移動体領域の構成要素を画像の横方向で分析して影領域を特定し、当該影領域を除いて移動体領域を補正する補正部とを備える。

これにより、画像データから、移動体と移動体により形成される影とを区別し、移動体の検出精度を向上させることができる。

（２）（１）の移動体検出装置において、補正部は、矩形領域の右端を右辺とする又は左端を左辺とする所定の第１領域を設定すると共に、この第１領域に隣接して第１領域と同一のサイズの第２領域を設定する領域設定部と、第１領域を矩形領域において横軸方向の中央において縦軸方向に設定した第１中心線に向かって拡大するとともに、第２領域も前記第１領域に合わせて調整する調整部と、第１領域の第１画像成分と第２領域の第２画像成分とを算出する算出部と、第１画像成分と第２画像成分との差分が最小となる、第１画像成分と第２画像成分とで構成される画像データを移動体領域の候補領域とし、当該候補領域に含まれない部分を影領域とする候補決定部とを有してもよい。

これにより、影領域を含む移動ベクトルで形成される移動体領域を画像の横軸方向で縮小し、移動体の検出精度を向上させることができる。

（３）（２）の移動体検出装置において、領域設定部は、第１中心線より右側の移動ベクトルの密度が左側よりも高いとき、右辺が画像データの右端となる所定の第１領域を設定するとともに、右辺が第１領域の左辺と隣接し、第１領域と同画素数の第２領域を設定し、画像データにおいて第１中心線より左側の移動ベクトルの密度が右側よりも高いとき、左辺が画像データの左端となる所定の第１領域を設定するとともに、左辺が第１領域の左辺と隣接し、第１領域と同画素数の第２領域を設定してもよい。

これにより、移動体領域の画像成分に応じて、処理の順序を決定することができる。

（４）（２）の移動体検出装置において、補正部は、画像データにおいて移動体と当該移動体の影とで形成される角度が所定の範囲内であるとき、候補領域から、所定の縦方向の画素のパターンを演算する演算部と、パターンの程度が閾値以上の点を移動体領域の下端として移動体領域を変更する変更部とをさらに有し、角度が所定の範囲内でないとき、候補領域を移動体領域としてもよい。

これにより、移動体と移動体の影によって形成される角度に応じて移動体領域を画像の縦軸方向で縮小し、移動体の検出精度を向上させることができる。

（５）（４）の移動体検出装置において、撮影装置における画像データ撮影時の撮影装置の位置及び日時から、撮影時の太陽の位置を用いて、画像データに含まれる移動体と移動体の影とで形成される角度を算出する角度算出部をさらに有してもよい。

これにより、移動体と移動体の影の角度を求めて移動体領域を宿小し、移動体の検出精度を向上させることができる。

（６）（５）の移動体検出装置において、算出部は、第１画像成分及び第２画像成分として各領域の画素値の総和、高周波成分の総和又はヒストグラムを算出してもよい。

これにより、移動体領域の画像成分に応じて、処理の順序を決定することができる。

（７）（４）の移動体検出装置において、演算部は、候補領域の横軸方向の中央以外の画素を用いてパターンを演算してもよい。

これにより、移動体の領域を決定する際に本来の移動体の領域を切り取ることなく、正確に検出することができる。

（８）（４）の移動体検出装置において、演算部は、候補領域の画像データを低周波フィルタで処理した後に、パターンを演算してもよい。

これにより、移動体の領域を決定する際に画像において現れる被写体中の汚れやその他の若干の画素値の違い等に影響されずに処理することができる。

（９）本開示に係る移動物は、（１）の不具合検出装置を備える。

これにより、移動物に設置される撮影装置で撮影された画像データから、移動体を検出する際に、移動体と移動体により形成される影とを区別し、移動体の検出精度を向上させることができる。

（１０）本開示に係る移動体検出方法は、撮影装置で撮影された画像データを取得するステップと、画像データから移動体及び当該移動体の影を移動ベクトルとして検出するステップと、移動ベクトルを含む矩形領域を画像データから抽出し、移動体領域として検知する検知部と、検知された移動体領域の構成要素を画像の横方向で分析して影領域を特定し、影領域を除いて移動体領域を補正するステップと、を有する。

これにより、画像データから、移動体を検出する際に、移動体と移動体により形成される影とを区別し、移動体の検出精度を向上させることができる。

本開示の全請求項に記載の認証装置、認証システム、及び認証方法は、ハードウェア資源、例えば、プロセッサ、メモリ、及びプログラムとの協働などによって、実現される。

本開示の移動体検出装置、移動体検出方法及びプログラムは、車載カメラや監視カメラ等の撮影装置で撮影された画像からの移動体の検出に有用である。

１ 移動体検出装置
１０ 制御部
１１ 取得部
１２ 検出部
１３ 検知部
１４ 補正部
１５ 出力処理部
２０ 記憶部
３０ 通信Ｉ／Ｆ
２ 撮影装置

Claims (11)

1. 撮影装置で撮影された画像データを取得する取得部と、
   前記画像データから移動体及び当該移動体の影を移動ベクトルとして検出する検出部と、
   前記移動ベクトルを含む矩形領域を前記画像データから抽出し、移動体領域として検知する検知部と、
   検知された移動体領域の構成要素を画像の横方向で分析して影領域を特定し、当該影領域を除いて移動体領域を補正する補正部と、
   を備える移動体検出装置。
2. 前記補正部は、
   矩形領域の右端を右辺とする又は左端を左辺とする所定の第１領域を設定すると共に、この第１領域に隣接して第１領域と同一のサイズの第２領域を設定する領域設定部と、
   前記第１領域を前記矩形領域において横軸方向の中央において縦軸方向に設定した第１中心線に向かって拡大するとともに、前記第２領域も前記第１領域に合わせて調整する調整部と、
   前記第１領域の第１画像成分と前記第２領域の第２画像成分とを算出する算出部と、
   前記第１画像成分と前記第２画像成分との差分が最小となる、当該第１画像成分と当該第２画像成分とで構成される画像データを移動体領域の候補領域とし、当該候補領域に含まれない部分を前記影領域とする候補設定部と、
   を有する請求項１に記載の移動体検出装置。
3. 前記領域設定部は、
   前記第１中心線より右側の移動ベクトルの密度が左側よりも高いとき、右辺が当該画像データの右端となる所定の第１領域を設定するとともに、右辺が前記第１領域の左辺と隣接し、当該第１領域と同画素数の前記第２領域を設定し、前記画像データにおいて前記第１中心線より左側の移動ベクトルの密度が右側よりも高いとき、左辺が当該画像データの左端となる所定の第１領域を設定するとともに、左辺が前記第１領域の左辺と隣接し、当該第１領域と同画素数の前記第２領域を設定する
   請求項２に記載の移動体検出装置。
4. 前記補正部は、
   前記画像データにおいて前記移動体と当該移動体の影とで形成される角度が所定の範囲内であるとき、前記候補領域から、所定の縦方向の画素のパターンを演算する演算部と、
   前記パターンの程度が閾値以上の点を移動体領域の下端として移動体領域を変更する変更部とをさらに有し、
   前記角度が所定の範囲内でないとき、前記候補領域を移動体領域とする、
   請求項２又は３に記載の移動体検出装置。
5. 撮影装置における画像データ撮影時の撮影装置の位置及び日時から、撮影時の太陽の位置を用いて、前記画像データに含まれる前記移動体と当該移動体の影とで形成される角度を算出する角度算出部と、
   をさらに備える請求項４に記載の移動体検出装置。
6. 前記算出部は、第１画像成分及び第２画像成分として各領域の画素値の総和、高周波成分の総和又はヒストグラムを算出する
   請求項２乃至５のいずれか１に記載の移動体検出装置。
7. 前記演算部は、前記候補領域の横軸方向の中央以外の画素を用いて前記パターンを演算する
   請求項４に記載の移動体検出装置。
8. 前記演算部は、前記候補領域の画像データを低周波フィルタで処理した後に、前記パターンを演算する
   請求項４に記載の移動体検出装置。
9. 請求項１乃至８のいずれか１に記載の不具合検出装置を備える移動物。
10. 撮影装置で撮影された画像データを取得するステップと、
    前記画像データから移動体及び当該移動体の影を移動ベクトルとして検出するステップと、
    前記移動ベクトルを含む矩形領域を前記画像データから抽出し、移動体領域として検知する検知部と、
    検知された移動体領域の構成要素を画像の横方向で分析して影領域を特定し、当該影領域を除いて移動体領域を補正するステップと、
    を有する移動体検出方法。
11. 請求項１０に記載の移動体検出方法をコンピュータに実行させるプログラム。

Images