JP2007026327A - 物体検出装置、物体検出方法および物体検出プログラム - Google Patents

Abstract

【課題】背景差分法（あるいは、フレーム間差分法）を用いた画像処理において、静止物体も画像内から検出することを課題とする。
【解決手段】例えば、図１に例示するように、この物体検出装置は、現フレーム画像（２）と現フレーム画像（１）の座標変換後画像との差分を取ることにより、現フレーム画像（１）の座標変換後画像には現れていない物体を候補物体として検出し、その物体の判別を行う。続いて、物体判別の結果、その物体が特定の物体（注目すべき物体（例えば、歩行者））であれば、その物体が現フレーム画像（２）内に占める領域に対して補正を行う。そして、その補正後の現フレーム画像（２）について次に入力される現画像（３）を推定した座標変換を行って、現フレーム画像（２）の座標変換後画像を得る。
【選択図】 図１

Description

この発明は、現に入力される現画像と当該現画像の直前に入力された直前画像との差分に基づいて当該現画像に撮像されている特定の物体を検出する物体検出装置、物体検出方法および物体検出プログラムに関する。

従来より、画像処理を用いて移動物体を検出する方法として背景差分法（あるいは、フレーム間差分法）というものがある。例えば、特許文献１（特開昭６１−１６２７０２号公報）では、あらかじめ移動物体の存在しない背景画像を取得しておき、入力画像と背景画像との明度あるいは輝度を比較して差分を抽出する処理を行い、その差分処理結果に応じた２値化を行うことによって、移動物体領域を検出する方法が開示されている。

特開昭６１−１６２７０２号公報

しかし、上記した従来の技術は、以下に説明するように、静止物体については検出ができないという問題があった。

すなわち、背景差分法（あるいは、フレーム間差分法）においては、あらかじめ取得した背景画像と現時点の入力画像との間の差分を検出するものであるので、背景画像の中にはじめから静止物体があり、現時点においても引き続き静止している場合には、背景画像と入力画像との間で差分をとってもその静止物体は検出されないという問題がある。

例えば、図９に例示するように、現フレーム画像と、現フレーム画像の直前フレーム画像を座標変換した画像との差分を取ることによって歩行者が検出された場合に、その歩行者が静止状態のままであれば、次フレーム画像と現フレーム画像の座標変換後画像との差分を取ることはできず、静止歩行者は検出されないという問題がある。

なお、車載用の監視カメラなどにおいて静止している歩行者を認識することは、車両運転中に危険を予測し、いち早く危険を回避する上でとても重要である。

そこで、この発明は、上述した従来技術の課題を解決するためになされたものであり、背景差分法を用いた画像処理において、静止物体も画像内から検出することが可能な物体検出装置、物体検出方法および物体検出プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するため、請求項１に係る発明は、現に入力される現画像と当該現画像の直前に入力された直前画像との差分に基づいて当該現画像に撮像されている特定の物体を検出する物体検出装置において、前記現画像と直前画像の差分に基づいて特定の物体が検出する物体検出手段と、前記物体検出手段により前記現画像で特定の物体が検出された場合には、当該現画像における特定の物体の領域に対し、特定の物体が当該現画像から見かけ上消去されるように補正を行って前記直前画像を生成し、当該現画像で特定の物体が検出されなかった場合には、前記補正を行うことなく前記直前画像を生成する画像制御手段とを備え、前記画像制御手段により生成した直前画像と、次に入力される現画像との差分に基づいて特定の物体を検出するようにしたことを特徴とする。

また、請求項２に係る発明は、上記の発明において、前記画像制御手段は、前記物体検出手段により前記現画像で特定の物体が検出された場合には、当該現画像における特定の物体の領域に対し、特定の物体が当該現画像から見かけ上消去されるように補正を行いつつ座標変換を行って前記直前画像を生成し、前記物体検出手段により前記現画像で物体が検出されなかった場合には、前記補正を行うことなく座標変換を行って前記直前画像を生成することを特徴とする。

また、請求項３に係る発明は、上記の発明において、前記画像制御手段による補正の内容から当該物体が停止しているか否かを検知する検知手段と、当該検知手段による検知結果に応じて、警告を報知する警告報知手段と、をさらに備えたことを特徴とする。

また、請求項４に係る発明は、上記の発明において、前記警告報知手段は、前記物体検出手段により検出された物体の種類および位置のいずれか一つまたは複数を加味して警告を報知することを特徴とする。

また、請求項５に係る発明は、上記の発明において、前記検知手段による検知結果に応じて、車両を制御する車両制御手段をさらに備えたことを特徴とする。

また、請求項６に係る発明は、上記の発明において、前記車両制御手段は、前記物体検出手段により検出された物体の種類および位置のいずれか一つまたは複数を加味して車両を制御することを特徴とする。

また、請求項７に係る発明は、上記の発明において、現に入力される現画像と当該現画像の直前に入力された直前画像との差分に基づいて当該現画像に撮像されている特定の物体を検出する物体検出方法において、前記現画像と直前画像との差分に基づいて特定の物体を検出する物体検出工程と、前記物体検出工程により前記現画像で特定の物体が検出された場合には、当該現画像における特定の物体の領域に対し、特定の物体が当該現画像から見かけ上消去されるように補正を行って前記直前画像を生成し、当該現画像で特定の物体が検出されなかった場合には、前記補正を行うことなく前記直前画像を生成する画像制御工程とを備え、前記画像制御工程により生成した直前画像と、次に入力される現画像との差分に基づいて特定の物体を検出するようにしたことを特徴とする。

また、請求項８に係る発明は、上記の発明において、現に入力される現画像と当該現画像の直前に入力された直前画像との差分に基づいて当該現画像に撮像されている特定の物体を検出する方法をコンピュータに実行させる物体検出プログラムにおいて、前記現画像と直前画像との差分に基づいて特定の物体が検出する物体検出手順と、前記物体検出手順により前記現画像で特定の物体が検出された場合には、当該現画像における特定の物体の領域に対し、特定の物体が当該現画像から見かけ上消去されるように補正を行って前記直前画像を生成し、当該現画像で特定の物体が検出されなかった場合には、前記補正を行うことなく前記直前画像を生成する画像制御手順とを備え、前記画像制御手順により生成した直前画像と、次に入力される現画像との差分に基づいて特定の物体を検出する方法をコンピュータに実行させることを特徴とする。

請求項１、７または８の発明によれば、この物体検出装置は、現に入力されている現画像内で特定の注目すべき物体（例えば、歩行者）が検出された場合には、現画像内においてその物体が占める領域が見かけ上消去されるように（具体的には、次に入力される次画像との間で差分が取れる程度）補正を行うので、背景差分法（あるいは、フレーム間差分法）を用いた画像処理において、静止物体も画像内から検出することが可能となる。

また、請求項２の発明によれば、この物体検出装置は、現に入力されている現画像内で特定の注目すべき物体（例えば、歩行者）が検出された場合には、現画像内でその物体が占める領域が見かけ上消去されるように補正を行いつつ座標変換を行って直前画像を生成するので、背景差分法を用いた画像処理において、例えば、車載の撮像装置で画像を撮像する場合のように、移動しながら現画像に撮像された物体が静止していても、画像内から検出することが可能となる。

また、請求項３の発明によれば、画像において検出された物体が停止しているか否かを検知して、その検知結果に応じて警告を報知するので、物体の様々な状態に応じて適切な警告の報知が可能となる。例えば、物体が移動中であれば、走行レーンに飛び出してくる可能性を示唆する警告を報知し、物体が停止中であれば、突然動き出す可能性を示唆して注意を促すことなどができる。

また、請求項４の発明によれば、画像において検出された物体の種類および／または位置を加味して警告を報知するので、物体の種類および／または位置応じて適切な警告を報知することが可能となる。例えば、物体が子供であり、走行レーンのそばにいる場合には、走行レーンに飛び出してくる強い可能性を示唆して、強めの警告を報知することなどができる。

また、請求項５の発明によれば、画像において検出された物体が停止しているか否かを検知して、その検知結果に応じて車両を制御するので、物体の様々な状態に応じて適切に車両の制御が可能となる。例えば、物体が移動中であれば、走行レーンに飛び出してくることを考慮して、車両の速度を減速する制御を行うことなどができる。

また、請求項６の発明によれば、画像において検出された物体の種類および／または位置を加味して車両を制御するので、物体の種類および／または位置応じて適切に車両を制御することが可能となる。例えば、物体が子供であり、走行レーンのそばにいる場合には、走行レーンに飛び出してくる可能性が高いことを考慮して、車両を制動する制御を行うことなどができる。

以下に添付図面を参照して、この発明に係る物体検出装置、物体検出方法および物体検出プログラムの実施例を詳細に説明する。

以下の実施例１では、本発明に係る物体検出装置の概要および特徴、物体検出装置の構成および処理の流れを順に説明し、最後に実施例１による効果を説明する。

［物体検出装置の概要および特徴］
まず最初に、図１を用いて、実施例１に係る物体検出装置の概要および特徴を説明する。図１は、実施例１に係る物体検出装置の概要を説明する図である。同図に示すように、実施例１に係る物体検出装置は、現フレーム画像と現フレーム画像の直前に入力された直前フレーム画像との差分に基づいて、現画像内に撮像されている特定の物体を検出することを概要とする。ここで、この物体検出装置は、背景差分法（あるいは、フレーム間差分法）を用いた画像処理において、静止物体も画像内から検出することができる点に主たる特徴がある。

この主たる特徴について簡単に説明すると、例えば、図１に例示するように、車載の撮像装置によって画像を撮像する場合のように、移動しながら撮像した現フレーム画像（１）について、次に入力される現フレーム画像（２）を推定した座標変換を行って、現フレーム画像（１）の座標変換後画像を得る。

次に、現フレーム画像（２）と現フレーム画像（１）の座標変換後画像との差分を取ることにより、現フレーム画像（１）の座標変換後画像には現れていない物体を候補物体として検出し、その物体の判別を行う。ここで、物体の判別は、例えば、あらかじめ所持したテンプレートを検出された候補物体に順次あてはめるテンプレートマッチング手法を用いることにより、その候補物体が特定の注目すべき物体（例えば、歩行者）であるか否かを判別し、歩行者であれば大人あるいは子供のいずれかまで判定する。

続いて、物体判別の結果、その物体が特定の物体（注目すべき物体（例えば、歩行者））であれば、その物体が現フレーム画像（２）内に占める領域に対して補正を行う。ここで、この補正は、その物体が見かけ上消去されるように施す。具体的には、検出された物体の領域を、直前フレーム画像について座標変換した画像の同領域の背景で埋めることにより、見かけ上ではあるが注目すべき物体を完全に現フレーム画像から消去する。あるいは、検出された物体の領域を次フレーム画像との差分が取れる程度に、画素ごとの明度または輝度を下げるようにしてもよい。

そして、現フレーム画像（２）に前述の補正を行い、さらにその補正後の現フレーム画像（２）について次に入力される現画像（３）を推定した座標変換を行って、現フレーム画像（２）の座標変換後画像を得る。そして、現フレーム画像（３）と、現フレーム画像（２）の座標変換後画像との差分を取ることにより物体を検出する。なお、このような処理はフレーム画像の入力毎に順次行う（実際には、画像処理のタイミングごとに次のフレーム画像が入力される）。

つまり、現フレーム画像（２）において検出された物体が静止している場合には、現フレーム画像（３）における物体の位置と、現フレーム画像（２）の座標変換後画像における物体の位置が同一になるので、現フレーム画像（３）と現フレーム画像（２）の座標変換後画像との差分を取ってもこのままでは物体は検出されない。しかし、現フレーム画像（２）内において物体が占める領域について補正を行いつつ座標変換を行うことで、現フレーム画像（３）との間で差分を取ることができ、静止物体であっても画像内から検出することができる。

このように、実施例１に係る物体検出装置は、現に入力されている現画像内で特定の注目すべき物体（例えば、歩行者）が検出された場合には、現画像内においてその物体が占める領域が見かけ上消去されるように（具体的には、次に入力される次画像との間で差分が取れる程度）補正を行うので、背景差分法（あるいは、フレーム間差分法）を用いた画像処理において、静止物体も画像内から検出することが可能となる。

［物体検出装置の構成（実施例１）］
次に、図２を用いて、実施例１に係る物体検出装置３０の構成を説明する。図２は、実施例１に係る物体検出装置３０の構成を示すブロック図である。同図に示すように、この物体検出装置３０は、ナビ部１１、レーダ部１２、前処理部１３、物体判別装置１４に接続される。また、物体検出装置３０は、記憶部３１と、制御部３２とから構成される。

このうち、ナビ（ナビゲーション）部１１は、ＧＰＳ（Global Positioning System）人工衛星と通信を行って、特定した自動車の位置と地図データとから走行経路の設定および誘導を行う手段である。また、ナビ部１１は、自動車の位置情報や道路形状、路幅、傾斜など車両運転操作に有用な各種の情報を運転者に供給する。

レーダ部１２は、レーダ（例えば、７６．５ＧＨｚのミリ波）を照射して、前方の車両や障害物との距離や速度、方向などを測定する手段である。前処理部１３は、撮像装置１０（例えば、可視光カメラ）から送信されてくる画像に前処理を行う処理部であり、フィルタ部１３ａと輪郭抽出部１３ｂとから構成される。このうち、フィルタ部１３ａは、画像内に映し出された物体の輪郭を強調するための前処理（例えば、シャープネス、コントラスト調整、彩度調整）を行う手段である。また、輪郭抽出部１３ｂは、フィルタ部１３ａによって施されたフィルタリングに基づいて、画像内の物体の輪郭を抽出する手段である。

衝突危険度判定部１４は、物体検出装置および物体判別装置から受け付けた処理結果に基づいて、画像から検出された物体との衝突する危険度を予測して判定する処理部である。例えば、検出された物体が歩行者であって、車両の近くを移動中である場合や子供の場合には衝突危険度は高いと判定し、車両から離れた位置に静止中であれば衝突危険度は低いと判定する。なお、この衝突危険度判定部１５による処理結果は、車両制御部１６および報知制御部１７に送信される。

このうち、車両制御部１５は、衝突危険度判定処理部１５から受け付けた処理結果に基づいて、車両制御を行う処理部である。例えば、検出された物体との衝突危険度が高いとの判定結果を受け付けた場合には、車両を停止する制御を行う。また、検出された物体との衝突危険度が低いとの判定結果を受け付けた場合には、車両を減速する制御または車両制御のアシスト（例えば、ブレーキのあそびを少なくして、車両の制動準備をする）を行う。

報知制御部１６は、衝突危険度判定処理部１５から受け付けた処理結果に基づいて、警告の報知を行う処理部である。例えば、検出された物体との衝突危険度が高いとの判定結果を受け付けた場合には、車内通知部１８からアラーム音や音声などにより警告を報知する。また、検出された物体との衝突危険度が低いとの判定結果を受け付けた場合には、車内通知部１８から音声や画像によって注意を促す。

車内通知部１７は、ナビ部１１や報知制御部１７からの情報を通知する手段であり、例えば、ディスプレイやスピーカなどで構成される。

物体検出装置３０の記憶部３１は、制御部３２による各種処理に必要なデータを格納する格納手段（記憶手段）であり、特に本発明に密接に関連するものとしては、画像記憶部３１ａを備える。具体的には、この画像記憶部３１ａは、後述する画像制御部３２ａによって読み出されるまで順次入力される画像を一時的に記憶する。また、画像記憶部３２ａは、画像内から検出された候補物体を後述する物体判別部３２ｃにおいて判別するために用いるテンプレートなども記憶している。

物体検出装置３０の制御部３２は、所定の制御プログラム、各種の処理手順などを規定したプログラムおよび所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部であり、特に本発明に密接に関連するものとしては、画像制御部３２ａと、差分検出部３２ｂと、物体判別部３２ｃを備える。

このうち、画像制御部３２ａは、撮像装置１０から前処理部１３を介して入力された画像に各種処理を行う処理部であり、具体的には、次に画像が入力されるタイミングにおける車両の移動距離から、次に入力される画像を推定して現に入力されている画像について座標変換処理を行う。

また、画像制御部３２ａは、差分検出部３２ｂによって画像内から検出された候補物体が、特定の注目すべきもの（例えば、歩行者）であるとする判別結果を物体判別部３２ｃから受け付けた場合には、その特定の物体が画像内に占める領域に補正を行う。ここで、この補正は、特定の物体が検出された領域を、物体が検出された現画像の直前に座標変換した画像の同領域の背景で埋めることにより、見かけ上ではあるが完全に現フレーム画像から消去する。あるいは、検出された物体の領域を次フレーム画像との差分が取れる程度に、画素ごとの明度または輝度を下げるようにしてもよい。

差分検出部３２ｂは、撮像装置１０から前処理部１３を介して入力された画像内から、後述する物体判別部３２ｃの処理の対象となる候補物体が検出されたかどうか判定する処理部であり、具体的には、現に入力されている現画像とその直前に入力されている直前画像を座標変換した画像との各画素ごとの輝度あるいは明度の差分が存在する場合には、その差分として検出された領域（候補物体）に判別の対象となる特定の注目すべき物体が存在するものとして検出を行う。

物体判別部３２ｃは、差分検出部３２ｂによって画像内から検出された候補物体を詳細に判別する処理部であり、具体的には、候補物体に対して画像記憶部３２ｂに記憶されたテンプレートをあてはめて、候補物体の画素とテンプレートの画素とのマッチングの有無から、歩行者であれば大人あるいは子供のいずれであるかまで判別する。

［物体検出装置による処理（実施例１）］
次に、図３を用いて、実施例１に係る物体検出装置による処理を説明する。図３は、実施例１に係る物体検出装置の処理の流れを示すフローチャートである。同図に示すように、撮像装置１０から現画像の入力を受け付けると（ステップＳ３０１肯定）、画像制御部３２ａは、その現画像（図１の現フレーム画像（３）参照）の直前に入力された直前画像（図１の現フレーム画像（２）参照）を画像記憶部３２ａから読み出す（ステップＳ３０２）。続いて、物体検出部３２ｃに対してその直前画像の物体判別結果を要求する。

この要求を受け付けて、物体判別部３２ｃは、直前画像の物体判別結果を画像制御部３２ａに対して送信する。具体的には、差分検出部３２ｂによって現画像と直前画像との差分として判別の対象となる候補物体が検出され、物体判別部３２ｃがその候補物体の判別を行った結果、差分内の候補物体を注目すべき特定の物体であると判別した場合には（ステップＳ３０３肯定）、直前画像から注目すべき特定の物体を検出した旨の判別結果を画像制御部３２ａに送信する。

この判別結果を受け付けて、画像制御部３２ａは、まず、特定の物体が検出された直前画像内の領域に対して補正を施す（ステップＳ３０４）。この補正は、その物体が見かけ上消去されるように施す（具体的には、次に入力される次画像との間で差分が取れる程度）。続いて、補正を施したこの直前画像について座標変換を施す（ステップＳ３０４）。ここで、この座標変換は、次に画像が入力されるタイミングにおける車両の移動距離から、次に入力される画像（次フレーム画像）を推定して行う。

そして、差分検出部３２ｂは、現画像（図１の現フレーム画像（３）参照）と、補正および座標変換を施した直前画像（図１の現フレーム画像の座標変換後画像参照）との差分の検出を行う（ステップＳ３０５）。具体的には、現画像と直前画像との間において、各画像の画素ごとに輝度あるいは明度の差分を検出することにより行う。

その結果、差分が検出された場合には（ステップＳ３０６肯定）、その差分内に判別の対象となる候補物体が存在するものとして、差分検出部３２ｂは、物体判別部３２ｃに対して候補物体の判別の判別を行うよう指令を送信する。この指令を受けて、物体判別部３２ｃは、差分検出部３２ｂによって現画像と直前画像との差分として検出された候補物体の判別を行う。（ステップＳ３０７）。具体的には、画像内から検出された候補物体が注目すべき特定の物体（例えば、歩行者）であるか否かの判別を行う。

ここで、ステップＳ３０３の説明に戻ると、差分検出部３２ｂおよび物体判別部によって、直前画像から特定の注目すべき特定の物体が検出されなかった場合には（ステップＳ３０３否定）、その旨の判別結果を画像制御部３２ａに送信する。この判別結果を受け付けた画像制御部３２ａは、画像記憶部３１ａから読み出した直前画像に対して補正を行うことはないので、そのまま座標変換を施し（ステップＳ３０８）、差分検出部３２ｂによる次の差分検出処理へ進む。また、ステップＳ３０６の説明に戻ると、現画像と補正および座標変換を施した直前画像との間に差分が抽出されず、物体判別の対象となる候補物体を検出できなかった場合には、物体検出装置３０は、次フレームの入力画像に対する物体検出処理に備える。

なお、以上に説明した物体検出装置３０の処理は、フレーム画像の入力毎に順次繰り返し行われ（実際には、画像処理のタイミング毎に次のフレーム画像が入力される）、次の画像入力がなければ物体検出装置３０は処理を終了する。

［警告報知処理（１）（実施例１）］
続いて、図４を用いて、実施例１に係る警告報知処理（１）の流れを説明する。図４は、実施例１に係る警告報知処理（１）の流れを示すフローチャートである。同図に示すように、物体検出装置３０は、現画像（現フレーム画像）内から注目すべき特定の物体を検出すると（ステップＳ４０１肯定）、衝突危険度判定部１５に対して衝突危険度の判定を行うように指令を送る。この指令を受けて、衝突危険度判定部１５は、まず、その特定の物体の状態検知を開始する。（ステップＳ４０２）。

ここで、衝突危険度判定部１５は、画像内においてその特定の物体が占める領域に対して、画像制御部３２ａにより施される補正の位置によりその物体の状態（移動中もしくは静止）を検知する。例えば、現画像でその物体が検出された位置と、補正および座標変換を施した直前画像（直前フレーム画像）におけるその物体領域の位置とが同一であれば、その物体は静止状態であるものと検知し、補正の位置が異なればその物体は移動状態であるものと検知する。

そして、その特定の物体の状態検知結果に基づいて、衝突危険度判定部１５は、衝突危険度判定を行う（ステップＳ４０３）。この判定結果から、衝突危険度判定部１５は、その物体が移動中であれば（ステップＳ４０４肯定）、車両との衝突危険度が高いものと予測して、警告を報知するように報知制御部１７に対して指令を送る。この指令を受けて、警告報知部１７は、車内通知部１８から警告の報知（例えば、アラーム音や音声、あるいは画像による報知）を行って（ステップＳ４０５）、警告報知処理を終了する。

ここで、ステップＳ４０４の説明に戻ると、その特定の物体が移動中でない場合には（ステップＳ４０４否定）、衝突危険度判定部１５は、車両との衝突危険度が低いものと予測して、注意を促す報知するように報知制御部１７に対して指令を送る。この指令を受けて、警告報知部１７は、車内通知部１８から注意を促す報知（例えば、音声や画像による報知）を行って（ステップＳ４０６）、警告報知処理を終了する。

なお、警告の報知または注意を促す報知は、車両運転者に対するものであっても、同乗者がいる場合は同乗者に対するものであってもよい。また、強い警告を報知する場合には、車内通知部１８において警告の報知を優先するようにしてもよく、車両の衝突危険性が回避されるまで、繰り返し行われるようにしてもよい。

［警告報知処理（２）（実施例１）］
続いて、図５を用いて、実施例１に係る警告報知処理（２）の流れを説明する。図５は、実施例１に係る警告報知処理（２）の流れを示すフローチャートである。同図に示すように、物体検出装置３０は画像内から注目すべき特定の物体を検出すると（ステップＳ５０１肯定）、衝突危険度判定部１４に対して衝突危険度の判定を行うよう指令を送る。この指令を受けて、衝突危険度判定部１４は、物体判別部３２ｃに対してその特定の物体の種別を確認する要求を送信する。この要求を受けて、物体判別部３２ｃは、その特定の物体の種別を確認する。そして、物体判別部３２ｃは、衝突危険度判定部１５に対して、その確認結果を送る。

その特定の物体の種別確認結果の送信を受けて、衝突危険度判定部１５は、その物体の種別が子供である場合には（ステップＳ５０２肯定）、衝突危険度判定を行う（ステップＳ５０３）。衝突危険度判定部１５は、まず、検出された子供の位置を検知する。ここで、位置の検知は、ナビ部１１およびレーダ部１２を通じて車内通知部１８に映し出される画像から、検出された子供の車両に対する相対的な位置だけでなく、子供までの距離をも把握するようにしてもよい。

次に、検出された子供の位置検知の結果、現在車両が走行しているレーンに子供の位置が近いことが検知された場合には（ステップＳ５０４肯定）、衝突危険度判定部１５は、車両との衝突危険度が高いものと予測して、強い警告を報知するように報知制御部１７に対して指令を送る。この指令を受けて、報知制御部１７は、車内通知部１８から強い警告の報知（例えば、強いアラーム音や音声、あるいは視覚に印象的な画像による報知）を最優先に行って（ステップＳ５０５）、警告報知処理を終了する。

ここで、ステップＳ５０４の説明に戻ると、検出された子供の位置検知の結果、現在車両が走行しているレーンに子供の位置が近くないことが検知された場合には（ステップＳ５０４否定）、衝突危険度判定部１５は、車両との衝突危険度がそれほど高くないものと予測して、警告を報知するように報知制御部１７に対して指令を送る。この指令を受けて、報知制御部１７は、車内通知部１８から警告の報知（例えば、アラーム音や音声、あるいは画像による報知）を行って（ステップＳ５０６）、警告報知処理を終了する。

また、ステップＳ５０２の説明に戻ると、画像内から検出された特定の物体の種別確認の送信を物体判別部３２ｃから受けて、衝突危険度判定部１５は、その物体の種別が子供でない場合には（ステップＳ５０２否定）、車両との衝突危険度が低いものと予測して注意を促す報知するよう報知制御部１７に指令を送る。この指令を受けて、警告報知部１７は、車内通知部１８から注意を促す報知（例えば、音声や画像による報知）を行って（ステップＳ５０７）、警告報知処理を終了する。

［車両制御処理（１）（実施例１）］
続いて、図６を用いて、実施例１に係る車両制御処理（１）の流れを説明する。図６は、実施例１に係る車両制御処理（１）の流れを示すフローチャートである。同図に示すように、物体検出装置３０は画像内から注目すべき特定の物体を検出すると（ステップＳ６０１）、衝突危険度判定部１５に対してその物体の状態を検知するよう指令を送る。この指令を受けて、衝突危険度判定部１５は、その物体の状態検知を開始する。（ステップＳ６０２）。

ここで、衝突危険度判定部１５は、上述した警告報知処理（１）と同様に、画像制御部３２ａが、画像内で検出された物体が占める領域に行う補正の位置によりその特定の物体の状態（移動中もしくは静止）を検知する。例えば、現に入力されている画像でその物体が検出された位置と、その画像の直前に入力された画像を座標変換した画像において、座標変換を行う前に物体の占める領域に行った補正の位置とが同一であれば、その物体は静止状態であるものと検知し、補正の位置が異なればその物体は移動状態であるものと検知する。

そして、その特定の物体の状態検知の結果に基づいて、衝突危険度判定部１５は、衝突危険度判定を行う（ステップＳ６０３）。この判定結果から、衝突危険度判定部１５は、その物体が移動中であれば（ステップＳ６０４肯定）、車両との衝突危険度が高いものと予測して、車両を停止する制御を行うように車両制御部１６に対して指令を送る。この指令を受けて、車両制御部１６は、車両を停止する制御を行って（ステップＳ６０５）、車両制御部１６は車両制御処理を終了する。

ここで、ステップＳ６０４の説明に戻ると、その特定の物体が移動中でない場合には（ステップＳ６０４否定）、衝突危険度判定部１５は、車両との衝突危険度が低いものと予測して、車両を減速する制御を行うように車両制御部１６に対して指令を送る。この指令を受けて、車両制御部１６は、車両を減速する制御を行って（ステップＳ６０６）、車両制御処理を終了する。

［車両制御処理（２）（実施例１）］
続いて、図７を用いて、実施例１に係る車両制御処理（２）の流れを説明する。図７は、実施例１に係る車両制御処理（２）の流れを示すフローチャートである。同図に示すように、物体検出装置３０は画像内から注目すべき特定の物体を検出すると（ステップＳ７０１肯定）、衝突危険度判定部１４に対して衝突危険度の判定を行うよう指令を送る。この指令を受けて、衝突危険度判定部１４は、物体判別部３２ｃに対してその特定の物体の種別を確認する要求を送信する。この要求を受けて、物体判別部３２ｃは、その特定の物体の種別を確認する。そして、物体判別部３２ｃは、衝突危険度判定部１５に対して、その確認結果を送る。

その特定の物体の種別確認結果の送信を受けて、衝突危険度判定部１５は、その物体の種別が子供である場合には（ステップＳ７０２肯定）、衝突危険度判定を行う（ステップＳ７０３）。衝突危険度判定部１５は、まず、検出された子供の位置を検知する。ここで、位置の検知は、ナビ部１１およびレーダ部１２を通じて車内通知部１８に映し出される画像から、検出された子供の車両に対する相対的な位置だけでなく、子供までの距離をも把握するようにしてもよい。

次に、検出された子供の位置検知の結果、現在車両が走行しているレーンに子供の位置が近いことが検知された場合には（ステップＳ７０４肯定）、衝突危険度判定部１５は、車両との衝突危険度が高いものと予測して、車両を停止する制御を行うように車両制御部１６に対して指令を送る。この指令を受けて、車両制御部１６は、車両を停止する制御を行って（ステップＳ７０５）、車両制御処理を終了する。

ここで、ステップＳ７０４の説明に戻ると、検出された子供の位置検知の結果、現在車両が走行しているレーンに子供の位置が近くないことが検知された場合には（ステップＳ７０４否定）、衝突危険度判定部１５は、車両との衝突危険度がそれほど高くないものと予測して、車両を減速する制御を行うように車両制御部１６対して指令を送る。この指令を受けて、車両制御部１６は、車両を減速する制御を行って（ステップＳ７０６）、車両制御処理を終了する。

ここで、ステップＳ７０２の説明に戻ると、画像内から検出された特定の物体の種別確認の送信を物体判別部３２ｃから受けて、衝突危険度判定部１５は、その物体の種別が子供でない場合には（ステップＳ７０２否定）、車両との衝突危険度が低いものと予測して車両制御のアシスト（例えば、ブレーキのあそびを少なくして、車両の制動準備をする）を行うように車両制御部１６に対して指令を送る。この指令を受けて、車両制御部１６は、車両制御のアシストを行って（ステップＳ７０７）、車両制御処理を終了する。

［実施例１の効果］
上述してきたように、実施例１によれば、この物体検出装置３０は、この物体検出装置は、現に入力されている現画像内で特定の注目すべき物体（例えば、歩行者）が検出された場合には、現画像内においてその物体が占める領域が見かけ上消去されるように（具体的には、次に入力される次画像との間で差分が取れる程度）に補正を行うので、背景差分法（あるいは、フレーム間差分法）を用いた画像処理において、静止物体も画像内から検出することが可能となる。

また、実施例１によれば、この物体検出装置３０、現に入力されている現画像内で特定の注目すべき物体（例えば、歩行者）が検出された場合には、現画像内でその物体が占める領域が見かけ上消去されるように補正を行いつつ座標変換を行って直前画像を生成するので、背景差分法を用いた画像処理において、例えば、車載の撮像装置で画像を撮像する場合のように、移動しながら現画像に撮像された物体が静止していても、画像内から検出することが可能となる。

また、実施例１によれば、画像において検出された物体が停止しているか否かを検知して、その検知結果に応じて警告を報知するので、物体の様々な状態に応じて適切な警告の報知が可能となる。例えば、物体が移動中であれば、走行レーンに飛び出してくる可能性を示唆する警告を報知し、物体が停止中であれば、突然動き出す可能性を示唆して注意を促すことなどができる。

また、実施例１によれば、画像において検出された物体の種類および／または位置を加味して警告を報知するので、物体の種類および／または位置応じて適切な警告を報知することが可能となる。例えば、物体が子供であり、走行レーンのそばにいる場合には、走行レーンに飛び出してくる強い可能性を示唆して、強めの警告を報知することなどができる。

また、実施例１によれば、画像において検出された物体が停止しているか否かを検知して、その検知結果に応じて車両を制御するので、物体の様々な状態に応じて適切に車両の制御が可能となる。例えば、物体が移動中であれば、走行レーンに飛び出してくることを考慮して、車両の速度を減速する制御を行うことなどができる。

また、実施例１によれば、画像において検出された物体の種類および／または位置を加味して車両を制御するので、物体の種類および／または位置応じて適切に車両を制御することが可能となる。例えば、物体が子供であり、走行レーンのそばにいる場合には、走行レーンに飛び出してくる強い可能性が高いことを考慮して、車両を制動する制御を行うことなどができる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、実施例２として、本発明に係る異なる実施の形態を（１）〜（４）に区分けして説明する。

（１）補正および座標変換の対象
上記の実施例では、現画像内から検出された物体が注目すべき特定の物体（例えば、歩行者）である場合に、現画像内でその物体が占める領域について補正を行いつつ座標変換を行って直前画像を生成する場合について説明したが、本発明はこれに限定されるものではなく、現画像から検出された物体が注目すべき特定の物体であるか否かにかかわらず（物体判別部３２ｃによる物体判別結果に関係なく）、補正を行いつつ座標変換を行って直前画像を生成するようにしてもよい。これにより、背景差分法（あるいは、フレーム間差分法）を用いた画像処理において、現画像内に撮像された物体を全て検出することが可能となる。

（２）移動せずに撮像された画像の画像処理
上記の実施例では、車載の撮像装置によって撮像する画像のように、移動しながら撮像した画像に対して画像処理を行って、静止物体も画像内から検出する場合について説明したが、本発明はこれに限定されるものでなく、例えば、固定物に取り付けられた撮像装置によって移動せずに撮像された画像について画像処理を行って、静止物体も画像内から検出するようにしてもよい。これにより、背景差分法を用いた画像処理において、例えば、交差点などに設置された交通流監視カメラによって撮像された画像から静止物体も検出することが可能となる。

また、例えば、固定物に取り付けられた撮像装置によって移動せずに撮像された画像について画像処理を行って検出された物体が注目すべき特定の物体（例えば、歩行者）である場合には、現画像内でその物体が占める領域について補正を行うようにしてもよい。これにより、背景差分法を用いた画像処理において、現画像に撮像された物体のうち注目すべき物体が静止していても画像内から検出することが可能となる。

（３）装置構成
図２示した物体検出装置３０の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、物体検出装置３０の分散・統合の具体的形態は図示のものに限られず、例えば、画像制御部３２ａと差分検出部３２ｂを統合するなど、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、物体検出装置３０にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

（４）物体検出プログラム
ところで、上記の実施例１で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、図８を用いて、上記の実施例１と同様の機能を有する物体検出プログラムを実行するコンピュータの一例を説明する。図８は、物体検出プログラムを実行するコンピュータを示す図である。

同図に示すように、物体検出装置としてのコンピュータ４０は、ＨＤＤ４１、ＲＡＭ４２、ＲＯＭ４３およびＣＰＵ４４をバス５０で接続して構成される。

そして、ＲＯＭ４３には、上記の実施例１に示した物体検出装置３０と同様の機能を発揮する物体検出プログラム、つまり、図８に示すように、画像制御プログラム４３ａ、差分検出プログラム４３ｂおよび物体判別プログラム４３ｃがあらかじめ記憶されている。なお、これらのプログラム４３ａ、４３ｂおよび４３ｃについては、図２に示した物体検出装置３０の各構成要素と同様、適宜統合または分散してもよい。なお、ＲＯＭ４３は、不揮発性の「ＲＡＭ」でもよい。

そして、ＣＰＵ４４が、これらのプログラム４３ａ、４３ｂおよび４３ｃをＲＯＭ４３から読み出して実行することで、図８に示すように、各プログラム４３ａ、４３ｂおよび４３ｃは、画像制御プロセス４４ａ、差分検出プロセス４４ｂおよび物体判別プロセス４４ｃとして機能するようになる。なお、各プロセス４４ａ、４４ｂおよび４４ｃは、図２に示した画像制御部３２ａ、差分検出部３２ｂおよび物体判別部３２ｃにそれぞれ対応する。

また、ＨＤＤ４１には、図８に示すように、画像テーブル４１ａが設けられる。この画像テーブル４１ａは、図２に示した画像記憶部３１ａに対応する。そして、ＣＰＵ４４は画像テーブル４１ａから画像データ４２ａを読み出してＲＡＭ４２に格納し、ＲＡＭ４２に格納された画像データ４２ａに基づいて物体検出処理を実行する。

なお、上記した各プログラム４３ａ、４３ｂおよび４３ｃについては、必ずしも最初からＲＯＭ４３に記憶させておく必要はなく、例えば、コンピュータ４０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータ４０の内外に備えられるＨＤＤなどの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ４０に接続される「他のコンピュータ（またはサーバ）」などに各プログラムを記憶させておき、コンピュータ４０がこれらから各プログラムを読み出して実行するようにしてもよい。

以上のように、本発明に係る物体検出装置、物体検出方法および物体検出プログラムは、現に入力される現画像と当該現画像の直前に入力された直前画像との差分から当該現画像に撮像されている物体を検出する場合に有用であり、特に、背景差分法（あるいは、フレーム間差分法）を用いた画像処理において、静止物体も画像内から検出することに適する。

実施例１に係る物体検出装置の概要を示す図である。 実施例１に係る物体検出装置の構成を示すブロック図である。 実施例１に係る物体検出処理の流れを示すフローチャートである。 実施例１に係る警告報知処理（１）の流れを示すフローチャートである。 実施例１に係る警告報知処理（２）の流れを示すフローチャートである。 実施例１に係る車両制御処理（１）の流れを示すフローチャートである。 実施例１に係る車両制御処理（２）の流れを示すフローチャートである。 物体検出プログラムを実行するコンピュータを示す図である。 従来技術を説明するための図である。

符号の説明

１０ 撮像装置
１１ ナビ（ナビゲーション）部
１２ レーダ部
１３ 前処理部
１３ａ フィルタ部
１３ｂ 輪郭抽出部
１４ 衝突危険度判定部
１５ 車両制御部
１６ 報知制御部
１７ 車内通知部
３０ 物体検出装置
３１ 記憶部
３１ａ 画像記憶部
３２ 制御部
３２ａ 画像制御部
３２ｂ 差分検出部
３２ｃ 物体判別部
４０ コンピュータ
４１ ＨＤＤ（Hard disk drive）
４２ ＲＡＭ（Random Access Memory）
４３ ＲＯＭ（Read Only Memory）
４４ ＣＰＵ（Central Processing Unit）
５０ バス

Claims (8)

1. 現に入力される現画像と当該現画像の直前に入力された直前画像との差分に基づいて当該現画像に撮像されている特定の物体を検出する物体検出装置において、
   前記現画像と直前画像の差分に基づいて特定の物体が検出する物体検出手段と、
   前記物体検出手段により前記現画像で特定の物体が検出された場合には、当該現画像における特定の物体の領域に対し、特定の物体が当該現画像から見かけ上消去されるように補正を行って前記直前画像を生成し、当該現画像で特定の物体が検出されなかった場合には、前記補正を行うことなく前記直前画像を生成する画像制御手段とを備え、前記画像制御手段により生成した直前画像と、次に入力される現画像との差分に基づいて特定の物体を検出するようにしたことを特徴とする物体検出装置。
2. 前記画像制御手段は、前記物体検出手段により前記現画像で特定の物体が検出された場合には、当該現画像における特定の物体の領域に対し、特定の物体が当該現画像から見かけ上消去されるように補正を行いつつ座標変換を行って前記直前画像を生成し、前記物体検出手段により前記現画像で物体が検出されなかった場合には、前記補正を行うことなく座標変換を行って前記直前画像を生成することを特徴とする請求項１に記載の物体検出装置。
3. 前記画像制御手段による補正の内容から当該物体が停止しているか否かを検知する検知手段と、
   当該検知手段による検知結果に応じて、警告を報知する警告報知手段と、
   をさらに備えたことを特徴とする請求項１に記載の物体検出装置。
4. 前記警告報知手段は、前記物体検出手段により検出された物体の種類および位置のいずれか一つまたは複数を加味して警告を報知することを特徴とする請求項３に記載の物体検出装置。
5. 前記検知手段による検知結果に応じて、車両を制御する車両制御手段をさらに備えたことを特徴とする請求項１に記載の物体検出装置。
6. 前記車両制御手段は、前記物体検出手段により検出された物体の種類および位置のいずれか一つまたは複数を加味して車両を制御することを特徴とする請求項５に記載の物体検出装置。
7. 現に入力される現画像と当該現画像の直前に入力された直前画像との差分に基づいて当該現画像に撮像されている特定の物体を検出する物体検出方法において、
   前記現画像と直前画像との差分に基づいて特定の物体を検出する物体検出工程と、
   前記物体検出工程により前記現画像で特定の物体が検出された場合には、当該現画像における特定の物体の領域に対し、特定の物体が当該現画像から見かけ上消去されるように補正を行って前記直前画像を生成し、当該現画像で特定の物体が検出されなかった場合には、前記補正を行うことなく前記直前画像を生成する画像制御工程とを備え、前記画像制御工程により生成した直前画像と、次に入力される現画像との差分に基づいて特定の物体を検出するようにしたことを特徴とする物体検出方法。
8. 現に入力される現画像と当該現画像の直前に入力された直前画像との差分に基づいて当該現画像に撮像されている特定の物体を検出する方法をコンピュータに実行させる物体検出プログラムにおいて、
   前記現画像と直前画像との差分に基づいて特定の物体が検出する物体検出手順と、
   前記物体検出手順により前記現画像で特定の物体が検出された場合には、当該現画像における特定の物体の領域に対し、特定の物体が当該現画像から見かけ上消去されるように補正を行って前記直前画像を生成し、当該現画像で特定の物体が検出されなかった場合には、前記補正を行うことなく前記直前画像を生成する画像制御手順とを備え、前記画像制御手順により生成した直前画像と、次に入力される現画像との差分に基づいて特定の物体を検出する方法をコンピュータに実行させることを特徴とする物体検出プログラム。

Images