JP2005311584A - 移動物体検知装置 - Google Patents

Abstract

【課題】 撮像する部分の輝度が周期的に変化しても、輝度変化の影響を受けることなく、移動する物体を検知する
【解決手段】 複数のタイミングで画像を撮像し、撮像した複数の画像の中から所定の差分周期毎に複数の画像間の差分を抽出して移動する物体を検知する移動物体検知装置において、ウィンカ信号の点滅周期を取得し、このウィンカの点滅周期と差分周期を一致させる（Ｓ１０２）。
【選択図】 図４

Description

本発明は、所定の周期で画像を撮像し、撮像した複数の画像の中から所定の差分周期毎に複数の画像間の差分を抽出して移動する物体を検知する移動物体検知装置に関する。

従来、カメラを用いて車両周辺の画像を所定の周期で撮影し、撮影した複数の画像の差分を抽出して移動する物体を検出するものがある（例えば、特許文献１参照）。

このようなカメラを用いて撮像した複数の画像の差分を抽出する手法として、フレーム間差分方式と背景差分方式が挙げられる。

フレーム間差分方式は、カメラを用いて撮像される複数の画像について、所定の差分周期で複数の画像間の差分を抽出するものである。図５（ａ）、（ｂ）に示すように、移動前の画像と移動後の画像に差分がある場合、図５（ｃ）の差分画像に示すように、移動した物体のみが抽出され差分として現れる。図５（ａ）〜（ｃ）に示す例では、移動した物体Ａが差分画像に現れ、移動しない物体Ｂは差分画像に現れない。このように、移動した物体Ａのみを抽出する。

また、背景差分方式は、予め撮像した背景画像を記録しておき、この背景画像とカメラによって撮像された画像の差分を抽出するものである。図６（ａ）、（ｂ）に示すように、背景画像と物体進入後の画像に差分がある場合、図６（ｃ）の差分画像に示すように、進入した物体のみが抽出され差分として現れる。図６（ａ）〜（ｃ）に示す例では、進入した物体Ｃが差分画像に現れ、背景画像に含まれる物体Ｄは差分画像に現れない。このように移動した物体Ｃのみを抽出する。

これらの方式は、単純な処理で、比較的高い精度で移動する物体を検知できるため、例えば、車両への侵入者を検知してユーザへの通知や警報の発生を行う盗難防止装置や車両周辺の画像をディスプレイに表示させるとともに車両近傍の歩行者、自転車などを検知して運転者に知らせる視覚支援システム等に利用される。
特開２００３−４４９９６号公報

上記した視覚支援システムにより、例えば、右左折のために信号待ちで停車中の車両において、車両近傍の自転車やバイク等を検知して運転者に警告することにより、右左折時の巻き込み事故を防止することが可能となる。

しかし、このような場合、車両の右左折時に車両のウィンカが点滅すると、このウィンカの点滅の影響によりカメラによって撮像される部分の輝度が変化する場合がある。このように、カメラによって撮像される部分の輝度が変化してしまうと、フレーム間差分方式や背景差分方式を用いて物体を検知するシステムでは、移動する物体がないのに移動する物体があるように誤認してしまうといった問題が生じる。

図７は、ウィンカを所定周期で点滅させるウィンカ信号とこのウィンカ信号の入力に応じて所定周期で点滅するウィンカの輝度特性を示す図である。ウィンカは、法令により１秒間に１〜２回点滅する。また、ウィンカの多くは、白熱電球が使用されているため、ウィンカ信号の立ち上りに対してゆっくり明るくなり、また、ウィンカ信号の立ち下がりに対してゆっくり暗くなる特性を有している。

また、ウィンカの輝度変化により車両のボディや車両周辺の路面等、ウィンカ周辺の輝度も同じ周期で変化する。

そして、図８（ａ）に示すように、ウィンカの輝度変化によりカメラにより撮像される部分の輝度が変化すると、図８（ｂ）に示すように、物体の移動がなくても移動する物体があるように誤認してしまう。

この結果、右左折時に巻き込み事故などが多いにもかかわらずウィンカの点滅の影響により正しく車両近傍の自転車等を検知できないという問題があった。

本発明は上記問題に鑑みたもので、撮像する部分の輝度が周期的に変化しても、輝度変化の影響を受けることなく、移動する物体を検知することを目的とする。

上記目的を達成するため、請求項１に記載の発明では、複数のタイミングで画像を撮像し、撮像した複数の画像の中から所定の差分周期毎に複数の画像間の差分を抽出して移動する物体を検知する移動物体検知装置であって、所定の周期で画像を撮像し、撮像した複数の画像を出力する撮像手段と、撮像手段によって撮像される部分の輝度変化の周期を取得する周期取得手段と、周期取得手段が取得した撮像手段によって撮像される部分の輝度変化の周期と撮像手段が画像を撮像する差分周期とを一致させる一致手段と、を備えたことを特徴としている。

このように、一致手段は、周期取得手段が取得した撮像手段によって撮像される部分の輝度変化の周期と撮像手段が画像を撮像する差分周期とを一致させるので、撮像する部分の輝度が周期的に変化しても、輝度変化の影響を受けることなく、移動する物体を検知することができる。

また、請求項２に記載の発明のように、周期取得手段は、自車両に備えられ、撮像手段によって撮像される部分の輝度を周期的に変化させる機器を制御する制御信号に基づいて、撮像手段によって撮像される部分の輝度変化の周期を取得することができる。

また、請求項３に記載の発明のように、周期取得手段は、自車両に備えられ、撮像手段によって撮像される部分の輝度を周期的に変化させるウィンカを制御するウィンカ信号に基づいて、撮像手段によって撮像される部分の輝度変化の周期を取得することができる。

また、請求項４に記載の発明のように、周期取得手段は、撮像手段によって撮像された画像の一部の画素または全部の画素の輝度の平均値、中央値、最頻値の少なくとも１つを求め、求めた値に基づいて撮像手段によって撮像される部分の輝度変化の周期を取得することができる。

また、請求項５に記載の発明のように、一致手段は、撮像手段によって撮像された画像を複数の領域に分割し、分割した領域毎に周期取得手段が取得した撮像手段によって撮像される部分の輝度変化の周期と差分周期とを一致させることができる。

また、請求項６に記載の発明では、所定のサンプリング周期で画像を撮像し、撮像した複数の画像間の差分を抽出して移動する物体を検知する移動物体検知装置であって、画像を所定のサンプリング周期で撮像する撮像手段と、撮像手段によって撮像される部分の輝度変化の周期を取得する周期取得手段と、周期取得手段が取得した撮像手段によって撮像される部分の輝度変化の周期と撮像手段が画像を撮像するサンプリング周期とを一致させる一致手段と、を備えたことを特徴としている。

このように、一致手段は、周期取得手段が取得した撮像手段によって撮像される部分の輝度変化の周期と撮像手段が画像を撮像するサンプリング周期とを一致させるので、撮像する部分の輝度が周期的に変化しても、輝度変化の影響を受けることなく、移動する物体を検知することができる。

また、請求項７に記載の発明のように、一致手段は、サンプリング周期を商用電源の周期に同期させることができる。

本発明の一実施形態に係る移動物体検知装置の構成を図１に示す。図に示すように、移動物体検知装置１は、車両に取り付けられ車両周辺の画像を撮像し撮像した画像データを出力するカメラ２０、このカメラ２０によって撮像された画像を処理し、移動物体を検知する処理装置１０、この処理装置１０から入力される信号に応じて処理装置１０の処理した結果や画像を表示するディスプレイ３０を備えている。

処理装置１０は、通常のコンピュータとして構成されており、内部には、各種演算処理を行うＣＰＵ１１、プログラムなどのデータが記憶されたＲＯＭ１２、一時的にデータを記憶するためのＲＡＭ１３、カメラ２０から入力される画像データをバスへ出力する画像入力部１４、自車両に備えられたウィンカやスピーカ（いずれも図示せず）などの外部機器との信号の入出力を行うインタフェース（図中では、Ｉ／Ｆと記す）部１５、ディスプレイ３０に表示する画像データを出力する画像出力部１６およびこれらの構成を接続するバスラインが備えられている。

インタフェース部１５は、スピーカにブザー音や音声を発生させるための信号を出力する。また、インタフェース部１５には、ウィンカを制御するための回路に設けられたリレーから、ウィンカを点滅させるためのウィンカ信号が入力される。

ＣＰＵ１１は、ＲＯＭ１２に記憶されたプログラムを読み出し、必要に応じてデータのＲＡＭ１３への書き込み、読み出しを行って所定の演算処理を行う。

ディスプレイ３０は、液晶ディスプレイ等の表示画面を有し、画像出力部１６からの映像信号の入力に応じて液晶ディスプレイ等の表示面に当該映像を表示する。

カメラ２０は、図２に示すカメラ内蔵ドアミラーに内蔵され、所定のサンプリング周期で車両周辺の画像（動画像）を撮像し、撮像した画像をフレームとして出力する。なお、本実施形態におけるカメラ２０のサンプリング周波数（サンプリング周期の逆数）は、３０フレーム／秒となっている。また、カメラ２０は、複数のカメラによって構成されてもよく、また、プリズムを内蔵した１台のカメラを用いて広角範囲の画像を撮像してもよい。

また、車両には複数のウィンカ４０が備えられ、これらのウィンカ４０が点滅すると、図２に示すように、ウィンカ４０の点滅に同期してウィンカ４０の周辺領域の輝度が変化する。

また、図２に示す物体検知領域が、移動物体検知装置１の物体検知可能領域である。この物体検知領域に自転車５０が侵入すると、自転車５０は移動物体として検知される。

上記した構成において、処理装置１０には、カメラ２０から所定のサンプリング周期で撮像された画像が入力され、ＲＡＭ１３に記憶される。ＣＰＵ１１は、ＲＡＭ１３に記憶された複数の画像の中から予め定められた差分周期毎に複数の画像間の差分を抽出し、差分があるか否かを判定する差分処理を行う。

次に、図３を参照して、ウィンカの点滅周期と差分周期を同期させた場合と同期させない場合のウィンカの点滅による差分画像の違いについて説明する。

ウィンカの点滅周期（ウィンカ信号のオン、オフ周期）と差分周期を同期させない場合、すなわち、ウィンカの点滅周期と差分周期を一致させない場合、差分処理において、例えば、Ｔａ２とＴｂ２の各タイミングの画像の差分を抽出することになる。この場合、ウィンカの点滅の影響によって２つの画像間の輝度が異なるため、図３（ｂ）に示すように、物体の移動がなくても移動する物体があるように差分画像に現れる。

一方、ウィンカの点滅周期と差分周期を同期させた場合、すなわち、ウィンカの点滅周期と差分周期を一致させた場合、ウィンカ信号と差分周期が同期するため、差分処理において、例えば、Ｔａ１とＴａ２の各タイミングの画像の差分を抽出することになる。この場合、ウィンカの点滅の影響による２つの画像間の輝度が等しくなるため、図３（ｂ）に示すように、物体の移動がない場合には差分画像に現れない。

このように、ウィンカの点滅周期と差分周期を一致させることによって、ウィンカの点滅の影響を受けることなく、移動する物体を検知することが可能となる。

次に、図４を参照して、車両停車時における処理装置１０のＣＰＵ１１の処理について説明する。移動物体検知装置１の電源がオンされると、ＣＰＵ１１は、図３に示す処理を定期的に行う。

まず、自車両のウィンカが作動中（ＯＮ）であるか否かを判定する。具体的には、インタフェース部１５を介して入力される自車両のウィンカの点滅を制御するウィンカ信号が所定の周期でオン、オフを繰り返しているか否かに基づき、ウィンカが作動中であるか否かを判定する（Ｓ１００）。

ここで、ウィンカが作動中であると判定した場合（Ｓ１００でＹＥＳと判定）、ウィンカ信号のオン、オフ周期（ウィンカ点滅周期）と差分周期とを一致させる。なお、ウィンカの点滅周期は１秒間に１〜２回であるため、この点滅周期と差分周期を一致させる。これにより、ウィンカ信号と差分周期が同期し、ウィンカの点滅による影響を排除できる（Ｓ１０２）。

次に、差分処理を行う。具体的には、カメラ２０によって撮像された複数の画像の中から、差分周期毎、すなわち、ウィンカ信号のオン、オフ周期毎に複数の画像間の差分を抽出する（Ｓ１１２）。

次に、差分処理によって、複数の画像間の差分が抽出されたか否かに基づき、移動する物体があるか否かを判定する（Ｓ１１４）。

ここで、移動する物体が検知された場合、障害物があると判定し（Ｓ１１４でＹＥＳと判定）、運転者に警報を発生させる。具体的には、スピーカに音声を発生させる信号を出力してスピーカから警報を発生させるとともに、ディスプレイ３０に画像信号を出力し、検知した物体を表示させて本処理を終了する。

また、Ｓ１００において、ウィンカが作動中（ＯＮ）でないと判定した場合（Ｓ１００でＮＯと判定）、カメラ２０によって撮像される部分の輝度変化の周期を計測する。ここでは、例えば、カメラ２０によって撮像される部分の輝度が、隣の車両のウィンカの点滅の影響によって変化する状況を想定している。具体的には、カメラ２０から入力される複数の画像について、画像毎に画像全部の画素の輝度の平均値を求め、この平均値に基づいてカメラ２０によって撮像される部分の輝度変化の周期を計測する（Ｓ１０４）。

ここで、輝度変化の周期が計測されたか否かに基づき、輝度変化に周期性があるか否かを判定する（Ｓ１０６）。

ここで、輝度変化の周期が計測された場合、輝度変化に周期性があると判定し（Ｓ１０６でＹＥＳと判定）、この計測された輝度変化の周期と差分周期を一致させ（Ｓ１０８）、Ｓ１１２の処理へ進む。

また、Ｓ１０６において、輝度変化の周期が計測されない場合、輝度変化に周期性がないと判定し（Ｓ１０６でＮＯと判定）、差分周期を予め定められた規定値と一致させ（Ｓ１１０）、Ｓ１１２の処理へ進む。

上記したように、移動物体検知装置１は、所定の周期で画像を撮像し、撮像した複数の画像を出力するカメラ２０を備え、処理装置１０は、このカメラ２０によって撮像される部分の輝度変化の周期を取得し、取得した輝度変化の周期とカメラ２０が画像を撮像する差分周期とを一致させるので、撮像する部分の輝度が周期的に変化しても、輝度変化の影響を受けることなく、移動する物体を検知することができる。

なお、上記実施形態において、撮像手段は、カメラ２０に相当し、周期取得手段は、インタフェース部１５を介して入力されるウィンカ信号のオン、オフ周期を取得する処理およびカメラ２０によって撮像される部分の輝度変化の周期を計測する処理に相当し、一致手段は、図４のＳ１０２、Ｓ１０８に相当する。

なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。

例えば、上記実施形態におけるＣＰＵは、図４のＳ１０４において、カメラから入力される複数の画像について、各画像の全部の画素の輝度の平均値を求め、この平均値に基づいてカメラによって撮像される部分の輝度変化の周期を計測する例について示したが、例えば、受光センサを備え、この受光センサによって、カメラにより撮像される部分の輝度変化を検出してもよい。

また、カメラによって撮像される部分の輝度変化に影響を与える情報、例えば、隣の車両のウィンカを点滅させるためのウィンカ信号を、車々間通信等によって取得してもよい。

また、上記実施形態におけるＣＰＵは、カメラから入力される複数の画像について、各画像の全部の画素の輝度の平均値を計測する求め、この平均値に基づいてカメラによって撮像される部分の輝度変化の周期を計測する例について示したが、各画像の一部の画素の輝度の平均値を計測する求め、この平均値に基づいてカメラによって撮像される部分の輝度変化の周期を計測してもよい。

また、上記実施形態において、カメラによって撮像される部分の輝度が自車両または隣の車両のウィンカの点滅によって変化する場合を例に説明したが、例えば、フロントガラス越しに車両前方を撮像するように車室内にカメラが備えられた場合、ワイパが作動するとワイパがカメラによって撮像される場合が考えられる。この場合、ワイパの作動によってカメラによって撮像される部分に輝度が変化することが考えられるため、ＣＰＵは、ワイパを制御するためのワイパ信号と差分周期を一致させればよい。

また、例えば、路上の蛍光灯によってカメラによって撮像される部分が照らされる場合、蛍光灯の点滅周期（商用電源の周期である１／５０Ｈｚまたは１／６０Ｈｚ）の方がカメラのサンプリング周期よりも短くなる場合がある。この場合、差分周期をサンプル周期よりも短くすることはできないため、蛍光灯の点滅周期とサンプリング周期を同期させればよい。この場合、例えば、外部から入力される同期信号に応じてサンプリング周期の変更が可能なカメラを備え、この同期信号を商用電源の周期と同期させればよい。また、カメラによって撮像される部分の輝度変化の周期とカメラのサンプリング周期を一致させてもよい。

また、カメラによって撮像される部分の輝度は、例えば、自車両のウィンカの点滅による影響の他に、隣の車両のウィンカの点滅による影響など様々な要因で変化する。このような場合、画像を複数の領域に分割し、分割した領域毎に所定の差分周期を設定すればよい。例えば、画像を複数の領域に分割し、自車両のウィンカの点滅により周期的に輝度が変化する領域の差分周期を自車両のウィンカの点滅周期と一致させ、隣の車両のウィンカの点滅により定期的に変化する領域の差分周期と隣の車両のウィンカの点滅周期と一致させるように、領域毎に別々に差分周期を設定すればよい。

また、上記実施形態では、フレーム間差分方式を適用した例について示したが、背景差分方式に適用することもできる。例えば、ウィンカ点滅時において、ウィンカが消灯する各タイミングの各画像と予め撮像した背景画像との差分を抽出すれば、ウィンカの点滅による影響を受けることなく、移動する物体を検知することができる。

また、上記実施形態では、２つの画像間の差分を抽出する２フレーム間差分により物体を検知する例について示したが、例えば、３つの画像間の差分を抽出する３フレーム間差分により移動する物体を検知してもよい。

また、上記実施形態では、撮像された画像の一部の画素または全部の画素の輝度の平均値を求め、この平均値に基づいて撮像手段によって撮像される部分の輝度変化の周期を取得する例について示したが、撮像された画像の一部の画素または全部の画素の輝度の平均値、中央値、最頻値、最大値などの少なくとも１つを求め、求めた値に基づいて輝度変化の周期を取得する手段として利用してもよい。

本発明の第１実施形態に係る移動物体検知装置の構成を示す図である。 移動物体検知装置の物体検知領域とウィンカの周辺領域の輝度変化についての説明図である。 ウィンカの点滅周期と差分周期を同期させた場合と同期させない場合のウィンカの点滅による差分画像の違いについて説明図である。 車両停車時における処理装置のＣＰＵの処理を示すフローチャートである。 フレーム間差分方式についての説明図である。 背景差分方式についての説明図である。 ウィンカ信号とウィンカの輝度特性を示す図である。 課題を説明するための図である。

符号の説明

１…移動物体検知装置、１０…処理装置、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…画像入力部、１５…インタフェース部、１６…画像出力部、２０…カメラ、３０…ディスプレイ、４０…ウィンカ。

Claims (7)

1. 複数のタイミングで画像を撮像し、撮像した複数の画像の中から所定の差分周期毎に複数の画像間の差分を抽出して移動する物体を検知する移動物体検知装置であって、
   前記所定の周期で画像を撮像し、撮像した複数の画像を出力する撮像手段と、
   前記撮像手段によって撮像される部分の輝度変化の周期を取得する周期取得手段と、
   前記周期取得手段が取得した前記撮像手段によって撮像される部分の輝度変化の周期と前記撮像手段が前記画像を撮像する前記差分周期とを一致させる一致手段と、を備えたことを特徴とする移動物体検知装置。
2. 前記周期取得手段は、自車両に備えられ、前記撮像手段によって撮像される部分の輝度を周期的に変化させる機器を制御する制御信号に基づいて、前記撮像手段によって撮像される部分の輝度変化の周期を取得することを特徴とする請求項１に記載の移動物体検知装置。
3. 前記周期取得手段は、自車両に備えられ、前記撮像手段によって撮像される部分の輝度を周期的に変化させるウィンカを制御するウィンカ信号に基づいて、前記撮像手段によって撮像される部分の輝度変化の周期を取得することを特徴とする請求項１に記載の移動物体検知装置。
4. 前記周期取得手段は、前記撮像手段によって撮像された画像の一部の画素または全部の画素の輝度の平均値、中央値、最頻値の少なくとも１つを求め、求めた値に基づいて前記撮像手段によって撮像される部分の輝度変化の周期を取得することを特徴とする請求項１に記載の移動物体検知装置。
5. 前記一致手段は、前記撮像手段によって撮像された画像を複数の領域に分割し、分割した前記領域毎に前記周期取得手段が取得した前記撮像手段によって撮像される部分の輝度変化の周期と前記差分周期とを一致させることを特徴とする請求項１または４に記載の移動物体検知装置。
6. 所定のサンプリング周期で画像を撮像し、撮像した複数の画像間の差分を抽出して移動する物体を検知する移動物体検知装置であって、
   前記画像を所定のサンプリング周期で撮像する撮像手段と、
   前記撮像手段によって撮像される部分の輝度変化の周期を取得する周期取得手段と、
   前記周期取得手段が取得した前記撮像手段によって撮像される部分の輝度変化の周期と前記撮像手段が前記画像を撮像する前記サンプリング周期とを一致させる一致手段と、を備えたことを特徴とする移動物体検知装置。
7. 前記一致手段は、前記サンプリング周期を商用電源の周期に同期させることを特徴とする請求項６に記載の移動物体検知装置。

Images