JP2005222424A - 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体 - Google Patents

Abstract

【課題】 大量の演算処理や高度な演算処理を必要とせず、高速かつ確実に周辺の他移動体を検出する。
【解決手段】 撮像手段２で撮像された画像データに対して、特定領域設定手段３１により、フレーム画像の水平面に平行でかつ横長で矩形状の特定領域７を設定する。画像処理手段３２により、複数のフレーム画像毎に特定領域７の画像データを取り出し、取り出された画像データから移動ベクトルを抽出する。さらに、変化検知手段３５では、移動ベクトル情報のうち、所定方向のベクトル値を加算した値が、変化検知閾値設定手段３４で設定した閾値よりも大きい場合に他移動体６が自移動体５に接近し過ぎて危険であると判定し、変化通知手段４を介して警報発音や警報表示などを行って運転者に危険を通知して注意を促すことができる。
【選択図】 図１

Description

本発明は、有人または無人の移動体、例えば船や車両（２輪車などのオートバイや自転車または４輪車などの自動車や電車などの乗り物）、人間などの移動時に安全監視などを行うために用いられ、例えば移動体（自移動体）が左右に移動するときなどに、その周辺に他の移動体（他移動体）が存在して両者が接触や衝突する危険性がある場合などに、移動体に関わる人に警報などにより、他移動体の接近による危険を報知して安全確認を支援するために用いられる移動体周辺監視装置、これを用いた移動体周辺監視方法、これをコンピュータに実行させるための制御プログラムおよび、これが記録されたコンピュータ読み取り可能な可読記録媒体に関する。

近年、移動体の事故、例えば、自動車の衝突事故などの交通事故の増大は、大きな社会問題となっている。特に、自動車の車線変更など左右への移動時、右折時や左折時などに起こる接触事故や衝突事故は、自動車の運転者が注意しているにも関わらず、しばしば起こっている。この接触事故や衝突事故は、自動車の運転者らが、特に、自車両（自移動体）の移動方向に対して後側方を、サイドミラーなどによって充分確認しきれていないことや、サイドミラーなどに映らない、いわゆる死角部分に他車両（他移動体）が存在することなどにより、事故が多発していると考えられる。

このような交通事故を防止するために、例えば特許文献１には、自車両に搭載したカメラから後方を撮影し、その撮影画像から他車両の存在を検出して、車線変更など左右の移動時、右折や左折時に、後側方から来る他車両に対して接触や衝突の危険性がある場合に、自車両の運転者に警報を発して他車両の接近を報知する報知手段を備えた移動体の衝突防止装置が開示されている。

この移動体の衝突防止装置では、撮像手段にて時系列に撮像された複数フレームの各画像に対して、走行中の道路に存在する白線や道路の稜線を構成する直線エッジとその交点である消失点（無限遠点）が検出される。これらの白線や稜線、消失点の位置情報を基にして検知領域が限定され、検知領域を分割した小領域（ブロック）の各フレーム画像間における移動量が、オプティカルフローと称される手法により算出される。この場合の検知領域は、図１０に点線斜線で示す画面の半分程度の領域Ｅである。このようにして算出された移動量の情報は、後側方から急速に接近する例えば追い越し車両の検出に用いられる。
特開２０００−２８５２４５号公報

しかしながら、上記特許文献１に開示されている従来の移動体の衝突防止装置には、以下のような問題がある。

走行中、車線を確認するために白線検出を行ったり、他車両の移動方向を求めるために消失点を求めたりしており、さらに、検知領域を分割した各ブロックなどがどのように移動しているかを確認するためにオプティカルフローを用いているため、高度な演算処理が必要である。このような演算処理の質の面もさる事ながら、検知領域として、図１０に点線斜線で示す画面の半分程度の大きな画像領域Ｅが設定されており、演算処理量も非常に多い。

このように、演算処理量が多いためにリアルタイムに処理を行うことができず、これを補うために、時間経過に伴う移動量を算出して予測する方法などが利用されている。このため、他車両の移動方向を正確に検知することができず、誤りが発生し易くなる。さらに、道路状況によっては、白線が存在せず、物体の移動量を算出することができないなどの問題もあり、実用的ではない。

本発明は、上記従来の問題を解決するもので、従来のように高度な演算処理を多く必要とせず、リアルタイムに高精度で自移動体周辺の他移動体を検知することができる移動体周辺監視装置およびこれを用いた移動体周辺監視方法、これをコンピュータに実行させるための制御プログラムおよび、これが記録されたコンピュータ読み取り可能な可読記録媒体を提供することを目的とする。

本発明の移動体周辺監視装置は、移動体周辺の画像を撮像する撮像手段と、該撮像手段により撮像された画像データに対して、フレーム画像の水平方向に平行でかつ横長帯状の特定領域を設定する設定手段と、該撮像手段により時系列に撮像された一または複数フレーム画像毎に、該特定領域の画像データを取り込んで該特定領域の画像データに基づいて移動ベクトル情報を抽出する抽出手段と、該移動ベクトル情報に基づいて自移動体の周辺に存在する他移動体を検知する検知手段とを有し、そのことにより上記目的が達成される。

また、好ましくは、本発明の移動体周辺監視装置における撮像手段は、前記自移動体の後側方を撮像可能な位置に取付けられている。

さらに、好ましくは、本発明の移動体周辺監視装置における設定手段は、前記自移動体の撮像画像を含まず、前記他移動体の撮像画像の少なくとも一部が含まれるように、前記撮像された画像データに前記特定領域を設定する。

さらに、好ましくは、本発明の移動体周辺監視装置における抽出手段は、前記特定領域を複数に分割した各分割領域に対してそれぞれ、現在の画像データの合算値とｔ（ｔ＞０）時間前の前画像データの合算値とを比較してその差分値が最小となる両分割領域を抽出し、該抽出された前画像データの分割領域の位置をｔ時間前の現画像データの位置と判断して、該抽出された両分割領域の前画像データと現画像データとの位置関係を前記移動ベクトル情報として抽出する。

さらに、好ましくは、本発明の移動体周辺監視装置における抽出手段は、前記抽出された両分割領域の前画像データと現画像データとの位置関係が、該現画像データが該前画像データに対して左に移動しているか、または右に移動しているかを判定して前記移動ベクトル情報を決定する。

さらに、好ましくは、本発明の移動体周辺監視装置における検知手段は、前記移動ベクトル情報に基づいて、前記自移動体と他移動体との相対的な移動状態を検知する。

さらに、好ましくは、本発明の移動体周辺監視装置における検知手段は、前記特定領域を複数に分割した各分割領域毎に前記移動ベクトル情報を読み出し、該読み出した移動ベクトル情報のうち、所定方向のベクトル数を加算した加算値が所定の判定閾値よりも大きい場合に、前記自移動体に接近する前記他移動体が存在すると検知する。

さらに、好ましくは、本発明の移動体周辺監視装置において、検知手段が検出した前記自移動体と他移動体との相対的な移動状態に応じて警報出力する変化通知手段をさらに有する。

さらに、好ましくは、本発明の移動体周辺監視装置において、抽出手段の抽出処理結果を一時的に記憶する記憶手段をさらに有し、前記検知手段は該記憶手段から前記移動ベクトル情報を読み出して前記検知処理に用いる。

さらに、好ましくは、本発明の移動体周辺監視装置における抽出手段は、撮像されたフレーム画像の画像データのうち、取り込んだ前記特定領域の画像データを複数の分割領域に分割する分割手段と、分割した分割領域毎に画像データ値の合算値を算出する合算値算出手段と、該現画像データの各分割領域毎の合算値に対する前画像データの各分割領域の合算値との各差分が最小となる前画像データの分割領域を抽出する分割領域抽出手段と、抽出された前画像データの分割領域に対して、これに対応する最小差分時の現画像データの分割領域が左右のいずれにあるかを判断する左右判断手段と、左にある場合には左移動ベクトル情報とし、右にある場合には右移動ベクトル情報として前記移動ベクトル情報を決定する移動ベクトル情報決定手段とを有する。

さらに、好ましくは、本発明の移動体周辺監視装置における検知手段は、全分割領域に対してそれぞれ、前記移動ベクトル情報が左および右のいずれを示すかを検知し、該左および右の特定の一方を示す場合に移動ベクトル数を加算する移動ベクトル数算出手段と、該移動ベクトル数の加算値が判定閾値よりも大きい場合に、自移動体に接近する他移動体が存在すると判定する他移動体接近判定手段とを有する。

さらに、好ましくは、本発明の移動体周辺監視装置における設定手段は、前記撮像手段により撮像された画像データに対して、水平方向の位置が等しく、垂直方向の位置が異なる複数の特定領域を設定し、前記抽出手段は、各特定領域の画像データをそれぞれ取り込んで移動ベクトル情報をそれぞれ抽出し、前記検知手段は、水平方向の位置が等しく、垂直方向の位置が異なる複数の特定領域の各分割領域における移動ベクトル情報が所定の同じ方向である場合にそのベクトル数を加算し、全分割領域に対する全加算値が所定の判定閾値よりも大きい場合に、前記自移動体に接近する前記他移動体が存在すると判定する。

本発明の移動体周辺監視方法は、移動体周辺の画像データを時系列にフレーム画像として撮像手段に撮像させる撮像ステップと、撮像した一または複数のフレーム画像毎に、該フレーム画像の水平方向に平行でかつ、横長帯状の特定領域を設定する設定ステップと、該撮像した一または複数のフレーム画像毎に、該特定領域の画像データを取り込み、該取り込んだ該特定領域の画像データに基づいて移動ベクトル情報を抽出する抽出ステップと、該移動ベクトル情報に基づいて自移動体の周辺に存在する他移動体を検知する変化検知ステップとを有し、そのことにより上記目的が達成される。

また、好ましくは、本発明の移動体周辺監視方法における抽出ステップは、撮像されたフレーム画像の画像データのうち、設定された前記特定領域の画像データを取り込むステップと、該特定領域を複数の分割領域に分割するステップと、分割した分割領域毎に画像データ値の合算値を算出するステップと、該分割領域毎の合算値を現画面データとして記憶手段に記憶させるステップと、ｔ時間前に分割領域毎に前画面データとして該記憶手段に記憶した合算値データを読み込むステップと、該現画面データの合算値と前画面データの合算値とを比較し、該現画面データの各分割領域毎の合算値に対して、該前画面データの各分割領域における合算値との各差分が最小となる該前画面データの分割領域を抽出するステップと、抽出された前画面データの分割領域の位置に対して、これに対応した最小差分時の現画像データの分割領域の位置が左右のいずれにあるかを判断するステップと、左にある場合には左移動ベクトル情報とし、右にある場合には右移動ベクトル情報として該記憶手段に記憶させるステップとを有する。

さらに、好ましくは、本発明の移動体周辺監視方法における変化検知ステップは、全分割領域に対してそれぞれ、前記移動ベクトル情報が左および右のいずれを示すかを検知し、該左および右の特定の一方を示す場合に移動ベクトル数を加算するステップと、
該移動ベクトル数の加算値が判定閾値よりも大きい場合に、自移動体に接近する他移動体が存在すると判定するステップとを有する。

本発明の制御プログラムは、請求項１３〜１５のいずれかに記載の移動体周辺監視方法の各ステップをコンピュータに実行させるためのものであって、そのことにより上記目的が達成される。

本発明の可読記録媒体は、請求項１６に記載の制御プログラムが記録されたコンピュータ読み取り可能なものであって、そのことにより上記目的が達成される。

上記構成により、以下、本発明の作用について説明する。

本発明にあっては、検知範囲を特定領域に限定し、かつ、従来のように消失点や白線等を求めたり、オプティカルフローなどの手法を用いる高度な演算処理ではななく、フレーム画像間の前後の各特定領域における画像データを基に移動ベクトル情報を抽出し、そのベクトル情報から自移動体の周辺（例えば後側方）に存在する他移動体を検知することができる。

これによって、高度な演算処理が不要であり、より少ない演算処理量により自移動体と他移動体との相対的な移動状態を検知することができる。このため、高速処理可能な高価なＣＰＵなどを用ることなく、移動体周辺監視装置を安価に作製することが可能である。このように、演算処理量が少なく、リアルタイム（高速）に演算処理することができるため、時間経過に伴う移動量の算出および予測が不要であり、検知精度をいっそう向上させることができる。

また、複数のフレーム画像間で、フレーム画像の水平方向に平行でかつ、横長帯状の各特定領域における画像データを基に検知処理を行って演算処理を簡略化することにより、ノイズなどによる誤りを減らすことが可能であり、検知精度をさらに向上させることができる。さらに、複数の特定領域を設定することにより、検知対象である他移動体の大きさや形状の違い等による誤検知等を少なくして、検知精度をさらに向上させることができる。

以上のように、本発明によれば、検知範囲を特定領域に限定し、かつ、従来のように消失点や白線などを求めることなく、移動方向に対して例えば後側方に存在する他移動体を検知するため、より少ない演算処理量でリアルタイム（高速）に演算処理を行って検知精度を向上させることができる。

自移動体の周辺を監視して、自移動体の動作（左右への移動、右折や左折など）時に移動方向（例えば後側方）に他移動体が存在しないかということをカメラなどの撮像手段で撮像し、衝突の危険性がある場合に警報を発することにより操作者に報知することができるため、目視確認を含めた確認もれなどによる接触や衝突防止に有効である。

以下に、本発明の移動体周辺監視装置およびこれを用いた移動体周辺監視方法の実施形態を、自動車に適用した場合について、図面を参照しながら詳細に説明する。なお、以下では、移動体の例として自動車を用いて説明するが、本発明は自動車に限らず、有人または無人の移動体、例えば船や車両（２輪車などのオートバイや自転車または４輪車などの自動車や電車などの乗り物を含む）、人間であってもよい。

図１は、本発明の移動体周辺監視装置の実施形態における要部構成例を示すブロック図であり、図２は、図１の移動体周辺監視装置を自動車に取り付けた場合の取り付け例をその周囲と共に模式的に示す上面図である。

図１に示すように、本実施形態の移動体周辺監視装置１は、自動車周辺の画像を撮像する撮像手段２と、自動車周辺の撮像画像に基づいて、詳細に後述する他移動体の接近による危険を検知するための警報検知演算処理を行う演算処理部３と、演算処理部３からの警報検知情報により警報を関係する人（運転者）に報知する変化通知手段４とを有している。

撮像手段２は、アナログ出力カメラやデジタル出力カメラなどのカメラであって、この撮像手段２により自動車周辺の画像が撮像される。図２では、撮像手段２は、撮像装置として、自移動体５の後側方を撮像可能な側方位置（サイドミラーまたはドアミラーの上部または下部）に取付けられており、図２に点線斜線で示す撮像領域Ａである後側方範囲の画像が撮像される。他移動体６は、自移動体５に左後方から接近している他の自動車を示している。撮像手段２がアナログ出力カメラの場合には、演算処理部３に画像データが入力される前に、図示しないＡＤ変換機によってアナログ画像信号がデジタル画像信号に変換される。

演算処理部３は、設定手段としての特定領域設定手段３１と、抽出手段としての画像処理手段３２と、記憶手段３３と、変化検知閾値設定手段３４と、検知手段としての変化検知手３５とを備え、撮像手段２で撮像された画像データから、自移動体５の周辺に存在する他移動体６を検知するための演算処理を行う。

特定領域設定手段３１は、撮像手段２で撮像された画像面に対して充分に小さい特定領域が設定される。この特定領域は、画像処理手段３２および変化検知手段３５で自移動体５の周辺に存在して自移動体５との相対的な移動状態（距離関係）が変化する他移動体６を検知する処理が行われる領域（検知領域）であり、撮像手段２で撮像された画像に対して、フレーム画像の水平方向に平行でかつ、横長で矩形状（帯状）の領域として設定されている。このように特定領域を設定する理由は、演算処理量を大幅に減らしてリアルタイムでかつ有効な演算処理を可能にするためである。

画像処理手段３２は、撮像手段２で時系列に撮像された複数フレーム画像の各画像毎に、特定領域設定手段３１で設定した特定領域の画像データを撮像手段２から取り込み、この取り込んだ特定領域の画像データを基に、後述する抽出処理により移動ベクトル情報を抽出する。この移動ベクトル情報の抽出処理については、図６を用いて詳細に後述する。

記憶手段３３は、画像処理手段３２による抽出処理結果を一時的に記憶する。この記憶手段３３のメモリ構成は、例えば図３のメモリ構成例に示すように、前画面データ格納領域３３１、現画面データ格納領域３３２および移動ベクトル格納領域３３３を有している。このうち、前画面データ格納領域３３１と現画面データ格納領域３３２とは、メモリアドレスの切り替えにより１画面毎に切り替えられる。

変化検知閾値設定手段３４は、自移動体５と他移動体６との相対的な移動状態を判定するための判定閾値としての変化検知閾値を設定する。

変化検知手段３５は、画像処理手段３２で抽出されて記憶手段３３に記憶された移動ベクトル情報を基に、後述する処理によって自移動体５の周辺に存在する他移動体６を検知し、変化検知閾値設定手段３４で設定された判定閾値によって、自移動体５と他移動体６との相対的な移動状態（距離関係）が危険かどうかを判定する。自移動体５と他移動体６との相対的な移動状態（距離関係）が判定閾値を越えた場合には、この変化検知手段３５による判定結果として警報検知情報を変化通知手段４に出力する。この自移動体５と他移動体６との相対的な移動状態の検知処理については、図７を用いて詳細に後述する。

変化通知手段４は、変化検知手段３５で検出された自移動体５と他移動体６との相対的な移動状態、例えば他移動体６が自移動体５に接近し過ぎて衝突の危険性がある場合（判定閾値を越えた場合）などに出力される警報検知情報に基づいて警報音発生や警報表示などを行って、危険を自移動体５の運転者などに報知する。

これらの演算処理部３および変化通知手段４は、図２で示す移動体検知装置１０として例えばワンパッケージ化されて自動車の運転席側の前方部分に収容され、これによって、運転者が容易に警報（音や表示）を確認できるようになっている。

以下に、上記構成の本実施形態の移動体周辺監視装置１を用いて行う移動体周辺監視方法について説明する。

図４（ａ）は、図１の撮像手段２で撮像された自移動体５の周辺撮像画像を模式的に示すイメージ図、図４（ｂ）は、（ａ）のｔ時間後（フレーム期間；前フレームと後フレーム間の時間）に撮像手段２で撮像された自移動体５の周辺撮像画像を模式的に示すイメージ図である。

図４（ａ）および図４（ｂ）に示すように、自移動体５から後側方側が撮像手段２で撮像されており、他移動体６が自移動体５に後側方から接近して来る場合を示している。

特定領域７は、特定領域設定手段３１で設定される撮像画像の変化状態をテェックするための画像領域である。この特定領域７は、撮像手段２で撮像された画像に対して、フレーム画像の水平方向に平行でかつ、横長で矩形状の画像領域になっており、自移動体５の撮像画像が含まれず、他移動体６の撮像画像の少なくとも一部が含まれるように設定されている。

この特定領域７に対して、画像処理手段３２および変化検知手段３５による各処理が行われて、他移動体６と自移動体５との相対的な移動状態（距離関係）が検知される。この特定領域７の形状としては、図５（ａ）に示すような規則的な横長の矩形状に限らず、検知対象となる他移動体６の大きさや形状などによって、図５（ｂ）〜図５（ｄ）に示すように、図５（ａ）の矩形状から変形した各種形状であってもよい。

図４（ａ）および図４（ｂ）において、例えば電柱８などのような道路際で動かない物体は、ｔ時間後には矢印Ｂで示す右方向に移動したように撮像される。これに対して、例えば他移動体６などのように自移動体５に後側方から接近してくる物体は、他移動体６の左端（図４では向かって右端）の位置９のように、t時間後には矢印Ｃで示すように左方向に移動したように撮像される。したがって、自移動体５に接近してくる物体（他移動体６）と、固定化されて動かない物体（電柱８）とでは、特定領域７上での移動方向（移動ベクトル）が逆方向で異なる。よって、この移動ベクトルを用いれば、消失点や白線などを求めたり、オプティカルフローなどの高度の演算処理を用いることなく、自移動体５と他移動体６との相対的な移動状態（位置関係；距離関係）を正確に検知して、自移動体５に接近してくる他移動体６を検知することが可能になる。

次に、図１の画像処理手段３２による移動ベクトル情報の抽出処理例について、図６を用いて詳細に説明する。

図６は、図１の画像処理手段３２による移動ベクトル情報の抽出処理を説明するためのフローチャートである。

図６に示すように、まず、ステップＳ１では、撮像手段２で撮像された画像に対して、特定領域設定手段３１で特定領域７が設定される。この特定領域７は、図４（ａ）および図４（ｂ）で示すように、フレーム画像の水平方向に平行でかつ、横長の矩形状に設定されている。また、特定領域７の左右の位置については、自移動体５の撮像画像を含まず、他移動体６の撮像画像の少なくとも一部が含まれるように設定される。

ステップＳ２では、撮像手段２で撮像された画像データのうち、設定された特定領域７に対応する画像データが画像処理手段３２に取り込まれる。

ステップＳ３では、特定領域７において移動ベクトルを求めるために、特定領域７を複数の領域に分割し、各分割領域毎に画像データ値の合算値が算出される。合算される画像データとしては例えば輝度信号を用いることができるが、その他のＲ、Ｇ、Ｂ、Ｙ、ＵおよびＶのいずれかの色信号であってもよく、全ての色信号などであってもよい。また、特定領域７の分割数は、画像処理手段３２の演算能力に応じて多数に分割してもよいが、ノイズなどによる誤り検知を防ぐためには、各分割領域のサイズは８画素×８画素以上であることが望ましい。

ステップＳ４では、各分割領域毎の合算値が、図３に示す記憶手段３３の現画面データ格納領域３３２に各分割領域毎に保存される。

ステップＳ５では、ｔ時間前に各分割領域毎に記憶手段３３に保存された合算値データが、図３に示す記憶手段３３の前画面データ格納領域３３１から読み出される。

ステップＳ６では、現画面データと前画面データとが比較され、現画面データの各分割領域（現画像位置）に対して、合算値の差分が最小となる前画面データの分割領域が抽出される。前画面データにおいて、現画面データのある分割領域に対して合算値の差分が最小となる分割領域は、ｔ時間前にその分割領域が存在した位置と考えることができる。なお、本実施形態ではｔ時間前を前画面としているが、数画面前をｔ時間前としてもよい。

ステップＳ７では、ステップＳ６で抽出された領域の前画像位置と現画像位置との位置関係が左右のいずれであるかどうかが判断される。上記抽出領域の画像位置が現画像位置よりも左（ステップＳ７では「ＹＥＳ」）の場合にはステップＳ８の処理に進み、また、上記抽出領域の画像位置が現画像位置よりも右（ステップＳ７で「ＮＯ」）の場合にはステップＳ９の処理に進む。

ステップＳ８では、左への移動が図３に示す記憶手段３３の移動ベクトル格納領域３３３に各分割領域毎に保存される。

ステップＳ９では、右への移動が図３に示す記憶手段３３の移動ベクトル格納領域３３３に各分割領域毎に保存される。

図４（ａ）およびず４（ｂ）を用いて説明したように、左への移動は自移動体５に接近してくる物体（他移動体６）などであり、右への移動は自移動体５から遠ざかる物体または固定されて動かない物体（電柱８）などである。なお、本実施形態では移動ベクトル情報として、左右のベクトル方向のみを抽出しているが、移動ベクトル量を用いれば、他移動体６と自移動体５との相対速度も求めることができる。

ステップＳ１０では、処理終了指令が運転者から入力されたかどうかが判断され、処理終了指令が運転者から入力されるまで、上記ステップＳ２〜Ｓ９の各処理が順次繰り返される。処理終了指令が運転者から入力されれば（ＹＥＳ）、処理が終了する。

次に、変化検知手段３５による自移動体５と他移動体６との相対的な移動状態の検知処理について、図７を用いて詳細に説明する。

図７は、図１の変化検知手段３５による自移動体５と他移動体６との相対的な移動状態の検知処理例を説明するためのフローチャートである。

図７に示すように、まず、ステップＳ１１では、変化検知閾値設定手段３４に変化検知閾値（判定閾値）が設定される。この変化検知閾値は、他移動体６の大きさおよび位置などから、変化検知閾値設定手段３４に予め設定されている。通常は、他移動体６の大きさおよび距離などから、分割された特定領域数の半分程度に設定されるのが好ましい。

ステップＳ１２では、画像処理手段３２により記憶手段３３の移動ベクトル格納領域３３３に書き込まれた移動ベクトル情報が変化検知手段３５に読み出される。

ステップＳ１３では、この読み出された移動ベクトル情報が左右のいずれであるかが判断される。移動ベクトル情報が左（ステップＳ１３で「ＹＥＳ」）の場合にはステップＳ１４の処理に進み、ステップＳ１４で左移動ベクトル数が加算される。また、移動ベクトル情報が右（ステップＳ１３で「ＮＯ」）の場合にはステップＳ１５の処理に進む。

ステップＳ１５では、ステップＳ１２〜Ｓ１４までの各処理が全分割領域に対して行われるまで繰り返され、これによりｔ時間前から現在までの左移動ベクトル数（左移動ベクトル数の加算値）が算出される。なお、本実施形態では、左移動ベクトル数を算出しているが、この場合とは逆に、撮像手段２が自移動体５の左側に設置されている場合には、右方向への移動ベクトルが自移動体５と他移動体６との接近を示すことになるため、右方向の移動ベクトル数が算出される。

ステップＳ１６では、算出された左移動ベクトル数（加算値）がステップＳ１１で設定された閾値よりも大きい場合に、自移動体５に接近する他移動体６が存在すると判定される。

ステップＳ１７では、変化通知手段４で警報音や警報表示などにより自移動体５の運転者に、他移動体６の接近による危険が報知され、危険に対する注意が促される。なお、本実施形態では、自移動体５に接近する他移動体６が存在する場合に衝突などの危険性があるとして警報音や警報表示などを危険時に出力するが、これらをその前段階の安全時に出力するようにしてもよい。さらに、音声や、映像および光などの表示以外の振動や熱などによって警報を報知するようにしてもよい。このような報知により、運転者は自移動体５と他移動体６との接触や衝突の危険性を察知することができ、車両同士の接触や衝突などを未然に回避できる。また、本実施形態では変化通知先（警報報知先）を自移動体５の運転者としているが、これに加えて、他移動体６の運転者に対して行ってもよく、それ以外の外部（周囲）に報知するようにしてもよい。

ステップＳ１８では、処理終了指令が運転者から入力されたかどうかが判断され、処理終了指令が運転者から入力されるまで、上記ステップＳ１２〜Ｓ１７の各処理が順次繰り返される。処理終了指令が運転者から入力されれば（ＹＥＳ）、処理が終了する。

以上により、本実施形態の移動体周辺監視装置１および、これを用いた移動体周辺監視方法によれば、撮像手段２で撮像された画像データに対して、特定領域設定手段３１により、フレーム画像の水平方向に平行でかつ横長で矩形状の特定領域７を設定する。画像処理手段３２により、複数のフレーム画像毎に特定領域７の画像データを取り出し、取り出された画像データから移動ベクトルを抽出する。さらに、変化検知手段３５では、移動ベクトル情報のうち、所定方向のベクトル値を加算した値が、変化検知閾値設定手段３４で設定した閾値よりも大きい場合に他移動体６が自移動体５に接近し過ぎて危険であると判定し、変化通知手段４を介して警報発音や警報表示などを行って運転者に危険を通知して注意を促すことができる。これによって、従来のように高度な演算処理や大量の演算処理量を必要とせず、リアルタイムに自移動体５の周囲に存在する他移動体６を精度良く確実に検出して、接触事故や衝突事故などの危険性がある場合に、これを運転者などに警報を報知し、危険を未然に回避することができる。

なお、本実施形態では、特定領域７は、画像面の水平方向に平行でかつ一つの横長の画像領域であって、自移動体５の撮像画像を含まず、他移動体６の撮像画像の一部を少なくとも含むように設定したが、これに限らず、図８に示すように、特定領域７１，７２を上記条件で上下に二本平行に横長の画像領域として設定してもよい。図８の例では２本の特定領域７１，７２を上下に設定しているが、さらに多くの特定領域（複数の特定領域）を設定してもよい。また、特定領域７，７１，７２、の大きさ（幅や長さ）や、形状、位置についても、有効なように自動車などの移動体の形状や条件に合わせて各種変更することが可能である。

特定領域７を複数設定した場合には、各特定領域（例えば７１，７２）に対してそれぞれ、図６のフローチャートに示す移動ベクトル情報の抽出処理が行われ、図７のフローチャートに示す自移動体５と他移動体６との相対的な移動状態の検知処理が行われる。

しかしながら、図８のように、二つの特定領域７１，７２の配置位置が垂直方向でのみずれており、水平方向には平行である場合には、自移動体５に対して相対的な移動状態が変化する他移動体６は、垂直方向の位置が異なっていても同じ方向の移動ベクトルを有することから、図９のフローチャートに示すように、同一水平位置で垂直方向の位置が異なる二つの分割領域の移動ベクトルが同じ方向であるときに、自移動体５に対して相対的な移動状態が変化する移動ベクトルが存在すると判断し（検知精度が向上）、移動ベクトル数を加算する方法を用いることが好ましい。以下では、この図９の各ステップを順に説明する。

図９は、図８のように特定領域を複数設定した場合について、図１の変化検知手段３５を用いた変化検知処理例を説明するためのフローチャートである。

図９に示すように、まず、ステップＳ２１において、変化検知閾値設定手段３４で変化検知閾値（判定閾値）を設定する。この変化検知閾値は、他移動体６の大きさおよび位置などから、変化検知閾値設定手段３４によって予め設定されている。このときの閾値は、複数本の特定領域が図４（ａ）の特定領域７のように１本の場合よりも少し小さ目の値に設定されることが好ましい。

ステップＳ２２では、１本目の特定領域（例えば図８の特定領域７１）について、画像処理手段３２により記憶手段３３の移動ベクトル格納領域３３３に書き込まれた移動ベクトル情報（Ａ）が変化検知手段３５に読み出される。

ステップＳ２３では、２本目の特定領域（例えば図８の特定領域７２）において、ステップＳ２２で読み出された分割領域と水平方向の位置が等しく、垂直方向の位置が異なる分割領域について、画像処理手段３２により記憶手段３３の移動ベクトル格納領域３３３に書き込まれた移動ベクトル情報（Ｂ）が変化検知手段３５に読み出される。

ステップＳ２４では、ステップＳ２２とステップＳ２３でそれぞれ読み出された各移動ベクトル情報が一致（Ａ＝Ｂ）し、かつ、左方向への移動（自移動体５と他移動体６との接近を示す）であるか否かが判断される。移動ベクトル情報が一致し、左方向への移動（ステップＳ２４で「ＹＥＳ」）の場合にはステップＳ２５の処理にに進み、また、移動ベクトル情報が一致しないか、または一致しても右方向への移動（ステップＳ２４で「ＮＯ」）の場合にはステップＳ２６の処理に進む。

ステップＳ２５では、左移動ベクトル数を加算する。このように、移動ベクトルが一致したときにのみ、左移動ベクトル数を加算することにより、ノイズや光の反射によるベクトル方向の誤検知があった場合に判定を誤らないようにすることができる。

ステップＳ２６では、ステップＳ２２〜Ｓ２５までの各処理が全分割領域に対して行われるまで繰り返され、これによって、ｔ時間前から現在までの左移動ベクトル数（左移動ベクトル数の加算値）が算出される。

ステップＳ２７では、算出された左移動ベクトル数（加算値）がステップＳ２１で設定された閾値よりも大きい場合に、自移動体５に接近する他移動体６が存在すると判定される。

ステップＳ２８では、変化通知手段４を介しての警報音や警報表示などにより自移動体５の運転者に危険警報が報知されて、注意が促される。

このように、表示画面上に複数の特定領域を設定することにより、検知対象の他移動体６の大きさや形状の違いなどによる検知誤りを減らして、検知精度をさらに向上させることができる。

ステップＳ２９では、処理終了指令が運転者から入力されたかどうかが判断され、処理終了指令が運転者から入力されるまで、上記ステップＳ２２〜Ｓ２８の各処理が順次繰り返される。処理終了指令が運転者から入力されれば（ＹＥＳ）、処理が終了する。

なお、上記各実施形態では特に説明しなかったが、ソフトウェア構成によって本発明を構成することができる。この場合、図１の演算処理部３を装置全体を制御しているコントローラ（制御部；ＣＰＵを持つ）内に収容し、図６、図７および図９によって説明した上述のフローチャートの各処理をコンピュータに実行させるための制御プログラムおよびそのデータを可読記録媒体としてのコントローラ内のハードディスクなどのメモリ（図示せず）に記憶させておき、このメモリ（図示せず）からコントローラ内のワークメモリにこの制御プログラムおよびそのデータを読み出して実行させることができる。

この可読記録媒体としては、ハードディスクの他、各種ＩＣメモリ、光ディスク（例えばＣＤ）、磁気記録媒体（例えばＦＤ）などであってもよく、読み取られた制御プログラムおよびそのデータはコントローラ内のワークメモリとしてのＲＡＭ内に格納されてそれ内のＣＰＵ（制御部）によって実行可能とされる。

この制御部（ＣＰＵ）の検知手段および抽出手段の機能を説明すると、制御部の抽出手段は、撮像されたフレーム画像の画像データのうち、取り込んだ前記特定領域の画像データを複数の分割領域に分割する分割手段（図示せず）と、分割した分割領域毎に画像データ値の合算値を算出する合算値算出手段（図示せず）と、現画面データの各分割領域毎の合算値に対する前画像データの各分割領域の合算値との各差分が最小となる前画面データの分割領域を抽出する分割領域抽出手段（図示せず）と、抽出された前画面データの分割領域に対して、これに対応する最小差分時の現画像データの分割領域が左右のいずれにあるかを判断する左右判断手段（図示せず）と、左にある場合には左移動ベクトル情報とし、右にある場合には右移動ベクトル情報として前記移動ベクトル情報を決定する移動ベクトル情報決定手段（図示せず）とを有し、これらの機能が制御プログラムに基づいて実行される。

また、検知手段は、全分割領域に対してそれぞれ、前記移動ベクトル情報が左および右のいずれを示すかを検知し、該左および右の特定の一方を示す場合に移動ベクトル数を加算する移動ベクトル数算出手段（図示せず）と、移動ベクトル数の加算値が判定閾値よりも大きい場合に、自移動体に接近する他移動体が存在すると判定する他移動体接近判定手段と（図示せず）を有し、これらの機能が制御プログラムに基づいて実行される。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、有人または無人の移動体、例えば船や車両（２輪車などのオートバイや自転車または４輪車などの自動車や電車などの乗り物）、人間などの移動時に安全監視などを行うために用いられ、例えば移動体（自移動体５）が左右に移動するときなどに、その周辺に他の移動体（他移動体６）が存在して両者が接触や衝突する危険性がある場合などに、移動体に関わる人に対して警報などにより、他移動体６の接近による危険を報知して安全確認を支援するために用いられる移動体周辺監視装置１、これを用いた移動体周辺監視方法、これをコンピュータに実行させるための制御プログラムおよび、これが記録されたコンピュータ読み取り可能な可読記録媒体の分野において、高度な演算処理や多量の演算処理を必要とせず、リアルタイム（高速）に自移動体周辺に存在する他移動体６を精度良く検出して、接触事故や衝突事故などの危険性がある場合にそれを運転者などに通知すきるため、車両安全システムや交通システムなどに広く利用できて、衝突事故などの交通事故の発生を未然に防止することができる。

本発明の移動体周辺監視装置の実施形態における要部構成例を示すブロック図である。 図１の移動体周辺監視装置を自動車に取り付けた場合の取り付け例をその周囲と共に模式的に示す上面図である。 図１の記憶手段のメモリ構成例を示すブロック図である。 （ａ）は、図１の撮像手段で撮像された自移動体の周辺撮像画像を模式的に示すイメージ図、（ｂ）は、（ａ）のｔ時間後に撮像手段で撮像された自移動体の周辺撮像画像を模式的に示すイメージ図である。 （ａ）〜（ｄ）は図４（ａ）の特定領域における矩形形状例およびその特定領域のその他の形状例をそれぞれ示す図である。 図１の画像処理手段による移動ベクトル情報の抽出処理例を説明するためのフローチャートである。 図１の変化検知手段による自移動体と他移動体との相対的な移動状態の検知処理例を説明するためのフローチャートである。 （ａ）は特定領域を複数本設定した場合について、撮像画像の一例を模式的に示すイメージ図、（ｂ）はそのｔ時間後の状態を模式的に示すイメージ図である。 図８のように特定領域を複数設定した場合について、図１の変化検知手段を用いた変化検知処理例を説明するためのフローチャートである。 従来技術における検知領域を模式的に示すイメージ図である。

符号の説明

１ 移動体周辺監視装置
２ 撮像手段
３ 演算処理部
３１ 特定領域設定手段
３２ 画像処理手段
３３ 記憶手段
３３１ 前画面データ格納領域
３３２ 現画面データ格納領域
３３３ 移動ベクトル格納領域
３４ 変化検知閾値設定手段
３５ 変化検知手段
４ 変化通知手段
５ 自移動体
６ 他移動体
７，７１，７２ 特定領域
８ 位置固定物体（電柱）
９ 他移動体（左端）の撮像判定位置
１０ 移動体検知装置
Ａ 撮像領域

Claims (17)

1. 移動体周辺の画像を撮像する撮像手段と、
   該撮像手段により撮像された画像データに対して、フレーム画像の水平方向に平行でかつ横長帯状の特定領域を設定する設定手段と、
   該撮像手段により時系列に撮像された一または複数フレーム画像毎に、該特定領域の画像データを取り込んで該特定領域の画像データに基づいて移動ベクトル情報を抽出する抽出手段と、
   該移動ベクトル情報に基づいて自移動体の周辺に存在する他移動体を検知する検知手段とを有する移動体周辺監視装置。
2. 前記撮像手段は、前記自移動体の後側方を撮像可能な位置に取付けられている請求項１に記載の移動体周辺監視装置。
3. 前記設定手段は、前記自移動体の撮像画像を含まず、前記他移動体の撮像画像の少なくとも一部が含まれるように、前記撮像された画像データに前記特定領域を設定する請求項１に記載の移動体周辺監視装置。
4. 前記抽出手段は、前記特定領域を複数に分割した各分割領域に対してそれぞれ、現在の画像データの合算値とｔ（ｔ＞０）時間前の前画像データの合算値とを比較してその差分値が最小となる両分割領域を抽出し、該抽出された前画像データの分割領域の位置をｔ時間前の現画像データの位置と判断して、該抽出された両分割領域の前画像データと現画像データとの位置関係を前記移動ベクトル情報として抽出する請求項１または３に記載の移動体周辺監視装置。
5. 前記抽出手段は、前記抽出された両分割領域の前画像データと現画像データとの位置関係が、該現画像データが該前画像データに対して左に移動しているか、または右に移動しているかを判定して前記移動ベクトル情報を決定する請求項４に記載の移動体周辺監視装置。
6. 前記検知手段は、前記移動ベクトル情報に基づいて、前記自移動体と他移動体との相対的な移動状態を検知する請求項１，４および５のいずれかに記載の移動体周辺監視装置。
7. 前記検知手段は、前記特定領域を複数に分割した各分割領域毎に前記移動ベクトル情報を読み出し、該読み出した移動ベクトル情報のうち、所定方向のベクトル数を加算した加算値が所定の判定閾値よりも大きい場合に、前記自移動体に接近する前記他移動体が存在すると検知する請求項１または６に記載の移動体周辺監視装置。
8. 前記検知手段が検出した前記自移動体と他移動体との相対的な移動状態に応じて警報出力する変化通知手段をさらに有する請求項６または７記載の移動体周辺監視装置。
9. 前記抽出手段の抽出処理結果を一時的に記憶する記憶手段をさらに有し、前記検知手段は該記憶手段から前記移動ベクトル情報を読み出して前記検知処理に用いる請求項１および４〜８のいずれかに記載の移動体周辺監視装置。
10. 前記抽出手段は、
    撮像されたフレーム画像の画像データのうち、取り込んだ前記特定領域の画像データを複数の分割領域に分割する分割手段と、
    分割した分割領域毎に画像データ値の合算値を算出する合算値算出手段と、
    該現画像データの各分割領域毎の合算値に対する前画像データの各分割領域の合算値との各差分が最小となる前画像データの分割領域を抽出する分割領域抽出手段と、
    抽出された前画像データの分割領域に対して、これに対応する最小差分時の現画像データの分割領域が左右のいずれにあるかを判断する左右判断手段と、
    左にある場合には左移動ベクトル情報とし、右にある場合には右移動ベクトル情報として前記移動ベクトル情報を決定する移動ベクトル情報決定手段とを有する請求項４または５に記載の移動体周辺監視装置。
11. 前記検知手段は、
    全分割領域に対してそれぞれ、前記移動ベクトル情報が左および右のいずれを示すかを検知し、該左および右の特定の一方を示す場合に移動ベクトル数を加算する移動ベクトル数算出手段と、
    該移動ベクトル数の加算値が判定閾値よりも大きい場合に、自移動体に接近する他移動体が存在すると判定する他移動体接近判定手段とを有する請求項６，７および１０のいずれかに記載の移動体周辺監視装置。
12. 前記設定手段は、前記撮像手段により撮像された画像データに対して、水平方向の位置が等しく、垂直方向の位置が異なる複数の特定領域を設定し、
    前記抽出手段は、各特定領域の画像データをそれぞれ取り込んで移動ベクトル情報をそれぞれ抽出し、
    前記検知手段は、水平方向の位置が等しく、垂直方向の位置が異なる複数の特定領域の各分割領域における移動ベクトル情報が所定の同じ方向である場合にそのベクトル数を加算し、全分割領域に対する全加算値が所定の判定閾値よりも大きい場合に、前記自移動体に接近する前記他移動体が存在すると判定する請求項１〜１１のいずれかに記載の移動体周辺監視装置。
13. 移動体周辺の画像データを時系列にフレーム画像として撮像手段に撮像させる撮像ステップと、
    撮像した一または複数のフレーム画像毎に、該フレーム画像の水平方向に平行でかつ、横長帯状の特定領域を設定する設定ステップと、
    該撮像した一または複数のフレーム画像毎に、該特定領域の画像データを取り込み、該取り込んだ該特定領域の画像データに基づいて移動ベクトル情報を抽出する抽出ステップと、
    該移動ベクトル情報に基づいて自移動体の周辺に存在する他移動体を検知する変化検知ステップとを有する移動体周辺監視方法。
14. 前記抽出ステップは、
    撮像されたフレーム画像の画像データのうち、設定された前記特定領域の画像データを取り込むステップと、
    該特定領域を複数の分割領域に分割するステップと、
    分割した分割領域毎に画像データ値の合算値を算出するステップと、
    該分割領域毎の合算値を現画面データとして記憶手段に記憶させるステップと、
    ｔ時間前に分割領域毎に前画面データとして該記憶手段に記憶した合算値データを読み込むステップと、
    該現画面データの合算値と前画面データの合算値とを比較し、該現画面データの各分割領域毎の合算値に対して、該前画面データの各分割領域における合算値との各差分が最小となる該前画面データの分割領域を抽出するステップと、
    抽出された前画面データの分割領域の位置に対して、これに対応した最小差分時の現画像データの分割領域の位置が左右のいずれにあるかを判断するステップと、
    左にある場合には左移動ベクトル情報とし、右にある場合には右移動ベクトル情報として該記憶手段に記憶させるステップとを有する請求項１３に記載の移動体周辺監視方法。
15. 前記変化検知ステップは、
    全分割領域に対してそれぞれ、前記移動ベクトル情報が左および右のいずれを示すかを検知し、該左および右の特定の一方を示す場合に移動ベクトル数を加算するステップと、
    該移動ベクトル数の加算値が判定閾値よりも大きい場合に、自移動体に接近する他移動体が存在すると判定するステップとを有する請求項１３または１４に記載の移動体周辺監視方法。
16. 請求項１３〜１５のいずれかに記載の移動体周辺監視方法の各ステップをコンピュータに実行させるための制御プログラム。
17. 請求項１６に記載の制御プログラムが記録されたコンピュータ読み取り可能な可読記録媒体。

Images