JP2011138265A - 車両周辺監視装置 - Google Patents

Abstract

【課題】そこで、本発明は、眼鏡を掛けた歩行者や帽子を被った歩行者について、歩行者であることの判定ができなくなることを抑制した車両周辺監視装置を提供する。
【解決手段】赤外線カメラの撮像画像のグレースケール画像を２値化処理して生成された２値画像から、処理対象画像部分を抽出する２値画像候補抽出手段２０と、処理対象画像部分が歩行者の頭部の特徴を有するか否かを判断して、処理対象画像部分に対応する実空上の物体が歩行者であるか否かを識別する歩行者識別手段２１とを備え、歩行者識別手段２０は、所定範囲内の間隔をもって垂直方向に対向した二つの処理対象画像部分７５，７６が抽出されたときには、該間隔部分を埋めて該二つの画像部分を一体化した画像部分について歩行者の頭部の特徴を有するか否かを判断して、該二つの画像部分に対応する実空間上の物体が歩行者であるか否かを識別する。
【選択図】 図５

Description

本発明は、車両に取り付けられたカメラによる撮像画像から、車両周辺の監視対象物を認識する車両周辺監視装置に関する。

従来より、カメラにより撮像された自車両周辺の画像から、自車両に接触する可能性がある歩行者等の監視対象物を検知して、運転者に報知するようにした車両周辺監視装置が提案されている（例えば、特許文献１参照）。

特許文献１に記載された車両周辺監視装置においては、赤外線カメラにより撮像されたグレースケール画像を２値化処理した２値画像から、歩行者の頭部の形状と類似した画像部分を抽出し、この画像部分について歩行者判定の処理を行うようにしている。

特許第４２８３２６６号公報

赤外線カメラにより歩行者を撮像した場合、歩行者の頭部は周囲に比べて温度が高いためグレースケール画像においては高輝度の領域となる。そのため、通常であれば、このグレースケール画像を２値化処理した２値画像から、比較的容易に頭部の特徴を有する画像部分を抽出することができる。

しかし、歩行者が眼鏡を掛けているときには、眼鏡の温度は歩行者の頭部よりも低い、反射率・放射率が歩行者と異なる、歩行者頭部からの赤外線を遮断してしまう等の影響により、２値画像において眼鏡の部分が黒（低輝度域）となり、白（高輝度域）となる頭部の画像部分が眼鏡の部分により上下２つに分断される場合がある。また、頭部の画像部分の一部が眼鏡の部分により大きく欠損する場合がある。そして、これらの場合には、歩行者の頭部の画像部分が頭部の特徴を有しないものとなって、歩行者の判定ができなくなる。

また、歩行者が帽子（サンバイザー等）を被っているときにも、同様にして、歩行者の頭部の画像部分の分断や欠損が生じ得る。

そこで、本発明は、眼鏡を掛けた歩行者や帽子を被った歩行者について、歩行者であることの判定ができなくなることを抑制した車両周辺監視装置を提供することを目的とする。

本発明は上記目的を達成するためになされたものであり、車載の赤外線カメラによる撮像画像に基づいて、自車両周辺の監視対象物を認識する車両周辺監視装置であって、前記撮像画像のグレースケール画像を２値化処理して生成された２値画像から、処理対象画像部分を抽出する２値画像候補抽出手段と、前記処理対象画像部分が歩行者の頭部の特徴を有するか否かを判断して、前記処理対象画像部分に対応する実空上の物体が歩行者であるか否かを識別する歩行者識別手段とを備えた車両周辺監視装置に関する。

そして、本発明の第１の態様は、前記歩行者識別手段は、前記処理対象画像部分として、所定範囲内の間隔をもって垂直方向に対向した二つの画像部分が抽出されたときには、該間隔部分を埋めて該二つの画像部分を一体化し、該一体化した画像部分が歩行者の頭部の特徴を有するか否かを判断して、該二つの画像部分に対応する実空間上の物体が歩行者であるか否かを識別することを特徴とする。

かかる本発明によれば、歩行者が眼鏡を掛けているため或いは歩行者が帽子を被っているために、その頭部の２値画像が眼鏡或いは帽子のつば部等の画像部分で上下に分断され、前記２値画像候補抽出手段により、前記所定範囲内の間隔をもって垂直方向に対向した二つの画像部分が、前記処理対象画像部分として抽出されたときに、前記歩行者識別手段は、該間隔部分を埋めて該二つの画像部分を一体化する。そして、前記歩行者識別手段は、この一体化された画像部分について、歩行者の特徴部分の有無を判断する。

そのため、歩行者の頭部の画像部分が眼鏡或いは帽子のつば部等の画像部分により上下に分断され、分断された各画像部分が頭部の特徴（高さ、幅、縦横比等）を有しなくなっている場合であっても、前記一体化された画像部分について歩行者の頭部の特徴の有無を判断することで、歩行者が識別できなくなることを抑制することができる。

次に、本発明の第２の態様は、前記歩行者識別手段は、前記処理対象画像部分として、略中央部に水平方向に長い欠損部を有する画像部分が抽出されたときには、該欠損部を埋めた画像部分が歩行者の頭部の特徴を有するか否かを判断して、該欠損部を有する画像部分に対応する実空間上の物体が歩行者であるか否かを識別することを特徴とする。

かかる本発明によれば、歩行者が眼鏡を掛けているため或いは歩行者が帽子を被っているために、その頭部の２値画像の略中央部に、眼鏡の画像部分或いは帽子のつばの画像部分による水平方向に長い欠損部がある処理対象画像部分が抽出されたときに、前記歩行者識別手段は該欠損部を埋める。そして、前記歩行者識別手段は、このようにして欠損部が埋められた画像部分について、歩行者の特徴の有無を判断する。

そのため、歩行者の頭部の画像部分に眼鏡或いは帽子のつば部等による欠損部があるために、該画像部分が頭部の特徴（面積、充足率等）を有しなくなっている場合であっても、該欠損部を埋めた画像部分について歩行者の頭部の特徴の有無を判断することで、歩行者が識別できなくなることを抑制することができる。

本発明の車両周辺監視装置の構成図。 図１に示した車両周辺監視装置の車両への取り付け態様の説明図。 図１に示した画像処理ユニットによる処理手順を示したフローチャート。 歩行者識別処理のフローチャート。 二つの処理対象画像部分を一体化する処理の説明図。 処理対象画像部分の欠損部を埋める処理の説明図。

本発明の実施形態について、図１〜図６を参照して説明する。図１を参照して、本発明の車両周辺監視装置は、遠赤外線を検出可能な赤外線カメラ２Ｒ，２Ｌと、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４と、運転者によるブレーキの操作量を検出するブレーキセンサ５と、赤外線カメラ２により得られる画像から車両前方の監視対象物（歩行者等）を検出し、この監視対象物と車両が接触する可能性が高い場合に警報を出力する画像処理ユニット１と、音声により警報を出力するためのスピーカ６と、赤外線カメラ２Ｒ，２Ｌにより得られた画像を表示すると共に、接触の可能性が高い監視対象物を運転者に視認させる表示を行うための表示装置７とを備えている。

図２を参照して、赤外線カメラ２Ｒ，２Ｌは、車両１０の前部に、車両１０の車幅方向の中央部に対してほぼ対称な位置に配置されている。また、２台の赤外線カメラ２Ｒ，２Ｌは、光軸を互いに平行とし、且つ、路面からの高さを等しくして固定されている。なお、赤外線カメラ２Ｒ，２Ｌは、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。また、表示装置７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。

また、図１を参照して、画像処理ユニット１は、マイクロコンピュータ（図示しない）等により構成された電子ユニットであり、赤外線カメラ２Ｒ，２Ｌから出力されるアナログ映像信号をデジタルデータに変換して画像メモリ（図示しない）に取り込み、該画像メモリに取り込んだ車両前方の画像に対して該マイクロコンピュータにより各種演算処理を行う機能を有している。

そして、該マイクロコンピュータに車両周辺監視用のプログラムを実行させることによって、画像処理ユニット１は、処理対象画像抽出手段２０及び歩行者識別手段２１として機能する。

次に、図３に示したフローチャートに従って、画像処理ユニット１による監視対象物の検出及び注意喚起処理について説明する。

画像処理ユニット１は、先ずＳＴＥＰ１で赤外線カメラ２Ｒ，２Ｌから出力される赤外線画像のアナログ信号を入力し、続くＳＴＥＰ２で該アナログ信号をＡ／Ｄ変換によりデジタル化したグレースケール画像を画像メモリに格納する。なお、ＳＴＥＰ１〜ＳＴＥＰ２では、赤外線カメラ２Ｒによるグレースケール画像（以下、右画像という）と、赤外線カメラ２Ｌによるグレースケール画像（以下、左画像という）とが取得される。そして、右画像と左画像では、同一の対象物の画像部分の水平位置にずれ（視差）が生じるため、この視差に基づいて実空間における車両１０から該対象物までの距離を算出することができる。

続くＳＴＥＰ３で、画像処理ユニット１は、右画像を基準画像として２値化処理（輝度が閾値以上の画素を「１（白）」とし、該閾値よりも小さい画素を「０（黒）」とする処理）を行って２値画像を生成する。

次のＳＴＥＰ４〜ＳＴＥＰ６は処理対象画像抽出手段２０による処理である。処理対象画像抽出手段２０は、ＳＴＥＰ４で、２値画像に含まれる各白領域の画像部分をランレングスデータ（２値画像のｘ（水平）方向に連続する白の画素のラインのデータ）化する。また、処理対象画像抽出手段２０は、ＳＴＥＰ５で、２値画像のｙ（垂直）方向に重なる部分があるラインを一つの画像部分としてラベリングし、ＳＴＥＰ６で、ラベリングした画像部分を処理対象画像部分として抽出する。

次のＳＴＥＰ７で、画像処理ユニット１は、各処理対象画像部分の重心Ｇ、面積Ｓ、及び外接四角形の縦横比ＡＳＰＥＣＴを算出する。なお、具体的な算出方法については、例えば前掲した特許第４２８３２６６号公報に詳説されているので、ここでは説明を省略する。そして、画像処理ユニット１は、続くＳＴＥＰ８〜ＳＴＥＰ９と、ＳＴＥＰ２０〜ＳＴＥＰ２２を並行して実行する。

ＳＴＥＰ８で、画像処理ユニット１は、所定のサンプリング周期毎に赤外線カメラ２Ｒ，２Ｌにより撮像された画像に基づく２値画像から抽出された対象物の画像について同一性判定を行い、同一の対象物の画像であると判定された画像の位置（重心位置）の時系列データをメモリに格納する（時刻間追跡）。また、ＳＴＥＰ９で、画像処理ユニット１は、車速センサ４により検出される車速ＶCAR及びヨーレートセンサ３により検出されるヨーレートＹRを読み込み、ヨーレートＹRを時間積分することにより、車両１０の回頭角θrを算出する。

一方、ＳＴＥＰ２０において、画像処理ユニット１は、基準画像（右画像）の２値画像によって追跡される対象物の画像候補の中の一つを選択して、右画像のグレースケール画像から探索画像Ｒ１（選択された候補画像の外接四角形で囲まれる領域全体の画像）を抽出する。続くＳＴＥＰ２１で、画像処理ユニット１は、左画像のグレースケール画像から探索画像Ｒ１に対応する画像（以下、対応画像Ｒ１’という）を探索する探索領域を設定し、探索画像Ｒ１との相間演算を実行して対応画像Ｒ１’を抽出する。そして、ＳＴＥＰ２２で、画像処理ユニット１は、探索画像Ｒ１の重心位置と対応画像Ｒ１’の重心位置との差を視差量Δｄ（画素数）として算出し、ＳＴＥＰ１０に進む。

ＳＴＥＰ１０で、画像処理ユニット１は、視差量Δｄに基づいて車両１０と対象物との距離ｚを算出し、探索画像の座標（ｘ，ｙ）と距離ｚを、実空間座標（Ｘ，Ｙ，Ｚ）に変換して、探索画像に対応する実空間位置の座標を算出する。なお、実空間座標（Ｘ，Ｙ，Ｚ）は、図２に示したように、赤外線カメラ２Ｒ，２Ｌの取り付け位置の中点の位置を原点０として、Ｘを車両１０の車幅方向、Ｙを鉛直方向、Ｚを車両１０の前方方向に設定されている。また、画像座標は、画像の中心を原点とし、水平方向がｘ、垂直方向がｙに設定されている。

続くＳＴＥＰ１１で、画像処理ユニット１は、車両１０が回頭することによる画像上の位置ずれを補正する回頭角補正を行う。続くＳＴＥＰ１２は、移動ベクトル算出手段２１による処理であり、移動ベクトル算出手段２１は、所定のモニタ期間内に撮像された複数の画像から得られた回頭角補正後の同一の対象物の実空間位置の時系列データから、対象物と車両１０との相対的な移動ベクトルを算出する。

なお、実空間座標（Ｘ，Ｙ，Ｚ）及び移動ベクトルの具体的な算出方法については、前掲した特許第４２８３２６６号公報に詳説されているので、ここでは説明を省略する。

次に、ＳＴＥＰ１３で、画像処理ユニット１は、車両１０と検出した対象物との接触の可能性を判断して、注意喚起を行う必要があるか否かを判定する「注意喚起判定処理」を実行する。そして、「注意喚起判定処理」により、注意喚起を行う必要があると判定されたときは、ＳＴＥＰ３０に分岐してブザー６による注意喚起音の出力と、表示装置７への注意喚起表示を行う。一方、「注意喚起判定処理」により注意喚起を行う必要がないと判定されたときには、ＳＴＥＰ１に戻り、画像処理ユニット１は注意喚起を行わない。

次に、「注意喚起判定処理」において実行される歩行者識別手段２１による処理について、図４に示したフローチャートに従って説明する。歩行者識別手段２１は、処理対象画像抽出手段２０により抽出された各処理対象画像部分について、歩行者の頭部の特徴を有するか否かを判定する。

歩行者識別手段２１は、図４のＳＴＥＰ５０で、処理対象画像部分の大きさが、処理対象画像部分に対応する実空間位置と車両１０との距離に基づいて設定した、歩行者の頭部相当の大きさであるか否かを判断する。そして、処理対象画像部分の大きさが歩行者の頭部相当の大きさであったときにはＳＴＥＰ５１に進み、頭部相当の大きさでなかったときにはＳＴＥＰ６０に分岐する。

ここで、図５の（ａ）に示したように、眼鏡を掛けた歩行者の頭部部分のグレースケール画像７０を２値化すると、温度の低い眼鏡の部分で頭部の画像部分が、（ｂ）に示したように上下２つの部分７１，７１に分断され、（ｃ）に示したように、２つの処理対象画像部分７５，７６として抽出される場合がある。そして、この場合には、処理対象画像部分７５，７６は、歩行者の頭部の特徴（大きさ、重心、縦横比等）を有しないため、歩行者の頭部の画像部分として抽出されないことになる。

そこで、歩行者識別手段２１は、ＳＴＥＰ６０で、処理対象画像部分７１の下方に、所定範囲内の間隔をもって対向した他の処理対象画像部分を探索する。そして、他の処理対象画像部分が探知されなかったときは、次のＳＴＥＰ６１からＳＴＥＰ７０に進み、歩行者識別手段２１は、処理対象画像部分７１が歩行者の頭部の画像部分ではないと判定してＳＴＥＰ５５に進み、処理を終了する（他の処理対象画像部分があれば、その処理対象画像部分について再度図４のフローチャートによる処理を実行する）。

一方、ＳＴＥＰ６０で、図５の（ｃ）に示したように、他の処理対象画像部分７２が探知されたときにはＳＴＥＰ６１からＳＴＥＰ６２に進み、歩行者識別手段２１は、上部の処理対象画像部分７５と、上部の処理対象画像部分７５と下部の処理対象画像部分７６との間隔部分を合わせた部分の大きさが、歩行者の頭部の上部の大きさに相当するものであるか否かを判断する。

そして、上部の処理対象画像部分７５と、上部の処理対象画像部分７５と下部の処理対象画像部分７６との間隔部分を合わせた部分の大きさが、歩行者の頭部の上部の大きさに相当するものであるときはＳＴＥＰ６３に進み、歩行者識別手段２１は、図６の（ａ）に示したように、上部の処理対象画像部分７５と下部の処理対象画像部分７６との間隔部分を埋めて（間隔部分の画素を「１（白）」とする）、一体化する。

そして、ＳＴＥＰ５４に進み、歩行者識別手段２１は、一体化した処理対象画像部分８０について、歩行者の頭部の特徴を有するか否かを判定して、この画像部分に対応する実空間上の物体が歩行者であるか否かを判断する。これにより、眼鏡の画像部分により歩行者の頭部の画像部分が上下に分断された場合であっても、歩行者の頭部の画像部分を抽出することができる。

一方、上部の処理対象画像部分７５と下部の処理対象画像部分７６との間隔部分を合わせた部分の大きさが、歩行者の頭部の上部の大きさに相当するものでなかったときにはＳＴＥＰ７０に分岐し、歩行者識別手段２１は、上部の処理対象画像部分７５が歩行者の画像部分ではないと判定してＳＴＥＰ７に進み、処理を終了する。

次に、ＳＴＥＰ５１で、歩行者識別手段２１は、処理対象画像部分に、図５の（ｂ）に示したように、処理対象画像部分８０に、水平方向に長い欠損部（白領域で三方又は四方を囲まれた黒領域）があるか否かを判断する。そして、欠損部があるときはＳＴＥＰ５２に進み、欠損部がないときにはＳＴＥＰ５４に分岐する。

ＳＴＥＰ５２で、歩行者識別手段２１は、処理対象画像部分８０における欠損部の大きさ及び位置が、眼鏡相当の大きさ及び位置であるか否かを判断する。そして、処理対象画像部分８０における欠損部の大きさ及び位置が、眼鏡相当の大きさ及び位置であるときはＳＴＥＰ５３に進み、歩行者識別手段２１は欠損部を埋める（欠損部の画素を「１（白）」とする）。例えば、図６の（ｂ）の場合には、欠損部９１が埋められて、図６の（ａ）の状態となる。

そして、ＳＴＥＰ５４に進み、歩行者識別手段２１は、欠損部が生められた画像部分について、歩行者の頭部の特徴を有するか否かを判定して、この画像部分に対応する実空間上の物体が歩行者であるか否かを判断する。これにより、眼鏡の画像部分により歩行者の頭部の画像に欠損部分が生じ、面積や充足率を基準とした判定では、処理対象画像部分が歩行者の頭部の画像であることが認識できなくなっている場合であっても、歩行者の頭部の画像部分を抽出することができる。

なお、本実施の形態においては、眼鏡を掛けた歩行者の画像について説明したが、帽子を被った歩行者の画像についても、同様の処理を行うことで、帽子の画像部分により分断あるいは欠損が生じた歩行者の画像部分に対して、頭部の特徴を判断して歩行者であるか否かを識別することができる。

また、本実施の形態においては、処理対象画像部分の中央部よりも上の箇所に欠損を有する場合を例として説明したが、人の顔形状や撮像時の角度、又は髪の毛により頭頂部が見え難い等の要因により、欠損の位置は必ずしも中央部よりも上の箇所とは限らず、中央部の下部に欠損が生じる場合もある。

１…画像処理ユニット、２Ｒ，２Ｌ…赤外線カメラ、２０…処理対象画像部分抽出手段、２１…歩行者識別手段、７０…処理対象画像部分、７１，７２…眼鏡の画像部分により上限に分断された頭部の画像部分、７５，７６…所定間隔をもって垂直方向に対向した対象画像部分、８０…間隔部分が埋められて一体化された処理対象画像部分、９０…欠損部９１を有する処理対象画像部分。

Claims (2)

1. 車載の赤外線カメラによる撮像画像に基づいて、自車両周辺の監視対象物を認識する車両周辺監視装置であって、
   前記撮像画像のグレースケール画像を２値化処理して生成された２値画像から、処理対象画像部分を抽出する２値画像候補抽出手段と、
   前記処理対象画像部分が歩行者の頭部の特徴を有するか否かを判断して、前記処理対象画像部分に対応する実空上の物体が歩行者であるか否かを識別する歩行者識別手段とを備えた車両周辺監視装置において、
   前記歩行者識別手段は、前記処理対象画像部分として、所定範囲内の間隔をもって垂直方向に対向した二つの画像部分が抽出されたときには、該間隔部分を埋めて該二つの画像部分を一体化し、該一体化した画像部分が歩行者の頭部の特徴を有するか否かを判断して、該二つの画像部分に対応する実空間上の物体が歩行者であるか否かを識別することを特徴とする車両周辺監視装置。
2. 車載の赤外線カメラによる撮像画像に基づいて、自車両周辺の監視対象物を認識する車両周辺監視装置であって、
   前記撮像画像のグレースケール画像を２値化処理して生成された２値画像から、処理対象画像部分を抽出する２値画像候補抽出手段と、
   前記処理対象画像部分が歩行者の頭部の特徴を有するか否かを判断して、前記処理対象画像部分に対応する実空上の物体が歩行者であるか否かを識別する歩行者識別手段とを備えた車両周辺監視装置において、
   前記歩行者識別手段は、前記処理対象画像部分として、略中央部に水平方向に長い欠損部を有する画像部分が抽出されたときには、該欠損部を埋めた画像部分が歩行者の頭部の特徴を有するか否かを判断して、該欠損部を有する画像部分に対応する実空間上の物体が歩行者であるか否かを識別することを特徴とする車両周辺監視装置。