JP2006027481A - 物体警告装置及び物体警告方法 - Google Patents

Abstract

【課題】 警告を発することが必要な場合にのみ警告を発することにより、運転者に対する注意喚起効果の低下を抑制することができる物体警告装置及び物体警告方法を提供する。
【解決手段】 物体警告装置１は、車両前方の画像を撮像する歩行者検出用カメラ１０と、歩行者検出用カメラ１０により撮像された画像に基づいて歩行者の位置を検出する歩行者検出部１２、歩行者位置取得部１３と、車両を運転する運転者の視線方向を検出する視線方向取得用カメラ２０、視線検出部２２と、歩行者の位置と運転者の視線方向とに基づいて運転者が歩行者を認識しているか否かを判断する認識判断部２３と、運転者が認識していない歩行者が所定の警告範囲内に進入した場合に、運転者に警告を促す警告範囲進入判断部４１、警告出力部４２とを備える。
【選択図】 図１

Description

本発明は、車両周囲の物体を検知し、運転者に物体の存在を警告する物体警告装置及び物体警告方法に関する。

従来から、車両前方の歩行者を検出して警報を発する歩行者検出警報装置が知られている（例えば特許文献１参照）。

特許文献１に記載されている歩行者検出警報装置によれば、まず、車両前方の風景が可視光カメラ及び赤外線カメラで撮像され、可視光カメラで撮像された可視光画像及び赤外線カメラで撮像された赤外線画像それぞれが２値化される。そして、２値化されたそれぞれの画像の差分をとることにより抽出されたパターンと歩行者パターンとの相関が所定の充足率を超えているときに歩行者として判別され、警告が発せられる。
特開平１１−２１５４８７号公報

上記歩行者検出警報装置によれば、歩行者が検出された場合には、例えばその歩行者が歩道を歩いているときや運転者が歩行者を認識しているとき等、警告を発する必要がないときであっても警告が発せられる。そのため、運転者に対する警告の注意喚起効果が低下するおそれがある。

本発明は、上記問題点を解消する為になされたものであり、警告を発することが必要な場合にのみ警告を発することにより、運転者に対する注意喚起効果の低下を抑制することができる物体警告装置及び物体警告方法を提供することを目的とする。

本発明に係る物体警告装置は、車両周囲の画像を撮像する撮像手段と、撮像手段により撮像された画像に基づいて検出対象物体の位置を検出する物体検出手段と、車両を運転する運転者の視線方向を検出する視線検出手段と、物体検出手段により検出された検出対象物体の位置と、視線検出手段により検出された運転者の視線方向とに基づいて、運転者が検出対象物体を認識しているか否かを判断する判断手段と、判断手段により運転者が認識していないと判断された検出対象物体の位置が、所定の警告領域内にある場合に、運転者に警告を促す警告手段とを備えることを特徴とする。

本発明に係る物体警告方法は、車両周囲の画像を撮像する撮像ステップと、撮像ステップにおいて撮像された画像に基づいて検出対象物体の位置を検出する物体検出ステップと、車両を運転する運転者の視線方向を検出する視線検出ステップと、物体検出ステップにおいて検出された検出対象物体の位置と、視線検出ステップにおいて検出された運転者の視線方向とに基づいて、運転者が検出対象物体を認識しているか否かを判断する判断ステップと、判断ステップにおいて運転者が認識していないと判断された検出対象物体の位置が、所定の警告領域内にある場合に、運転者に警告を促す警告ステップとを備えることを特徴とする。

本発明に係る物体警告装置又は物体警告方法によれば、検出対象物体の位置と運転者の視線方向から、運転者が検出対象物体を認識したか否かが判断され、運転者が認識した検出対象物体は警告対象から外される。そして、運転者が認識していない検出対象物体が所定の警告領域内にあるときに警告が発せられる。よって、警告を発することが必要な場合にのみ警告を発することが可能となる。

また、判断手段は、運転者により認識されている検出対象物体の数を取得し、物体警告装置は、物体検出手段により検出された検出対象物体の数に対する、判断手段により取得された運転者により認識されている検出対象物体の数の割合から物体認識率を算出する認識率算出手段を備え、警告手段は、認識率算出手段により算出された物体認識率が所定値より低下した場合に、運転者に警告を促すことが好ましい。

また、判断ステップは、運転者により認識されている検出対象物体の数を取得し、物体警告方法は、物体検出ステップにおいて検出された検出対象物体の数に対する、判断ステップにおいて取得された運転者により認識されている検出対象物体の数の割合から物体認識率を算出する認識率算出ステップを備え、警告ステップは、認識率算出ステップにおいて算出された物体認識率が所定値より低下した場合に、運転者に警告を促すことが好ましい。

このようにすれば、物体認識率が低下した場合、すなわち検出対象物体を見逃す頻度が増加した場合に、運転者の注意力が低下してきたと判断して警報を発することができる。

特に、上記検出対象物体は歩行者であることが好適である。この場合、運転者が認識していない歩行者が所定の警告領域内に進入したときや歩行者の認識率が低下したときに運転者に対して警告を発することができる。

本発明によれば、運転者が認識していない検出対象物体が所定の警告領域内にあるときに警告が発せられる構成としたので、警告を発することが必要な場合にのみ警告を発することができ、運転者に対する注意喚起効果の低下を抑制することが可能となる。

以下、図面を参照して本発明の好適な実施形態について詳細に説明する。図中、同一又は相当部分には同一符号を用いることとする。

まず、図１を用いて、本実施形態に係る物体警告装置１の全体構成について説明する。図１は、第１実施形態に係る物体警告装置１の全体構成を示すブロック図である。以下、歩行者を検出対象物体とした場合を例にして説明する。なお、本明細書においては、車両が直前進している際の前方方向を「前方」と定め、「前」「後」「左」「右」等の方向を表わす語を用いることとする。

物体警告装置１は、車両前方の風景を撮像して画像データを取得する歩行者検出用カメラ（撮像手段）１０、運転者の顔部を撮像して画像データを取得する視線方向取得用カメラ２０、歩行者検出用カメラ１０により取得された画像データ及び視線方向取得用カメラ２０により取得された画像データを処理し、その処理結果に基づいて運転者に警告を促す電子制御装置（以下「ＥＣＵ」という）７を備えている。

歩行者検出用カメラ１０は、２台のＣＣＤカメラを有して構成されており、車両前方の風景を撮像して画像データを取得する。歩行者検出用カメラ１０により取得された画像データは、ＥＣＵ７を構成する歩行者情報取得部１１に出力される。歩行者情報取得部１１の詳細については後述する。歩行者検出用カメラ１０は、自車両のフロントウィンドウ上部（例えば、バックミラーの裏側）に前方を向いて設置されている。歩行者検出用カメラ１０を構成する両カメラの光軸は互いに平行（実質的に平行であればよい）で、かつ撮像面の水平軸が同一線上に揃うように配置されている。なお、歩行者検出用カメラ１０の設置場所はフロントウィンドウ上部に限られることなく、車両前方の画像を撮像することができる場所であれば、車体のどの位置に設けてもよい。

視線方向取得用カメラ２０は、２台のＣＣＤカメラを有して構成されており、運転者の顔部を撮像して画像データを取得する。視線方向取得用カメラ２０により取得された画像データは、ＥＣＵ７を構成する運転者認識情報取得部２１に出力される。運転者認識情報取得部２１の詳細については後述する。視線方向取得用カメラ２０は、自車両のフロントウィンドウ上部（例えば、バックミラーの表側）に運転者の方を向いて設置されている。なお、視線方向取得用カメラ２０の設置場所はフロントウィンドウ上部に限られることなく、運転者の顔部の画像を撮像することができる場所であれば、他の位置に設置してもよい。

ＥＣＵ７は、演算を行うマイクロプロセッサ、マイクロプロセッサに各処理を実行させるためのプログラム等を記憶するＲＯＭ、演算結果などの各種データを記憶するＲＡＭ及び１２Ｖバッテリによってその記憶内容が保持されるバックアップＲＡＭ等により構成されている。

ＥＣＵ７には、歩行者検出用カメラ１０により取得された画像データに基づいて歩行者を検出し、歩行者の位置や属性等の歩行者情報を取得する歩行者情報取得部１１、視線方向取得用カメラ２０により取得された画像データに基づいて運転者の視線方向を検出し、歩行者の位置情報や運転者の視線方向等から運転者の視認情報を取得する運転者認識情報取得部２１、歩行者情報及び運転者認識情報等を記憶する記憶部３０、歩行者情報及び運転者認識情報等に基づいて運転者に警告を発する警告部４０が構築されている。

歩行者情報取得部１１は、歩行者検出部１２、歩行者位置取得部１３、歩行者対応付け部１４及び歩行者情報書込部１５を備えて構成されている。

歩行者検出部１２には、歩行者検出用カメラ１０により取得された車両前方の画像データが入力される。歩行者検出部１２は、入力された車両前方の画像データから、パターン認識等の画像処理手法を用いて歩行者を検出するものである。歩行者の検出には、例えば、ニューラルネットワーク、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）、テンプレートマッチング等の技術が用いられる。検出結果は、歩行者位置取得部１３へ出力される。歩行者検出部１２によって検出された歩行者画像の一例を図５に示す。

歩行者位置取得部１３は、歩行者検出部１２で検出された歩行者の位置や属性等の情報を取得するものである。すなわち、歩行者検出部１２及び歩行者位置取得部１３は物体検出手段として機能する。歩行者位置取得部１３は、例えばステレオ視の原理を用いて、検出された歩行者の３次元位置（自車両の所定部位を原点とした相対位置座標）を取得する。なお、歩行者の位置座標には、歩行者が検出された矩形の歩行者探索領域（図５参照）の中心座標を用いた。

また、歩行者位置取得部１３は、検出された歩行者の属性、例えば色、大きさ、性別、大人又は子供等を画像処理により取得する。そして、取得された歩行者の位置や属性等の歩行者情報から検出歩行者情報リストを作成する。ここで、図５に示された歩行者Ａ及び歩行者Ｂに関する検出歩行者情報リストの一例を図６に示す。作成された検出歩行者情報リストは歩行者対応付け部１４に出力される。

歩行者対応付け部１４は、歩行者位置取得部１３で作成された検出歩行者情報リストと記憶部３０に記憶されている歩行者情報とに基づいて、歩行者検出部１２で今回検出された歩行者と記憶部３０に記憶されている歩行者マップ上の歩行者との対応をとるものである。そして、歩行者対応付け部１４は、今回検出された歩行者に対応する歩行者が歩行者マップ上に存在しない場合には、新たに検出された歩行者に対して歩行者ＩＤ（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）を付与する。一方、歩行者マップ上には存在している歩行者が検出されなかった場合には、この検出されなかった歩行者の歩行者情報を削除する。

歩行者情報書込み部１５は、歩行者対応付け部１４で更新された歩行者情報に応じて、記憶部３０の歩行者情報を書き換えるものである。

運転者認識情報取得部２１は、視線検出部２２、認識判断部２３、認識情報書込部２４及び認識率算出部２５を備えて構成されている。

視線検出部２２には、視線方向取得用カメラ２０により取得された運転者の顔部の画像データが入力される。視線検出部２２は、入力された運転者の顔部の画像データから、パターン認識やステレオ立体視の理論に基づく処理を行うことにより運転者の視線方向を取得するものである。すなわち、視線方向取得用カメラ２０及び視線検出部２２は視線検出手段として機能する。取得された視線方向情報は、認識判断部２３に出力される。

認識判断部２３は、記憶部３０に記憶されている歩行者マップ上の歩行者位置と認識判断部２３により取得された運転者の視線方向情報とに基づいて、運転者が歩行者を認識したか否かを判断するものである。すなわち、認識判断部２３は判断手段として機能する。判断結果は認識情報書込部２４及び認識率算出部２５に出力される。

認識情報書込部２４は、認識判断部２３において運転者が歩行者を認識したと判断された場合に、該当する歩行者の歩行者情報に含まれる運転者認識フラグをＦＡＬＳＥからＴＲＵＥにするものである。なお、運転者認識フラグの初期値はＦＡＬＳＥに設定されている。

認識率算出部２５は、所定時間内（例えば５分）の歩行者の認識率、すなわち、所定時間内に検出された歩行者数と運転者が認識したと判断された歩行者数との比率を算出するものである。このように、認識率算出部２５は認識率算出手段として機能する。算出された歩行者認識率は警告部４０を構成する警告出力部４２に出力される。

警告部４０は、警告範囲進入判断部４１及び警告出力部４２を備えて構成されている。

警告範囲進入判断部４１は、歩行者マップ上の歩行者の位置が予め設定されている警告範囲（警告領域）内にあるか否かを判断し、歩行者が警告範囲内に位置する場合には、該歩行者の運転者認識フラグをチェックする。そして、該歩行者の運転者認識フラグがＦＡＬＳＥの場合、すなわち運転者が認識していない歩行者である場合、警告を発するための制御信号を警告出力部４２に出力する。

警告出力部４２は、警告範囲進入判断部４１から入力された制御信号に応じて、運転者に対して警告を発するものである。警告方法としては、例えば、警告灯の点灯や警告音の発生等が挙げられる。また、警告出力部４２は、認識率算出部２５において算出された歩行者認識率が低下した場合には、運転者の注意力が低下したと判断し、警告を発する。すなわち、警告範囲進入判断部４１及び警告出力部４２は警告手段として機能する。

次に、図２〜図４を参照して、物体警告装置１の動作及び物体警告方法について説明する。図２は、物体警告装置１による歩行者情報取得処理の処理手順を示すフローチャートである。図３は、物体警告装置１による運転者認識情報取得処理の処理手順を示すフローチャートである。図４は、物体警告装置１による警告処理の処理手順を示すフローチャートである。

まず、図２を参照して、歩行者情報取得処理について説明する。本処理は、歩行者情報取得部１１において、所定時間毎に繰り返して実行される。

ステップＳ１００では、歩行者検出用カメラ１０によって取得された車両前方の画像データが読み込まれる。続くステップＳ１０２では、ステップＳ１００で読み込まれた画像データから、パターン認識等の画像処理によって歩行者が検出される。

次に、ステップＳ１０４において、ステレオ視の原理を用いて、ステップＳ１０２で検出された歩行者の３次元位置（自車両の所定部位を原点とした相対位置座標）が求められる。なお、歩行者の位置座標には、歩行者が検出された矩形の歩行者探索領域の中心座標を用いた。また、歩行者の属性情報、例えば色、大きさ、性別等が画像処理により取得される。そして、取得された歩行者の位置や属性等の歩行者情報から検出歩行者情報リスト（図６参照）が作成される。

続いてステップＳ１０６では、記憶部３０に記憶されている歩行者情報を２次元のマップ形式で表した歩行者マップが読み込まれる。図７に歩行者マップの一例を示す。図７において、○は運転者に認識されていない歩行者を示し、◎は運転者に認識されている歩行者を示す。また、●は運転者に認識されておらず且つ予め設定された扇形の警告範囲に進入した歩行者を示す。歩行者マップ上の各歩行者にはＩＤナンバーが付与されており、各歩行者の座標に対応した位置に表示されている。また、歩行者マップ上の歩行者を示す各点は、それぞれに対応した歩行者情報を有している。ここで、歩行者情報の一例を図８に示す。図８に示される歩行者情報には、ＩＤナンバーを付与された歩行者ごとに、位置、属性及び運転者認識フラグ等が記憶されている。

次に、ステップＳ１０８では、ステップＳ１０６で読み込まれた歩行者マップ上の歩行者と、ステップＳ１０２で今回検出された歩行者との対応付けが行われる。読み込まれた歩行者マップの情報は、前回取得された画像データから検出された情報である。そのため、前回画像を取得した時刻から今回画像を取得した時刻までの間に車両が移動した距離Ｄｋを、自車両速度Ｓｃ及び画像取込間隔（フレーム間隔時間）Ｔｆを用いて次式より算出する。

なお、平均移動距離Ｄｋの移動方向は、自車両の進行方向に応じて調節される。

また、前回画像を取得した時刻から今回画像を取得した時刻までの間に歩行者が移動した距離を考慮するため、歩行者移動最大速度Ｓｐ及びフレーム間隔時間Ｔｆを用いて次式により探索半径Ｒｓを算出する。

続いて、算出された平均移動距離Ｄｋ及び探索半径Ｒｓに基づいて対応付け探索範囲を設定する。図９に歩行者マップ上の歩行者位置と、平均移動距離Ｄｋ、探索半径Ｒｓ及び対応付け探索範囲との関係を示す。

そして、今回検出された歩行者の位置が設定された対応付け探索範囲の中にあるか否か、また、歩行者の属性が一致するか否かをチェックすることにより、歩行者マップ上の歩行者と今回検出された歩行者との対応付けが行われる。

続いて、ステップＳ１１０では、ステップＳ１０８でのチェック結果に基づいて、今回検出された歩行者が、歩行者ＩＤを既に付与されている歩行者であるか否か、すなわち、今回検出された歩行者が既に歩行者マップ上に存在する歩行者であるか否かについての判断が行われる。ここで、今回検出された歩行者が既に歩行者マップ上に存在する歩行者である場合には、ステップＳ１１２に処理が移行する。一方、今回検出された歩行者が歩行者マップ上に存在しない歩行者である場合には、ステップＳ１１４に処理が移行する。

ステップＳ１１２では、今回取得された歩行者位置等の歩行者情報に基づいて、対応する歩行者情報が更新される。その後、処理がステップＳ１１６に移行する。

ステップＳ１１４では、新規に検出された歩行者に対して、歩行者ＩＤが付与されると共に、歩行者マップに歩行者情報が追加される。その後、処理がステップＳ１１６に移行する。

ステップＳ１１６では、歩行者マップ上に記憶されている歩行者が今回検出されなかった場合、検出されなかった歩行者の歩行者情報が削除される。なお、例えば、数フレーム連続して検出されなかった場合にのみ歩行者情報を削除するようにしてもよい。その後、処理がステップＳ１００に移行し、所定時間ごとに上記ステップＳ１００〜ステップＳ１１６の処理が繰り返して実行される。

次に、図３を参照して、運転者認識情報取得処理について説明する。本処理は、運転者認識情報取得部２１において、所定時間毎に繰り返して実行される。

ステップＳ２００では、視線方向取得用カメラ２０によって取得された運転者の顔部の画像データが読み込まれる。

続くステップＳ２０２では、ステップＳ２００で読み込まれた画像データから、パターン認識やステレオ立体視の理論に基づく処理によって、運転者の眼球の３次元位置及び視線方向が検出される。

ここで、図１０に示されるように、自車両の所定位置を原点として、車両進行方向をＹ軸、車両左右方向をＸ軸、鉛直方向をＺ軸とした座標系を考える。その場合に、運転者の視線方向は、視線ベクトルをＸＹ平面に投影したときにＸ軸とのなす角である視線水平角度θと、視線べクトルとＸＹ平面とのなす角である視線垂直角度φとによって定義される。また、眼球の３次元位置はＥ（ｘｅ，ｙｅ，ｚｅ）とする。

続いてステップＳ２０４では、記憶部３０に記憶されている歩行者マップが読み込まれる。次に、ステップＳ２０６において、インデックス番号ｋが初期化されて１に設定される。

続くステップＳ２０８では、ＩＤナンバーがｋの歩行者について、歩行者マップ上の歩行者位置と運転者の視線方向とから、運転者がこの歩行者を認識したか否かがチェックされる。すなわち、図１１に示されるように、運転者の眼球位置Ｅ（ｘｅ，ｙｅ，ｚｅ）を始点とした運転者視線ベクトルを歩行者マップに重ね合わせた場合に、運転者視線ベクトルの延長線上に歩行者が存在するか否かがチェックされる。

より具体的には、図１２に示されるように、歩行者視認範囲を設定し、運転者の視線ベクトルがこの歩行者視認範囲を通るか否かがチェックされる。歩行者視認範囲は、例えば、歩行者の３次元位置（中心位置）を基準にして、上下３０ｃｍ、左右１０ｃｍの矩形窓として設定される。歩行者視認範囲の左上端座標をＰ１（ｘ１，ｙ１，ｚ１）、右下端座標をＰ２（ｘ２，ｙ２，ｚ２）とし、運転者の眼球位置をＥ（ｘｅ，ｙｅ，ｚｅ）とした場合、視線水平角度θ及び視線垂直角度φそれぞれが、条件式（３）（６）を満足するか否かを調べることによって、運転者が歩行者を認識しているか否かがチェックされる。

条件式（３）（６）が満足された場合には、歩行者認識範囲の中を視線ベクトルが通っており、運転者が歩行者を認識したと判断される。以下に、具体的な数値を挙げて説明する。

ここでは、歩行者位置取得部１３によって取得された歩行者の３次元位置をＧ（−２．１５，８．８２，０．５３）とし、視線検出部２２によって検出された時刻Ｔｍにおける眼球位置をＥ（０．５６，−０．４８，１．１５）とする。また、歩行者の歩行者視認範囲を、歩行者の３次元中心位置から上下３０ｃｍ、左右１０ｃｍの矩形窓として次のように設定する。すなわち、歩行者視認範囲の左上端座標をＰ１（−２．２５，８．８２，０．８３）、右下端座標をＰ２（−２．０５，８．８２，０．２３）とする。

上記のように各座標を設定した場合、上式（４）（５）（７）（８）より、θＬ＝１０６．８ｄｅｇ、θＲ＝１０５．７ｄｅｇ、φＴ＝−１．９０ｄｅｇ、φＢ＝−５．４４ｄｅｇとなる。その結果、運転者が歩行者を認識したと判断されるための条件は、１０５．７ｄｅｇ＜視線水平角度θ＜１０６．８ｄｅｇ、且つ、−５．４４ｄｅｇ＜視線垂直角度φ＜−１．９０ｄｅｇとなる。

続くステップＳ２１０では、ステップＳ２０８でのチェック結果に基づいて、運転者がＩＤナンバーｋの歩行者を認識したか否かについての判断が行われる。ここで、運転者がＩＤナンバーｋの歩行者を認識していないと判断された場合には、処理がステップＳ２１２に移行する。一方、運転者がＩＤナンバーｋの歩行者を認識したと判断された場合には、処理がステップＳ２１４に移行する。

ステップＳ２１２では、歩行者視認範囲の中を視線ベクトルが通っている回数を計数するための変数Ｍｋがゼロに初期設定される。その後、処理はステップＳ２２０に移行する。

ステップＳ２１４では、Ｍｋが１だけインクリメントされる。そして、続くステップＳ２１６において、ＭｋがＭｔより大きいか否かについての判断が行われる。ここで、ＭｋがＭｔより大きい場合、すなわち運転者が歩行者を視認したと判断された場合、ステップＳ２１８において、ＩＤナンバーｋの歩行者情報に含まれる運転者認識フラグがＦＡＬＳＥからＴＲＵＥにされる。一方、ＭｋがＭｔ以下の場合には、処理がステップＳ２２０に移行する。ここで、例えば、Ｍｔを３に設定した場合、歩行者視認範囲の中を視線ベクトルが通ったことが連続して４回以上検知されたときに、運転者がその歩行者を認識したと判断される。すなわち、画像取得周期を３０Ｈｚとした場合、同一歩行者を０．１秒以上連続して見ていたときに運転者がその歩行者を認識したと判断される。

ステップＳ２２０では、歩行者マップ上のすべての歩行者をチェックしたか否かについての判断が行われる。ここで、まだチェックのされていない歩行者が存在する場合には、ステップＳ２２２において、インデックス番号ｋが１だけインクリメントされる。その後、処理がステップＳ２０８に移行し、すべての歩行者に対してチェックが終了するまで、上記ステップＳ２０８〜ステップＳ２２０の処理が繰り返して実行される。

一方、歩行者マップ上のすべての歩行者に対してチェックが終了した場合には、処理がステップＳ２００に移行し、所定時間ごとに上記ステップＳ２００〜ステップＳ２２０の処理が繰り返して実行される。

次に、図４を参照して警告処理について説明する。本処理は、特に記載のない限り、警告部４０において、所定時間毎に繰り返して実行される。

ステップＳ３００では、例えば、警告範囲、歩行者移動最大速度Ｓｐ等の各種パラメータの初期設定が行われる。続いてステップＳ３０２では、記憶部３０に記憶されている歩行者マップが読み込まれる。次に、ステップＳ３０４では、インデックス番号ｋが初期化されて１に設定される。

続いてステップＳ３０６では、ＩＤナンバーｋの歩行者が、ステップＳ２００で設定された警告範囲に進入しているか否かについての判断が行われる。ここで、ＩＤナンバーｋの歩行者が警告範囲に侵入していない場合には、処理がステップＳ３１２に移行する。一方、ＩＤナンバーｋの歩行者が警告範囲に侵入している場合には、処理がステップＳ３０８に移行する。

ステップＳ３０８では、警告範囲に進入しているＩＤナンバーがｋの歩行者の運転者認識フラグがＦＡＬＳＥか否か、すなわち運転者にまだ認識されていない歩行者であるか否かについての判断が行われる。ここで、運転者認識フラグがＦＡＬＳＥの場合には、処理がステップＳ３１０に移行する。一方、運転者認識フラグがＴＲＵＥの場合には、処理がステップＳ３１２に移行する。

運転者に認識されていないＩＤナンバーがｋの歩行者が警告範囲に進入していると判断された場合、ステップＳ３１０では、警告灯の点灯や警告音等によって、運転者に対して警告が発せられる。なお、ここでは、警告音を一定時間鳴らすためのトリガを出力し、次の処理に進むこととしてもよい。

続いて、ステップＳ３１２では、歩行者マップ上のすべての歩行者をチェックしたか否かについての判断が行われる。ここで、まだチェックのされていない歩行者が存在する場合には、ステップＳ３１４において、インデックス番号ｋが１だけインクリメントされる。その後、処理がステップＳ３０６に移行し、すべての歩行者に対してチェックが終了するまで、上記ステップＳ３０６〜ステップＳ３１２の処理が繰り返して実行される。

一方、歩行者マップ上のすべての歩行者に対してチェックが終了した場合には、処理がステップＳ３１６に移行する。

ステップＳ３１６では、認識率算出部２５において、歩行者認識率αが算出される。歩行者認識率αは、所定時間τ（例えば５分）内に検出された歩行者数と運転者が認識したと判断された歩行者数との比率であり、次式により算出される。

次に、ステップＳ３１８では、ステップＳ３１６で算出された歩行者認識率αが所定のしきい値αＴ（例えば０．７）より低いか否かについての判断が行われる。ここで、歩行者認識率αがしきい値αＴより低下している場合には、運転者の注意力が低下していると判断され、ステップＳ３２０において、休憩をとるように促す警告が出力される。なお、しきい値αＴの値は、例えば、疲労度合と歩行者認識認識率との関係から実験的に導き出すことができる。

歩行者認識率αがしきい値αＴ以上である場合、又はステップＳ３２０での警告出力ッ処理が終了した場合には、処理がステップＳ３００に移行し、所定時間ごとに上記ステップＳ３００〜ステップＳ３２０の処理が繰り返して実行される。

このように、本実施形態によれば、歩行者の位置と運転者の視線方向とから、運転者が歩行者を認識したか否かが判断され、運転者が認識した歩行者は警告対象から外される。そして、運転者が認識していない歩行者が所定の警告範囲内にあるときに警告が発せられる。よって、警告を発することが必要な場合にのみ警告を発することができ、運転者に対する注意喚起効果の低下を抑制することが可能となる。

また、歩行者認識率αが低下した場合、すなわち歩行者を見逃す頻度が増加した場合に警告が発せられる。すなわち、運転者の注意力が低下してきたと判断される状況において警報を発することが可能となる。

以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。例えば、歩行者検出用カメラ１０に代えて歩行者の３次元位置を検出することができるレーザレンジファインダ等を用いることもできる。

また、視線方向取得用カメラ２０に代えて、例えば、ＬＥＤとカメラを組み合わせた視線検出装置等を用いてもよい。運転者が歩行者を視認したと判断される角度は、歩行者が遠方に位置するほど小さくなる。したがって、遠くの歩行者の視認判断を行うには高い分解能が必要になる。例えば、ＬＥＤ式視線検出装置の角度分解能は約０．１ｄｅｇであるので、約５０ｍ以内に存在する歩行者を対象とすることができる。

また、本実施形態では、警告範囲を扇形に設定したが、警告範囲は扇形に限られるものではない。さらに、物体警告装置１を構成するＥＣＵ７の各処理部の機能分担等は上記実施形態に限られるものではない。

実施形態に係る物体警告装置の全体構成を示すブロック図である。 実施形態に係る物体警告装置による歩行者情報取得処理の処理手順を示すフローチャートである。 実施形態に係る物体警告装置による運転者認識情報取得処理の処理手順を示すフローチャートである。 実施形態に係る物体警告装置による警告処理の処理手順を示すフローチャートである。 歩行者検出画像の一例を示す図である。 検出された歩行者の情報リストの一例を示す図である。 歩行者マップの一例を示す図である。 歩行者マップの歩行者情報の一例を示す図である。 歩行者の対応付け方法を説明するための図である。 運転者の視線方向を説明するための図である。 歩行者の認識判定方法を説明するための図である。 歩行者の認識判定方法を説明するための図である。

符号の説明

１…物体警告装置、１０…歩行者検出用カメラ、１１…歩行者情報取得部、１２…歩行者検出部、１３…歩行者位置取得部、１４…歩行者対応付け部、１５…歩行者情報書込部、２０…視線方向取得用カメラ、２１…運転者認識情報取得部、２２…視線検出部、２３…認識判断部、２４…認識情報書込部、２５…認識率算出部、３０…記憶部、４０…警告部、４１…警告範囲進入判断部、４２…警告出力部。

Claims (6)

1. 車両周囲の画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像に基づいて検出対象物体の位置を検出する物体検出手段と、
   前記車両を運転する運転者の視線方向を検出する視線検出手段と、
   前記物体検出手段により検出された前記検出対象物体の位置と、前記視線検出手段により検出された前記運転者の視線方向とに基づいて、前記運転者が前記検出対象物体を認識しているか否かを判断する判断手段と、
   前記判断手段により前記運転者が認識していないと判断された前記検出対象物体の位置が、所定の警告領域内にある場合に、前記運転者に警告を促す警告手段と、を備えることを特徴とする物体警告装置。
2. 前記判断手段は、前記運転者により認識されている前記検出対象物体の数を取得し、
   前記物体警告装置は、前記物体検出手段により検出された前記検出対象物体の数に対する、前記判断手段により取得された前記運転者により認識されている前記検出対象物体の数の割合から物体認識率を算出する認識率算出手段を備え、
   前記警告手段は、前記認識率算出手段により算出された前記物体認識率が所定値より低下した場合に、前記運転者に警告を促す、ことを特徴とする請求項１に記載の物体警告装置。
3. 前記検出対象物体は歩行者であることを特徴とする請求項１又は２に記載の物体警告装置。
4. 車両周囲の画像を撮像する撮像ステップと、
   前記撮像ステップにおいて撮像された画像に基づいて検出対象物体の位置を検出する物体検出ステップと、
   前記車両を運転する運転者の視線方向を検出する視線検出ステップと、
   前記物体検出ステップにおいて検出された前記検出対象物体の位置と、前記視線検出ステップにおいて検出された前記運転者の視線方向とに基づいて、前記運転者が前記検出対象物体を認識しているか否かを判断する判断ステップと、
   前記判断ステップにおいて前記運転者が認識していないと判断された前記検出対象物体の位置が、所定の警告領域内にある場合に、前記運転者に警告を促す警告ステップと、を備えることを特徴とする物体警告方法。
5. 前記判断ステップは、前記運転者により認識されている前記検出対象物体の数を取得し、
   前記物体警告方法は、前記物体検出ステップにおいて検出された前記検出対象物体の数に対する、前記判断ステップにおいて取得された前記運転者により認識されている前記検出対象物体の数の割合から物体認識率を算出する認識率算出ステップを備え、
   前記警告ステップは、前記認識率算出ステップにおいて算出された前記物体認識率が所定値より低下した場合に、前記運転者に警告を促す、ことを特徴とする請求項４に記載の物体警告方法。
6. 前記検出対象物体は歩行者であることを特徴とする請求項４又は５に記載の物体警告方法。
   

Images