JP2005293479A - 物体危険判定装置 - Google Patents

Abstract

【課題】 物体に対する危険判定を的確に行うことができる物体危険判定装置を提供する。
【解決手段】 画像上における視点の位置を基準として危険判定の対象範囲とすべき危険判定範囲を設定し、瞳孔の開き度合いに基づいて危険判定範囲内に写し出される物体（危険ポイント、若しくは移動物体）を特定する（Ｓ１０）。そして、危険判定範囲内に写し出される物体の移動ベクトルに基づいて、危険ポイントや移動物体に応じた危険判定を行う（Ｓ４０）。
【選択図】 図５

Description

本発明は、物体危険判定装置に関するものである。

従来、画像処理にて障害物を検出する障害物検知システムが提案されている（例えば、特許文献１参照。）。この特許文献１に開示されている障害物検知システムは、自動車に取り付けられたカメラからの画像を画像処理にて道路環境の種類、障害物の種類、相対位置等を算出し、緊急度合いが高い障害物について、その存在を画像表示等によって通知する。

また、物体の移動ベクトルに基づいて物体を識別する画像式歩行者検出装置が提案されている（例えば、特許文献２参照）。この特許文献２に開示されている画像式歩行者検出装置によれば、撮影した画像を２値化し、最新フレームの２値化画像と以前の２値化画像の差分をとることで撮影エリアを物体なし、物体あり、物体退却、物体進入に分け（４値化）、これら夫々に対応する画像の分布により物体の移動ベクトルを算定し、各移動ベクトルの方向と横断方向の比較に基づいて歩行者を識別する。
特開２００２−７４５９４号公報 特開平７−２００９８６号公報

上述した、従来の障害物検知システム、及び画像式歩行者検出装置は、何れも画像全体に対して画像処理を施さなければならず、膨大な量の計算が必要となる。また、従来の画像式歩行者検出装置の検出結果を用いて歩行者に対する危険判定を行う場合、従来の画像式歩行者検出装置では、移動ベクトルの方向が横断歩道に平行（角度θ＝０又は１８０度）であるものを歩行者として検出するため、その移動ベクトルの方向が横断歩道に平行となる歩行者以外の物体を検出する可能性がある。そのため、的確な危険判定を行うことができなくなる。

本発明は、かかる問題を鑑みてなされたもので、物体に対する危険判定を的確に行うことができる物体危険判定装置を提供することを目的とする。

請求項１に記載の物体危険判定装置は、視線方向、及び瞳孔の開き度合いを検出する検出手段と、視線方向の風景の画像を撮影する撮像手段と、視線方向に基づいて、画像における視点の位置を特定する視点特定手段と、視点特定手段の特定する視点の位置を基準として、画像上に危険判定の対象範囲とすべき危険判定範囲を設定する危険判定範囲設定手段と、瞳孔の開き度合いに基づいて、危険判定範囲内に写し出される物体を特定する物体特定手段と、撮像手段の撮影した前回までの画像と今回の画像とに基づいて、危険判定範囲内に写し出される物体の移動ベクトルを算出する移動ベクトル算出手段と、移動ベクトルに基づいて、物体特定手段によって特定される物体に応じた危険判定を行う危険判定手段を備えることを特徴とする。

このように、本発明の物体危険判定装置は、画像上における視点の位置を基準として危険判定の対象範囲とすべき危険判定範囲を設定し、瞳孔の開き度合いに基づいて危険判定範囲内に写し出される物体を特定する。そして、危険判定範囲内に写し出される物体の移動ベクトルに基づいて特定した物体に応じた危険判定を行う。

これにより、移動ベクトルを算出する範囲は危険判定範囲内に限定されるため、画像全体に対して移動ベクトルを算出する場合に比べその計算量を低減することができる。また、瞳孔の開き度合いに基づいて物体を特定するため、その物体に応じた危険判定を的確に行うことが可能となる。

請求項２に記載の物体危険判定装置は、道路の分岐地点、合流地点、交差点、及び横断歩道の少なくとも何れかの１つの危険が潜在する危険地点の種類と位置とを含む道路データを記憶する道路データ記憶手段と、道路データ記憶手段の記憶する道路データから視線方向に存在する危険地点に関する情報を取得する危険地点情報取得手段とを備え、物体特定手段は、瞳孔の開き度合い、及び危険地点情報取得手段の取得する危険地点に関する情報の少なくとも一方に基づいて、危険判定範囲内に写し出される物体を特定することを特徴とする。

例えば、ナビゲーション装置等に用いられる地図データには、前述の危険地点に関する道路データが含まれている。従って、地図データに含まれる道路データから、道路の分岐地点、合流地点、交差点、及び横断歩道等の危険地点に関する情報を取得して、危険判定範囲内に写し出される物体を特定することができる。

請求項３に記載の物体危険判定装置は、物体特定手段は、物体情報取得手段の取得した物体に関する情報に基づく画像上の位置が危険判定範囲内に位置する場合、又は／及び瞳孔の開き度合いが通常の開き度合い以上である場合、危険判定範囲内に写し出される物体は危険が潜在する危険地点であると特定し、瞳孔の開き度合いが通常の開き度合いに満たない場合、危険判定範囲内に写し出される物体は移動物体であると特定することを特徴とする。

自動車等の車両を運転する運転者は、進行方向の周囲に存在する物体を視認しながら運転操作を行うが、例えば、歩行者、軽車両、他車両等の移動中の物体については、その物体の詳細な点（例えば、移動方向等）まで認識して、自車両に対して危険であるか否かを判断する。一方、横断歩道や交差点等の自発的に移動しない物体については、自車両に対して危険でないため、その物体の詳細な点までは認識しない。また、人の目は、物体の詳細な点まで認識しようとする場合、目に入射する光の量を抑えようとする（目を凝らす）ため、瞳孔の開き度合いが通常よりも小さく（又は、通常の開き度合い以下と）なることが知られている。

このことから、瞳孔の開き度合いが通常よりも小さい（又は、通常の開き度合い以下の）場合、運転者は、移動中の歩行者、軽車両、他車両等の移動物体に視線を向けていると考えられる。また、瞳孔の開き度合いが通常以上の（又は、通常の開き度合いを超える）場合、運転者は、横断歩道や交差点等の自発的に移動しないものの危険が潜在する危険地点（危険ポイント）に視線を向けていると考えられる。このように、瞳孔の開き度合いによって、危険判定範囲内に写し出される物体を特定することができる。

また、地図データに含まれる道路データから取得した危険ポイントが危険判定範囲内に位置する場合にも、危険判定範囲内に写し出される物体が危険ポイントであると特定することができる。

請求項４に記載の物体危険判定装置によれば、物体特定手段は、物体情報取得手段の取得した物体に関する情報に基づく画像上の位置が危険判定範囲内に位置する場合、又は／及び瞳孔の開き度合いが通常の開き度合いを超える場合、危険判定範囲内に写し出される物体は危険が潜在する危険地点であると特定し、瞳孔の開き度合いが通常の開き度合い以下の場合、危険判定範囲内に写し出される物体は移動物体であると特定することを特徴とする。

これにより、瞳孔の開き度合いによって、危険判定範囲内に写し出される物体を特定し、また、地図データに含まれる道路データから取得した危険ポイントが危険判定範囲内に位置する場合にも、危険判定範囲内に写し出される物体が危険ポイントであると特定することができる。

請求項５に記載の物体危険判定装置は、撮像手段によって撮影された画像内の動きに応じて、危険判定範囲設定手段の設定する危険判定範囲の設定位置を追従させる危険判定範囲追従手段を備え、移動ベクトル算出手段は、危険判定範囲追従手段によって追従された危険判定範囲内に写し出される物体の移動ベクトルを算出することを特徴とする。

例えば、撮像手段が自動車等の移動体に搭載され、その進行方向の風景の画像を撮影するものである場合、その撮像手段によって撮影された画像内の物体は、移動体の進行方向と相反する方向へ移動する。従って、画像内の動きに危険判定範囲の設定位置を追従させることで、画像に写し出される物体から視線を外した場合であっても、その物体の位置を継続して追従することができる。

請求項６に記載の物体危険判定装置によれば、危険判定範囲追従手段は、危険判定範囲の設定位置を追従することで危険判定範囲が画像から外れる場合、危険判定範囲を追従対象から除外することを特徴とする。これにより、危険でない危険判定範囲内に写し出される物体を判定対象から除外することができる。

請求項７に記載の物体危険判定装置によれば、移動ベクトル算出手段は、危険判定範囲内の移動ベクトルの平均的な移動方向を示す平均移動ベクトルをさらに算出し、危険判定手段は、移動ベクトルの方向成分から平均移動ベクトルの方向成分を除いた実移動ベクトルに基づいて危険判定を行うことを特徴とする。

これにより、例えば、歩行者等の移動速度の低い物体であっても、その物体の実際の動きに応じた移動ベクトルに基づいて危険判定を行うため、誤った判定を抑制することができる。

請求項８に記載の物体危険判定装置によれば、危険判定範囲設定手段は、危険判定範囲を設定する際、危険判定範囲の境界を取り囲む境界エリアを設定し、移動ベクトル算出手段は、境界の内側、及び境界エリア内の少なくとも一方の移動ベクトルの平均的な移動方向を示す平均移動ベクトルを算出することを特徴とする。これにより、平均移動ベクトルを算出する範囲が狭まるため、平均移動ベクトルを算出する際の計算量を低減することができる。

請求項９に記載の物体危険判定装置によれば、撮像手段は、移動体に搭載され、移動体の進行方向の風景の画像を撮影するものであって、危険判定手段は、危険地点に対して、危険判定範囲に進入した移動ベクトルが存在するか否かを判定し、移動物体に対して、危険判定範囲から移動体へ向かう移動ベクトルが存在するか否かを判定することを特徴とする。

これにより、横断歩道や交差点等の危険ポイントに進入した歩行者や軽車両等の進入物体の存在有無を判定することができる。また、移動体へ向かってくる歩行者、軽車両、他車両等の移動物体の存在有無を判定することができる。

請求項１０に記載の物体危険判定装置によれば、平均移動ベクトルの示す画像における角度で危険判定範囲を複数に分割する危険判定範囲分割手段を備え、危険判定手段は、複数に分割された危険判定範囲毎の異なる判定条件に基づいて、危険判定を行うことを特徴とする。これにより、１つの危険判定範囲であっても、異なる判定条件に基づく危険判定を行うことができる。

請求項１１に記載の物体危険判定装置は、危険判定範囲分割手段は、移動ベクトルの数が略等しくなるように危険判定範囲を二つの範囲に分割するものであって、危険判定手段は、危険地点に対して、二分割された危険判定範囲のうち、移動体からの距離が短い側に存在する一方の危険判定範囲においては、移動体へ向かう移動ベクトルが存在するか否かを判定条件とし、移動体へ向かう移動ベクトルが存在する場合に危険な進入物体が存在すると判定し、二分割された危険判定範囲のうち、他方の危険判定範囲においては、一方の危険判定範囲へ向かう移動ベクトルが存在するか否かを判定条件とし、一方の危険判定範囲へ向かう移動ベクトルが存在する場合に危険な進入物体が存在すると判定し、移動物体に対して、二分割された危険判定範囲のうち、移動体からの距離が短い側に存在する一方の危険判定範囲においては、移動体へ向かう移動ベクトルが存在するか否かを判定条件とし、移動体へ向かう移動ベクトルが存在する場合に危険な移動物体が存在すると判定し、二分割された危険判定範囲のうち、他方の危険判定範囲においては、移動体から離れる方向へ向かう移動ベクトルが存在するか否かを判定条件とし、移動体から離れる方向へ向かう移動ベクトルが存在する場合に他方の危険判定範囲を危険判定の対象範囲から除外すると判定することを特徴とする。

このように、危険ポイントに対して、移動体からの距離の短い側（一般に、画面中央に対して内側）の危険判定範囲においては、移動体へ向かう移動ベクトルの存在有無を判定条件としているため、例えば、横断歩道や交差点から飛び出してくる歩行者や軽車両等の危険な進入物体の存在有無を判定することができる。また、移動体からの距離の長い側（一般に、画面中央に対して外側）の危険判定範囲においては、前述した一方の危険判定範囲へ向かう移動ベクトルの存在有無を判定条件としているため、危険ポイントに進入した進入物体の存在有無を判定することができる。

また、移動物体に対して、移動体からの距離の短い側の危険判定範囲においては、移動体へ向かう移動ベクトルの存在有無を判定条件としているため、歩行者、軽車両、他車両等の危険な移動物体の存在有無を判定することができる。また、移動体からの距離の長い側の危険判定範囲においては、移動体から離れる方向へ向かう移動ベクトルの存在有無を判定条件し、移動体から離れる方向へ向かう移動ベクトルが存在する場合に、その他方の危険判定範囲を危険判定の対象範囲から除外する判定するため、危険な移動物体が存在しない危険判定範囲を判定しないようにすることができる。

請求項１２に記載の物体危険判定装置によれば、危険判定手段は、危険地点に対して、危険判定範囲の境界の内側へ向かう移動ベクトルの始点、又は／及び終点が境界エリア内に位置するときに、危険判定範囲へ進入した危険な進入物体が存在すると判定し、移動物体に対して、移動ベクトルの始点、又は／及び終点が境界エリア内に位置するときに、危険判定範囲から移動体へ向かう危険な移動物体が存在すると判定することを特徴とする。

これにより、移動ベクトルが境界エリアを跨いだタイミングで危険な進入物体や移動物体が存在すると判定されるため、例えば、この危険判定の判定結果に応じて警報を発生する場合、煩わしい警報を発生しないようにすることができる。

請求項１３に記載の物体危険判定装置は、危険判定手段によって危険な進入物体、又は／及び移動物体が存在すると判定された場合に警報を発生する警報発生手段を備えることを特徴とする。これにより、危険な物体の存在を知らせることができる。

請求項１４に記載の物体危険判定装置によれば、危険判定範囲分割手段は、危険判定範囲毎に、移動体からの距離が短くなるに従って高い危険レベルを設定する危険レベル設定手段を備え、警報手段は、危険レベルの高低に応じた警報を発生することを特徴とする。

すなわち、移動体からの距離が短い危険判定範囲に写し出される物体ほど、移動体に対して近い位置に存在するため、その物体の危険度は高い。従って、危険判定範囲毎に、移動体からの距離が短くなるに従って高い危険レベルを設定し、この危険レベルの高低に応じた警報を発生することで、危険度に応じた警報を発生することができる。

以下、本発明の物体危険判定装置に関して、図面に基づいて説明する。なお、本実施形態では、自動車等の車両の進行方向の物体に対する危険判定を行う物体危険判定装置について説明する。

図１に、本実施形態における物体危険判定装置１００の全体構成を示す。同図に示すように、物体危険判定装置１００は、制御装置１０、視線認識装置２０、視線認識用カメラ３０、物体監視用カメラ４０、カーナビゲーション装置（以下、カーナビ）５０、表示装置６０、及びスピーカ７０によって構成される。

制御装置１０は、マイクロコンピュータとして構成されるもので、何れも周知のＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏ、及び、これら構成を接続するバスラインによって構成される。ＣＰＵは、ＲＯＭに記憶されるプログラムに従って所定の演算処理を実行する。

視線認識用カメラ３０は、図２に示すように、自車両の乗員（例えば、運転者）の目の画像を撮影することができる車室内に配置され、撮影された目の画像を視線認識装置２０へ出力する。また、視線認識用カメラ３０は、制御装置１０からの指示信号に応じて、フォーカス、シャッタースピード、フレームレート、出力ゲイン等の調整を行う。

視線認識装置２０は、視線認識用カメラ３０によって撮影された目の画像に基づいて、乗員の視線方向と瞳孔の開き度合いを認識する。なお、視線方向は、自車両の特定位置（例えば、重心位置）を中心とし、自車両の前後（Ｘ軸）、左右（Ｙ軸）、高さ（Ｚ軸）の各座標軸によって構成される車両座標系に対する目の位置（アイポイント）[ΔＸ、ΔＹ、ΔＺ]、及び、上記目の位置における視線方向の各座標軸に対する角度[αx、βy、γz]によって示される。

この目の画像から視線方向を認識する方法としては、例えば、特開平８−２３８２２２号公報に開示されている視線認識装置のように、角膜曲率中心と瞳孔中心の位置情報から視線方向を認識する方法をとればよい。

また、瞳孔の開き度合いについては、撮影画像から瞳孔と虹彩（アイリス）との境界付近の画素値の変化を検出して（エッジ検出）、この検出したエッジからなる領域の大きさ（すなわち、瞳孔の大きさ）から瞳孔の開き度合いを認識すればよい。この視線認識装置２０によって認識された乗員の視線方向と瞳孔の開き度合いの情報は、制御装置１０へ出力される。

物体監視用カメラ４０は、図２に示すように、自車両の前部に配置され、自車両の進行方向の風景の画像を撮影する。物体監視用カメラ４０は、視線認識用カメラ３０と同様に、制御装置１０からの指示信号に応じて、フォーカス、シャッタースピード、フレームレート、出力ゲイン等の調整を行い、撮影画像を制御装置１０へ出力する。

カーナビ５０は、周知のごとく、車両の現在位置周辺の地図を表示する地図表示機能、所望の施設を検索する施設検索機能、目的地までの経路を誘導する経路誘導機能等の各種機能を実行するものである。このカーナビ５０は、何れも図示しない位置検出器、地図データ入力器、制御回路によって構成される。

位置検出器は、車両の現在位置を検出するもので、いずれも周知の地磁気センサ、及び衛星からの電波に基づいて車両の位置を検出するＧＰＳ（Global Positioning System）のためのＧＰＳ受信機等によって構成される。

地図データ入力器は、道路データ、背景データ、目印データ等から構成される地図データを入力するための装置であり、制御回路からの要請により各種データを送信する。これら各種データを記憶する記憶媒体としては、ＣＤ、ＤＶＤ、ＨＤ（ハードディスク）等の大容量の記憶媒体が主に用いられる。

ここで、地図データを構成する道路データのリンクデータ及びノードデータについて説明する。先ず、リンクとは、地図上の各道路を交差・分岐・合流する点等の複数のノードにて分割し、それぞれのノード間をリンクとして規定されるものであり、リンクを接続することにより道路が構成される。リンクデータは、リンクを特定する固有番号（リンクＩＤ）、リンクの長さを示すリンク長、リンクの始端と終端の座標、道路名称、道路種別、道路幅員等の各データから構成されている。

一方、ノードデータは、地図上の各道路が分岐、合流、交差するノード毎に固有の番号を付したノードＩＤ、ノード座標、ノード名称、ノードに接続する全てのリンクのリンクＩＤが記述される接続リンクＩＤ、分岐地点、合流地点、交差点、及び横断歩道の何れかの地点に該当するかを示す地点の種類等の各データから構成されている。

このカーナビ５０は、車両の現在位置を検出するとともに、車両の現在位置から所定距離以内の進行方向に存在する分岐地点、合流地点、交差点、及び横断歩道の少なくとも何れか１つの危険が潜在する危険地点の種類とその位置を示す地点情報を地図データから抽出する。そして、制御装置１０からの要請がある場合に、その地点情報を制御装置１０へ出力する。

これにより、制御装置１０において、地図データに含まれる道路データから、道路の分岐地点、合流地点、交差点、及び横断歩道等の危険地点に関する情報を取得することができる。

表示装置６０は、図２に示すように、乗員が見ることのできる位置に配置される。この表示装置６０は、例えば液晶ディスプレイによって構成され、表示装置９の画面には、カーナビ５０の各種機能に応じた画像を表示することができるとともに、乗員に対して注意喚起を行うための警告が表示される。スピーカ７０は、乗員に対して注意喚起を行うための警報を出力したりする。

制御装置１０は、視線認識装置２０によって認識された乗員の視線方向と瞳孔の開き度合いの情報と、物体監視用カメラ４０によって撮影された画像を取得し、この取得した情報と画像に基づいて、自車両の進行方向に危険な物体が存在するか否かを判定し、その判定によって危険な物体が存在すると判定される場合に警報を発生する物体危険判定処理を実行する。

以下、本実施形態の特徴部分に係わる物体危険判定処理について、図５〜図１５に示すフローチャートを用いて説明する。先ず、図５に示すステップ（以下、Ｓと記す）１０では、物体検出処理を実行し、Ｓ２０にて、その検出した物体に対して設定される危険判定範囲を画像の動きに追従させる物体追従処理を実行する。Ｓ３０では、危険判定範囲を二分割する危険判定範囲分割処理を実行し、Ｓ４０では、二分割された危険判定範囲における危険判定処理を実行する。

先ず、物体検出処理について、図６〜図８に示すフローチャートを用いて説明する。図６に示すＳ１１では、視線認識処理を実行する。この視線認識処理では、視線認識装置２０によって認識された乗員の視線方向の情報に基づいて、物体監視用カメラ４０によって撮影された画像における乗員の視点位置を認識する。

この画像における視点位置は、車両座標系に対する目の位置（アイポイント）[ΔＸ、ΔＹ、ΔＺ]、及び、上記目の位置における視線方向の各座標軸に対する角度[αx、βy、γz]と、物体監視用カメラ４０の車両座標系に対する取り付け位置、撮影方向、及び撮影範囲に基づいて幾何学的に算出することで求めることができる。

Ｓ１２では、視線移動が停止したか否かを判定する。ここで、肯定判定される場合にはＳ１３のマーキング処理に移行し、否定判定される場合には、本物体検出処理を終了し、Ｓ２０の物体追従処理を実行する。

このＳ１２の判定は、具体的に言えば、画像における視点位置が所定時間以上同じ位置であるか否かを判定する。すなわち、一般に、人は、視覚によって物体が何であるのかを認識するために、ある程度の時間継続してその物体へ視線を向ける。従って、視点位置が所定時間（例えば、数百ミリ秒程度）以上同じ位置である場合に、運転者が視認した物体が把握できる。

続いて、Ｓ１３におけるマーキング処理について、図７に示すフローチャートを用いて説明する。図７に示すＳ１３０では、視点位置が以前に検出した画像上の場所であるか否かを判定する。言い換えれば、視点位置が既に存在する危険判定範囲以外の画像上の場所であるか否かを判定する。ここで、肯定判定される場合には、Ｓ１４０へ処理を進め、否定判定される場合にはＳ２０の物体追従処理に移行する。

Ｓ１４０における危険判定範囲設定処理について、図８に示すフローチャートを用いて説明する。図８に示すＳ１４１では、視線認識装置２０において乗員の瞳孔の開き度合いが検出され、Ｓ１４２では、この瞳孔の開き度合いが乗員の通常の瞳孔の開き度合い以上であるか否かを判定する。ここで、肯定判定される場合にはＳ１４３に処理を進め、否定判定される場合にはＳ１４４へ処理を進める。

Ｓ１４３では、乗員の視認した物体は、横断歩道や交差点等の自発的に移動しないものの危険が潜在する危険地点（以下、危険ポイント）であるとし、また、視点位置を基準とする危険判定範囲（大きさ「大」）を画像上に設定する。Ｓ１４４では、乗員の視認した物体は移動物体（以下、危険対象物）であるとし、また、視点位置を基準とする危険判定範囲（大きさ「小」）を画像上に設定する。このＳ１４３、及びＳ１４４の処理では、例えば、視点位置を中心とする円形の危険判定範囲を設定し、さらに、その危険判定範囲の境界を取り囲む境界エリア（Ａ）を設定する。

この図８に示す危険判定範囲設定処理は、瞳孔の開き度合いに基づいて危険判定範囲に写し出される物体を特定し、さらに、その開き度合いに応じた大きさの危険判定範囲を設定するものである。すなわち、自車両の運転者は、進行方向の周囲に存在する物体を視認しながら運転操作を行うが、例えば、歩行者、軽車両、他車両等の移動中の物体については、その物体の詳細な点（例えば、移動方向等）まで認識して、自車両に対して危険であるか否かを判断する。一方、横断歩道や交差点等の自発的に移動しない物体については、自車両に対して危険でないため、その物体の詳細な点までは認識しない。また、人の目は、物体の詳細な点まで認識しようとする場合、目に入射する光の量を抑えようとする（目を凝らす）ため、瞳孔の開き度合いが通常よりも小さく（又は、通常の開き度合い以下と）なることが知られている。

このことから、瞳孔の開き度合いが通常よりも小さい（又は、通常の開き度合い以下の）場合、運転者は、移動中の歩行者、軽車両、他車両等の移動物体である危険対象物に視線を向けていると考えられる。また、瞳孔の開き度合いが通常以上の（又は、通常の開き度合いを超える）場合、運転者は、横断歩道や交差点等の自発的に移動しないものの危険が潜在する危険地点（危険ポイント）に視線を向けていると考えられる。

従って、瞳孔の開き度合いが通常よりも小さい（又は、通常の開き度合い以下の）場合、乗員の視認した（危険判定範囲内に写し出される）物体は危険対象物であると特定し、瞳孔の開き度合いが通常以上の（又は、通常の開き度合いを超える）場合、乗員の視認した物体は危険ポイントであると特定することができる。

なお、危険ポイントは、横断歩道や交差点等であり、その大きさが大きいため、危険ポイントに対して設定される危険判定範囲の大きさを大きく設定する。一方、危険対象物は、危険ポイントに比べて大きさが小さいため、危険対象物に対して設定される危険判定範囲の大きさを小さく設定する。さらに、画像における視点位置から距離を求め、この距離に応じて危険判定範囲の大きさを変更するようにしてもよい。

図７に示すＳ１５０では、乗員の視点位置（ＭＰ）を基準とする危険判定範囲（ＭＫ）をマーキングする。これにより、例えば、図３に示すように、乗員の視点位置（ＭＰ）の被写体であるカードレールとそのカードレールの隙間に存在する歩行者を含む危険判定範囲（ＭＫ）がマーキングされる。

次に、Ｓ２０における物体追従処理について、図９に示すフローチャートを用いて説明する。図９に示すＳ２１では、危険判定範囲の位置を画像の動きに応じた方向へ移動させる。例えば、本実施形態のように、物体危険判定装置１００が車両に搭載される場合、危険判定範囲は、車両の移動に伴って、車両の移動方向と相反する方向（略画面の下方）へ移動する。

従って、画像の動きに危険判定範囲の位置を追従するように移動させることで、乗員が画像に写し出される物体から視線を外した場合であっても、その物体の位置を継続して追従することができる。

Ｓ２２では、Ｓ２１において移動した危険判定範囲が画面の外に位置するか否かを判定する。ここで、肯定判定される場合には、Ｓ２３において、その危険判定範囲を追従対象から除外（削除）する。これにより、危険でなくなった危険判定範囲内に写し出される物体を危険判定の対象から除外することができる。

なお、図４に示すように、危険判定範囲を示すマーカを物体監視用カメラ４０の撮影する画像に重ねて表示装置６０に表示するようにしてもよい。これにより、車両の乗員は、表示装置６０に表示される画像から危険判定範囲を確認ことができる。

次に、危険判定範囲分割処理について、図１０に示すフローチャートを用いて説明する。同図のＳ３１では、図１６に示すように、物体追従処理にて移動した危険判定範囲（ＭＫ）内の移動ベクトル（Ｖｅｃ）を算出する。

この移動ベクトル（Ｖｅｃ）を算出する場合には、例えば、物体監視用カメラ４０の撮影する画像をフレーム単位で記憶しておき、前回のフレームと今回のフレームとを比較して、危険判定範囲内に含まれる画素の移動方向を示す移動ベクトルを算出する。このように、移動ベクトルを算出する範囲を危険判定範囲内に限定することで、画像全体に対して移動ベクトルを算出する場合に比べその計算量を低減することができる。

また、Ｓ３１では、算出した移動ベクトルの平均的な移動方向を示す平均移動ベクトル（Ｖｅｃ＿ａ）を算出する。なお、この平均移動ベクトル（Ｖｅｃ＿ａ）は、図１６に示すように、危険判定範囲（ＭＫ）に含まれる移動ベクトルから算出してもよいし、境界エリア（Ａ）内の移動ベクトルのみを用いて算出してもよいし、境界エリア（Ａ）の内側の移動ベクトルのみを用いて算出してもよい。これにより、平均移動ベクトル（Ｖｅｃ＿ａ）を算出する範囲が狭まるため、平均移動ベクトルを算出する際の計算量を低減することができる。

さらに、Ｓ３１では、危険判定範囲の移動ベクトルの方向成分から平均移動ベクトルの方向成分を除いた移動ベクトル（実移動ベクトル）を算出し、後述する危険判定処理において、この移動ベクトルを用いて危険判定を行うようにする。これにより、例えば、歩行者等の移動速度の低い物体であっても、その物体の実際の動きに応じた移動ベクトルとすることができるため、危険判定処理における誤判定を抑制することができる。

Ｓ３２では、Ｓ３１にて算出した平均移動ベクトルの示す画像における角度で危険判定範囲を二分割する。例えば、図１７に示すように、各々の範囲に含まれる移動ベクトルの数が略等しくなるように、分割したときの径が最大長となる部分で二分割する。

続いて、危険判定処理について、図１１に示すフローチャートを用いて説明する。この危険判定処理は、危険判定範囲に含まれる移動ベクトルに基づいて、その危険判定範囲に写し出される物体に対する危険判定を行うものである。

先ず、同図のＳ４１では、判定対象の危険判定範囲は危険ポイントであるか否かを判定する。ここで、肯定判定される場合にはＳ４２の危険ポイント内側判定処理に移行し、否定判定される場合にはＳ４８の危険対象物内側判定処理に移行する。

Ｓ４２の危険ポイント内側判定処理について、図１２に示すフローチャートを用いて説明する。この危険ポイント内側判定処理は、危険判定範囲分割処理において二分割された危険ポイントに対応する危険判定範囲のうち、自車両からの距離の短い（一般に、画面中央に対して内側に位置する）一方の危険判定範囲内の移動ベクトルについて判定するものである。

Ｓ４２１では、内側に向かうベクトル（すなわち、自車両へ向かう移動ベクトル）が有るか否かを判定する。ここで、肯定判定される場合にはＳ４２２へ処理を進め、否定判定される場合には本処理を終了する。Ｓ４２２では、危険レベルとして「大」を設定する。

図１１のＳ４３では、Ｓ４２の危険ポイント内側判定処理において、危険レベル「大」が設定されたか否かを判定する。ここで、肯定判定される場合にはＳ４４において、（危険度「大」）の警告処理を行う。

例えば、警告処理として、乗員に対して自車両の進行方向に危険レベルの高い物体が存在する旨を表示装置６０に表示したり、スピーカ７０から警報を出力したりする。これにより、危険な物体の存在を乗員に知らせることができる。

続いて、Ｓ４５における危険ポイント外側判定処理について、図１３に示すフローチャートを用いて説明する。この危険ポイント外側判定処理は、危険判定範囲分割処理において二分割された危険ポイントに対応する危険判定範囲のうち、自車両からの距離の長い（一般に、画面中央に対して外側に位置する）他方の危険判定範囲内の移動ベクトルについて判定するものである。

Ｓ４５１では、内側に向かうベクトル（すなわち、前述した一方の危険判定範囲へ向かう移動ベクトル）が有るか否かを判定する。ここで、肯定判定される場合にはＳ４５２へ処理を進め、否定判定される場合には本処理を終了する。Ｓ４５２では、危険レベルとして「小」を設定する。

図１１のＳ４６では、Ｓ４５の危険ポイント外側判定処理において、危険レベル「小」が設定されたか否かを判定する。ここで、肯定判定される場合にはＳ４７において、（危険度「小」）の警告処理を行う。

このように、前述の警告処理では、画面中央に対して外側よりも内側に位置する危険判定範囲に対して高い危険レベルを設定し、この危険レベルの高低に応じた警報を発生する。

すなわち、自車両からの距離が短い危険判定範囲に写し出される物体ほど、自車両に対して近い位置に存在するため、その物体の危険度は高い。従って、分割された危険判定範囲毎に、自車両からの距離が短くなるに従って高い危険レベルを設定し、この危険レベルの高低に応じた警報を発生することで、危険度に応じた警報を発生することができる。なお、Ｓ４４における警告処理が実行されている場合には、本警告処理を行わないようにするとよい。

このように、危険ポイントに対応する危険判定処理においては、１つの危険判定範囲に対して危険判定範囲毎に異なる判定条件を設定し、この異なる判定条件に基づいて危険判定を行っている。すなわち、内側危険判定処理においては、自車両へ向かう移動ベクトルの存在有無を判定条件としているため、例えば、横断歩道や交差点から飛び出してくる歩行者や軽車両等の危険な進入物体の存在有無を判定することができる。また、外側危険判定処理においては、内側危険判定処理において判定対象とした一方の危険判定範囲へ向かう移動ベクトルの存在有無を判定条件としているため、危険ポイントに進入した進入物体の存在有無を判定することができる。

続いて、Ｓ４８の危険対象物内側判定処理について、図１４に示すフローチャートを用いて説明する。この危険対象物内側判定処理は、二分割された危険対象物に対応する危険判定範囲のうち、自車両からの距離の短い（一般に、画面中央に対して内側に位置する）一方の危険判定範囲内の移動ベクトルについて判定するものである。

Ｓ４８１では、内側に向かうベクトル（すなわち、自車両へ向かう移動ベクトル）が有るか否かを判定する。ここで、肯定判定される場合にはＳ４８２へ処理を進め、否定判定される場合には本処理を終了する。Ｓ４８２では、危険「有り」を設定する。

図１１のＳ４９では、Ｓ４８の危険対象物内側判定処理において、危険「有り」が設定されたか否かを判定する。ここで、肯定判定される場合にはＳ５０において、前述の警告処理を行う。

続いて、Ｓ５１における危険対象物外側判定処理について、図１５に示すフローチャートを用いて説明する。この危険対象物外側判定処理は、危険判定範囲分割処理において二分割された危険対象物に対応する危険判定範囲のうち、自車両からの距離の長い（一般に、画面中央に対して外側に位置する）他方の危険判定範囲内の移動ベクトルについて判定するものである。

Ｓ５１１では、外側に向かうベクトル（すなわち、自車両から離れる方向へ向かう移動ベクトル）が有るか否かを判定する。ここで、肯定判定される場合にはＳ５１２へ処理を進め、否定判定される場合には本処理を終了する。Ｓ５１２では、危険対象物に対応する他方の危険判定範囲を「非対象」として設定する。

図１１のＳ５２では、Ｓ５１の危険対象物外側判定処理において、「非対象」の設定がなされたか否かを判定する。ここで、肯定判定される場合にはＳ５３において、他方の危険判定範囲を危険判定の対象範囲から除外する処理を行う。

このように、危険対象物に対応する危険判定処理においても、１つの危険判定範囲に対して危険判定範囲毎に異なる判定条件を設定し、この異なる判定条件に基づいて危険判定を行っている。すなわち、内側危険判定処理においては、自車両へ向かう移動ベクトルの存在有無を判定条件としているため、例えば、歩行者、軽車両、他車両等の危険対象物の存在有無を判定することができる。また、外側危険判定処理においては、自車両から離れる方向へ向かう移動ベクトルの存在有無を判定条件としているため、危険対象物が存在しない危険判定範囲を判定しないようにすることができる。

このように、本実施形態の物体危険判定装置は、画像上における視点の位置を基準として危険判定の対象範囲とすべき危険判定範囲を設定し、瞳孔の開き度合いに基づいて危険判定範囲内に写し出される物体（危険ポイント、若しくは移動物体）を特定する。そして、危険判定範囲内に写し出される物体の移動ベクトルに基づいて、危険ポイントや移動物体に応じた危険判定を行う。

これにより、横断歩道や交差点等の危険ポイントに進入した歩行者や軽車両等の進入物体の存在有無を判定することができる。また、自車両へ向かってくる歩行者、軽車両、他車両等の移動物体の存在有無を判定することができる。その結果、物体に応じた危険判定を的確に行うことが可能となる。

（変形例１）
本実施形態の危険判定処理は、二分割した危険判定範囲毎に危険判定を行うものであるが、危険判定範囲を分割することなく危険判定を行う場合には、次のような危険判定を行ってもよい。

危険ポイントに対応する危険判定範囲においては、危険判定範囲の境界の内側へ向かう移動ベクトルの始点、又は／及び終点が境界エリア内に位置するときに、危険判定範囲へ進入した危険な進入物体が存在すると判定する。

また、移動物体（危険対象物）に対応する危険判定範囲においては、移動ベクトルの始点、又は／及び終点が境界エリア内に位置するときに、危険判定範囲から自車両へ向かう危険な移動物体が存在すると判定する。

これにより、移動ベクトルが境界エリアを跨いだタイミングで危険な進入物体や危険対象物が存在すると判定されるため、この危険判定の判定結果に応じて警告処理を行う場合、煩わしい警告や警報を発生しないようにすることができる。

（変形例２）
本実施形態の危険判定範囲分割処理では、危険判定範囲を二分割しているが、さらに、その分割数を増やしてもよい。さらに、本実施形態と同様に、分割された危険判定範囲毎に自車両からの距離が短くなるに従って高い危険レベルを設定してもよい。

（変形例３）
本実施形態の危険ポイント内側判定処理において、自車両に向かう移動ベクトルが有ると判定され、さらに、その移動ベクトルが危険判定範囲から逸脱した後も自車両に向かう場合には、その移動ベクトルの物体を危険対象物として設定し、その危険対象物に対応する危険判定範囲を設定して、その危険判定範囲に対する危険判定処理を行うようにしてもよい。

（変形例４）
本実施形態では、図８に示した危険判定範囲設定処理において、乗員の瞳孔の開き度合いに基づいて乗員の視認した（危険判定範囲内に写し出される）物体を特定しているが、カーナビ５０から出力される地点情報に基づく画像における位置を算出し、その位置が危険判定範囲内となる場合に、その危険判定範囲内に写し出される物体は、危険ポイントであると特定するようにしてもよい。

これにより、地図データに含まれる道路データから、道路の分岐地点、合流地点、交差点、及び横断歩道等の危険地点に関する情報を取得して、危険判定範囲内に写し出される物体を特定することができる。

本発明の実施形態に係わる、物体危険判定装置１００の全体構成を示すブロック図である。 視線認識用カメラ３０、物体監視用カメラ４０、表示装置６０の車両における取り付け位置のイメージを示す図である。 乗員の視点位置（ＭＰ）と危険判定範囲を示すマーカ（ＭＫ）を示す図である。 表示装置６０に表示される画面のイメージを示す図である。 本発明の実施形態に係わる、物体危険判定処理の全体の流れを示すフローチャートである。 物体検出処理の流れを示すフローチャートである。 マーキング処理の流れを示すフローチャートである。 危険判定範囲設定処理の流れを示すフローチャートである。 物体追従処理の流れを示すフローチャートである。 危険判定範囲分割処理の流れを示すフローチャートである。 危険判定処理の流れを示すフローチャートである。 危険ポイント内側判定処理の流れを示すフローチャートである。 危険ポイント外側判定処理の流れを示すフローチャートである。 危険対象物内側判定処理の流れを示すフローチャートである。 危険対象物外側判定処理の流れを示すフローチャートである。 危険判定範囲（ＭＫ）、境界エリア（Ａ）、及び移動ベクトル（Ｖｅｃ）を示すイメージ図である。 平均移動ベクトル（Ｖｅｃ＿ａ）を示す図である。

符号の説明

１０ 制御装置
２０ 視線認識装置
３０ 視線認識用カメラ
４０ 物体監視用カメラ
５０ カーナビ
６０ 表示装置
７０ スピーカ
１００ 物体危険判定装置

Claims (14)

1. 視線方向、及び瞳孔の開き度合いを検出する検出手段と、
   前記視線方向の風景の画像を撮影する撮像手段と、
   前記視線方向に基づいて、前記画像における視点の位置を特定する視点特定手段と、
   前記視点特定手段の特定する視点の位置を基準として、前記画像上に危険判定の対象範囲とすべき危険判定範囲を設定する危険判定範囲設定手段と、
   前記瞳孔の開き度合いに基づいて、前記危険判定範囲内に写し出される物体を特定する物体特定手段と、
   前記撮像手段の撮影した前回までの画像と今回の画像とに基づいて、前記危険判定範囲内に写し出される物体の移動ベクトルを算出する移動ベクトル算出手段と、
   前記移動ベクトルに基づいて、前記物体特定手段によって特定される物体に応じた危険判定を行う危険判定手段を備えることを特徴とする物体危険判定装置。
2. 道路の分岐地点、合流地点、交差点、及び横断歩道の少なくとも何れかの１つの危険が潜在する危険地点の種類と位置とを含む道路データを記憶する道路データ記憶手段と、
   前記道路データ記憶手段の記憶する道路データから前記視線方向に存在する前記危険地点に関する情報を取得する危険地点情報取得手段とを備え、
   前記物体特定手段は、前記瞳孔の開き度合い、及び前記危険地点情報取得手段の取得する前記危険地点に関する情報の少なくとも一方に基づいて、前記危険判定範囲内に写し出される物体を特定することを特徴とする請求項１記載の物体危険判定装置。
3. 前記物体特定手段は、
   前記物体情報取得手段の取得した前記物体に関する情報に基づく前記画像上の位置が前記危険判定範囲内に位置する場合、又は／及び前記瞳孔の開き度合いが通常の開き度合い以上である場合、前記危険判定範囲内に写し出される物体は危険が潜在する危険地点であると特定し、
   前記瞳孔の開き度合いが通常の開き度合いに満たない場合、前記危険判定範囲内に写し出される物体は移動物体であると特定することを特徴とする請求項１又は２記載の物体危険判定装置。
4. 前記物体特定手段は、
   前記物体情報取得手段の取得した前記物体に関する情報に基づく前記画像上の位置が前記危険判定範囲内に位置する場合、又は／及び前記瞳孔の開き度合いが通常の開き度合いを超える場合、前記危険判定範囲内に写し出される物体は危険が潜在する危険地点であると特定し、
   前記瞳孔の開き度合いが通常の開き度合い以下の場合、前記危険判定範囲内に写し出される物体は移動物体であると特定することを特徴とする請求項１又は２記載の物体危険判定装置。
5. 前記撮像手段によって撮影された画像内の動きに応じて、前記危険判定範囲設定手段の設定する危険判定範囲の設定位置を追従する危険判定範囲追従手段を備え、
   前記移動ベクトル算出手段は、前記危険判定範囲追従手段によって追従された危険判定範囲内に写し出される物体の移動ベクトルを算出することを特徴とする請求項１〜４の何れか１項に記載の物体危険判定装置。
6. 前記危険判定範囲追従手段は、前記危険判定範囲の設定位置を追従することで前記危険判定範囲が前記画像から外れる場合、前記危険判定範囲を追従対象から除外することを特徴とする請求項５記載の物体危険判定装置。
7. 前記移動ベクトル算出手段は、前記危険判定範囲内の移動ベクトルの平均的な移動方向を示す平均移動ベクトルをさらに算出し、
   前記危険判定手段は、前記移動ベクトルの方向成分から前記平均移動ベクトルの方向成分を除いた実移動ベクトルに基づいて危険判定を行うことを特徴とする請求項１〜６の何れか１項に記載の物体危険判定装置。
8. 前記危険判定範囲設定手段は、前記危険判定範囲を設定する際、前記危険判定範囲の境界を取り囲む境界エリアを設定し、
   前記移動ベクトル算出手段は、前記境界の内側、及び前記境界エリア内の少なくとも一方の移動ベクトルの前記平均移動ベクトルを算出することを特徴とする請求項７記載の物体危険判定装置。
9. 前記撮像手段は、移動体に搭載され、前記移動体の進行方向の風景の画像を撮影するものであって、
   前記危険判定手段は、
   前記危険地点に対して、前記危険判定範囲に進入した移動ベクトルが存在するか否かを判定し、
   前記移動物体に対して、前記危険判定範囲から前記移動体へ向かう移動ベクトルが存在するか否かを判定することを特徴とする請求項２〜８の何れか１項に記載の物体危険判定装置。
10. 前記平均移動ベクトルの示す前記画像における角度で前記危険判定範囲を複数に分割する危険判定範囲分割手段を備え、
    前記危険判定手段は、前記複数に分割された危険判定範囲毎の異なる判定条件に基づいて、危険判定を行うことを特徴とする請求項９記載の物体危険判定装置。
11. 前記危険判定範囲分割手段は、前記移動ベクトルの数が略等しくなるように前記危険判定範囲を二つの範囲に分割するものであって、
    前記危険判定手段は、
    前記危険地点に対して、
    前記二分割された危険判定範囲のうち、前記移動体からの距離が短い側に存在する一方の危険判定範囲においては、前記移動体へ向かう移動ベクトルが存在するか否かを判定条件とし、前記移動体へ向かう移動ベクトルが存在する場合に危険な進入物体が存在すると判定し、
    前記二分割された危険判定範囲のうち、他方の危険判定範囲においては、前記一方の危険判定範囲へ向かう移動ベクトルが存在するか否かを判定条件とし、前記一方の危険判定範囲へ向かう移動ベクトルが存在する場合に危険な進入物体が存在すると判定し、
    前記移動物体に対して、
    前記二分割された危険判定範囲のうち、前記移動体からの距離が短い側に存在する一方の危険判定範囲においては、前記移動体へ向かう移動ベクトルが存在するか否かを判定条件とし、前記移動体へ向かう移動ベクトルが存在する場合に危険な移動物体が存在すると判定し、
    前記二分割された危険判定範囲のうち、他方の危険判定範囲においては、前記移動体から離れる方向へ向かう移動ベクトルが存在するか否かを判定条件とし、前記移動体から離れる方向へ向かう移動ベクトルが存在する場合に前記他方の危険判定範囲を危険判定の対象範囲から除外すると判定することを特徴とする請求項１０記載の物体危険判定装置。
12. 前記危険判定手段は、
    前記危険地点に対して、前記危険判定範囲の境界の内側へ向かう移動ベクトルの始点、又は／及び終点が前記境界エリア内に位置するときに、前記危険判定範囲へ進入した危険な進入物体が存在すると判定し、
    前記移動物体に対して、前記移動ベクトルの始点、又は／及び終点が前記境界エリア内に位置するときに、前記危険判定範囲から前記移動体へ向かう危険な移動物体が存在すると判定することを特徴とする請求項９記載の物体危険判定装置。
13. 前記危険判定手段によって危険な進入物体、又は／及び移動物体が存在すると判定された場合に警報を発生する警報発生手段を備えることを特徴とする請求項１１又は１２記載の物体危険判定装置。
14. 前記危険判定範囲分割手段は、前記危険判定範囲毎に、前記移動体からの距離が短くなるに従って高い危険レベルを設定する危険レベル設定手段を備え、
    前記警報手段は、前記危険レベルの高低に応じた警報を発生することを特徴とする請求項１３記載の物体危険判定装置。

Images