JP2005284797A

JP2005284797A - 走行安全装置

Info

Publication number: JP2005284797A
Application number: JP2004098877A
Authority: JP
Inventors: Akihito Kimata; 亮人木俣; Akio Takahashi; 昭夫高橋
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2004-03-30
Filing date: 2004-03-30
Publication date: 2005-10-13

Abstract

【課題】自車両の外界に存在する物体を迅速に検出する。
【解決手段】物体候補検出部６１は、外界センサ１３から入力される複数の分割画像データに対して、例えば歩行者等の所定の物体を検知対象物として、各分割画像データ毎に検知対象物である可能性を有する物体候補を抽出し、抽出した物体候補の個数（物体候補数）を検出する。優先順位設定部６２は、視線検知部５１から出力される運転者の視線の対象位置、あるいは、視線検知部５１から出力される運転者の視線の対象位置と物体候補検出部６１から出力される各分割画像データ毎の物体候補数とに基づき、各分割画像データ毎に対して認識処理を行う際の各分割画像データの優先順位を設定する。相対位置・相対距離算出部７１は、認識制御部５２から入力される複数の分割画像データに対して、認識制御部５２にて設定された優先順位に応じて各分割画像データ毎に認識処理を行う。
【選択図】図１

Description

本発明は、走行安全装置に関する。

従来、例えば自車両の外界を撮影するカメラを備え、このカメラよりも撮影可能領域が広い第２のカメラによる撮影画像や自車両の外部から取得した情報に基づき、歩行者が存在する可能性が高い領域を検出し、検出した領域を撮影するようにしてカメラの撮影方向を設定する装置が知られている（例えば、特許文献１参照）。
特開平５−３４２４９７号公報

しかしながら、上記従来技術において、例えば第２のカメラによる撮影画像に対して歩行者の認識処理を実行し、更に、カメラによる撮影画像に対して認識処理を実行する方法では、歩行者を検出するまでに要する時間が長くなり、歩行者の検出が遅れてしまうという問題が生じる。また、自車両の外部から情報を取得する場合には、例えば通信困難な領域等において情報の取得が困難な場合には、カメラの撮影方向を適切に設定することができず、歩行者を検出することができなかったり、歩行者を検出するまでに要する時間が長くなってしまうという問題が生じる。
しかも、カメラによる撮影画像に対して認識処理を実行する際に、単に、撮影画像の全領域を所定の走査経路に従って走査する場合には、歩行者を検出して警報の出力等の動作を実行するまでに要する時間が長くなり、適切なタイミングで適切な動作を実行することができなくなるという問題が生じる。
本発明は上記事情に鑑みてなされたもので、自車両の外界に存在する物体を迅速に検出することが可能な走行安全装置を提供することを目的とする。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の走行安全装置は、自車両の運転者の眼球あるいは顔を撮影する視線用撮影手段（例えば、実施の形態での視線用カメラ２１）と、該視線用撮影手段の撮影により得られる撮影画像に基づき運転者の視線を検出する視線検出手段（例えば、実施の形態での視線検知部５１）と、自車両の進行方向の所定領域を撮影する撮影手段（例えば、実施の形態でのカメラ３１）と、該撮影手段の撮影により得られる撮影画像に基づき前記所定領域内に存在する物体を検出する物体検出手段（例えば、実施の形態での物体検知部５３）と、前記視線検出手段により検出された視線と前記物体検出手段により検出された前記物体とに基づき、運転者の視線の対象物が前記物体に設定されているか否かを判定する視線判定手段（例えば、実施の形態での判定部５５）と、前記視線判定手段により運転者の視線の対象物が前記物体に設定されていないと判定された場合に、運転者に警報を出力する警報手段（例えば、実施の形態でのステップＳ１１，警報装置１４）とを備える走行安全装置であって、前記撮影手段の撮影により得られる撮影画像を所定分割領域毎に分割して複数の分割画像を生成する画像分割手段（例えば、実施の形態での画像分割部３２）と、前記画像分割手段により生成された各前記分割画像毎に対して前記物体検出手段により前記物体の検出を行う際における複数の前記分割画像間の優先順位を、前記視線検出手段により検出された視線に基づき設定する優先順位設定手段（例えば、実施の形態での優先順位設定部６２）とを備え、前記物体検出手段は、前記優先順位設定手段にて設定された優先順位に応じて各前記分割画像毎に対して前記物体の検出を行うことを特徴としている。

上記構成の走行安全装置によれば、物体検出手段は画像分割手段にて生成された複数の分割画像に対して各分割画像毎に物体検出の処理を実行する。このとき、複数の分割画像に対して物体検出の処理を実行する際の順番は、優先順位設定手段にて設定される優先順位に応じた順番となる。この優先順位設定手段は、視線検出手段により検出された視線に基づき、例えば運転者の視線の対象物が存在する領域に対しては運転者の注意が払われていると判断して、この領域に対応する分割画像に対しては、物体検出の処理を実行する際の優先順位を低く設定する。一方、運転者の注意が払われていない領域、つまり運転者の視線の対象物が存在しない領域に対応する分割画像に対しては、物体検出の処理を実行する際の優先順位を高く設定する。
これにより、例えば撮影手段から出力される撮影画像の全領域に対して物体検出の処理を実行する場合や、例えば複数の分割画像に対して常に一定の順番で物体検出の処理を実行する場合に比べて、自車両に対して危険度が高い物体の存在をより迅速に検出することができ、自車両の走行安全性を向上させることができる。

さらに、請求項２に記載の本発明の走行安全装置は、前記画像分割手段により生成された各前記分割画像毎に対して、所定の物体である可能性がある物体候補の存在数を検出する物体候補検出手段（例えば、実施の形態での物体候補検出部６１）を備え、前記優先順位設定手段は、前記画像分割手段により生成された各前記分割画像毎に対して前記物体検出手段により前記物体の検出を行う際における複数の前記分割画像間の優先順位を、前記視線検出手段により検出された視線と前記物体候補検出手段により検出された前記物体候補の存在数とに基づき設定することを特徴としている。

上記構成の走行安全装置によれば、優先順位設定手段は、視線検出手段により検出された視線に基づき、例えば運転者の視線の対象物が存在する領域に対しては運転者の注意が払われていると判断して、この領域に対応する分割画像に対しては、物体検出の処理を実行する際の優先順位を低く設定する。一方、運転者の注意が払われていない領域、つまり運転者の視線の対象物が存在しない領域に対応する分割画像に対しては、物体検出の処理を実行する際の優先順位を高く設定する。さらに、所定の物体（例えば、歩行者や他の車両や障害物等）が存在する可能性が高い領域の分割画像ほど優先順位が高くなるように設定する。
これにより、例えば撮影手段から出力される撮影画像の全領域に対して物体検出の処理を実行する場合や、例えば複数の分割画像に対して常に一定の順番で物体検出の処理を実行する場合に比べて、自車両に対して危険度が高い物体の存在をより迅速に検出することができ、自車両の走行安全性をより一層向上させることができる。

本発明の走行安全装置によれば、例えば撮影手段から出力される撮影画像の全領域に対して物体検出の処理を実行する場合や、例えば複数の分割画像に対して常に一定の順番で物体検出の処理を実行する場合に比べて、自車両に対して危険度が高い物体の存在をより迅速に検出することができ、自車両の走行安全性を向上させることができる。

以下、本発明の一実施形態に係る走行安全装置について添付図面を参照しながら説明する。
本実施の形態による走行安全装置１０は、例えば車両に搭載され、例えば図１に示すように、自車両の運転者の視線を検出するためにＣＰＵ等を含む電子回路により構成された制御装置１１と、視線センサ１２と、外界センサ１３と、警報装置１４とを備えて構成されている。

視線センサ１２は、例えば図２および図３に示すように、車室内のインストルメントパネルやダッシュボード上部等に設けられ、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣ−ＭＯＳカメラ等の視線用カメラ２１と、視線用画像処理部２２とを備えて構成されている。
視線用カメラ２１は、制御装置１１の制御により、例えば視線用カメラ２１に具備される赤外線照射装置から運転者の顔や眼球に向けて照射された赤外線の反射や、運転者の顔や眼球から反射される可視光を撮影する。
視線用画像処理部２２は、視線用カメラ２１により撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して制御装置１１へ出力する。

外界センサ１３は、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣ−ＭＯＳカメラ等からなるカメラ３１および画像分割部３２と、例えばレーザ光やミリ波等のレーダ３３およびレーダ制御部３４とを備えて構成されている。
カメラ３１は、例えば図２に示すようにフロントウィンドウの車室内側でルームミラー近傍の位置に配置され、フロントウィンドウ越しに自車両の進行方向前方の所定検知範囲の外界を撮影する。
画像分割部３２は、カメラ３１により撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成し、さらに、画像データを所定領域毎に分割して複数の分割画像データを生成して制御装置１１へ出力する。

レーダ３３は、例えば図２に示すように自車両のボディのノーズ部や車室内のフロントウィンド近傍等に配置され、制御装置１１からレーダ制御部３４へ入力される制御指令に応じたレーダ制御部３４の制御により、レーザ光やミリ波等の発信信号を適宜の検知方向（例えば、自車両の進行方向前方等）に向けて発信すると共に、この発信信号が自車両の外部の物体（検知対象物）によって反射されることで生じた反射信号を受信し、反射信号と発信信号とを混合してビート信号を生成して制御装置１１へ出力する。

警報装置１４は、例えば、触覚的伝達装置４１と、視覚的伝達装置４２と、聴覚的伝達装置４３とを備えて構成されている。
触覚的伝達装置４１は、例えばシートベルト装置や操舵制御装置等であって、制御装置１１から入力される制御信号に応じて、例えばシートベルトに所定の張力を発生させて自車両の乗員が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイールに自車両の運転者が触覚的に知覚可能な振動（ステアリング振動）を発生させる。
視覚的伝達装置４２は、例えば表示装置等であって、制御装置１１から入力される制御信号に応じて、例えば表示装置に所定の警報情報を表示したり、所定の警報灯を点滅させる。
聴覚的伝達装置４３は、例えばスピーカ等であって、制御装置１１から入力される制御信号に応じて所定の警報音や音声等を出力する。

制御装置１１は、視線センサ１２から画像データが入力される視線検知部５１と、外界センサ１３から分割画像データが入力される認識制御部５２と、外界センサ１３からビート信号が入力される物体検知部５３と、判定部５５とを備えて構成されている。
そして、視線検知部５１は、視線センサ１２から入力される画像データに対して、例えば運転者の顔や眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトル（視線方向）を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出する。そして、算出した視線ベクトルおよび対象位置を認識制御部５２および判定部５５へ出力する。
なお、画像データの認識処理において、特徴量算出の処理では、例えば二値化処理後の画像データに対して、画素の連続性に基づく検知対象物の抽出およびラベリングを行い、抽出した検知対象物の重心および面積および外接四角形の縦横比等を算出する。また、形状判別の処理では、例えば予め記憶している所定パターン（例えば輪郭等）に基づき画像データ上の検索を行い、所定パターンとの類似性に応じて検知対象物を抽出する。

認識制御部５２は、例えば物体候補検出部６１と、優先順位設定部６２とを備えて構成されている。
物体候補検出部６１は、外界センサ１３から入力される複数の分割画像データに対して、例えば歩行者等の所定の物体を検知対象物として、相対的に簡略化した抽出処理、例えば特徴量算出等によって、各分割画像データ毎に検知対象物である可能性を有する物体候補を抽出し、抽出した物体候補の個数（物体候補数）を検出する。
優先順位設定部６２は、視線検知部５１から出力される運転者の視線の対象位置、あるいは、視線検知部５１から出力される運転者の視線の対象位置と物体候補検出部６１から出力される各分割画像データ毎の物体候補数とに基づき、各分割画像データ毎に対して認識処理を行う際の各分割画像データの優先順位を設定する。

物体検知部５３は、例えば相対位置・相対距離算出部７１と、移動状態判定部７２とを備えて構成されている。
相対位置・相対距離算出部７１は、認識制御部５２から入力される複数の分割画像データに対して、認識制御部５２にて設定された優先順位に応じて各分割画像データ毎に、例えば歩行者等の所定の物体を検知対象物とした特徴量算出や形状判別等の認識処理を行い、認識した検知対象物と自車両との相対位置および相対距離を算出する。例えば、外界センサ１３のカメラ１３がステレオカメラである場合や、カメラ１３が複数のカメラを備えて構成される場合には、複数の画像データに基づく三角測量法等により、他の車両や歩行者等の移動体や障害物や標識等の物体の相対位置および相対距離を算出する。さらに、検知対象物の時刻間追跡、すなわちサンプリング周期毎に抽出した検知対象物の同一性判定を行い、相対位置を時系列位置データとしてメモリ等に格納することによって、検知対象物の移動状態（例えば、移動速度や移動方向等）を算出する。
また、相対位置・相対距離算出部７１は、例えば外界センサ１３から入力されるビート信号の周波数ｆ（ビート周波数）に基づき、所定の検知エリア内の検知対象物までの相対距離や検知対象物の移動状態（例えば、移動速度や移動方向等）を算出する。
移動状態判定部７２は、検知対象物の移動状態に応じて、検知対象物が、例えば他の車両や歩行者等の移動体であるか、あるいは、障害物や標識等の静止物であるかを判定する。

判定部５５は、例えば見落とし判定部８１と、危険判定部８２とを備えて構成されている。
見落とし判定部８１は、視線検知部５１から出力される運転者の視線の対象位置と、物体検知部５３から出力される物体の相対位置とに基づき、運転者が物体を視認しているか否かを判定する。
危険判定部８２は、見落とし判定部８１にて運転者が視認していない、つまり運転者が見落としていると判定された物体の危険度（例えば、自車両の走行の支障となる可能性等）を算出する。この物体の危険度は、例えば物体の相対位置および相対距離および移動状態に加えて、自車両の移動状態（例えば、移動速度や移動方向等）に基づき算出される。そして、自車両の移動状態は、例えば車両状態量センサ（図示略）を構成する車速センサや舵角センサやヨーレートセンサや傾斜センサや方向指示器の作動状態を検知するセンサ等の各センサから出力される検出信号に基づき算出される。例えば、車速センサは車輪の回転速度等に基づいて所定の単位処理時間毎における車両移動距離つまり自車両の速度を検出し、舵角センサはステアリングシャフト（図示略）に設けられたロータリエンコーダ等からなり、運転者が入力した操舵角度の方向と大きさを検出する。ヨーレートセンサは車両重心の上下方向軸回りの回転角であるヨー角およびヨー角の変化量（ヨーレート）等を検出し、傾斜センサは車両重心の水平軸周りの回転角であるピッチ角およびピッチ角の変化量等を検出する。
そして、判定部５５は、危険判定部８２にて算出した危険度に応じて警報装置１４を作動させる。

本実施の形態による走行安全装置１０は上記構成を備えており、次に、この走行安全装置１０の動作について説明する。

例えば図４に示すように自車両Ｐが交差点に侵入して右折動作を行う際に、外界センサ１３の画像分割部３２は、カメラ３１の検知エリアを複数の領域（例えば、図４に示す領域Ａ〜Ｄ）に分割するようにして、カメラ３１により撮影して得た画像データを複数の所定領域毎に分割して複数の分割画像データ（例えば、図５（ａ）〜（ｃ）に示す分割画像データＡ〜Ｄ）を生成する。
そして、制御装置１１の認識制御部５２は、各分割画像データ毎に検知対象物（例えば、歩行者）である可能性を有する物体候補を抽出し、抽出した物体候補の個数（物体候補数）を検出する。例えば図５（ｂ）に示すように、分割画像データＡでは建造物の扉Ｔ３が物体候補として抽出され、分割画像データＢでは歩行者Ｒ２および街路樹Ｔ１，Ｔ２が物体候補として抽出され、分割画像データＤでは歩行者Ｒ１が物体候補として抽出され、分割画像データＣでは物体候補が存在しないと判定される。

次に、認識制御部５２は、各分割画像データ毎に物体の認識処理を行う際の優先順位を、各分割画像データ毎の物体候補数および視線検知部５１の検知結果に応じて設定する。例えば、先ず、物体候補数が多い分割画像データほど優先的に認識処理が実行されるようにして優先順位を設定する。次に、複数の分割画像データのうち、運転者の視線の対象位置を含む分割画像データが存在するか否かを判定し、存在する場合には対応する分割画像データの優先順位を最も低い値に設定する。
例えば図４に示すように、運転者の視線の視線ベクトルＥが、自車両Ｐが右折後に走行する道路を横断する横断歩道を通行中の歩行者Ｒ１に向かう方向に設定されていると、この視線の対象位置が含まれる分割画像データＤの優先順位は最も低くなるように設定される。これにより、例えば図５（ｃ）に示すように、物体候補数が最も多い分割画像データＢの優先順位が「１」に設定され、物体候補数が分割画像データＢよりも少ない分割画像データＡの優先順位が「２」に設定され、物体候補数がゼロの分割画像データＣの優先順位が「３」に設定され、運転者の視線の対象位置を含む分割画像データＤの優先順位が「４」に設定される。

以下、走行安全装置１０の一連の動作について説明する。
例えば図６に示すステップＳ０１においては、視線検知部５１の検知結果、例えば運転者の現在の視線の視線ベクトルおよび対象位置の各情報を取得する。
次に、ステップＳ０２においては、外界センサ１３のカメラ３１により撮影して得た画像を取得する。
次に、ステップＳ０３においては、カメラ３１により撮影して得た画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成し、さらに、画像データを所定領域毎に分割して複数の分割画像データを生成する。

次に、ステップＳ０４においては、例えば歩行者等の所定の物体を検知対象物とした特徴量算出等によって、各分割画像データ毎に検知対象物である可能性を有する物体候補を抽出し、抽出した物体候補の個数（物体候補数）を検出する。
次に、ステップＳ０５においては、ステップＳ０４の処理によって各分割画像データ毎に物体候補を検知したか否かを判定する。
この判定結果が「ＮＯ」の場合には、カメラ３１の検知エリア内に物体候補が存在しないと判断して、ステップＳ０６に進み、運転者の視線の対象位置に基づき、視線の対象位置が含まれる分割画像データの優先順位が最も低くなるようにして、複数の分割画像データの処理優先順位を設定し、後述するステップＳ０８に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０７に進む。

ステップＳ０７においては、物体候補数が多い分割画像データほど優先順位が高くなるように、かつ、視線の対象位置が含まれる分割画像データの優先順位が最も低くなるようにして、複数の分割画像データの処理優先順位を設定する。
そして、ステップＳ０８においては、設定した処理優先順位に応じて各分割画像データ毎に、例えば歩行者等の所定の物体を検知対象物とした特徴量算出や形状判別等の認識処理を行う。
そして、ステップＳ０９においては、各分割画像データ毎に認識した検知対象物と自車両との相対位置および相対距離を算出する。

そして、ステップＳ１０においては、取得した物体の検知結果および視線の対象位置に基づき、例えば物体の相対位置と視線の対象位置とが一致するか否か、あるいは、視線ベクトルが物体の相対位置を含むか否か等を判定することによって、運転者が検知対象を見落としているか否かを判定する。
そして、ステップＳ１１においては、ステップＳ１０において見落としが有ると判定されたか否かを判定する。
この判定結果が「ＮＯ」の場合には、運転者は検知された物体を視認していると判断して、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、運転者は検知された物体を見落としていると判断して、ステップＳ１２に進む。

ステップＳ１２においては、運転者が見落としていると判定された物体の危険度を算出する。
そして、ステップＳ１３においては、算出した危険度が所定値よりも大きいか否かを判定する。
ステップＳ１３の判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、ステップＳ１３の判定結果が「ＹＥＳ」の場合には、ステップＳ１４に進み、警報装置１４を作動させ、一連の処理を終了する。

上述したように、本実施の形態による走行安全装置１０によれば、分割画像データ毎に物体検知の処理を実行し、検知した物体に対して自車両の走行の支障となる可能性を算出し、警報を出力することから、例えば外界センサ１３のカメラ３１の検知エリアの全域に亘って物体検知の処理を実行してから、警報出力の必要性を判定する場合に比べて、迅速に警報を出力することができる。
しかも、複数の分割画像データに対する認識処理の優先順位を、物体候補数が多い分割画像データほど優先順位が高くなるように、かつ、視線の対象位置が含まれる分割画像データの優先順位が最も低くなるようにして設定することにより、適切なタイミングで警報を出力することができる。

本発明の一実施形態に係る走行安全装置の構成図である。図１に示す視線センサおよび外界センサを搭載した車両を示す斜視図である。図１に示す視線センサを搭載した車両を示す斜視図である。自車両が交差点を右折する際の運転者の視線およびカメラの検知エリアの一例を示す図である。図５（ａ）〜（ｃ）は自車両が交差点を右折する際の分割画像データの一例を示す図である。図１に示す走行安全装置の動作を示すフローチャートである。

符号の説明

１０走行安全装置
１４警報装置（警報手段）
２１視線用カメラ（視線用撮影手段）
３１カメラ（撮影手段）
３２画像分割部（画像分割手段）
５１視線検知部（視線検出手段）
５３物体検知部（物体検出手段）
５５判定部（視線判定手段）
６１物体候補検出部（物体候補検出手段）
６２優先順位設定部（優先順位設定手段）
ステップＳ１１警報手段

Claims

自車両の運転者の眼球あるいは顔を撮影する視線用撮影手段と、該視線用撮影手段の撮影により得られる撮影画像に基づき運転者の視線を検出する視線検出手段と、
自車両の進行方向の所定領域を撮影する撮影手段と、
該撮影手段の撮影により得られる撮影画像に基づき前記所定領域内に存在する物体を検出する物体検出手段と、
前記視線検出手段により検出された視線と前記物体検出手段により検出された前記物体とに基づき、運転者の視線の対象物が前記物体に設定されているか否かを判定する視線判定手段と、
前記視線判定手段により運転者の視線の対象物が前記物体に設定されていないと判定された場合に、運転者に警報を出力する警報手段とを備える走行安全装置であって、
前記撮影手段の撮影により得られる撮影画像を所定分割領域毎に分割して複数の分割画像を生成する画像分割手段と、
前記画像分割手段により生成された各前記分割画像毎に対して前記物体検出手段により前記物体の検出を行う際における複数の前記分割画像間の優先順位を、前記視線検出手段により検出された視線に基づき設定する優先順位設定手段とを備え、
前記物体検出手段は、前記優先順位設定手段にて設定された優先順位に応じて各前記分割画像毎に対して前記物体の検出を行うことを特徴とする走行安全装置。
前記画像分割手段により生成された各前記分割画像毎に対して、所定の物体である可能性がある物体候補の存在数を検出する物体候補検出手段を備え、
前記優先順位設定手段は、前記画像分割手段により生成された各前記分割画像毎に対して前記物体検出手段により前記物体の検出を行う際における複数の前記分割画像間の優先順位を、前記視線検出手段により検出された視線と前記物体候補検出手段により検出された前記物体候補の存在数とに基づき設定することを特徴とする請求項１に記載の走行安全装置。