JP2011113120A - 車両用周辺監視装置 - Google Patents

Abstract

【課題】本発明は、運転者への不要な障害物検出通知を抑制することを課題とする。
【解決手段】車外の画像を撮像する撮像手段と、車両の運転者の視線の方向を検出する視線検出手段と、車両のハンドルの操舵角方向を検出する操舵角検出手段と、前記撮像手段によって撮像された画像に基づいて障害物を検出する障害物検出手段と、前記障害物検出手段によって、前記視線検出手段によって検出された運転者の視線の方向から外れた所定範囲内に障害物が検出され、且つ運転者の視線の方向と前記操舵角検出手段によって検出されたハンドルの操舵角方向とが一致する場合に、障害物の存在を車両の運転者に通知する通知手段と、を備えている。
【選択図】図４

Description

本発明は、車両周辺の画像に基づいて車両の周辺を監視する周辺監視装置に関する。

特許文献１には、車両の左右側方の視界を含む画像をカメラにより取得するとともに、車両の右側方の視界を操舵ハンドル軸より左にある左画面に表示し、車両の左側方の視界を操舵ハンドル軸より右にある右画面に表示する技術が開示されている。また、特許文献１には、車両の走行速度が時速６０ｋｍ以下に変化したときに、上記のような左又は右画面への視界表示を実行する技術も開示されている。

特許文献２には、超広角レンズ及びイメージセンサを有する車載カメラにおいて、イメージセンサが撮像した歪画像の内、注目領域に相当する部分を切り出し、切り出された部分の画像を正画像に補正する技術が開示されている。

特開２００７−１９６８４４号公報 特開２００９−８１４９６号公報

近年、車両周辺の画像に基づいて車両の周辺を監視する周辺監視装置が開発されている。このような車両用周辺監視装置においては、撮像された車外の画像に基づいて障害物を検出するとともに、障害物が検出されたときにはその存在を車両の運転者に通知する。しかしながら、車両の運転者が自身の視覚によっても該障害物を認識している場合、このような周辺監視装置よる障害物検出通知は本来不要であって、該通知がかえって運転者に煩わしさを感じさせる虞がある。

本発明は、上記のような問題に鑑みてなされたものであって、車両周辺の障害物を検出した際にその存在を運転者に通知する車両用周辺監視装置において、運転者への不要な通知を抑制することが可能な技術を提供することを目的とする。

本発明は、車外の画像に基づいて障害物が検出されたときにおいて、該障害物が運転者の視線の方向と異なる方向に存在し、且つ運転者の視線の方向とハンドルの操舵角とが一致する場合にのみ、該障害物の存在を車両の運転者に通知するものである。

より詳しくは、本発明に係る車両用周辺監視装置は、
車外の画像を撮像する撮像手段と、
車両の運転者の視線の方向を検出する視線検出手段と、
車両のハンドルの操舵角方向を検出する操舵角検出手段と、
前記撮像手段によって撮像された画像に基づいて障害物を検出する障害物検出手段と、
前記障害物検出手段によって、前記視線検出手段によって検出された運転者の視線の方向から外れた所定範囲内に障害物が検出され、且つ運転者の視線の方向と前記操舵角検出手段によって検出されたハンドルの操舵角方向とが一致する場合に、障害物の存在を車両の運転者に通知する通知手段と、
を備えたことを特徴とする。

ここで、所定範囲は、運転者の視界を超えた範囲又は運転者の視界の境界近傍を含んだ範囲として設定される。運転者の視線の方向とハンドルの操舵角方向とが一致しているときは、運転者の視線の方向が変化する可能性が低い。従って、このときに、運転者の視線の方向から外れた所定範囲内に障害物が存在していると、該障害物を運転者が自身の視覚によって認識する可能性は低い。

本発明では、このような場合にのみ障害物の存在を運転者に通知する。換言すれば、運転者が自身の視覚によって障害物を認識する可能性が高いとき、即ち運転者への通知が不要なときは、運転者への障害物検出通知を行なわない。

本発明によれば、運転者への不要な障害物検出通知を抑制することができる。その結果、不要な障害物検出通知に起因して運転者の車両運転への集中力が低下することを抑制することができる。

尚、本発明における「運転者の視線の方向とハンドルの操舵角方向とが一致する場合」とは、両方向が完全に一致する場合のみならず、両方向のずれが所定角度以内である場合を含んでもよい。

本発明に係る車両用周辺監視装置は、車両の速度を検出する車速検出手段をさらに備えてもよい。この場合、通知手段は、上記のような条件が成立し、更に車両の速度が所定速度以下の場合に運転者への障害物検出通知を実行してもよい。

ここで、所定速度とは、運転者の視線の方向とハンドルの操舵角方向とが一致している時間がある程度継続する可能性が高いと判断できる閾値である。車両の速度が該所定速度以下の場合は、所定範囲内に存在する障害物を運転者が自身の視覚によって認識する可能性がより低くなる。

つまり、上記によれば、運転者が自身の視覚によって障害物を認識する可能性がより低いときにのみ障害物検出通知が実行される。これにより、運転者への不要な通知をより抑制することができる。

本発明に係る車両用周辺監視装置は、視線検出手段によって検出された運転者の視線の方向が一定である時間が所定時間以上継続しているか否かを判別する判別手段をさらに備えてもよい。この場合、通知手段は、上記のような条件が成立し、更に判別手段によって肯定判定された場合に運転者への障害物検出通知を実行してもよい。

運転者の視線の方向が一定である時間が長く継続している場合、所定範囲内に存在する障害物を運転者が自身の視覚によって認識する可能性は低くなる。ここで、所定時間とは、所定範囲内に存在する障害物を運転者が自身の視覚によって認識することが困難と判断できる閾値である。

上記の場合も、運転者が障害物を自身の視覚によって認識する可能性がより低いときにのみ障害物検出通知が実行されることになる。これにより、運転者への不要な通知をより抑制することができる。

本発明によれば、車両用周辺監視装置よる運転者への不要な障害物検出通知を抑制することができる。

実施例１に係る車両用周辺監視装置の概略構成を示すブロック図である。 実施例１に係る歪み補正処理について説明するための図である。図（ａ）は入力画像を示しており、図２（ｂ）は入力画像の中心点を画像処理の中心位置として歪み補正処理を実行した画像を示しており、図２（ｃ）は、実施例１に係る歪み補正処理によって入力画像の歪みを補正した画像を示している。 実施例１に係る切り出し画像の歪み補正処理の具体例のイメージを示す図である。 実施例１に係る障害物検出及び障害物検出通知のフローを示すフローチャートである。 実施例２に係る障害物検出及び障害物検出通知のフローを示すフローチャートである。 実施例３に係る障害物検出及び障害物検出通知のフローを示すフローチャートである。

以下、本発明の具体的な実施形態について図面に基づいて説明する。本実施例に記載されている構成部品の寸法、材質、形状、その相対配置等は、特に記載がない限りは発明の技術的範囲をそれらのみに限定する趣旨のものではない。

＜実施例１＞
本発明に係る車両用周辺監視装置の実施例について図１〜４に基づいて説明する。

（概略構成）
図１は、本実施例に係る車両用周辺監視装置の概略構成を示すブロック図である。本実施例においては、周辺監視装置１が車両１００に搭載されている。周辺監視装置１は、広角カメラ２、視線検知センサ３、車速センサ４、操舵角センサ５、通知装置６及び電子制御装置（ＥＣＵ）１０を備えている。

広角カメラ２は車両１００の前側に設置されている。広角カメラ２は、魚眼レンズ及びイメージセンサを有しており、車両１００の正面を中心に該車両１００の前方の画像を広角で撮像する。広角カメラ２によって撮像された画像はＥＣＵ１０に入力される。ＥＣＵ１０は、入力された画像について画像処理を行い、他車両や歩行者等の障害物の検出を実行する。

視線検知センサ３は、車両１００の車内に設置されており、該車両１００の運転者の視線の方向を検知するセンサである。視線検知センサ３によって検知された運転者の視線の方向についての情報はＥＣＵ１０に入力される。

車速センサ４は、車両１００の速度を検知するセンサである。車速センサ４によって検知された車速情報はＥＣＵ１０に入力される。

操舵角センサ５は、車両１００のハンドルの操舵角方向を検知するセンサである。操舵角センサ５によって検知された車両１００のハンドルの操舵角方向についての情報はＥＣＵ１０に入力される。

通知装置６は、車両１００の運転者に車外に障害物が存在することを通知する装置である。通知装置６は、ＥＣＵ１０から通知ＯＮの信号が入力されると該通知を実行する。通知装置６は、例えば、車両１００の車内に設けられたモニタに障害物の画像を出力することで該通知を実行してもよく、また音声や警報ランプ等によって該通知を実行してもよい
。以下、通知装置６によって実行される通知を障害物検知通知と称する場合もある。

尚、本実施例においては、広角カメラ２が本発明に係る撮像手段に相当する。また、視線検知センサ３が本発明に係る視線検出手段に相当する。また、操舵角センサ５が本発明に係る操舵角検出手段に相当する。

（歪み補正処理）
次に、本実施例に係るＥＣＵでの画像処理の詳細について図２及び３に基づいて説明する。図２（ａ）は、広角カメラ２によって撮像されＥＣＵ１０に入力された画像（以下、入力画像と称する）を示す図である。図２（ｂ）は、入力画像の中心点を画像処理の中心位置として該入力画像の歪みを補正した画像を示す図である。図２（ｃ）は、本実施例に係る画像処理によって入力画像の歪みを補正した画像を示す図である。図２に示す画像中のＰは障害物の一例たる歩行者を表している。

本実施例に係る入力画像は、魚眼レンズを有する広角カメラ２によって撮像された画像である。そのため、該入力画像には、図２（ａ）に示すように、歪みが生じている。このような歪みが生じた画像に基づいて障害物検出処理を実行した場合、例えば、図２（ａ）に示すように入力画像の左上隅近傍に歩行者Ｐが存在するようなときは、該歩行者Ｐを検出することが困難となる場合がある。

このような入力画像から障害物を高精度で検出するためには、該入力画像の歪みを補正するための画像処理（以下、歪み補正処理と称する）を行なう必要がある。しかしながら、入力画像の中心点を画像処理の中止位置として歪み補正処理を実行すると、図２（ｂ）に示すように、画像中心から離れた位置の歪みがより大きくなる。従って、歪み補正処理後の画像に基づいて障害物検出処理を実行したとしても、歩行者Ｐを検出することが困難な場合がある。

そこで、本実施例では以下のような歪み補正処理を実行する。図２（ａ）における実線矢印は、車両１００の運転者の視線の方向を示している。つまり、図２においては、運転者の視線の方向は車両１００に対して右斜め前方となっている。ここで、運転者の視線の方向に障害物が存在している場合、該障害物は運転者自身の視覚によって認識される可能性が高い。一方、運転者の視界を超えた位置又は運転者の視界の境界近傍に障害物が存在している場合、該障害物は運転者自身の視覚によって認識される可能性が低くなる。

そのため、周辺監視装置１においては、運転者の視線の方向とは異なる方向に存在し運転者自身の視覚によって認識され難い障害物を検出するのが重要である。そこで、本実施例では、入力画像における運転者の視線の方向とは異なる方向であって運転者自身の視覚によって認識され難い位置に、画像を切り出すための切り出し中心を設定する。さらに、入力画像中において該切り出し中心から所定の切り出し範囲内に属する画像（以下、切り出し画像と称する）を切り出す。そして、該切り出し画像について、切り出し中心を中心位置として歪み補正処理を実行する。

このような歪み補正処理によれば、運転者自身の視覚によって認識され難い位置の画像の歪みを補正することができる。従って、該歪み補正処理後の画像に基づいて障害物検出処理を実行することで、運転者の視線の方向とは異なる方向に存在し運転者自身の視覚によって認識され難い障害物を高精度で検出することが可能となる。

図２（ａ）の場合、運転者の視線の方向は画像の右方向に向かっている。この場合、該視線の方向に対して左回りに所定角度Ｃｅずれた方向（図２（ａ）における破線矢印で示す方向）を切り出し中心の設定方向とする。そして、該設定方向上における広角カメラ２
から所定距離Ｌｅに相当する位置を切り出し中心として設定する。

尚、所定角度Ｃｅは運転者の視界角度に基づいて予め設定された値である。つまり、所定角度Ｃｅは、視線の方向から、該視線の方向を中心した視界の境界又はその近傍までの角度として設定される。例えば、人間の視界角度は８０〜１００°であるため、その平均値（９０°）に基づき所定角度Ｃｅを４５°としてもよい。また、所定距離Ｌｅを、障害物を検出することが必要な車両１００からの距離として設定してもよい。このような所定角度Ｃｅ及び所定距離Ｌｅは、実験等に基づいて予め定めることができる。尚、視界角度には個人差があるため、運転者毎の視界角度を学習し、該学習結果に応じて所定角度Ｃｅを変更してもよい。

また、図２（ａ）の場合、運転者の視線の方向は画像の右方向、即ち車両１００の真正面に向かって延びる軸に対して右方向に向かっているため、該視線の方向に対して左回りに所定角度Ｃｅずれた方向を切り出し中心の設定方向とした。ここで、運転者の視線の方向が画像の左方向、即ち車両１００の真正面に向かって延びる軸に対して左方向に向かっている場合は、該視線の方向に対して右回りに所定角度Ｃｅずれた方向を切り出し中心の設定方向とする。

図２（ａ）の場合、上記のように設定された切り出し中心の近傍に歩行者Ｐが存在する。従って、該切り出し中心を中心位置として切り出し画像について歪み補正処理を実行することで、図２（ｃ）に示すように、歩行者Ｐの画像はほとんど歪みのない状態となる。そのため、図２（ｃ）に示す画像に基づいて障害物検出処理を実行することで、歩行者Ｐを高精度で検出するここが可能となる。

ここで、本実施例に係る切り出し画像の歪み補正処理の具体的な処理方法の一例について図３に基づいて説明する。尚、以下の方法はあくまでも一例であり、具体的な処理内容はこれに限定されるものではない。

図３は、本実施例に係る切り出し画像の歪み補正処理の具体例のイメージを示す図である。本実施例では、切り出し画像を正像化画像として仮想スクリーンに投影することで歪み補正処理を実現する。つまり、図２（ａ）から切り出した切り出し画像を仮想スクリーンに投影した画像が図２（ｃ）に相当する。

図３において、カメラＯｃが広角カメラ２に相当する。また、図３において、ＺｖはカメラＯｃから仮想スクリーンまでの距離を示しており、Ωは横方向の投影視野角度を表しており、Ｗは正像化画像の横幅を表している。ここで、Ｚｖ，Ω，Ｗの関係は下記式（１）のように表される。

該歪み補正処理では、魚眼画像（即ち、入力画像）の像点（ｕｐ，ｖｐ）を仮想スクリーン上に表示点（Ｘｐ，Ｙｐ）として投影する。魚眼画像の像点（ｕｐ，ｖｐ）と仮想スクリーン上の表示点（Ｘｐ，Ｙｐ）との関係は下記式（２）〜（４）のように表される。

ここで、ｆは広角カメラ２の特性関数を示しており、Ｌは魚眼画像の半径を示している。また、パラメータＸ´_ｓｅ，Ｙ´_ｓｅ，Ｚ´_ｓｅはアフィン変換式によって式（３）のように表される。

ここで、λはカメラ向き横角度を表しており、ξはカメラ向き縦角度を表しており、ωはカメラ向き回転角度を表している。また、パラメータＸ_ｓｅ，Ｙ_ｓｅ，Ｚ_ｓｅは式（４）のように表される。

ただし、

従って、式（１），（３）及び（４）を式（２）に代入して解くことにより、魚眼画像の像点（ｕｐ，ｖｐ）を仮想スクリーン上の表示点（Ｘｐ，Ｙｐ）に変換することができる。

（障害物検知通知）
本実施例においては、上記のような画像処理を行なうことによって、運転者自身の視覚によって認識され難い位置、即ち運転者の視界の境界近傍又は運転者の視界から外れた位置に存在する障害物を高精度で検出することができる。そして、本実施例では、このような障害物が検出された場合、通知装置６によって障害物検知通知が実行される。

しかしながら、通常、車両を運転している運転者の視線の方向は頻繁に変化する。そして、運転者の視界の境界近傍又は運転者の視界から外れた位置に障害物が存在しても、運転者の視線の方向が頻繁に変化していれば、周辺監視装置１によって該障害物が検出された直後に運転者自身の視覚によっても該障害物が認識される可能性が高い。

運転者自身の視覚によって障害物を認識することができる場合、該障害物についての周辺監視装置１よる障害物検出通知は本来不要である。このような不要な通知はかえって運転者に煩わしさを感じさせ、その結果、運転者の車両運転への集中力の低下を招く虞がある。

そこで、本実施例では、運転者自身の視覚によって障害物が認識される可能性が低いときにのみ通知装置６による障害物検出通知を実行する。より具体的には、運転者の視線の方向と車両１００のハンドルの操舵角方向とが一致している場合にのみ通知装置６による障害物検出通知を実行する。

運転者の視線の方向と車両１００のハンドルの操舵角方向とが一致している場合として、例えば、車両１００が交差点やコーナーを曲がっている場合が考えられる。つまり、このような場合、運転者の視線の方向がある程度の期間一定に保たれる可能性が高い。そのため、このような場合に運転者の視界の境界近傍又は運転者の視界から外れた位置に障害物が存在する場合、運転者の視覚によって該障害物が認識される可能性は低い。

上記のような場合にのみ通知装置６による障害物検出通知を実行することで、運転者への不要な障害物検出通知を抑制することが可能となる。その結果、不要な障害物検出通知に起因して運転者の車両運転への集中力が低下することを抑制することができる。

（障害物検出及び通知フロー）
以下、本実施例に係る障害物検出及び障害物検出通知のフローについて図４に示すフローチャートに基づいて説明する。本フローは、ＥＣＵ１０に予め記憶されており、ＥＣＵ１０によって所定の間隔で繰り返し実行される。

本フローでは、先ずステップＳ１０１において、入力画像が取得される。

次に、ステップＳ１０２において、運転者の視線の方向及び車両１００のハンドルの操舵角方向が取得される。尚、これらのは、車両１００の真正面に向かって延びる軸に対する角度として取得される。

次に、ステップＳ１０３において、入力画像における切り出し中心の設定方向が運転者の視線の方向に基づいて決定される。上述したように、該切り出し中心の設定方向は、運転者の視線の方向に対して左回り又は右回りに所定角度Ｃｅずれた方向に決定される。

次に、ステップＳ１０４において、入力画像における切り出し中心の設定方向上に切り出し中心が設定される。上述したように、該切り出し中心は、ステップＳ１０３において決定された設定方向上における、広角カメラ２から所定距離Ｌｅに相当する位置に設定される。

次に、ステップＳ１０５において、ステップＳ１０４で設定された切り出し中心を中心として切り出し画像が切り出され、該切り出し画像について切り出し中心を中心位置として上述した歪み補正処理が実行される。

次に、ステップＳ１０６において、歪み補正処理後の画像について障害物検出処理が実行される。

次に、ステップＳ１０７において、ステップＳ１０６における障害物検出処理によって障害物が検出されたか否かが判別される。該ステップＳ１０７において、肯定判定された場合、次にステップ１０８の処理が実行され、否定判定された場合、次にステップＳ１１０の処理が実行される。

ステップＳ１０８においては、運転者の視線の方向とハンドルの操舵角方向とが一致しているか否かが判別される。尚、ここでは、両者のずれが所定角度以内であれば両者は一致していると判定される。該ステップＳ１０８において、肯定判定された場合、次にステ
ップ１０９の処理が実行され、否定判定された場合、次にステップＳ１１０の処理が実行される。

ステップＳ１０９においては、通知装置６によって障害物検出通知が実行される。一方、ステップＳ１１０においては、通知装置６による障害物検出通知の実行が禁止される。

尚、本実施例においては、上記フローにおけるステップＳ１０６を実行するＥＣＵ１０が本発明に係る障害物検出手段に相当する。また、上記フローにおけるステップＳ１０９を実行するＥＣＵ１０が本発明に係る通知手段に相当する。また、本実施例において、入力画像から切り出される切り出し画像に相当する範囲が本発明に係る所定範囲に相当する。

また、上記フローにおいては、入力画像について歪み補正処理及び障害物検出処理を実行した後に、運転者の視線の方向とハンドルの操舵角方向とが一致しているか否かの判別を実行した。しかしながら、先ず運転者の視線の方向とハンドルの操舵角方向とが一致しているか否かの判別を実行し、両者が一致していないと判定されたときにのみ入力画像について歪み補正処理及び障害物検出処理を実行してもよい。

また、本実施例では、魚眼レンズを有する広角カメラによって車外の画像を撮像したが、車外の画像を撮像するカメラはこれに限られるものではない。例えば、標準レンズを有するカメラを車両の前側に複数設置することで、広角カメラを設置した場合と同様の範囲の画像を撮像するようにしてもよい。

このような場合、複数のカメラからＥＣＵ１０に入力された入力画像について、上記のような歪み補正処理を行なうことなく、障害物検出処理を行なうことで障害物を高精度で検出することができる。また、このような場合は、運転者の視線の方向を基準に、運転者の視界を超えた範囲又は運転者の視界の境界近傍を含んだ範囲として所定範囲を設定する。そして、該所定範囲内に障害物が検出されたときに、運転者の視線の方向とハンドルの操舵角方向とが一致していれば、通知装置６によって障害物検出通知を実行する。

＜実施例２＞
本発明に係る車両用周辺監視装置の実施例について図５に基づいて説明する。尚、ここでは、実施例１とは異なる点についてのみ説明する。

（障害物検知通知）
本実施例においては、実施例１と同様に入力画像から切り出された切り出し画像から障害物が検出され、且つ運転者の視線の方向とハンドルの操舵角方向とが一致したときにおいて、車速センサ４によって検知された車両１００の速度が所定速度以下の場合にのみ、通知装置６によって障害物検出通知を実行する。

ここでの所定速度とは、車両１００が交差点に進入したと判断できる閾値として設定された値である。該所定速度を、例えば、２０ｋｍ／ｈに設定してもよい。車両１００が交差点に進入した場合は、運転者の視線の方向とハンドルの操舵角方向とが一致している時間がある程度継続する可能性が高い。つまり、この場合、切り出し画像から検出された障害物が運転者の視覚によって認識される可能性がより低い。

つまり、本実施例によれば、切り出し画像から検出された障害物が運転者の視覚によって認識される可能性がより低いときにのみ通知装置６によって障害物検出通知を実行する。これにより、運転者への不要な通知をより抑制することができる。

尚、本実施例においては、車速センサ４が本発明に係る車速検出手段に相当する。

（障害物検出及び通知フロー）
以下、本実施例に係る障害物検出及び障害物検出通知のフローについて図５に示すフローチャートに基づいて説明する。本フローは、ＥＣＵ１０に予め記憶されており、ＥＣＵ１０によって所定の間隔で繰り返し実行される。尚、本フローは、図４に示すフローチャートにステップＳ２０９及び２１０を追加したものである。そのため、ステップＳ２０９及び２１０の処理についてのみ説明し、その他のステップについての説明は省略する。

本フローでは、ステップＳ１０８において肯定判定された場合、ステップＳ２０９の処理が実行される。ステップＳ２０９においては、車両１００の速度ｖｃが取得される。

次に、ステップＳ２１０において、車両１００の速度ｖｃが所定速度ｖ０以下であるか否かが判別される。ステップＳ２１０において、肯定判定された場合、次にステップＳ１０９の処理が実行され、否定判定された場合、次にステップＳ１１０の処理が実行される。

尚、本実施例に係る所定速度ｖ０は、車両１００が交差点に進入したと判断できる閾値に限られるものではなく、運転者の視線の方向とハンドルの操舵角方向とが一致している時間がある程度継続する可能性が高いと判断できる閾値であればよい。

また、本実施例においては、先ず運転者の視線の方向とハンドルの操舵角方向とが一致しているか否か、及び車両１００の速度が所定速度以下であるか否かを判別し、両方において肯定判定されたときにのみ入力画像について歪み補正処理及び障害物検出処理を実行してもよい。

＜実施例３＞
本発明に係る車両用周辺監視装置の実施例について図６に基づいて説明する。尚、ここでは、実施例１とは異なる点についてのみ説明する。

（障害物検知通知）
本実施例においては、実施例１と同様に入力画像から切り出された切り出し画像から障害物が検出され、且つ運転者の視線の方向とハンドルの操舵角方向とが一致したときにおいて、運転者の視線の方向が一定である時間が所定時間以上継続している場合にのみ、通知装置６によって障害物検出通知を実行する。

運転者の視線の方向が一定である時間が長く継続している場合、運転者の視界を超えた範囲又は運転者の視界の境界近傍に存在する障害物、即ち切り出し画像から検出された障害物が、運転者の視覚によって認識される可能性はより低い。
ここで、所定時間とは、切り出し画像から検出された障害物が運転者の視覚によって認識されることは困難と判断できる閾値である。

本実施例によっても、実施例２と同様、切り出し画像から検出された障害物が運転者の視覚によって認識される可能性がより低いときにのみ通知装置６によって障害物検出通知も実行することになる。これにより、運転者への不要な通知をより抑制することができる。

（障害物検出及び通知フロー）
以下、本実施例に係る障害物検出及び障害物検出通知のフローについて図６に示すフローチャートに基づいて説明する。本フローは、ＥＣＵ１０に予め記憶されており、ＥＣＵ
１０によって所定の間隔で繰り返し実行される。尚、本フローは、図４に示すフローチャートにステップＳ３０９を追加したものである。そのため、ステップＳ３０９の処理についてのみ説明し、その他のステップについての説明は省略する。

本フローでは、ステップＳ１０８において肯定判定された場合、ステップＳ３０９の処理が実行される。ステップＳ３０９においては、運転者の視線の方向が一定である時間が所定時間Δｔ０以上継続しているか否かが判別される。ここでは、例えば、運転者の視線の方向を所定時間Δｔ０の間記録し、記録された運転者の視線の方向が一定であるか否かを判別してもよい。ステップＳ３０９において、肯定判定された場合、次にステップＳ１０９の処理が実行され、否定判定された場合、次にステップＳ１１０の処理が実行される。

尚、本実施例においては、上記フローにおけるステップＳ３０９の処理を実行するＥＣＵ１０が、本発明に係る判別手段に相当する。

また、本実施例においては、先ず運転者の視線の方向とハンドルの操舵角方向とが一致しているか否か、及び運転者の視線の方向が一定ある時間が所定時間以上継続しているか否かを判別し、両方において肯定判定されたときにのみ入力画像について歪み補正処理及び障害物検出処理を実行してもよい。

また、本実施例においては、入力画像から切り出された切り出し画像から障害物が検出され、且つ運転者の視線の方向とハンドルの操舵角方向とが一致しており、さらに、実施例２の場合と同様、車両１００の速度が所定速度以下であるときにおいて、運転者の視線の方向が一定である時間が所定時間以上継続している場合にのみ、通知装置６によって障害物検出通知を実行するようにしてもよい。

１・・・周辺監視装置
２・・・広角カメラ
３・・・視線検知センサ
４・・・車速センサ
５・・・操舵角センサ
６・・・通知装置
１０・・ＥＣＵ
１００・・車両

Claims (3)

1. 車外の画像を撮像する撮像手段と、
   車両の運転者の視線の方向を検出する視線検出手段と、
   車両のハンドルの操舵角方向を検出する操舵角検出手段と、
   前記撮像手段によって撮像された画像に基づいて障害物を検出する障害物検出手段と、
   前記障害物検出手段によって、前記視線検出手段によって検出された運転者の視線の方向から外れた所定範囲内に障害物が検出され、且つ運転者の視線の方向と前記操舵角検出手段によって検出されたハンドルの操舵角方向とが一致する場合に、障害物の存在を車両の運転者に通知する通知手段と、
   を備えたことを特徴とする車両用周辺監視装置。
2. 車両の速度を検出する車速検出手段をさらに備え、
   前記通知手段が、前記障害物検出手段によって前記所定範囲内に障害物が検出され、且つ運転者の視線の方向と前記操舵角検出手段によって検出されたハンドルの操舵角方向とが一致し、更に前記車速検出手段によって検出された車両の速度が所定速度以下の場合に、障害物の存在を車両の運転者に通知することを特徴とする請求項１に記載の車両用周辺監視装置。
3. 前記視線検出手段によって検出された運転者の視線の方向が一定である時間が所定時間以上継続しているか否かを判別する判別手段をさらに備え、
   前記通知手段が、前記障害物検出手段によって前記所定範囲内に障害物が検出され、且つ運転者の視線の方向と前記操舵角検出手段によって検出されたハンドルの操舵角方向とが一致し、更に前記判別手段によって肯定判定された場合に、障害物の存在を車両の運転者に通知することを特徴とする請求項１又は２に記載の車両用周辺監視装置。

Images