JP2010165087A

JP2010165087A - 運転支援装置

Info

Publication number: JP2010165087A
Application number: JP2009005396A
Authority: JP
Inventors: Fumiya Nagai; 史也永井; Kazumichi Hoshiya; 一路星屋; Shingo Imura; 真悟井村
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2009-01-14
Filing date: 2009-01-14
Publication date: 2010-07-29
Anticipated expiration: 2029-01-14
Also published as: JP5277974B2

Abstract

【課題】運転者の煩わしさを低減し、かつ、運転者が特定の車両装備を視認中であっても車両前方の状況を認識できるようにする。
【解決手段】車両に、表示部１４ａ〜１４ｄ、１５ｂを有する車両装備（ドアミラー、ルームミラー、メータ、ナビゲーション装置１５）を備えておき、車両の運転者を撮影する車室内カメラ１０と、車室内カメラ１０の撮影画像に基づいて運転者が表示部を有する特定の車両装備を予め定められた基準時間以上注視していることを判定した場合、当該特定の車両装備の表示部に車両の前方画像を表示させる。
【選択図】図１

Description

本発明は、車両の運転者の運転支援を行う運転支援装置に関するものである。

従来、運転者の顔が向いている方向を検出し、運転者が脇見をしたことを判定すると、警報音やブロック音を呈示する車両の安全装置がある（例えば、特許文献１参照）。

特開２００８−２２６１６３号公報

しかしながら、上記特許文献１に記載されたような装置では、運転者が安全確認のためにメータ、ルームミラー、ドアミラー等の車両装備を視認するような状況であっても警報が発せられ、運転者に煩わしさを感じさせてしまうといった問題がある。

また、上記特許文献１に記載されたような装置は、警報音やブロック音等を発するだけであり、運転者が車両前方を視認しない限り、車両前方の状況を認識するのは困難である。

本発明は上記問題に鑑みたもので、運転者の煩わしさを低減し、かつ、運転者が特定の車両装備を視認中であっても車両前方の状況を認識できるようにすることを目的とする。

上記目的を達成するため、請求項１に記載の発明は、車両に搭載され、当該車両の運転者の運転支援を行う運転支援装置であって、車両には、画像を表示するための表示部を有する車両装備が備えられており、車両の運転者を撮影する撮影手段と、撮影手段の撮影画像に基づいて運転者が表示部を有する特定の車両装備を予め定められた基準時間以上注視していることを判定した場合、当該特定の車両装備の表示部に車両の前方画像を表示させる前方画像表示制御手段と、を備えたことを特徴としている。

このような構成によれば、車両の運転者の撮影画像に基づいて運転者が表示部を有する特定の車両装備を予め定められた基準時間以上注視していることを判定した場合、当該特定の車両装備の表示部に車両の前方画像が表示される。すなわち、警告音を発することなく、運転者が注視している特定の車両装備の表示部へ車両の前方画像を表示させることにより注意喚起が行われ、かつ、運転者はこの車両装備の表示部への車両の前方画像の表示により車両の前方を確認することができるので、運転者の煩わしさを低減し、かつ、運転者が特定の車両装備を視認中であっても車両前方の状況を認識することができる。

なお、車両装備としては、請求項２に記載の発明のように、左側ドアミラー、右側ドアミラー、ルームミラー、メータ、ナビゲーション用モニタの少なくとも１つを含むように構成することができる。

また、請求項３に記載の発明は、前方画像表示制御手段により特定の車両装備の表示部に車両の前方画像が表示された後、更に、撮影手段の撮影画像に基づいて運転者が表示部を有する特定の車両装備を予め定められた基準時間以上注視していることを判定した場合、注意喚起音を発生させる注意喚起音発生手段を備えたことを特徴としている。

このような構成によれば、特定の車両装備の表示部に車両の前方画像が表示された後、更に、撮影手段の撮影画像に基づいて運転者が表示部を有する特定の車両装備を予め定められた基準時間以上注視していることを判定した場合、注意喚起音が発せられるので、より強く注意喚起を行うことができる。

また、請求項４に記載の発明は、前方画像表示制御手段により特定の車両装備の表示部に車両の前方画像が表示された後、更に、撮影手段の撮影画像に基づいて運転者が表示部を有する特定の車両装備を予め定められた基準時間以上注視していることを判定した場合、車両の前方画像を非表示とし、注意喚起を促す表示体を特定の車両装備の表示部に表示させる注意喚起表示制御手段を備えたことを特徴としている。

このような構成によれば、特定の車両装備の表示部に車両の前方画像が表示された後、更に、撮影手段の撮影画像に基づいて運転者が表示部を有する特定の車両装備を予め定められた基準時間以上注視していることを判定した場合、車両の前方画像が非表示となり、注意喚起を促す表示体が特定の車両装備の表示部に表示されるので、より強く注意喚起を行うことができる。

また、請求項５に記載の発明は、撮影手段の撮影画像に基づいて運転者が正面を注視していることを判定した場合、特定の車両装備の表示部への表示を非表示とする非表示制御手段を備えたことを特徴としている。

このような構成によれば、撮影手段の撮影画像に基づいて運転者が正面を注視していると判定された場合、特定の車両装備の表示部への表示が非表示となるので、特定の車両装備の表示部への表示をいつまでも継続させないようにすることができる。

また、請求項６に記載の発明は、撮影手段の撮影画像に基づいて予め定められた特定の物体を認識した場合、当該特定の物体を強調するための枠を重畳して表示させることを特徴としている。

このような構成によれば、撮影手段の撮影画像に基づいて予め定められた特定の物体を認識した場合、当該特定の物体を強調するための枠が重畳して表示されるので、例えば、前方車両や歩行者等を特定の物体として前方車両や歩行者等を強調するための枠を重畳して表示することにより、前方車両や歩行者等の視認性を向上させることができる。

本発明の一実施形態に係る運転支援装置の構成を示す図である。左右ドアミラーモニタ、ルームミラーモニタおよびメータモニタについて説明するための図である。制御回路による前方画像表示処理を示すフローチャートである。各車両装備のモニタの表示が非表示から表示へと切り替わる様子を示した図である。ナビゲーション用モニタに前方カメラより入力される車両前方の撮影画像が表示された場合の表示例を示す図である。注意喚起のためのアイコンが表示された場合の表示例を示す図である。

本発明の一実施形態に係る運転支援装置の構成を図１に示す。本運転支援装置は、車両に搭載され、当該車両の運転者の運転支援を行う装置である。本運転支援装置は、車両の運転者を撮影する車室内カメラ１０、運転者に照明光を照射する照明装置１１、車両前方を撮影する前方カメラ１２、車両前方の照明光を照射する照明装置１３、各種画像を表示する表示部１４、ナビゲーション装置１５および制御回路１６を備えている。

車室内カメラ１０は、車両の運転席の前方に取り付けられ、運転者の顔を撮影した画像を制御回路１６へ送出する。

照明装置１１は、車両の運転者を照明するための発光部１１ａと、この発光部１１ａに流れる電流を制御する投光制御回路１１ｂを有している。

前方カメラ１２は、車室内または車両のフロントグリル等に取り付けられ、車両の前方を撮影した画像を制御回路１６へ送出する。

照明装置１３は、車両前方を照明するための発光部１３ａと、この発光部１３ａに流れる電流を制御する投光制御回路１３ｂを有している。

表示部１４は、図２に示すように、車両の左側ドアミラーＤＭａの鏡面に設けられた左ドアミラーモニタ１４ａ、車両の右側ドアミラーＤＭｂの鏡面に設けられた右ドアミラーモニタ１４ｂ、ルームミラーＲＭの鏡面に設けられたルームミラーモニタ１４ｃ、車両のメータＭ内に設けられたメータモニタ１４ｄを有している。各モニタ１４ａ〜１４ｄは、ＥＬ（ＥｌｅｃｔｏｒｏＬｕｍｉｎｅｓｃｅｎｃｅ）、液晶等のディスプレイを有し、制御回路１６より入力される画像信号に応じた画像を当該ディスプレイに表示させる。なお、ミラーの鏡面にディスプレイを形成してモニタを構成する技術は周知技術であり、例えば、鏡面にディスプレイを形成したルームミラーモニタは市販されている。また、左ドアミラーモニタ１４ａ、右ドアミラーモニタ１４ｂ、ルームミラーモニタ１４ｃは、モニタ表面に鏡面処理が施されており、画像を表示しない場合にはモニタ表面が鏡面となるように構成されている。

ナビゲーション装置１５は、ナビゲーション本体１５ａと、ナビゲーション用モニタ１５ｂを備えている。ナビゲーション本体１５ａは、外部より入力される画像信号を入力するための外部入力端子を有しており、この外部入力端子を介して制御回路１６より入力される画像信号に応じた画像をナビゲーション用モニタ１５ｂに表示させることが可能となっている。本実施形態では、図２に示したように、前方カメラ１２により撮影された車両前方の画像をナビゲーション用モニタ１５ｂの一部（斜線で示す）に表示させることが可能となっている。

ナビゲーション本体１５ａは、ＧＰＳ受信機、車速センサ、ジャイロスコープ等の現在位置を特定するための情報を出力する位置検出器、地図データを記憶した記憶媒体から地図データを取得する地図データ取得装置、各種処理を実施する制御部等（いずれも図示せず）を備えている。制御部の処理としては、位置検出器より入力される情報に基づいて車両の現在位置を特定する現在位置特定処理、自車位置周辺の地図データを地図データ取得装置から取得して自車位置周辺の地図上に自車位置マークを重ねて表示させる地図表示処理、出発地から目的地に至る案内経路を探索する経路探索処理、案内経路に従って走行案内を行う経路案内処理等がある。

制御回路１６は、ＣＰＵ、メモリ、Ｉ／Ｏ等を備えたコンピュータとして構成されており、ＣＰＵはメモリに記憶されたプログラムに従って各種処理を実施する。制御回路１６には、車両周辺の照度を検出するための照度センサ（図示せず）が接続されている。

制御回路１６の処理としては、車室内カメラ１０より入力される運転者の顔を撮影した画像に画像認識処理を施し、運転者の瞳孔の動きを追跡して視線の向きを割り出し、運転者がどこを見ているかを検出する視線検出処理、前方カメラ１２より入力される車両前方の画像に画像認識処理を施して、前方車両や歩行者等の認識を行う物体認識処理、照度センサより入力される信号に基づいて車両周辺の照度を判定し、この判定結果に従って照明装置１１、１３の照明の自動点灯制御を行う照明制御処理等がある。

本運転支援装置は、車室内カメラ１０により撮影された運転者の撮影画像に基づいて運転者が表示部を有する特定の車両装備を予め定められた基準時間以上注視していることを判定した場合、当該特定の車両装備の表示部に車両の前方画像を表示させる前方画像表示処理を実施する。

次に、図３に従って、制御回路１６による前方画像表示処理について説明する。車両のイグニッションスイッチがオン状態になると、本運転支援装置およびナビゲーション装置１５は動作状態となり、制御回路１６は、図３に示す処理を周期的に実施する。

まず、運転者の視線を特定する（Ｓ１００）。具体的には、視線検出処理の検出結果に基づいて運転者の視線がどこを向いているかを特定する。

次のＳ１０２では、運転者の視線が指定対象物か否かを判定する。本実施形態では、左右ドアミラーＤＭａ、ＤＭｂ、ルームミラーＲＭ、メータＭ、ナビゲーション用モニタ１５ｂを指定対象物として、運転者の視線が指定対象物のいずれかを向いているか否かを判定する。

ここで、運転者が車両前方を向いており運転者の視線が指定対象物を向いている場合、Ｓ１０２の判定はＮＯとなり本処理を終了する。

また、運転者の視線がいずれかの指定対象物を向いている場合、Ｓ１０２の判定はＹＥＳとなり、次に、注視時間が予め定められた基準時間（例えば、２秒）以上か否かを判定する（Ｓ１０４）。

ここで、注視時間が予め定められた基準時間以上経過してない場合、Ｓ１０４の判定はＮＯとなり、本処理を終了する。

また、運転者の視線が指定対象物を向いており、かつ、注視時間が予め定められた基準時間以上経過すると、各Ｓ１０２、Ｓ１０４の判定はＹＥＳとなり、次に、指定対象物に前方画像を表示させる（Ｓ１０６）。すなわち、運転者がモニタを有する特定の車両装備を予め定められた基準時間以上注視していることを判定すると、当該特定の車両装備のモニタに車両の前方画像を表示させる。

したがって、図４（ａ）、（ｂ）に示すように、モニタを有する各車両装備のモニタの表示が非表示から表示へと切り替わる。なお、図中、斜線部で示す部分に車両の前方画像が表示される。実際には、図４（ｂ）に示す左ドアミラーモニタ１４ａ、右ドアミラーモニタ１４ｂ、ルームミラーモニタ１４ｃ、メータモニタ１４ｄおよびナビゲーション用モニタ１５ｂのうち、運転者が基準時間以上注視した特定の車両装備のモニタにのみ車両の前方画像を表示させる。

例えば、運転者の視線が左側ドアミラーＤＭａを予め定められた基準時間以上注視すると、左側ドアミラーモニタ１４ａに前方カメラ１２より入力される車両前方の撮影画像が表示される。また、運転者の視線がナビゲーション用モニタ１５ｂを予め定められた基準時間以上注視すると、ナビゲーション用モニタ１５ｂに前方カメラ１２より入力される車両前方の撮影画像が表示される。なお、車両前方の撮影画像に前方車両や歩行者等が含まれており、物体認識処理により前方車両や歩行者等の特定の物体が認識された場合、視認性を向上させるため、前方車両や歩行者等の特定の物体を強調するための枠を重畳させて表示させる。

図５に、ナビゲーション用モニタ１５ｂに前方カメラ１２より入力される車両前方の撮影画像が表示された場合の表示例を示す。図に示すように、ナビゲーション用モニタ１５ｂに自車位置周辺の地図画面を表示させている場合、自車位置周辺の地図画面の一部領域（図５の例では右上部）に車両前方の撮影画像を表示させる。また、図に示すように前方車両が含まれる場合には、同時に前方車両の一部または全部を囲む枠Ｗ１、Ｗ２も表示させる。

次に、引き続き運転者が対象物を注視しているか否かを判定する（Ｓ１０８）。すなわち、引き続き、運転者がモニタを有する特定の車両装備を予め定められた基準時間以上注視しているか否かを判定する。

ここで、運転者が特定の車両装備への注視をやめると、Ｓ１０８の判定はＮＯとなり、車両装備のモニタへの前方画像の表示を中止する（Ｓ１１０）。すなわち、前方画像の表示を非表示とし、本処理を終了する。

しかし、引き続き運転者が特定の車両装備を注視している場合、Ｓ１０８の判定はＹＥＳとなり、次に、注意喚起音を発生させる（Ｓ１１２）。本実施形態では、注意喚起のための「ピンポンピンポン・・・」といった注意喚起音をスピーカ（図示せず）から出力させる。

そして、再度、引き続き運転者が対象物を注視しているか否かを判定する（Ｓ１１４）。

ここで、注意喚起音を発生させているにも関わらず、引き続き運転者が対象物を注視している場合、Ｓ１１４の判定はＹＥＳとなり、Ｓ１０６へ戻る。したがって、注意喚起音が継続してスピーカより出力される。

そして、運転者が特定の車両装備への注視をやめると、Ｓ１１４の判定はＮＯとなり、注意喚起音の発生および車両の前方画像の表示を中止する（Ｓ１１６）。すなわち、前方画像の表示を非表示とする。

次に、運転者が正面（前方）を目視したか否かを判定する（Ｓ１１８）。ここで、運転者が正面を目視してない場合、Ｓ１１８の判定はＮＯとなり、車両の前方画像を表示させていたモニタに注意喚起のためのアイコンＩを表示させる（Ｓ１２０）。図６に、注意喚起のためのアイコンＩの表示例を示す。図に示すように、車両の前方画像に代えて注意喚起のためのアイコンＩが表示される。

そして、運転者が正面を目視すると、Ｓ１１８の判定はＹＥＳとなり、注意喚起のためのアイコンＩの表示を中止する（Ｓ１２２）。すなわち、前方画像の表示を非表示とし、本処理を終了する。

上記した構成によれば、車両の運転者の撮影画像に基づいて運転者が表示部を有する特定の車両装備を予め定められた基準時間以上注視していることを判定した場合、当該特定の車両装備の表示部に車両の前方画像が表示される。すなわち、警告音を発することなく、運転者が注視している特定の車両装備の表示部へ車両の前方画像を表示させることにより注意喚起が行われ、かつ、運転者はこの車両装備の表示部への車両の前方画像の表示により車両の前方を確認することができるので、運転者の煩わしさを低減し、かつ、運転者が特定の車両装備を視認中であっても車両前方の状況を認識することができる。

例えば、運転者が安全確認のためドアミラーやルームミラー等を注視している最中に、運転中の車両が前方車両に接近しても、注視する時間が基準時間以上になると車両装備に設けられた表示部に前方車両に接近する様子が映し出されるので、運転者は車両前方を注視していなくても車両装備に設けられた表示部の表示画像から前方車両の接近を認識することができる。

また、特定の車両装備の表示部に車両の前方画像が表示された後、更に、車室内カメラ１０の撮影画像に基づいて運転者が表示部を有する特定の車両装備を予め定められた基準時間以上注視していることを判定した場合、注意喚起音が発せられるので、より強く注意喚起を行うことができる。

また、特定の車両装備の表示部に車両の前方画像が表示された後、更に、車室内カメラ１０の撮影画像に基づいて運転者が表示部を有する特定の車両装備を予め定められた基準時間以上注視していることを判定した場合、車両の前方画像が非表示となり、注意喚起を促す表示体が特定の車両装備の表示部に表示されるので、より強く注意喚起を行うことができる。

また、車室内カメラ１０の撮影画像に基づいて運転者が正面を注視していると判定された場合、特定の車両装備の表示部への表示が非表示となるので、特定の車両装備の表示部への表示をいつまでも継続させないようにすることができる。

また、車室内カメラ１０の撮影画像に基づいて予め定められた特定の物体を認識した場合、当該特定の物体を強調するための枠が重畳して表示されるので、例えば、前方車両や歩行者等を特定の物体として前方車両や歩行者等を強調するための枠を重畳して表示することにより、前方車両や歩行者等の視認性を向上させることができる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の趣旨に基づいて種々なる形態で実施することができる。

例えば、上記実施形態では、左側ドアミラー、右側ドアミラー、ルームミラーの各ミラーの鏡面に各モニタ１４ａ〜１４ｃを設けた構成を示したが、必ずしもミラーの鏡面にモニタを設ける必要はなく、例えば、各ドアミラーの鏡面の周囲にドアミラーモニタを設けるようにしてもよい。また、車両の左右の側後方部を撮影する２つのカメラと、これらのカメラの撮影画像を表示するモニタとを有する所謂電子ミラーシステムを用いて左右のドアミラーを構成し、各ドアミラーの一部に車両前方の撮影画像を表示させるようにしてもよい。

また、上記実施形態では、左側ドアミラーＤＭａ、右側ドアミラーＤＭｂ、ルームミラーＲＭ、メータＭの全ての車両装備にモニタが設けられた構成を示したが、必ずしもこれら全ての車両装備にモニタを備える必要はない。

また、上記実施形態では、左側ドアミラーＤＭａ、右側ドアミラーＤＭｂ、ルームミラーＲＭ、メータＭ等の車両装備にモニタを設けるようにした構成を示したが、これらの車両装備に限定されるものではなく、例えば、車両の天井に装着されるルームランプやマップランプ等を有するオーバーヘッドモジュール等に表示部を設けるように構成してもよい。

また、上記実施形態では、Ｓ１０６にて指定対象物に前方画像を表示させた後、Ｓ１０８にて引き続き運転者が対象物を注視していることを判定した場合に注意喚起音を発生させ、更に、Ｓ１１４にて引き続き運転者が対象物を注視していることを判定した場合に前方画像の表示を中止してアイコンを表示させる構成を示したが、Ｓ１０８、Ｓ１１２の判定を省略し、Ｓ１０６にて指定対象物に前方画像を表示させた後、Ｓ１１４にて引き続き運転者が対象物を注視していることを判定した場合に前方画像の表示を中止してアイコンを表示させるようにしてもよい。

また、上記実施形態では、Ｓ１２０にてアイコンを表示部に表示させて注意喚起を行う構成を示したが、アイコン表示に限定されるものではなく、例えば、ＬＥＤ等を用いてインジケータを構成し、このインジケータを用いて注意喚起を行うようにしてもよい。

また、上記実施形態では、運転者が注視している特定の車両装備に設けられた表示部に車両の前方画像を表示させる構成を示したが、このような構成に限定されるものではなく、例えば、表示部を有する車両装備の一部の複数のモニタに車両の前方画像を表示させる構成としてもよく、また、表示部を有する車両装備の全てのモニタに車両の前方画像を表示させるようにしてもよい。

なお、上記実施形態における構成と特許請求の範囲の構成との対応関係について説明すると、車室内カメラ１０が撮影手段に相当し、Ｓ１００〜Ｓ１０６が前方画像表示制御手段に相当し、Ｓ１０８〜Ｓ１１２が注意喚起音発生手段に相当し、Ｓ１１４〜Ｓ１２０が注意喚起表示制御手段に相当し、Ｓ１１８〜Ｓ１２２が非表示制御手段に相当する。

１０車室内カメラ
１１照明装置
１１ａ発光部
１１ｂ投光制御回路
１２前方カメラ
１３照明装置
１３ａ発光部
１３ｂ投光制御回路
１４表示部
１４ａ左ドアミラーモニタ
１４ｂ右ドアミラーモニタ
１４ｃルームミラーモニタ
１４ｄメータモニタ
１５ナビゲーション装置
１５ａナビゲーション本体
１５ｂナビゲーション用モニタ
１６制御回路

Claims

車両に搭載され、当該車両の運転者の運転支援を行う運転支援装置であって、
前記車両には、画像を表示するための表示部を有する車両装備が備えられており、
前記車両の運転者を撮影する撮影手段と、
前記撮影手段の撮影画像に基づいて前記運転者が前記表示部を有する特定の車両装備を予め定められた基準時間以上注視していることを判定した場合、当該特定の車両装備の表示部に前記車両の前方画像を表示させる前方画像表示制御手段と、を備えたことを特徴とする運転支援装置。
前記車両装備は、左側ドアミラー、右側ドアミラー、ルームミラー、メータ、ナビゲーション用モニタの少なくとも１つを含むことを特徴とする請求項１に記載の運転支援装置。
前記前方画像表示制御手段により前記特定の車両装備の表示部に前記車両の前方画像が表示された後、更に、前記撮影手段の撮影画像に基づいて前記運転者が前記表示部を有する特定の車両装備を予め定められた基準時間以上注視していることを判定した場合、注意喚起音を発生させる注意喚起音発生手段を備えたことを特徴とする請求項１または２に記載の運転支援装置。
前記前方画像表示制御手段により前記特定の車両装備の表示部に前記車両の前方画像が表示された後、更に、前記撮影手段の撮影画像に基づいて前記運転者が前記表示部を有する特定の車両装備を予め定められた基準時間以上注視していることを判定した場合、前記車両の前方画像を非表示とし、注意喚起を促す表示体を前記特定の車両装備の表示部に表示させる注意喚起表示制御手段を備えたことを特徴とする請求項１ないし３のいずれか１つに記載の運転支援装置。
前記撮影手段の撮影画像に基づいて前記運転者が正面を注視していることを判定した場合、前記特定の車両装備の表示部への表示を非表示とする非表示制御手段を備えたことを特徴とする請求項１ないし４のいずれか１つに記載の運転支援装置。
前記前方画像表示制御手段は、前記撮影手段の撮影画像に基づいて予め定められた特定の物体を認識した場合、当該特定の物体を強調するための枠を重畳させて表示させることを特徴とする請求項１ないし５のいずれか１つに記載の運転支援装置。