JP2002083400A - ドライバの視線領域の適合性を判定する車載情報処理装置 - Google Patents
ドライバの視線領域の適合性を判定する車載情報処理装置Info
- Publication number
- JP2002083400A JP2002083400A JP2000269825A JP2000269825A JP2002083400A JP 2002083400 A JP2002083400 A JP 2002083400A JP 2000269825 A JP2000269825 A JP 2000269825A JP 2000269825 A JP2000269825 A JP 2000269825A JP 2002083400 A JP2002083400 A JP 2002083400A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- driver
- area
- sight
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Navigation (AREA)
- Eye Examination Apparatus (AREA)
- Image Processing (AREA)
- Emergency Alarm Devices (AREA)
- Traffic Control Systems (AREA)
Abstract
(57)【要約】
【課題】 ドライバがとるべき注意行動を監視する車載
の情報処理装置を提供する。 【解決手段】 この情報処理装置は、車両の走行環境に
基づいてドライバが目を向けるべき視線領域を予測する
視線領域予測部と、車両に搭載されたセンサの出力に基
づいてドライバの視線領域を検出する視線領域検出部
と、前記視線領域予測部によって予測された視線領域と
前記視線領域検出部によって検出された視線領域との適
合性を判定する判定部と、を備える。車両の走行環境に
基づいてドライバが見るべき領域を予測し、ドライバの
視線領域を検出してこの領域をドライバが見たかどうか
を判定するので、ドライバが走行環境の下で当然はらう
べき注意をはらって運転しているかどうかを判定するこ
とができる。車載情報処理装置は、判定部の出力が不適
合を示すことに応答して、ドライバに警告を発する警告
装置を備えている。
の情報処理装置を提供する。 【解決手段】 この情報処理装置は、車両の走行環境に
基づいてドライバが目を向けるべき視線領域を予測する
視線領域予測部と、車両に搭載されたセンサの出力に基
づいてドライバの視線領域を検出する視線領域検出部
と、前記視線領域予測部によって予測された視線領域と
前記視線領域検出部によって検出された視線領域との適
合性を判定する判定部と、を備える。車両の走行環境に
基づいてドライバが見るべき領域を予測し、ドライバの
視線領域を検出してこの領域をドライバが見たかどうか
を判定するので、ドライバが走行環境の下で当然はらう
べき注意をはらって運転しているかどうかを判定するこ
とができる。車載情報処理装置は、判定部の出力が不適
合を示すことに応答して、ドライバに警告を発する警告
装置を備えている。
Description
【０００１】
【発明の属する技術分野】この発明は、車載の情報処理
装置に関し、より具体的にはドライバの観察力、注意力
を補完する車載情報処理装置に関する。
装置に関し、より具体的にはドライバの観察力、注意力
を補完する車載情報処理装置に関する。
【０００２】
【従来の技術】従来、走行中の車両の周囲における危険
要因は、ドライバ自身の観察力および注意力によって把
握されている。ドライバの心理状態、身体状態の不調な
どにより危険要因の見落としがあると、事故寸前の状態
になってひやりとしたり、最悪の場合は、事故にいた
る。
要因は、ドライバ自身の観察力および注意力によって把
握されている。ドライバの心理状態、身体状態の不調な
どにより危険要因の見落としがあると、事故寸前の状態
になってひやりとしたり、最悪の場合は、事故にいた
る。
【０００３】特開平8-207617号公報には、ドライバの顔
または視線の方向を検出して、運転状態検出手段で検出
された運転状態に応じた基準値と視線方向を比較し、脇
見運転の判定を行い、警報を発するようにした車載装置
が開示されている。
または視線の方向を検出して、運転状態検出手段で検出
された運転状態に応じた基準値と視線方向を比較し、脇
見運転の判定を行い、警報を発するようにした車載装置
が開示されている。
【０００４】この脇見運転判定装置は、ドライバは車両
前方を注視しなければならないとの前提で、ドライバの
脇見状態を監視するものであり、安全確認のためにドラ
イバが特定の方向、たとえばサイドミラー、バックミラ
ーまたは車両の左後方、右後方を見るという積極的な注
意行動を監視するものではない。
前方を注視しなければならないとの前提で、ドライバの
脇見状態を監視するものであり、安全確認のためにドラ
イバが特定の方向、たとえばサイドミラー、バックミラ
ーまたは車両の左後方、右後方を見るという積極的な注
意行動を監視するものではない。
【０００５】特開平7-61257号公報には、障害物を検出
し、ウィンドシールド上にHUD（ヘッドアップディスプ
レイ）表示する装置において、ドライバの視線方向を検
出し、その分布状態を演算し、ドライバの視線の頻度に
応じてHUD表示像の輝度レベルを変えることが記載され
ている。
し、ウィンドシールド上にHUD（ヘッドアップディスプ
レイ）表示する装置において、ドライバの視線方向を検
出し、その分布状態を演算し、ドライバの視線の頻度に
応じてHUD表示像の輝度レベルを変えることが記載され
ている。
【０００６】一方、カーナビゲーション（以下、カーナ
ビという）の分野では、情報センタにインターネットを
経由して接続し、行き先の地域に関する諸々の情報、レ
ジャー情報などをアクセスしこれをカーナビ装置のメモ
リに格納し、必要に応じてこれを検索して液晶ディスプ
レイに表示させることが行われている。たとえば、イン
ターナビシステム（本田技研工業株式会社の商標）の場
合、事前にパソコン通信を利用して情報センタにアクセ
スして必要な情報を検索してパーソナルコンピュータに
ダウンロードし、この情報を着脱式のメモリカードに記
憶させ、このメモリカードを自動車に搭載されているカ
ーナビ装置にセットして利用することができ、また、パ
ソコンに代えてカーナビ装置の通信装置に携帯電話を接
続し、携帯電話を利用して情報センタにアクセスして同
様の操作で所望の情報をカーナビ装置に直接ダウンロー
ドすることもできる。
ビという）の分野では、情報センタにインターネットを
経由して接続し、行き先の地域に関する諸々の情報、レ
ジャー情報などをアクセスしこれをカーナビ装置のメモ
リに格納し、必要に応じてこれを検索して液晶ディスプ
レイに表示させることが行われている。たとえば、イン
ターナビシステム（本田技研工業株式会社の商標）の場
合、事前にパソコン通信を利用して情報センタにアクセ
スして必要な情報を検索してパーソナルコンピュータに
ダウンロードし、この情報を着脱式のメモリカードに記
憶させ、このメモリカードを自動車に搭載されているカ
ーナビ装置にセットして利用することができ、また、パ
ソコンに代えてカーナビ装置の通信装置に携帯電話を接
続し、携帯電話を利用して情報センタにアクセスして同
様の操作で所望の情報をカーナビ装置に直接ダウンロー
ドすることもできる。
【０００７】
【発明が解決しようとする課題】これらの従来の車載情
報処理装置は、ドライバが行うべき注意行動に対する監
視機能を備えていない。たとえば左折時に左サイドミラ
ーで左後方を確認し、さらに左後方を振り向いて直接左
側および左後方の安全を確認する行動を監視し、補完す
ることは、車両走行の安全性を向上させる上で重要であ
る。
報処理装置は、ドライバが行うべき注意行動に対する監
視機能を備えていない。たとえば左折時に左サイドミラ
ーで左後方を確認し、さらに左後方を振り向いて直接左
側および左後方の安全を確認する行動を監視し、補完す
ることは、車両走行の安全性を向上させる上で重要であ
る。
【０００８】したがって、この発明は、ドライバがとる
べき注意行動を監視する車載の情報処理装置を提供する
ことを目的とする。
べき注意行動を監視する車載の情報処理装置を提供する
ことを目的とする。
【０００９】
【課題を解決するための手段】この発明の情報処理装置
は、車両の走行環境に基づいてドライバが目を向けるべ
き視線領域を予測する視線領域予測部と、車両に搭載さ
れたセンサの出力に基づいてドライバの視線領域を検出
する視線領域検出部と、前記視線領域予測部によって予
測された視線領域と前記視線領域検出部によって検出さ
れた視線領域との適合性を判定する判定部と、を備え
る。
は、車両の走行環境に基づいてドライバが目を向けるべ
き視線領域を予測する視線領域予測部と、車両に搭載さ
れたセンサの出力に基づいてドライバの視線領域を検出
する視線領域検出部と、前記視線領域予測部によって予
測された視線領域と前記視線領域検出部によって検出さ
れた視線領域との適合性を判定する判定部と、を備え
る。
【００１０】この発明によると、車両の走行環境に基づ
いてドライバが見るべき領域を予測し、ドライバの視線
領域を検出してこの領域をドライバが見たかどうかを判
定するので、ドライバが走行環境の下で当然はらうべき
注意をはらって運転しているかどうかを判定することが
できる。
いてドライバが見るべき領域を予測し、ドライバの視線
領域を検出してこの領域をドライバが見たかどうかを判
定するので、ドライバが走行環境の下で当然はらうべき
注意をはらって運転しているかどうかを判定することが
できる。
【００１１】この発明の一面によると、車載情報処理装
置は、判定部の出力が不適合を示すことに応答して、ド
ライバに警告を発する警告装置を備えている。また、こ
の発明のもう一つの側面によると、車載情報処理装置
は、カーナビゲーション機能を備えており、視線領域予
測部は、カーナビゲーションのルート管理機能に従い左
折または右折のハンドル操作を要する環境に基づいて左
サイドミラー領域または右サイドミラー領域、またはバ
ックミラー領域を視線領域として予測する。
置は、判定部の出力が不適合を示すことに応答して、ド
ライバに警告を発する警告装置を備えている。また、こ
の発明のもう一つの側面によると、車載情報処理装置
は、カーナビゲーション機能を備えており、視線領域予
測部は、カーナビゲーションのルート管理機能に従い左
折または右折のハンドル操作を要する環境に基づいて左
サイドミラー領域または右サイドミラー領域、またはバ
ックミラー領域を視線領域として予測する。
【００１２】また、この発明の他の面によると、車載情
報処理装置は、車両前方の物体を検出する前方監視装置
を備え、視線領域予測部は、前方監視装置が物体への接
近を示すとき、物体領域を視線領域として予測する。ま
た、この発明のさらに他の面によると、車載情報処理装
置は、車両後方の物体を検出する後方監視装置を備え、
視線領域予測部は、後方監視装置が後方の他の車両が自
車両に接近していることを示すとき、バックミラー領域
を視線領域として予測する。
報処理装置は、車両前方の物体を検出する前方監視装置
を備え、視線領域予測部は、前方監視装置が物体への接
近を示すとき、物体領域を視線領域として予測する。ま
た、この発明のさらに他の面によると、車載情報処理装
置は、車両後方の物体を検出する後方監視装置を備え、
視線領域予測部は、後方監視装置が後方の他の車両が自
車両に接近していることを示すとき、バックミラー領域
を視線領域として予測する。
【００１３】
【発明の実施の形態】次に図面を参照してこの発明の実
施の形態を説明する。図１は、車両の通信環境を示す概
念図である。車５には、液晶ディスプレイ（ＬＣＤ）を
備えナビゲーション機能を持つ情報処理装置６が搭載さ
れている。車５のトランクには道路地図データが書き込
まれたＣＤ−ＲＯＭを読み出すためのＣＤ−ＲＯＭプレ
ーヤ７が格納されている。複数のＧＳＰ衛星２からの電
波は、ＧＳＰアンテナ８で受信されＣＤ−ＲＯＭプレー
ヤ７に組み込まれているＧＳＰレシーバーで信号処理さ
れ、車５の緯度および経度が測定され、車の現在位置が
認識される。こうして認識された車の現在位置は、ＣＤ
ーＲＯＭから読み出されてＬＣＤに表示される道路地図
上に重ねて表示される。
施の形態を説明する。図１は、車両の通信環境を示す概
念図である。車５には、液晶ディスプレイ（ＬＣＤ）を
備えナビゲーション機能を持つ情報処理装置６が搭載さ
れている。車５のトランクには道路地図データが書き込
まれたＣＤ−ＲＯＭを読み出すためのＣＤ−ＲＯＭプレ
ーヤ７が格納されている。複数のＧＳＰ衛星２からの電
波は、ＧＳＰアンテナ８で受信されＣＤ−ＲＯＭプレー
ヤ７に組み込まれているＧＳＰレシーバーで信号処理さ
れ、車５の緯度および経度が測定され、車の現在位置が
認識される。こうして認識された車の現在位置は、ＣＤ
ーＲＯＭから読み出されてＬＣＤに表示される道路地図
上に重ねて表示される。
【００１４】情報処理装置６は、放送局から放送される
ＦＭ多重放送によるデータ伝送を受信する受信機を備え
ており、アンテナ９で受信するＦＭ波の信号処理を行
う。ＦＭ放送局は、ＶＩＣＳが提供する公共の道路交通
情報をＦＭ多重放送で放送する。ＦＭ多重放送は、ＦＭ
波の副搬送波を使ったデータ伝送で、例えば「見えるラ
ジオ」として文字データを放送し、受信したラジオのＬ
ＣＤに文字情報を表示することが行われている。
ＦＭ多重放送によるデータ伝送を受信する受信機を備え
ており、アンテナ９で受信するＦＭ波の信号処理を行
う。ＦＭ放送局は、ＶＩＣＳが提供する公共の道路交通
情報をＦＭ多重放送で放送する。ＦＭ多重放送は、ＦＭ
波の副搬送波を使ったデータ伝送で、例えば「見えるラ
ジオ」として文字データを放送し、受信したラジオのＬ
ＣＤに文字情報を表示することが行われている。
【００１５】情報処理装置６は、さらに携帯電話を使っ
てたとえば株式会社ホンダアクセスが運営するインター
ナビ情報センタなどの情報センタ３にアクセスし、所定
の手順でデータを検索し所望のデータの送信を受ける機
能を備えている。情報センタ３が提供する情報には、警
察から提供される過去の交通事故に関する情報が含まれ
る。この情報には、交通事故を起こした場所の緯度、経
度、同じ場所での事故発生の頻度、事故の形態（左折
車、右折車、追突、側面衝突）などに関する情報が含ま
れている。
てたとえば株式会社ホンダアクセスが運営するインター
ナビ情報センタなどの情報センタ３にアクセスし、所定
の手順でデータを検索し所望のデータの送信を受ける機
能を備えている。情報センタ３が提供する情報には、警
察から提供される過去の交通事故に関する情報が含まれ
る。この情報には、交通事故を起こした場所の緯度、経
度、同じ場所での事故発生の頻度、事故の形態（左折
車、右折車、追突、側面衝突）などに関する情報が含ま
れている。
【００１６】利用者は、自宅のパーソナルコンピュータ
からインターネット経由で情報センタ３に接続して、利
用したい情報を検索してパーソナルコンピュータにダウ
ンロードすることができる。このとき、パーソナルコン
ピュータのPCMCIAスロットにメモリカード（フラッシュ
メモリとも呼ばれる）を差込み、このメモリカードに情
報を記憶させる。このメモリカードをパーソナルコンピ
ュータから引き抜き、車載の情報処理装置に差し込む
と、情報センタ３からダウンロードした情報を車載情報
処理装置で利用することができる。
からインターネット経由で情報センタ３に接続して、利
用したい情報を検索してパーソナルコンピュータにダウ
ンロードすることができる。このとき、パーソナルコン
ピュータのPCMCIAスロットにメモリカード（フラッシュ
メモリとも呼ばれる）を差込み、このメモリカードに情
報を記憶させる。このメモリカードをパーソナルコンピ
ュータから引き抜き、車載の情報処理装置に差し込む
と、情報センタ３からダウンロードした情報を車載情報
処理装置で利用することができる。
【００１７】次に図２は、この発明の一実施例の車載情
報処理装置の全体的な構成を示すブロック図である。視
線センサ11は、この実施例では車両内部でドライバの前
方上方に取り付けられた赤外線照明装置と赤外線カメラ
とで構成される。赤外線照影装置がドライバの顔付近に
可視域外の赤外線を照射し、赤外線カメラがドライバの
顔付近の像を捕捉する。
報処理装置の全体的な構成を示すブロック図である。視
線センサ11は、この実施例では車両内部でドライバの前
方上方に取り付けられた赤外線照明装置と赤外線カメラ
とで構成される。赤外線照影装置がドライバの顔付近に
可視域外の赤外線を照射し、赤外線カメラがドライバの
顔付近の像を捕捉する。
【００１８】視線検出部12は、視線センサ11が捕捉した
ドライバの顔の像を画像処理し、顔の向き（まっすぐ前
の方向に対する顔が向いている方向の角度）を検出する
とともにドライバの眼球から反射した光を検出する。一
実施例では、特開平7-61257号公報に記載されている視
線方向の検出手法を用いる。すなわち、視線検出部12
は、瞳孔と角膜反射像の組み合わせから視線方向を検出
する。視線センサ11で得られる画像からドライバの瞳孔
中心および角膜球中心を計算し、瞳孔中心と角膜球中心
を結んだ線を計算すると、ドライバの視線、すなわち顔
の正面に対するドライバの視線の傾きが得られる。これ
にドライバの顔の向きを加えると車両の正面に対するド
ライバの視線が得られる。たとえば、ドライバが車両の
正面に対して顔を20度左に向け、瞳孔中心を角膜球中心
から10度左に向けていると、ドライバの視線は車両正面
に対して30度左を向いている。
ドライバの顔の像を画像処理し、顔の向き（まっすぐ前
の方向に対する顔が向いている方向の角度）を検出する
とともにドライバの眼球から反射した光を検出する。一
実施例では、特開平7-61257号公報に記載されている視
線方向の検出手法を用いる。すなわち、視線検出部12
は、瞳孔と角膜反射像の組み合わせから視線方向を検出
する。視線センサ11で得られる画像からドライバの瞳孔
中心および角膜球中心を計算し、瞳孔中心と角膜球中心
を結んだ線を計算すると、ドライバの視線、すなわち顔
の正面に対するドライバの視線の傾きが得られる。これ
にドライバの顔の向きを加えると車両の正面に対するド
ライバの視線が得られる。たとえば、ドライバが車両の
正面に対して顔を20度左に向け、瞳孔中心を角膜球中心
から10度左に向けていると、ドライバの視線は車両正面
に対して30度左を向いている。
【００１９】この発明のもう一つの実施例では、視線検
出部12は、ドライバの顔の向きだけを検出し、顔の向く
方向を視線方向として扱う。視線方向の精度は落ちる
が、ＣＰＵの演算の負担を小さくすることができる。ま
た、サイドミラーを見る、バックミラーを見るといった
ドライバの動作は通常、顔の向きを変えて行われるか
ら、この発明の目的のためには実用上支障のない精度が
得られる。ドライバの顔の向きを検出する手法として
は、上記の視線センサの他に、この出願と同一出願人に
係る特開2000-113164号公報に記載される差分画像を用
いて乗員の動きを検出する技術を使用することができ
る。
出部12は、ドライバの顔の向きだけを検出し、顔の向く
方向を視線方向として扱う。視線方向の精度は落ちる
が、ＣＰＵの演算の負担を小さくすることができる。ま
た、サイドミラーを見る、バックミラーを見るといった
ドライバの動作は通常、顔の向きを変えて行われるか
ら、この発明の目的のためには実用上支障のない精度が
得られる。ドライバの顔の向きを検出する手法として
は、上記の視線センサの他に、この出願と同一出願人に
係る特開2000-113164号公報に記載される差分画像を用
いて乗員の動きを検出する技術を使用することができ
る。
【００２０】視線領域検出部13は、視線検出部12で検出
されたドライバの視線の角度にも基づいて現在の視線が
次の視線領域のいずれに属するかを判断する。すなわ
ち、正面前方、左前方、左サイドミラー、左横、左後方
（視線検出不能）、右前方、右サイドミラー、右横、右
後方（視線検出不能）、およびバックミラーの視線領域
のいずれに属するか判断する。ここで視線が左後方にあ
ることは、前回観測した視線領域が左横にあり、今回視
線の検出が不能になったとき、視線は左後方に向いてい
ると判断する。右後方も同様のロジックによって判断す
る。視線領域の判断は、たとえば100ミリ秒の周期で実
行される。
されたドライバの視線の角度にも基づいて現在の視線が
次の視線領域のいずれに属するかを判断する。すなわ
ち、正面前方、左前方、左サイドミラー、左横、左後方
（視線検出不能）、右前方、右サイドミラー、右横、右
後方（視線検出不能）、およびバックミラーの視線領域
のいずれに属するか判断する。ここで視線が左後方にあ
ることは、前回観測した視線領域が左横にあり、今回視
線の検出が不能になったとき、視線は左後方に向いてい
ると判断する。右後方も同様のロジックによって判断す
る。視線領域の判断は、たとえば100ミリ秒の周期で実
行される。
【００２１】ドライバの行動予測部27は、カーナビ21、
前方監視装置22、後方監視装置23、および交差点レーダ
25から車両の外部環境を示す情報を受け取り、それぞれ
の外部環境においてドライバがとる行動を予測データベ
ース28を参照して予測する。たとえば、カーナビ21がル
ート管理機能を働かせてドライバを目的地にガイドする
モードで動作しているとき、左折すべき交差点に接近す
ると（すなわち、ＧＳＰからの信号に基づいて検出され
る車両の緯度、経度が左折すべき交差点の緯度、経度に
接近すると）、行動予測部27は、予測データベース28を
参照して、ドライバの視線が左前方に向き、左サイドミ
ラーに向き、次いで左後方に向くと予測する。
前方監視装置22、後方監視装置23、および交差点レーダ
25から車両の外部環境を示す情報を受け取り、それぞれ
の外部環境においてドライバがとる行動を予測データベ
ース28を参照して予測する。たとえば、カーナビ21がル
ート管理機能を働かせてドライバを目的地にガイドする
モードで動作しているとき、左折すべき交差点に接近す
ると（すなわち、ＧＳＰからの信号に基づいて検出され
る車両の緯度、経度が左折すべき交差点の緯度、経度に
接近すると）、行動予測部27は、予測データベース28を
参照して、ドライバの視線が左前方に向き、左サイドミ
ラーに向き、次いで左後方に向くと予測する。
【００２２】前方監視装置22は、レーダにより車両前方
の車両その他の障害物の存在および障害物までの距離を
検出する装置であり、後方監視装置23は、レーダにより
車両後方の車両その他の障害物の存在および障害物が自
車に接近する速度を検出する装置である。前方監視装置
22および後方監視装置23は、それ自体公知の技術であ
り、レーダを用いる方式のほかにCCD撮像装置を用いた
画像処理によって監視する方式がある。CCD撮像装置を
用いた前方または後方の車両その他の物体検出装置は、
この出願と同一出願人に係る特願平11-269627号、11-31
4330号、11-314331号、11-314332号などに記載されてい
る。
の車両その他の障害物の存在および障害物までの距離を
検出する装置であり、後方監視装置23は、レーダにより
車両後方の車両その他の障害物の存在および障害物が自
車に接近する速度を検出する装置である。前方監視装置
22および後方監視装置23は、それ自体公知の技術であ
り、レーダを用いる方式のほかにCCD撮像装置を用いた
画像処理によって監視する方式がある。CCD撮像装置を
用いた前方または後方の車両その他の物体検出装置は、
この出願と同一出願人に係る特願平11-269627号、11-31
4330号、11-314331号、11-314332号などに記載されてい
る。
【００２３】たとえば、後方監視装置23が後方から自車
に相当な速度で接近する車両を検出し、その信号を行動
予測部27に送ると、行動予測部27は、予測データベース
28を参照して、ドライバの視線がバックミラーに向くと
予測する。
に相当な速度で接近する車両を検出し、その信号を行動
予測部27に送ると、行動予測部27は、予測データベース
28を参照して、ドライバの視線がバックミラーに向くと
予測する。
【００２４】交差点レーダ25は、事故が多発する交差点
に設けられたレーダで、たとえば陸橋が設けられ、歩行
者用の横断路が設けられていない交差点において道路を
横断する歩行者を検出して、検出信号を送信する。車載
情報処理装置には、この信号を受信する受信機が備えら
れており、この信号を受信すると、行動予測部27は、予
測データベース28を参照して、ドライバの視線が左前方
または右前方に向くと予測する。
に設けられたレーダで、たとえば陸橋が設けられ、歩行
者用の横断路が設けられていない交差点において道路を
横断する歩行者を検出して、検出信号を送信する。車載
情報処理装置には、この信号を受信する受信機が備えら
れており、この信号を受信すると、行動予測部27は、予
測データベース28を参照して、ドライバの視線が左前方
または右前方に向くと予測する。
【００２５】行動予測部27がこのような行動予測を行う
ことに応答して、ドライバの視線領域予測部29は、行動
予測から所定の時間内にドライバの視線が向かうべき視
線領域を予測データベース28を参照して予測する。たと
えば、車両が左折しようとするときは、行動予測から３
秒以内にドライバの視線が左サイドミラー領域にゆき、
次いで左横視線領域から左後方視線領域にゆくと予測す
る。
ことに応答して、ドライバの視線領域予測部29は、行動
予測から所定の時間内にドライバの視線が向かうべき視
線領域を予測データベース28を参照して予測する。たと
えば、車両が左折しようとするときは、行動予測から３
秒以内にドライバの視線が左サイドミラー領域にゆき、
次いで左横視線領域から左後方視線領域にゆくと予測す
る。
【００２６】適合性判定部15は、視線領域予測部29から
の予測出力を受けて、予測のタイミングと同期して視線
領域検出部13からドライバの実際の視線がある領域を取
り出し、両者を比較する。視線領域検出部13から取り出
される視線領域が視線領域予測部29からの予測出力と一
致するときは、適合性判定部15は、「適合」を示す出力
を出す。この出力は、カーナビゲーションの走行軌跡情
報の一部としてメモリカード19に記憶される。
の予測出力を受けて、予測のタイミングと同期して視線
領域検出部13からドライバの実際の視線がある領域を取
り出し、両者を比較する。視線領域検出部13から取り出
される視線領域が視線領域予測部29からの予測出力と一
致するときは、適合性判定部15は、「適合」を示す出力
を出す。この出力は、カーナビゲーションの走行軌跡情
報の一部としてメモリカード19に記憶される。
【００２７】視線領域検出部13から取り出される視線領
域が視線領域予測部29からの予測出力と一致しないとき
は、適合性判定部15は、「不適合」を示す出力を出す。
この「不適合」出力は、車両の走行軌跡とともにメモリ
カード19に記憶されるとともに警告装置17に送られ、ド
ライバに対して警告が発せられる。この実施例では「ピ
ーン」というチャイム音に続いて音声により、この例の
状況では「左後方に注意してください」というアナウン
スが流されることにより、警告がなされる。
域が視線領域予測部29からの予測出力と一致しないとき
は、適合性判定部15は、「不適合」を示す出力を出す。
この「不適合」出力は、車両の走行軌跡とともにメモリ
カード19に記憶されるとともに警告装置17に送られ、ド
ライバに対して警告が発せられる。この実施例では「ピ
ーン」というチャイム音に続いて音声により、この例の
状況では「左後方に注意してください」というアナウン
スが流されることにより、警告がなされる。
【００２８】利用者は、車両の使用を終了した後、走行
軌跡が記憶されたメモリカード19を車載情報処理装置か
ら取り出し、自宅のパーソナルコンピュータのカード・
スロットに差し込み、パーソナルコンピュータにインス
トールされているカーナビゲーション・プログラムを起
動させることによって、走行軌跡をレビューすることが
できる。その際、走行中に実施された適合性判定部15に
よる判定が走行軌跡に沿って表示され、警告が発せられ
た箇所では警告が再現される。このようにすることによ
り、ドライバは運転中の注意力の欠点を知ることができ
るので、安全運転に向けて運転スキルを向上させること
ができる。
軌跡が記憶されたメモリカード19を車載情報処理装置か
ら取り出し、自宅のパーソナルコンピュータのカード・
スロットに差し込み、パーソナルコンピュータにインス
トールされているカーナビゲーション・プログラムを起
動させることによって、走行軌跡をレビューすることが
できる。その際、走行中に実施された適合性判定部15に
よる判定が走行軌跡に沿って表示され、警告が発せられ
た箇所では警告が再現される。このようにすることによ
り、ドライバは運転中の注意力の欠点を知ることができ
るので、安全運転に向けて運転スキルを向上させること
ができる。
【００２９】
【発明の効果】この発明によると、車両運転中のドライ
バの注意力を監視し補完することができる。
バの注意力を監視し補完することができる。
【図１】この発明の一実施例におけるシステム環境を示
す図。
す図。
【図２】この発明の一実施例における車載情報処理装置
の全体的なブロック図。
の全体的なブロック図。
【図３】この発明の一実施例における視線領域検出手段
の構成を示すブロック図。
の構成を示すブロック図。
１１ 視線センサ １２ 視線検出部 １３ 視線領域検出部 ２７ ドライバの行動予測部 ２９ ドライバの視線領域予測部 １５ 適合性判定部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｇ０１Ｃ 21/00 Ｇ０６Ｔ 1/00 ３３０Ｚ Ｇ０６Ｔ 1/00 ３３０ ３４０Ａ ３４０ Ｇ０８Ｂ 21/00 Ａ Ｇ０８Ｂ 21/00 Ｇ０８Ｇ 1/0969 Ｇ０８Ｇ 1/0969 Ａ６１Ｂ 3/10 Ｂ (72)発明者 五十嵐 亮治 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 (72)発明者 菅原 卓 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 (72)発明者 東谷 賢一 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 (72)発明者 芦原 淳 埼玉県和光市中央１丁目４番１号 株式会 社本田技術研究所内 Ｆターム(参考） 2F029 AA02 AB05 AB07 AB12 AB13 AC02 AC04 AC08 AC09 AC12 AC14 AC19 AC20 5B057 AA16 AA19 BA02 DA08 DA15 DB02 DB05 DB09 DC08 5C086 AA51 BA22 CA25 DA08 5H180 AA01 BB05 BB12 BB13 CC02 CC04 CC12 CC14 EE02 EE18 FF05 FF10 FF12 FF13 FF27 FF33 GG08 LL01 LL02 LL04 LL07
Claims (5)
- 【請求項１】車両の走行環境に基づいてドライバが目を
向けるべき視線領域を予測する視線領域予測部と、 車両に搭載されたセンサの出力に基づいてドライバの視
線領域を検出する視線領域検出部と、 前記視線領域予測部によって予測された視線領域と前記
視線領域検出部によって検出された視線領域との適合性
を判定する判定部と、 を備える車載情報処理装置。 - 【請求項２】前記判定部の出力が不適合を示すことに応
答して、ドライバに警告を発する警告装置を備えた請求
項１に記載の車載情報処理装置。 - 【請求項３】前記車載情報処理装置は、カーナビゲーシ
ョン機能を備えており、前記視線領域予測部は、カーナ
ビゲーションのルート管理機能に従い左折または右折の
ハンドル操作を要する環境に基づいて左サイドミラー領
域または右サイドミラー領域、またはバックミラー領域
を視線領域として予測するよう構成された請求項１に記
載の車載情報処理装置。 - 【請求項４】車両前方の物体を検出する前方監視装置を
備え、前記視線領域予測部は、該前方監視装置が物体へ
の接近を示すとき、該物体領域を視線領域として予測す
るよう構成された請求項１に記載の車載情報処理装置。 - 【請求項５】車両後方の物体を検出する後方監視装置を
備え、前記視線領域予測部は、該後方監視装置が後方の
他の車両が自車両に接近していることを示すとき、バッ
クミラー領域を視線領域として予測するよう構成された
請求項１記載の車載情報処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000269825A JP4342708B2 (ja) | 2000-09-06 | 2000-09-06 | ドライバの視線領域の適合性を判定する車載情報処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000269825A JP4342708B2 (ja) | 2000-09-06 | 2000-09-06 | ドライバの視線領域の適合性を判定する車載情報処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002083400A true JP2002083400A (ja) | 2002-03-22 |
| JP4342708B2 JP4342708B2 (ja) | 2009-10-14 |
Family
ID=18756367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000269825A Expired - Fee Related JP4342708B2 (ja) | 2000-09-06 | 2000-09-06 | ドライバの視線領域の適合性を判定する車載情報処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4342708B2 (ja) |
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005267108A (ja) * | 2004-03-17 | 2005-09-29 | Denso Corp | 運転支援装置 |
| JP2006224700A (ja) * | 2005-02-15 | 2006-08-31 | Denso Corp | 車両用死角監視装置及び車両用運転支援システム |
| JP2007073011A (ja) * | 2005-09-09 | 2007-03-22 | Fuji Heavy Ind Ltd | 運転状態推定装置 |
| JP2007249757A (ja) * | 2006-03-17 | 2007-09-27 | Denso It Laboratory Inc | 警報装置 |
| JP2008146356A (ja) * | 2006-12-11 | 2008-06-26 | Nissan Motor Co Ltd | 視線方向推定装置及び視線方向推定方法 |
| JP2008210239A (ja) * | 2007-02-27 | 2008-09-11 | Nissan Motor Co Ltd | 視線推定装置 |
| JP2008225578A (ja) * | 2007-03-08 | 2008-09-25 | Toyota Motor Corp | 車両用監視装置 |
| JP2008262388A (ja) * | 2007-04-12 | 2008-10-30 | Toyota Central R&D Labs Inc | 安全確認アドバイス装置 |
| JP2009015549A (ja) * | 2007-07-04 | 2009-01-22 | Omron Corp | 脇見検出装置および方法、並びに、プログラム |
| JP2009069885A (ja) * | 2007-09-10 | 2009-04-02 | Denso Corp | 状態判定装置およびプログラム |
| JP2009067334A (ja) * | 2007-09-17 | 2009-04-02 | Denso Corp | 車両安全装置 |
| JP2009123182A (ja) * | 2007-10-23 | 2009-06-04 | Denso Corp | 安全確認判定装置および運転教示支援システム |
| JP2010179713A (ja) * | 2009-02-03 | 2010-08-19 | Fuji Heavy Ind Ltd | 視野推定装置、視野推定方法、コンピュータプログラム及び記録媒体 |
| JP2010256554A (ja) * | 2009-04-23 | 2010-11-11 | Pioneer Electronic Corp | 情報処理装置及び画像表示制御方法 |
| US7859652B2 (en) | 2006-09-14 | 2010-12-28 | Toyota Jidosha Kabushiki Kaisha | Sight-line end estimation device and driving assist device |
| JP2011000278A (ja) * | 2009-06-18 | 2011-01-06 | Honda Motor Co Ltd | 視認行動情報提示装置 |
| JP2012103850A (ja) * | 2010-11-09 | 2012-05-31 | Denso Corp | 注視点推定装置 |
| JP2012103849A (ja) * | 2010-11-09 | 2012-05-31 | Denso Corp | 情報提供装置 |
| JP2012201232A (ja) * | 2011-03-25 | 2012-10-22 | Denso Corp | 視線方向検出装置 |
| JP2012212357A (ja) * | 2011-03-31 | 2012-11-01 | Panasonic Corp | 車載用表示装置 |
| KR101343875B1 (ko) * | 2011-12-06 | 2013-12-23 | 경북대학교 산학협력단 | 사용자 인지 분석 장치 및 사용자 인지 분석 방법 |
| JP2015011086A (ja) * | 2013-06-27 | 2015-01-19 | 三菱電機株式会社 | 運転操作管理装置 |
| JP2016130959A (ja) * | 2015-01-14 | 2016-07-21 | 株式会社デンソーアイティーラボラトリ | 重み行列学習装置、視線方向予測システム、警告システムおよび重み行列学習方法 |
| WO2016166791A1 (ja) * | 2015-04-13 | 2016-10-20 | 三菱電機株式会社 | 運転支援装置 |
| DE112009004768B4 (de) * | 2009-05-12 | 2018-01-04 | Toyota Jidosha Kabushiki Kaisha | Abschätzvorrichtung für den visuellen erkennungsbereich und antriebsunterstützungsvorrichtung |
| DE112016003438T5 (de) | 2015-07-30 | 2018-05-03 | Aisin Seiki Kabushiki Kaisha | Fahrassistenzeinrichtung |
| JP2018133031A (ja) * | 2017-02-17 | 2018-08-23 | オムロン株式会社 | 運転切替支援装置、及び運転切替支援方法 |
| WO2018179599A1 (ja) * | 2017-03-28 | 2018-10-04 | 三菱電機株式会社 | 情報提供装置 |
| CN112150860A (zh) * | 2019-06-27 | 2020-12-29 | 歌乐株式会社 | 车载装置、以及车载装置的控制方法 |
| CN113506425A (zh) * | 2021-06-24 | 2021-10-15 | 广州通达汽车电气股份有限公司 | 一种电子后视镜以及车辆 |
| US11897496B2 (en) | 2021-08-31 | 2024-02-13 | Toyota Jidosha Kabushiki Kaisha | Vehicle warning system |
| DE102023121712A1 (de) | 2022-09-13 | 2024-03-14 | Toyota Jidosha Kabushiki Kaisha | Anzeigesteuervorrichtung, anzeigesteuerverfahren, computer-lesbares medium zur speicherung eines programms |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11305766B2 (en) * | 2016-09-26 | 2022-04-19 | Iprd Group, Llc | Combining driver alertness with advanced driver assistance systems (ADAS) |
-
2000
- 2000-09-06 JP JP2000269825A patent/JP4342708B2/ja not_active Expired - Fee Related
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005267108A (ja) * | 2004-03-17 | 2005-09-29 | Denso Corp | 運転支援装置 |
| US7519459B2 (en) | 2004-03-17 | 2009-04-14 | Denso Corporation | Driving assistance system |
| JP2006224700A (ja) * | 2005-02-15 | 2006-08-31 | Denso Corp | 車両用死角監視装置及び車両用運転支援システム |
| JP4683192B2 (ja) * | 2005-02-15 | 2011-05-11 | 株式会社デンソー | 車両用死角監視装置及び車両用運転支援システム |
| JP2007073011A (ja) * | 2005-09-09 | 2007-03-22 | Fuji Heavy Ind Ltd | 運転状態推定装置 |
| JP2007249757A (ja) * | 2006-03-17 | 2007-09-27 | Denso It Laboratory Inc | 警報装置 |
| US7859652B2 (en) | 2006-09-14 | 2010-12-28 | Toyota Jidosha Kabushiki Kaisha | Sight-line end estimation device and driving assist device |
| JP2008146356A (ja) * | 2006-12-11 | 2008-06-26 | Nissan Motor Co Ltd | 視線方向推定装置及び視線方向推定方法 |
| JP2008210239A (ja) * | 2007-02-27 | 2008-09-11 | Nissan Motor Co Ltd | 視線推定装置 |
| JP2008225578A (ja) * | 2007-03-08 | 2008-09-25 | Toyota Motor Corp | 車両用監視装置 |
| JP4762939B2 (ja) * | 2007-03-08 | 2011-08-31 | トヨタ自動車株式会社 | 車両用監視装置 |
| JP2008262388A (ja) * | 2007-04-12 | 2008-10-30 | Toyota Central R&D Labs Inc | 安全確認アドバイス装置 |
| JP2009015549A (ja) * | 2007-07-04 | 2009-01-22 | Omron Corp | 脇見検出装置および方法、並びに、プログラム |
| JP2009069885A (ja) * | 2007-09-10 | 2009-04-02 | Denso Corp | 状態判定装置およびプログラム |
| JP2009067334A (ja) * | 2007-09-17 | 2009-04-02 | Denso Corp | 車両安全装置 |
| JP2009123182A (ja) * | 2007-10-23 | 2009-06-04 | Denso Corp | 安全確認判定装置および運転教示支援システム |
| JP2010179713A (ja) * | 2009-02-03 | 2010-08-19 | Fuji Heavy Ind Ltd | 視野推定装置、視野推定方法、コンピュータプログラム及び記録媒体 |
| JP2010256554A (ja) * | 2009-04-23 | 2010-11-11 | Pioneer Electronic Corp | 情報処理装置及び画像表示制御方法 |
| DE112009004768B4 (de) * | 2009-05-12 | 2018-01-04 | Toyota Jidosha Kabushiki Kaisha | Abschätzvorrichtung für den visuellen erkennungsbereich und antriebsunterstützungsvorrichtung |
| JP2011000278A (ja) * | 2009-06-18 | 2011-01-06 | Honda Motor Co Ltd | 視認行動情報提示装置 |
| JP2012103849A (ja) * | 2010-11-09 | 2012-05-31 | Denso Corp | 情報提供装置 |
| JP2012103850A (ja) * | 2010-11-09 | 2012-05-31 | Denso Corp | 注視点推定装置 |
| JP2012201232A (ja) * | 2011-03-25 | 2012-10-22 | Denso Corp | 視線方向検出装置 |
| JP2012212357A (ja) * | 2011-03-31 | 2012-11-01 | Panasonic Corp | 車載用表示装置 |
| KR101343875B1 (ko) * | 2011-12-06 | 2013-12-23 | 경북대학교 산학협력단 | 사용자 인지 분석 장치 및 사용자 인지 분석 방법 |
| JP2015011086A (ja) * | 2013-06-27 | 2015-01-19 | 三菱電機株式会社 | 運転操作管理装置 |
| JP2016130959A (ja) * | 2015-01-14 | 2016-07-21 | 株式会社デンソーアイティーラボラトリ | 重み行列学習装置、視線方向予測システム、警告システムおよび重み行列学習方法 |
| WO2016166791A1 (ja) * | 2015-04-13 | 2016-10-20 | 三菱電機株式会社 | 運転支援装置 |
| JPWO2016166791A1 (ja) * | 2015-04-13 | 2017-07-06 | 三菱電機株式会社 | 運転支援装置 |
| DE112016003438T5 (de) | 2015-07-30 | 2018-05-03 | Aisin Seiki Kabushiki Kaisha | Fahrassistenzeinrichtung |
| US10347126B2 (en) | 2015-07-30 | 2019-07-09 | Aisin Seiki Kabushiki Kaisha | Driving assistance device |
| JP2018133031A (ja) * | 2017-02-17 | 2018-08-23 | オムロン株式会社 | 運転切替支援装置、及び運転切替支援方法 |
| WO2018150676A1 (ja) * | 2017-02-17 | 2018-08-23 | オムロン株式会社 | 運転切替支援装置、及び運転切替支援方法 |
| CN109983523A (zh) * | 2017-02-17 | 2019-07-05 | 欧姆龙株式会社 | 驾驶转换支援装置以及驾驶转换支援方法 |
| WO2018179599A1 (ja) * | 2017-03-28 | 2018-10-04 | 三菱電機株式会社 | 情報提供装置 |
| CN112150860A (zh) * | 2019-06-27 | 2020-12-29 | 歌乐株式会社 | 车载装置、以及车载装置的控制方法 |
| CN113506425A (zh) * | 2021-06-24 | 2021-10-15 | 广州通达汽车电气股份有限公司 | 一种电子后视镜以及车辆 |
| US11897496B2 (en) | 2021-08-31 | 2024-02-13 | Toyota Jidosha Kabushiki Kaisha | Vehicle warning system |
| DE102023121712A1 (de) | 2022-09-13 | 2024-03-14 | Toyota Jidosha Kabushiki Kaisha | Anzeigesteuervorrichtung, anzeigesteuerverfahren, computer-lesbares medium zur speicherung eines programms |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4342708B2 (ja) | 2009-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002083400A (ja) | ドライバの視線領域の適合性を判定する車載情報処理装置 | |
| JP3214122B2 (ja) | 危険状況警報装置 | |
| JP7288326B2 (ja) | 自動運転システム | |
| JP4981566B2 (ja) | 運転支援装置および運転支援方法 | |
| EP3663155B1 (en) | Autonomous driving system | |
| JP2007047914A (ja) | 危険反応地点記録システム及び運転支援システム | |
| JPH10148537A (ja) | 自動車の周辺状況を知らせるナビゲーション装置及びその制御方法 | |
| JP2008015561A (ja) | 情報提供車両及び運転支援装置 | |
| JP2019091275A (ja) | 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム | |
| JP2005165422A (ja) | 衝突可能性判定装置 | |
| US11628860B2 (en) | Autonomous driving system that can eliminate a system distrust state of the driver | |
| JP4961934B2 (ja) | 運転支援装置 | |
| JP4985450B2 (ja) | 情報提供装置、情報提供システム、車両及び情報提供方法 | |
| JP2002117494A (ja) | 周辺情報表示装置 | |
| JP2008065482A (ja) | 車両用運転支援システム | |
| JP2019168814A (ja) | 運転支援システム | |
| JP2002340583A (ja) | 周辺車両情報提供装置 | |
| JP4502844B2 (ja) | 警告装置及び警告方法 | |
| JP2004295472A (ja) | 車両用警報装置 | |
| JP2002342899A (ja) | 運転支援装置及びプログラム | |
| JP2001307298A (ja) | 車載用ナビゲーション装置及び表示装置 | |
| JP4499525B2 (ja) | 危険警報システム | |
| JP2017111498A (ja) | 運転支援装置 | |
| JP2004061259A (ja) | 情報提供装置、情報提供方法及び情報提供用プログラム | |
| JPH0939650A (ja) | 車両のウインカ制御装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080902 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080904 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081009 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090707 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090708 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120717 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130717 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140717 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |