JP2006069358A

JP2006069358A - 車両の運転支援装置

Info

Publication number: JP2006069358A
Application number: JP2004254806A
Authority: JP
Inventors: Toshiya Arakawa; 俊也荒川
Original assignee: Fuji Heavy Industries Ltd
Current assignee: Subaru Corp
Priority date: 2004-09-01
Filing date: 2004-09-01
Publication date: 2006-03-16

Abstract

【課題】ドライバによる感情の変化を検出し、車両の運転特性に反映させて、ドライバによる運転が不安定になることを未然に防止し、車両の安全性を大きく向上させる。
【解決手段】特徴量抽出部４は１６個の特徴量（Ｖ１〜Ｖ１６）を抽出し、表情抽出部５は各特徴量（Ｖ１〜Ｖ１６）が予め設定した条件を満足する場合に、怒り、及び、悲しみの表情を抽出する。表情判定部６は表情抽出部５で怒り或いは悲しみの表情が抽出されている場合は制御出力部７に信号出力して、制御出力部７は警報ランプ１１を点灯させる。また、制御出力部７は、電子制御スロットル装置８に対し、得られているスロットル開度に対し、１よりも小さな定数を乗算して出力させる。また、制御出力部７は、芳香剤用ファンモータを駆動させて芳香剤を拡散させる。更に、制御出力部７は、オーディオ装置１０に信号を出力することで音楽ソフトを自動的に演奏させる。
【選択図】図１

Description

本発明は、特に、ドライバの感情を検出して車両のより安定した運転を促進する車両の運転支援装置に関する。

近年、車両においては、ドライバの運転状態を認識して、より積極的に安定した運転を行うように支援する運転支援装置が開発されている。

例えば、特開平９−４４８００号公報では、ドライバの顔画像から、瞼が一定時間以上閉じた状態等を検出し、ドライバの覚醒低下を判断して、自動的に休憩施設情報を提供する車載情報システムが開示されている。
特開平９−４４８００号公報

ところで、ドライバの運転が不安定になる要素としては、上述の特許文献１で開示するような覚醒低下以外にも、様々な感情の変化（例えば、怒りや悲しみ等）がある。従って、これらの感情の変化を検出して車両の運転特性に反映させれば、ドライバによる運転が不安定になることが未然に防止され、車両の安全性を大きく向上させることができる。

本発明は上記事情に鑑みてなされたもので、ドライバによる感情の変化を検出して車両の運転特性に反映させることにより、ドライバによる運転が不安定になることが未然に防止され、車両の安全性を大きく向上させることが可能な車両の運転支援装置を提供することを目的とする。

本発明は、ドライバの表情を認識する表情認識手段と、上記表情認識手段で認識した表情から、ドライバの感情変化を抽出する表情抽出手段と、上記表情の変化を抽出した際に、ドライバが操作する制御アクチュエータとドライバに対して影響を与える車載装置の少なくとも一方に信号を出力する制御出力手段とを備えたことを特徴としている。

本発明による車両の運転支援装置によれば、ドライバによる感情の変化を検出して車両の運転特性に反映させることにより、ドライバによる運転が不安定になることが未然に防止され、車両の安全性を大きく向上させることが可能となる。

以下、図面に基づいて本発明の実施の形態を説明する。
図１〜図３は本発明の実施の一形態を示し、図１は車両の運転支援装置の概略を示す機能ブロック図、図２は運転支援制御のフローチャート、図３は表情抽出の概要と判断の説明図である。

図１において、符号１は車両の運転支援装置を示し、この運転支援装置１は、インストルメントパネルのコンビネーションメータ内にドライバに向けて配設したＣＣＤカメラ２と、このＣＣＤカメラ２で撮像した画像をリアルタイムで処理する画像処理部３と、この画像処理部３からの画像信号を後述の如く処理して特徴量を抽出する特徴量抽出部４と、特徴量抽出部４からの特徴量の変化を基に怒りと悲しみの表情を抽出する表情抽出部５と、表情抽出部５で怒りと悲しみの表情が抽出されているか否か判定する表情判定部６と、表情判定部６による判定の結果に応じて電子制御スロットル装置８、芳香剤用ファンモータ駆動部９、オーディオ装置１０、及び、警報ランプ１１に信号を出力する制御出力部７とを有して主要に構成されている。

本実施の形態による車両の運転支援装置１は、表情の検出を、例えば、「下田，國弘，吉川：動的顔画像からのリアルタイム表情認識システムの試作；ヒューマンインターフェース学会論文誌，Vol.1，No.2，pp.19-28(1999)」に基づき抽出するようになっている。

従って、特徴量抽出部４は、EkmanとFriesenによって提案された組織的な表情記述法であるFacial Action Coding System（FACS）における、解剖学的に独立し、且つ、視覚的に識別可能な表情動作の最小単位であるAction Unit（AU）をよく表し、また、画像処理により容易に抽出できるように、図３に示すように、１６個の特徴量（Ｖ１〜Ｖ１６）を抽出するものである。

具体的には、特徴量を算出するための特徴点として、右眉、左眉について各３点、右目、左目、口について各４点の計１８点の特徴点（Ｐ１〜Ｐ１８）を選び、右目の右端の特徴点Ｐ７と左目の左端の特徴点Ｐ１３とを結ぶ直線をｘ軸とし、右目の右端の特徴点Ｐ７を原点とするｙ軸を定めて、この座標系に各特徴量（Ｖ１〜Ｖ１６）を求める。このように本実施の形態においては、ＣＣＤカメラ２、画像処理部３、特徴量抽出部４により表情認識手段が構成されている。

表情抽出部５は、特徴量抽出部４で定めた各特徴量（Ｖ１〜Ｖ１６）が、以下の条件を全て満足する場合に、怒り、及び、悲しみの感情を表現する表情を抽出する。
・怒りの表情の抽出
特徴量Ｖ２〜Ｖ７減少、特徴量Ｖ１変化無し、特徴量Ｖ８，Ｖ１０増加、特徴量Ｖ４，Ｖ５，Ｖ９，Ｖ１１減少、特徴量Ｖ１６増加、特徴量Ｖ１３，Ｖ１５減少、特徴量Ｖ１２，Ｖ１４変化無し
・悲しみの表情の抽出
特徴量Ｖ４，Ｖ５増加、特徴量Ｖ１，Ｖ３，Ｖ６減少、特徴量Ｖ２，Ｖ７変化無し、特徴量Ｖ４，Ｖ５増加、特徴量Ｖ１２，Ｖ１４増加、特徴量Ｖ１３，Ｖ１５，Ｖ１６変化無し

尚、これら怒り、悲しみの表情が抽出されてから、設定時間（例えば、５秒）経過した場合に、ドライバが怒り、悲しみの状態にあると判断する。逆に、これら怒り、悲しみの表情が無くなってから、設定時間（例えば、５秒）経過した場合に、ドライバが怒り、悲しみの状態ではなくなったと判断する。このように、表情抽出部５は表情抽出手段として設けられている。

表情判定部６は、表情抽出部５で怒り或いは悲しみの表情が抽出されているか否か判定し、判定結果を制御出力部７に出力する。

制御出力部７は、表情判定部６から、怒り或いは悲しみの表情が抽出されているとの信号が入力された場合、電子制御スロットル装置８、芳香剤用ファンモータ駆動部９、オーディオ装置１０、及び、警報ランプ１１に作動信号を出力する。

ここで、電子制御スロットル装置８は、少なくともアクセルペダルの踏み込み量θacに応じて、予め設定しておいたマップを参照、或いは、予め設定しておいた数式を基にスロットル開度θth（θac）を設定する、公知のものである。そして、制御出力部７は、表情判定部６から、怒り或いは悲しみの表情が抽出されているとの信号が入力された場合、得られているスロットル開度θth（θac）に対し、例えば、１よりも小さな定数（例えば、０．５）を乗算して出力させるようにする。このため、ドライバは怒り或いは悲しみの状態にある場合には、多くの踏み込みを行っても車両が急に加速することが防止され、走行安定性が確保されるようになっている。尚、スロットル開度θth（θac）に対し乗算する定数は、経時的に可変しても（次第に１に近づける）ようにしても良く、また、怒りの場合と悲しみの場合とで、別の値に設定しても良い。

また、制御出力部７は、表情判定部６から、怒り或いは悲しみの表情が抽出されているとの信号が入力された場合、設定されたスロットル開度θth（θac）をフィルタ等を通じて出力させ、遅れを生じさせるようになっている。このため、ドライバが感情によりアクセルペダルを急に踏み込む場合であっても、それがスロットル開度に直ぐに影響することが防止できるようになっている。

また、制御出力部７は、表情判定部６から、怒り或いは悲しみの表情が抽出されているとの信号が入力された場合、図示しないブロアユニット内に予め配設しておいた芳香剤を、芳香剤用ファンモータ駆動部９に駆動信号を出力することで芳香剤の開口部近傍に設けた芳香剤用ファンモータ（図示せず）を駆動させることにより、拡散させ、ドライバの鎮静を促すようになっている。

更に、制御出力部７は、表情判定部６から、怒り或いは悲しみの表情が抽出されているとの信号が入力された場合、オーディオ装置１０に信号を出力することで、予めドライバがオートチェンジャー等にセットしておいたＣＤ−ＲＯＭの音楽ソフトを自動的に演奏する。

また、制御出力部７は、表情判定部６から、怒り或いは悲しみの表情が抽出されているとの信号が入力された場合、インストルメントパネルのコンビネーションメータ内に設けた警報ランプ１１を点灯させ、ドライバに冷静な運転を促すようになっている。

このように本実施の形態では、表情判定部６及び制御出力部７により制御出力手段が構成されている。

次に、上述の車両の運転支援装置１で実行される運転支援制御を、図２のフローチャートで説明する。
まず、ステップ（以下、「Ｓ」と略称）１０１で、画像処理部３は、ＣＣＤカメラ２からの画像を処理し、Ｓ１０２に進んで、特徴量抽出部４は、前述の１６個の特徴量（Ｖ１〜Ｖ１６）を抽出する。

次いで、Ｓ１０３に進み、表情抽出部５は、Ｓ１０２で定めた各特徴量（Ｖ１〜Ｖ１６）が、前述の各条件を満足する場合に、怒り、及び、悲しみの表情を抽出する。

そして、Ｓ１０４に進み、表情判定部６は、Ｓ１０３で怒り或いは悲しみの表情が抽出されているか否か判定し、抽出されていない場合はそのままプログラムを抜け、抽出されている場合にはＳ１０５に進む。

Ｓ１０５に進むと、制御出力部７は、インストルメントパネルのコンビネーションメータ内に設けた警報ランプ１１を点灯させ、ドライバに冷静な運転を促す。

次に、Ｓ１０６に進んで、制御出力部７は、電子制御スロットル装置８に対し、得られているスロットル開度θth（θac）に対し、例えば、１よりも小さな定数（例えば、０．５）を乗算して出力させるようにする。このため、ドライバは怒り或いは悲しみの状態にある場合には、多くの踏み込みを行っても車両が急に加速することが防止され、走行安定性が確保されるようになっている。

次いで、Ｓ１０７に進み、制御出力部７は、芳香剤用ファンモータ駆動部９に駆動信号を出力して芳香剤の開口部近傍に設けた芳香剤用ファンモータを駆動させることにより、芳香剤を拡散させ、ドライバの鎮静を促す。

次に、Ｓ１０８に進み、制御出力部７は、オーディオ装置１０に信号を出力することで、予めドライバがオートチェンジャー等にセットしておいたＣＤ−ＲＯＭの音楽ソフトを自動的に演奏させ、プログラムを抜ける。尚、Ｓ１０５〜Ｓ１０８の順番は、これに限定されるものでは無い。

このように本発明の実施の形態によれば、ドライバの表情、特に、怒り或いは悲しみの感情を検出して、ドライバが怒り或いは悲しみの状態にある場合には、急加速を防止したり、沈静化を図り、或いは、冷静な運転を促すようになっているので、ドライバによる運転が不安定になることが未然に防止され、車両の安全性を大きく向上させることが可能となっている。

尚、ドライバの表情については、怒り或いは悲しみの感情に限定されず、ドライバの感情に対して冷静な運転を促す必要があると判断される感情についても、表情から検出し車両制御に反映させる構成とすることも可能である。

また、本実施の形態では、ドライバの怒り或いは悲しみを、「下田，國弘，吉川：動的顔画像からのリアルタイム表情認識システムの試作；ヒューマンインターフェース学会論文誌，Vol.1，No.2，pp.19-28(1999)」に基づき抽出するようになっているが、他の手法により抽出するようにしても良い。

車両の運転支援装置の概略を示す機能ブロック図運転支援制御のフローチャート表情抽出の概要と判断の説明図

符号の説明

１運転支援装置
２ＣＣＤカメラ（表情認識手段）
３画像処理部（表情認識手段）
４特徴量抽出部（表情認識手段）
５表情抽出部（表情抽出手段）
６表情判定部（制御出力手段）
７制御出力部（制御出力手段）
８電子制御スロットル装置
９芳香剤用ファンモータ駆動部
１０オーディオ装置
１１警報ランプ
代理人弁理士伊藤進

Claims

ドライバの表情を認識する表情認識手段と、
上記表情認識手段で認識した表情から、ドライバの感情変化を抽出する表情抽出手段と、
上記表情の変化を抽出した際に、ドライバが操作する制御アクチュエータとドライバに対して影響を与える車載装置の少なくとも一方に信号を出力する制御出力手段と、
を備えたことを特徴とする車両の運転支援装置。
上記表情抽出手段は、ドライバの表情変化のうち、怒りと悲しみの少なくとも一方の表情を抽出することを特徴とする請求項１記載の車両の運転支援装置。
上記ドライバが操作する制御アクチュエータは、少なくともアクセルペダルの踏み込み量に応じてスロットル開度を設定する電子制御スロットル装置であって、該電子制御スロットル装置は上記制御出力手段からの入力信号があった場合には、アクセルペダルの踏み込み量とスロットル開度の関係の出力特性を変更することを特徴とする請求項１又は請求項２記載の車両の運転支援装置。
上記アクセルペダルの踏み込み量とスロットル開度の関係の出力特性の変更は、通常のアクセルペダルの踏み込み量で設定するスロットル開度の値を小さくなる方向に補正することを特徴とする請求項３記載の車両の運転支援装置。
上記アクセルペダルの踏み込み量とスロットル開度の関係の出力特性の変更は、アクセルペダルの踏み込み量で設定するスロットル開度の値の出力タイミングを、通常時より遅らせることを特徴とする請求項３又は請求項４記載の車両の運転支援装置。
上記ドライバに対して影響を与える車載装置は、音楽を演奏するオーディオ装置と、芳香剤を拡散させる芳香剤拡散装置と、ドライバに対して警報を行う警報装置の少なくとも何れかであることを特徴とする請求項１乃至請求項５の何れか一つに記載の車両の運転支援装置。