JP2001097070A

JP2001097070A - 乗物用人物認識装置

Info

Publication number: JP2001097070A
Application number: JP27759399A
Authority: JP
Inventors: Osamu Yamaguchi; 修山口
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1999-09-29
Filing date: 1999-09-29
Publication date: 2001-04-10

Abstract

(57)【要約】【課題】同乗者の顔を撮影し、その情報を用いてドライ
バが効率的な運転ができるようにするとともに、安全性
を向上させる。【解決手段】乗物構造体内において同乗者の画像を取得
する画像入力手段２と、前記同乗者の個人の特定を目的
として顔画像を画像認識する顔画像認識手段３と、この
顔画像認識手段３にて認識された顔画像に基づいて前記
乗物構造体内に設置された各種装備品５を制御する制御
手段７とを備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば自動車など
の乗物においてドライバ（運転手）以外の同乗者の状態
を認識し、車内の機器を制御する乗物用人物認識装置に
関する。

【０００２】

【従来の技術】近年、ＩＴＳ（Ｉｎｔｅｌｉｇｅｎｔ
ＴｒａｎｓｐｏｒｔＳｙｓｔｅｍｓ＝高度道路交通シ
ステム）への関心が高まっており、インテリジェントカ
ーの開発が盛んである。

【０００３】例えば、文献（中野倫明、山本新：“ドラ
イバを視る−ドライバの居眠り、不注視の検知”、画像
の認識・理解シンポジウムＭＩＲＵ’９８論文集Ｉｐ
ｐ．１４７−１５２，１９９８）のように、安全性を向
上させる目的でドライバの状態を認識する方法が開示さ
れている。例えば、居眠り検出により、ドライバが眠れ
ないようなアラームを鳴らしたり、視線検出によって、
わき見運転を防止する判定を促すなどの応用が考えられ
ている。

【０００４】このようにドライバを監視することによっ
て、安全な運転を可能にする公知例が数多くある。

【０００５】

【発明が解決しようとする課題】上記のように従来の技
術では、安全性を向上させるために、主としてドライバ
の状態のみを検知し、様々な機器などを制御することが
多かった。

【０００６】しかしながら、さらに安全性を向上するた
めには、ドライバだけではなく、助手席や後部座席の同
乗者についての状態を認識し、ドライバへの妨げになら
ないような状態にすることも重要である。例えば、助手
席の人物が居眠りをしている場合、運転者も同様に眠気
を催すといった事例や、同乗の子供が種々の機器を触っ
たり、ドアや窓を開けたりするといった行為がドライバ
の運転の集中を妨げるなどの事例が、ドライバの集中を
害することが考えられる。

【０００７】本発明は上述した事情を考慮してなされた
もので、同乗者の顔を撮影し、その情報を用いてドライ
バが効率的な運転ができるようにするとともに、安全性
を向上させた乗物用人物認識装置を提供することを目的
とする。

【０００８】また、本発明の他の目的とするところは、
各種サービスをユーザーが選択できるようにして過度の
自動制御が行われないように調整することができ、利便
性の高い乗物用人物認識装置を提供することにある。

【０００９】

【課題を解決するための手段】上述した課題を解決する
ために、本発明の請求項１記載の発明は、乗物構造体内
において同乗者の画像を取得する画像入力手段と、前記
同乗者の個人の特定を目的として顔画像を画像認識する
顔画像認識手段と、この顔画像認識手段にて認識された
顔画像に基づいて前記乗物構造体内に設置された各種装
備品を制御する制御手段とを備えたことを特徴とする。

【００１０】請求項１記載の発明によれば、同乗者の画
像を画像入力手段により取得し、同乗者の個人の特定を
目的として顔画像を顔画像認識手段にて画像認識し、こ
の認識された顔画像に基づいて各種装備品を制御するこ
とにより、同乗者の個人性を考慮して各種装備品が自動
的に制御されるため、ドライバの効率的な運転が可能と
なるとともに、安全性を向上させることができる。

【００１１】請求項２記載の発明は、乗物構造体内にお
いて同乗者の画像を取得する画像入力手段と、前記同乗
者の状態変化を判定するために顔画像を認識する顔画像
認識手段と、この顔画像認識手段にて認識された顔画像
の変化に基づいて前記乗物構造体内に設置された各種装
備品を制御する制御手段とを備えたことを特徴とする。

【００１２】請求項２記載の発明によれば、同乗者の画
像を画像入力手段により取得し、同乗者の状態変化を判
定するために顔画像を顔画像認識手段にて認識し、この
認識された顔画像の変化に基づいて各種装備品を制御す
ることにより、同乗者の状態変化を考慮して各種装備品
が自動的に制御されるため、ドライバの効率的な運転が
可能となるとともに、安全性を向上させることができ
る。

【００１３】請求項３記載の発明は、請求項１または２
記載の乗物用人物認識装置において、顔画像認識手段の
認識の結果、制御手段で各種装備品のうち、いかなる装
備品を制御するかを判断する判断手段を有し、この判断
手段は、ユーザーがサービスの内容を選択するサービス
選択手段を備えたことを特徴とする。

【００１４】請求項３記載の発明によれば、各種判断で
行われるサービスについて、ユーザーがサービスを選択
するサービス選択手段を有することで、同乗者へのサー
ビス内容および安全性の度合いを自由に選択できること
が可能となる。

【００１５】

【発明の実施の形態】以下、本発明の実施形態を図面に
基づいて説明する。

【００１６】＜第１実施形態＞図１は本発明に係る乗物
用人物認識装置の第１実施形態における車載機を示す構
成図である。なお、本実施形態は、乗物として自動車に
適用され、乗物構造体である自動車内の助手席や後部座
席に乗車している同乗者の顔をカメラにて撮影し、その
同乗者が誰であるか個人の特定に基づいて各種装備品の
設定や制御を行うものである。

【００１７】図１に示すように、車内に設置される車載
機１は、車内において助手席や後部座席に乗車している
同乗者の画像を取得する画像入力手段としての画像入力
部２と、助手席や後部座席に乗車している同乗者の状態
を判定するために顔画像を認識する顔画像認識手段とし
ての画像認識部３と、この画像認識部３における認識の
結果，車両の状態を検出する車両センサ４，および各種
装備品５の状態などからの情報を統合し、各種装備品５
の中からどのような装備品の制御を行うかを判断する判
断部６と、この判断部６からの指示に基づいて各種装備
品５をコントロールしたり、各種装備品５の状態を判断
部６に伝える制御手段としての機器制御部７とから大略
構成されている。

【００１８】［画像入力部］画像入力部２には、助手席
や後部座席に乗車している同乗者の顔画像を撮影するた
めのカメラ８、図示しないΑ／Ｄ変換器およびメモリな
どが搭載され、常時または判断部６からのタイマー処理
によってカメラ８で撮影が行われる。

【００１９】ここで、カメラ８は、いかなる種類のもの
でもよく、通常の可視光で撮影可能なＩＴＶ（工業用テ
レビ）カメラや、夜間に対応するために赤外線カメラの
ような可視光以外のものを撮影する用途のものでもよ
く、種類は限定されない。また、複数種類のものを搭載
してもよい。

【００２０】［画像認識部］画像認識部３は、画像入力
部２から得た入力画像の中から顔の認識，体の位置，大
きさなどの認識を行い、その同乗者がどの人物である
か、どのような状態であるか、大人か子供か、性別など
の識別を行う。

【００２１】画像認識部３の構成例を図２に示す。な
お、この構成例は個人識別を行うための一例であり、他
の識別についても同様に構成することができる。図２に
示すように、画像認識部３は、画像入力部２で得られた
入力画像を個人認識のための特徴量に変換する特徴量算
出部９と、部分空間算出部１０と、認識部１１と、登録
情報保持部１２とから構成されている。その各部につい
て説明する。

【００２２】（特徴量算出部）画像入力部２で得られた
入力画像は、特徴量算出部９にて、個人認識のための特
徴量に変換される。まず、顔領域検出が行われ、この顔
領域検出部では、画像中から顔の領域を検出する。本実
施形態での検出方法は、あらかじめ用意されたテンプレ
ートと画像中を移動させながら相関値を求めることによ
り、最も高い相関値をもった場所を顔領域とする。その
他、Ｅｉｇｅｎｆａｃｅ法や部分空間法を利用した顔抽
出法などの顔検出手段を用いてもよい。

【００２３】次に、顔部品検出部では、目，鼻，口とい
った顔部品を検出する。本実施形態では、検出された顔
領域の部分の中から、目，鼻の位置を検出する。検出方
法は、文献（福井和広、山口修：「形状抽出とパターン
照合の組合せによる顔特徴点抽出」，電子情報通信学会
論文誌（Ｄ），ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，
ＰＰ２１７０−２１７７（１９９７））などの方法を用
いることができる。

【００２４】さらに、検出された顔部品の位置を元に、
顔領域を一定の大きさ，形状に切り出し、その濃淡情報
を特徴量として用いる。ここでは、ｍピクセル×ｎピク
セルの領域の濃淡値をそのまま情報として用い、ｍ×ｎ
次元の情報を特徴ベクトルとして用いる。

【００２５】（部分空間算出部）部分空間算出部１０
は、上記特徴ベクトルの相関行列を求め、そのＫＬ（カ
ルーネン・レーベ）展開による正規直交ベクトル（固有
ベクトル）を求めることにより、部分空間を計算する。
この部分空間は、固有値に対応する固有ベクトルを固有
値の大きな順にｋ個選択し、その固有ベクトル集合を用
いて表現する。

【００２６】本実施形態では、相関行列Ｃ_ｄを特徴ベク
トルから求め、相関行列をＣ_ｄ＝Φ _ｄΛ_ｄΦ_ｄ ^Ｔのよう
に対角化して、固有ベクトルの行列Φを求める。

【００２７】登録データは、あらかじめ収集した顔画像
データから特徴ベクトルの相関行列を求め、ΚＬ展開に
よる正規直交ベクトルを求めることにより、部分空間を
計算する。この部分空間を、人物の同定を行うための識
別辞書として利用する。上述した処理を行って部分空間
を求め、それを登録情報保持部１２に辞書として登録し
ておく。

【００２８】（認識部）次に、認識部１１について説明
する。認識部１１は、登録情報保持部１２に蓄えられた
登録データ（部分空間）と、特徴量算出部９で得られた
特徴量と、または部分空間算出部１０で得られた部分空
間とを比較することにより、カメラ８で撮影した人物が
誰であるかを識別する。人物を識別するためには、どの
人物のデータに最も類似しているかを求めればよく、最
大類似度をとるデータに対応する人物を識別結果とす
る。

【００２９】認識の方法としては、特徴量算出部９の情
報を用いる場合は、部分空間法や複合類似度法などの方
法が用いられる。本実施形態での認識方法は、文献（前
田賢一、渡辺貞一：“局所的構造を導入したパターンー
マッチング法”，電子情報通信学会論文誌（Ｄ），ｖｏ
ｌ．Ｊ６８−Ｄ，Ｎｏ．３，ＰＰ３４５−３５２（１９
８５））にある相互部分空間法を用いる。この方法で
は、あらかじめ蓄えられた登録データも、入力されるデ
ータも部分空間として表現され、２つの部分空間のなす
「角度」を類似度として定義する。

【００３０】そして、入力データ列に対して同様に相関
行列Ｃ_ｉを求め、Φ_ｉΛ_ｉΦ_ｉ ^Ｔと対角化し、固有ベク
トルΦ_ｉを求める。二つのΦ_ｉ，Φ_ｄで表される部分空
間の部分空間間類似度（０．０〜１．０）を求め、それ
を認識するための類似度とする。

【００３１】認識部１１では、あらかじめ登録されてい
る人物のデータを用いて、識別作業を行う場合、識別対
象となるデータを全て登録情報保持部１２から読み出
す。そして、それぞれの人物の情報との類似度を計算す
る。次に、計算された類似度の中から最大のものを選択
し、それを認識結果として出力する。また、いずれの識
別対象とも、類似度があまりに低い場合には、どの識別
対象でもないと判断することもできる。

【００３２】同乗者を対象とした場合、複数人の人物が
存在するため、それぞれの人物に対して識別処理を行
う。また、各人の情報に性別，年齢などの付加情報があ
るため、それぞれの人物の種別（性別，年齢など）の判
定を目的として、個人識別を行う。

【００３３】（登録情報保持部）登録情報保持部１２
は、人物を同定するために利用する登録データ（部分空
間）や、登録人物の氏名，年齢，性別などの情報を蓄積
する。この登録データは、あらかじめ車載機が装備して
いてもよいし、通信手段などで送受信して交換してもよ
い。また、登録データを外部記憶装置に保存しておいて
容易に交換することもできる。

【００３４】［判断部］判断部６は、画像認識部３にお
ける認識の結果、また車両の状態（車両のスピード，ハ
ンドルの切り角，エンジンの回転数，エンジンの温度，
燃料，路面状況，車体の傾き状況など）を知るための車
両センサ４、各種装備品５の状態などからの情報を統合
し、ドライバへの介入を可及的に削減するため、各種装
備品５の中からどのような機器制御を行うか判断する。

【００３５】判断部６の構成例を図３に示す。判断部６
は、判断を下すための計算を行うＣＰＵ１３と、判断プ
ログラムを納めたメモリ１４と、各種車両センサ４から
の状態を受け取るセンサＩ／Ｏ１５と、画像認識部３お
よび機器制御部７からの人物、各種装備品５の状態情報
を格納する状態情報メモリ１６と、各状態に応じて機器
制御のルールを記述した事例データベース１７とから構
成されている。

【００３６】判断の例として、本実施形態では個人性に
基づくものについて説明する。

【００３７】１）走行中、子供がドアの鍵を触っても開
閉できないように、ロックを自動的に施す（運転手に煩
わしさを感じさせない）。２）走行中、子供がウィンドウを開閉できないように、
ウィンドウロックを自動的に施す（運転手に煩わしさを
感じさせない）。３）幼児の場合、幼児向けの音楽を流す（注意を音楽に
向けさせ運転手に煩わしさを感じさせない）。４）女性の場合、女性向けのコンテンツをカーナビゲー
ションに表示し、注意をそちらにむける（注意をそちら
に向けさせ運転手に煩わしさを感じさせない）。５）老人の場合、エアコンディショナーを制御する（同
乗者へのサービスをユーザーがあらかじめ設定する）。

【００３８】これらは図４に示す事例データベース１７
に蓄えられ、各種車両センサ（センサ１〜３として示
す）の状態，認識（識別）結果に応じてどのような制御
を行うかをルールベースで記述してある。なお、図中の
○×はセンサのＯＮ／ＯＦＦの状態を表し、Ｘ１，Ｘ
２，Ｙ１，Ｙ２などはセンサの値もしくは範囲を抽象化
して表現したものである。

【００３９】判断部６は、このルールセットと逐次セン
サ情報などとを照合し、適合するルールがあった場合に
は、制御内容に従ってその制御情報を機器制御部７に送
出する。この機器制御部７に送出した結果、目的の状態
になったか否かは、再び機器制御部７から得た各種装備
品５の状態情報を検証する処理を行う。

【００４０】［機器制御部］機器制御部７は、車両の様
々な機器とのインタフェースとしての機能を有し、判断
部６からの指示に基づいて各種装備品５をコントロール
したり、各種装備品５の状態を判断部６に伝える。

【００４１】制御する各種装備品５には、図５に示すよ
うにアラーム１８，エアコンディショナー，ドア（ロッ
ク），ウィンドウ（ロック、開閉）、カーナビゲーショ
ンシステム１９，オーディオ，シートなどがあり、上記
エアコンディショナー，ドア，ウィンドウ，オーディオ
およびシートは、それぞれエアコンコントローラ２０，
ドアコントローラ２１，ウィンドウコントローラ２２，
オーディオコントローラ２３，シートコントローラ２４
により制御される。

【００４２】次に、本実施形態の処理の流れを図６に基
づいて説明する。

【００４３】まず、画像入力部２は、乗車時に同乗者の
各個人の顔部分の撮影を行い、その顔画像を画像入力部
２内のメモリに蓄積する。その撮影が終了すると、画像
認識部３へ撮影した画像信号が送られる（ステップＳ
１）。

【００４４】画像認識部３では、特徴量算出部９にて顔
領域，顔部品を検出し、その検出位置に従って切り出し
た顔パターンを用いて認識処理を行う。その認識処理の
結果は判断部６ヘ送られる（ステップＳ２）。

【００４５】判断部６では、事例データベース１７か
ら、個人の認識結果に基づいて適合するルールセットを
抽出する（ステップＳ３）。

【００４６】次に、走行開始などのイベントに変化が生
じた場合、もしくはタイマー処理にて抽出されたルール
セットが各センサ情報と適合するかのチェックを繰り返
す（ステップＳ４〜Ｓ７）。

【００４７】適合するルールセットがあった場合、事例
データベース１７に記述してある制御内容を機器制御部
７に指示し、各種装備品５の設定を行う（ステップＳ
８）。制御結果が適切であるかどうか、センサなどの情
報を用いて検査し、目的の状態になっていれば処理を終
了する（ステップＳ９）。

【００４８】これを随時繰り返し、車が停止しエンジン
がオフになるまで、以上の処理を繰り返す（ステップＳ
１０）。

【００４９】このように本実施形態によれば、車内にお
いて同乗者の画像を取得する画像入力部２と、同乗者の
個人の特定を目的として顔画像を画像認識する画像認識
部３と、この画像認識部３にて認識された顔画像に基づ
いて車内に設置された各種装備品５を制御する機器制御
部７とを備えたことにより、ドライバが効率的な運転を
行うことができるとともに、安全性を向上させることが
可能となる。

【００５０】＜第２実施形態＞図７は本発明に係る乗物
用人物認識装置の第２実施形態における画像認識部を示
すブロック構成図である。なお、前記第１実施形態と同
一の部分には、同一の符号を付して説明する。

【００５１】前記第１実施形態では、個人性の情報に基
づいた機器制御であったが、第２実施形態では各個人の
状態変化に応じて機器制御を行う例を示す。

【００５２】すなわち、前記第１実施形態では、画像認
識部３の構成が個人の識別に特化したものであったが、
第２実施形態の画像認識部３ａでは、図７に示すように
各人の状態変化を判定するために、目の状態を検出する
目状態検出部２５や口の状態を検出する口状態検出部２
６を構成内容とする。また、画像だけでなく、図７に示
したような音声情報取得部２７を設け、判断に音声情報
を用いている。

【００５３】したがって、画像認識部３ａおよび判断部
６以外の構成は、前記第１実施形態と同様であるので、
画像認識部３ａおよび判断部６の構成を以下に説明す
る。

【００５４】［画像認識部］この画像認識部３ａは、特
徴量算出部９と、目の状態を検出する目状態検出部２５
と、口の状態を検出する口状態検出部２６と、音声情報
取得部２７と、認識統合部２８とから構成されている。

【００５５】（特徴量算出部）第１実施形態で上述した
特徴量算出部９と同様であるが、顔部品などの検出を行
うために、それぞれの顔部品のサンプルパターンの情報
を持つことが異なり、複数の部位の検出を行う。また、
各部位の位置情報，画像情報をそれぞれの状態検出部で
ある目状態検出部２５および口状態検出部２６に送出す
る。

【００５６】（目状態検出部、口状態検出部）目状態検
出部２５は、前記第１実施形態における個人認識で用い
たように、部分空間法を用いた認識例について説明す
る。この検出部２５では、顔の個人性を識別するのでは
なく、目を閉じている、目を開けている、どちらの方向
を見ているといった状態変化の判断を行う。口の状態も
口の開閉やその頻度などを認識する。

【００５７】そして、あらかじめ蓄えられた多数の目の
形状データから、いくつかの状態（眠っている状態の
目、ある方向を見ているときの目など）に区分された各
パターンから識別のための辞書を生成しておく。

【００５８】認識の方法としては、特徴量算出部９の情
報を用いて部分空間法や複合類似度法などにより各辞書
との類似度を求め、どの状態であるかを判定する。口に
ついても同様であり、いずれのパターンについても時間
的な変化の頻度なども、状態変化の判定に用いられる。

【００５９】（音声情報取得部）音声情報取得部２７
は、画像だけではなく、車内の音響，人物の会話，また
は人物の音声による指示情報などを認識し、この情報を
認識統合部２８へ送出する。例えば、誰が話している、
どのようなキーワードが頻繁に会話に表れている、幼児
が大声で泣いているなどの情報を認識する。

【００６０】認識手段は、会話内容については、ＰＣな
どのコンピュータによる音声認識技術で用いられている
技術を転用して、キーワードスポッティングを行っても
よいし、泣き声や環境音などの認識は、あらかじめ用意
されている各パターンとのパターンマッチングにより、
類似性を判断してもよい。

【００６１】（認識統合部）認識統合部２８では、人物
の各状態を画像認識などの結果に基づいて統合し、判断
部６が処理し易い形態の情報に変換する。例えば、目状
態が目を閉じている状態が長時間続いている場合は、
「居眠り」をしていると判断したり、口の状態が頻繁に
変化している場合は、「会話」しているといったよう
に、「居眠り」「会話」といったレベルの状態情報に変
換する。これら各人の状態情報は、判断部６に送出され
る。

【００６２】［判断部］本実施形態の判断部６の事例デ
ータベース１７は、図８に示すように前記第１実施形態
とは別のルールセットを有する。その例としては、１］助手席の同乗者が眠っている場合は、助手側の音楽
スピーカの音を小さくし、運転席側の音楽スピーカの音
を大きくする（運転手の眠気を誘わないようにする）。２］助手席の同乗者が眠っている場合は、カーナビゲー
ションシステム１９が定期的に運転車に話かける（運転
手の眠気を誘わないようにする）。３］助手席の同乗者が、会話の頻度がない場合には、カ
ーナビゲーションシステム１９が情報コンテンツを提供
し、運転手との適度な会話が起こるように仕向ける（運
転手の眠気を誘わないようにする）。４］チャイルドシートから泣き声がする場合には、空調
の温度を制御する（運転手の気分を転換させる）。５］後部座席の同乗者が眠っている場合は、アラーム１
８をならし、同乗者を起こす（運転手の気分を転換さ
せ、眠気を奪う）。

【００６３】これらが、事例データベース１７に記述し
てあり、イベントが起こり、センサの状態がルールを満
たせば、各種装備品５の制御が行われる。

【００６４】次に、本実施形態の処理の流れを図９に基
づいて説明する。

【００６５】まず、画像入力部２は、乗車時に各個人の
顔部分の撮影を行い、その画像を画像入力部２内のメモ
リに蓄積する。撮影が終了すると、画像認識部３へ撮影
した画像が送られる（ステップＰ１）。

【００６６】画像認識部３では、特徴量算出部９にて顔
領域，顔部品を検出し、その各部品の状態を認識する各
部に特徴量が送られる。各部は認識処理を行い、その結
果を認識統合部２８に送出し、この認識統合部２８で
は、各状態変化の判断を行う（ステップＰ２）。

【００６７】判断部６では、事例データベース１７か
ら、個人の状態変化の認識結果に基づいて、適合するル
ールセットを抽出する（ステップＰ３）。

【００６８】次に、車の状態に変化が生じた場合、もし
くはタイマー処理にて抽出されたルールセットが各セン
サ情報と適合するかのチェックを繰り返す（ステップＰ
４〜Ｐ７）。

【００６９】適合するルールセットがあった場合、事例
データベース１７に記述してある制御内容を機器制御部
７に指示し、各種装備品５の設定を行う（ステップＰ
８）。制御結果が適切であるかどうか、センサなどの情
報を用いて検査し、目的の状態になっていれば処理を終
了する（ステップＰ９）。

【００７０】これを繰り返し、車が停止しエンジンがオ
フになるまで、以上の処理を繰り返す（ステップＰ１
０）。

【００７１】このように本実施形態によれば、車内にお
いて同乗者の画像を取得する画像入力部２と、同乗者の
状態変化を判定するために顔画像を認識する画像認識部
３ａと、この画像認識部３ａにて認識された顔画像の変
化に基づいて車内に設置された各種装備品５を制御する
機器制御部７とを備えたことにより、ドライバが効率的
な運転を行うことができるとともに、安全性を向上させ
ることが可能となる。

【００７２】＜第３実施形態＞以上説明した第１実施形
態および第２実施形態は、同乗者の人物、状態が変化
し、条件を満たした場合に機器の制御が行われ、運転者
が運転に集中できる環境の提供を行うための方法につい
て述べた。しかし、これらの環境設定について、全てが
行われると運転者が予期していないような機器制御が自
動的に行われてしまう可能性があり、不便である。ま
た、同乗者に不快感を与える可能性があるサービスまで
が実行されてしまいかねない。

【００７３】そこで、第３実施形態では、判断手段とし
ての判断部６の事例データベースの情報に、図１０に示
すように「ユーザー選択」という項目を加え、ユーザー
がサービスの内容を選択できるようにしている。

【００７４】判断部６に、サービスを選択するサービス
選択手段を設け、ユーザーが自由にサービスの内容を選
択できるようにしている。例えば図９では、上記５］の
サービスが同乗者に不快なサービスであるとユーザーが
判断した場合には、サービスが実行されないように指定
できる。このサービスの選択は、カーナビゲーションな
どをインタフェースとして用いてもよい。

【００７５】判断部６の動作としては、ルールセットを
抽出する場合に、「ユーザー選択」が選択されていない
ものについては無視し、選択されているものだけの条件
判断を行う。

【００７６】このように本実施形態によれば、画像認識
部３，３ａの認識の結果、機器制御部７で各種装備品５
のうち、いかなる装備品を制御するかを判断する判断部
６を有し、この判断部６は、ユーザーがサービスの内容
を選択するサービス選択手段を備えたことにより、ドラ
イバの効率的な運転ができるように、同乗者の状態を考
慮して自動的に各種装備品５の制御がなされ、安全性を
向上させることが可能となる。

【００７７】＜変形例＞なお、本発明は、上記実施形態
に限定されず種々の変更が可能である。例えば、画像認
識部３，３ａでは、目と口の状態を検出対象にしていた
が、勿論、目や口だけでなく、様々な人物の状態を検出
する手段に置き換え、追加するようにしてもよい。

【００７８】また、個人性による制御（第１実施形
態）、人物の状態変化による制御（第２実施形態）のい
ずれも独立でなくてもよく、同時にイベントが起こって
もよい。また、ある人物がどのような状態の場合に各種
装備品５の制御が起こるといったように、個人性の情報
と状態の情報を同時にチェックするようにしてもよい。

【００７９】さらに、ドライバについての状態認識など
を行った実施形態について述べていないが、ドライバの
状態判定を行って、その結果と他の同乗者の状態認識結
果とを組み合わせた判断を行うように事例データベー
ス、画像認識部などを改変してもよい。

【００８０】そして、上記各実施形態では、乗物として
自動車に適用した場合を示したが、これに限らず沿岸を
航行する小型船舶などにも適用可能である。

【００８１】以上、本発明はその趣旨を逸脱しない範囲
で種々変形して実施することが可能である。

【００８２】

【発明の効果】以上説明したように、本発明によれば、
同乗者の個人性や状態変化を考慮して各種装備品が自動
的に制御されるため、ドライバが運転し易い状況を作り
出すことができ、安全性を高めるとともに、高度なサー
ビスを提供することが可能となる。

【００８３】また、各種判断で行われるサービスについ
て、ユーザーがサービスを選択するサービス選択手段を
有することで、同乗者へのサービス内容および安全性の
度合いを自由に選択することができることが可能とな
り、利便性の高めることができる。

【図面の簡単な説明】

【図１】本発明に係る乗物用人物認識装置の第１実施形
態における車載機を示す構成図。

【図２】図１の画像認識部を示すブロック構成図。

【図３】図１の判断部を示すブロック構成図。

【図４】図３の判断部における事例データベースを示す
説明図。

【図５】図１の各種装備品を示すブロック構成図。

【図６】第１実施形態の処理の流れを示すフローチャー
ト。

【図７】本発明に係る乗物用人物認識装置の第２実施形
態における画像認識部を示すブロック構成図。

【図８】第２実施形態における判断部の事例データベー
スを示す説明図。

【図９】第２実施形態の処理の流れを示すフローチャー
ト。

【図１０】本発明に係る乗物用人物認識装置の第３実施
形態における判断部の事例データベースを示す説明図。

【符号の説明】

１車載機２画像入力部（画像入力手段）３画像認識部（顔画像認識手段）３ａ画像認識部（顔画像認識手段）４車両センサ５各種装備品６判断部７機器制御部８カメラ９特徴量算出部１０部分空間算出部１１認識部１２登録情報保持部１３ＣＰＵ１４メモリ１５センサＩ／Ｏ１６状態情報メモリ１７事例データベース１８アラーム１９カーナビゲーションシステム２０エアコンコントローラ２１ドアコントローラ２２ウィンドウコントローラ２３オーディオコントローラ２４シートコントローラ２５目状態検出部２６口状態検出部２７音声情報取得部２８認識統合部

Claims

【特許請求の範囲】

【請求項１】乗物構造体内において同乗者の画像を取
得する画像入力手段と、前記同乗者の個人の特定を目的
として顔画像を画像認識する顔画像認識手段と、この顔
画像認識手段にて認識された顔画像に基づいて前記乗物
構造体内に設置された各種装備品を制御する制御手段と
を備えたことを特徴とする乗物用人物認識装置。
【請求項２】乗物構造体内において同乗者の画像を取
得する画像入力手段と、前記同乗者の状態変化を判定す
るために顔画像を認識する顔画像認識手段と、この顔画
像認識手段にて認識された顔画像の変化に基づいて前記
乗物構造体内に設置された各種装備品を制御する制御手
段とを備えたことを特徴とする乗物用人物認識装置。
【請求項３】請求項１または２記載の乗物用人物認識
装置において、顔画像認識手段の認識の結果、制御手段
で各種装備品のうち、いかなる装備品を制御するかを判
断する判断手段を有し、この判断手段は、ユーザーがサ
ービスの内容を選択するサービス選択手段を備えたこと
を特徴とする乗物用人物認識装置。