JP2005301742A - 運転者の外観認識システム - Google Patents

Abstract

【課題】 運転者の外観認証を複数行うシステムにおいて、赤外線照射手段の長寿命化を可能とする。
【解決手段】 運転者の外観認識システムの構成を、運転者の顔画像を取得するカメラ２と、運転者の顔に近赤外線を照射する近赤外ＬＥＤ３と、近赤外ＬＥＤ３に供給する電流量を制御するＬＥＤ電流制御回路４と、個人認証処理および閉眼検出処理を実行する画像処理回路５とを有する構成とする。そして、画像処理回路５が個人認証処理を実行する場合では、カメラ２の画像取得時における照明照度が高くなるように、ＬＥＤ電流制御回路４の電流設定値を高電流値とする。一方、画像処理回路５が閉眼検出処理を実行する場合では、カメラ２の画像取得時における照明照度が閉眼検出処理で必要な程度となるように、ＬＥＤ電流制御回路４の電流設定値を、個人認証処理の実行時よりも低い電流値とする。
【選択図】 図１

Description

本発明は、カメラで撮像した車両運転者の顔画像を利用して、運転者の外観を認識するシステムに関するものであり、例えば、自動車の盗難防止システム、ユーザの利便性向上システムもしくは事故防止システムに用いられるものである。

従来より、自動車の盗難防止システム、ユーザの利便性向上システム、事故防止システムとして、以下に説明するように、カメラで撮像した車両運転者の顔画像を利用した個人認証や閉眼検出等の運転者の外観を認識するシステムが提案されている。

顔画像を利用した個人認証を行うシステムとしては、例えば、ユーザ認識制御手段が、カメラが撮像した運転者の顔画像から瞳の虹彩パターンを抽出し、抽出した虹彩パターンと、あらかじめ登録された虹彩パターンとを照合するシステムがある（例えば、特許文献１参照）。

そして、両パターンが一致した場合、ユーザ認識制御手段により、この個人認証を自動車の盗難防止を目的とした場合では、エンジンの始動が許可され、一方、ユーザの利便性向上を目的とした場合では、車載機器等の環境がそのユーザに合わせた環境に設定される。

また、他の技術分野であるが、オフィス等への入退室管理などのセキュリティ確保を目的とした顔認証システムがある（例えば、非特許文献１参照）。

この顔認証システムでは、例えば、ユーザ認識制御手段が、カメラで取得した顔画像の陰影などを個人に依存する特徴量として捕らえ、この特徴量とあらかじめ登録された特徴量とを照合することで、個人認証を行っている。この特徴量とは、顔部品の周辺における濃淡のパターンや、濃淡の変化の傾斜量等である。

一方、顔画像を利用した閉眼検出システムとしては、例えば、閉眼検出手段が、カメラが撮像した顔画像から目の部分を抽出し、上まぶたと下まぶたの間の画素数から、開眼状態か閉眼状態かを時系列で検出するシステムがある。

このシステムでは、判定手段により、閉眼検出手段の検出結果に基づいて運転者が居眠り状態か否かが判定される（例えば、特許文献２参照）。

これらのような顔画像を利用したユーザの外観を認識するシステムは、一般に、発光ダイオード等の赤外線照射手段を有しており、カメラで画像を取得する際、この赤外線照射手段により、ユーザの顔に赤外線を照射している。
特開２０００−１６８５０２号公報 特開平６−３２１５４号公報 ＯＭＲＯＮ、"顔認証"、[online]、[平成16年3月19日検索]、インターネット、<URL:http://www.face-id.jp>

上記した顔画像を利用した個人認証と閉眼検出とを行うことができる１つのシステムを、車両に搭載することが考えられる。

しかし、この場合、上記した個人認証技術のうち、特に、顔画像内の陰影などを個人に依存する特徴量として捕らえる方式の個人認証を採用した場合、以下に説明する問題が生じる。

顔画像を利用した個人認証と閉眼検出とでは、上記したとおり、ともに、赤外線を照射しながら、カメラにより顔画像を取得する点が共通しているため、カメラ、赤外線照射手段等を共有することができる。

そして、赤外線照射手段としては、一般に、発光ダイオードのように、一定の電流が流されることで、一定の照明照度となるものが用いられる。また、電流供給手段により、赤外線照射手段に一定の電流が供給され、所定の照明照度が得られるように、電流供給手段では、赤外線照射手段に与える電流値があらかじめ設定されている。

ここで、顔画像を利用した個人認証および閉眼検出を行うシステムを、赤外線照射手段を共有させて車両に搭載する場合は、赤外線照射手段の照明照度が、高い照明照度が必要となる個人認証での照明照度となるように、赤外線照射手段に与える電流値を設定する必要がある。

個人認証を行うときの方が、閉眼検出を行うときよりも、高い照明照度が必要となるのは、以下の理由によるためである。顔画像内の陰影などを個人に依存する特徴量として捕らえる方式の個人認証システムでは、特徴量を厳密に検出する必要がある。

しかし、顔全体に光が当たっている場合と、例えば、夕方時に西日が運転者の顔の半分にしか当たらない場合とでは、顔画像から得られる特徴量が異なってしまう。このため、上記した個人認証システムでは、常に、顔画像から一定の特徴量が得られるようにある程度制御された照明環境が必要である。

一方、閉眼検出システムでは、眼の輪郭を捕らえ、眼の内部の動きを検出することができる程度の照明照度が得られていれば良い。

したがって、画像取得時における運転者の顔に照射する照明の必要な照度は、個人認証を行うときの方が、閉眼検出を行うときよりも、高い。このことから、赤外線照射手段に与える電流値を、個人認証が行われる際に必要な照明照度が得られるように、大きな値に設定する必要がある。

ところで、閉眼検出は、運転者の居眠り防止を目的するものである。このため、閉眼検出は、運転者が車両を運転している間、常時、行われる。

このことから、顔画像を利用した個人認証および閉眼検出を行うシステムを、同じ車両に搭載する場合では、運転者が車両を運転している間中、カメラにより運転者の顔画像を取得する度に、赤外線照射手段に対して、大きな電流を流さなければならないこととなる。

一般に、発光ダイオード等の赤外線照射手段は、大きな電流が与えられるほど、寿命が短くなる。このことから、顔画像を利用した個人認証および閉眼検出を行うシステムを車両に搭載した場合では、赤外線照射手段の寿命が短くなってしまうという問題がある。

なお、このような問題は、個人認証と閉眼検出とを行うシステムを車両に搭載する場合だけに限らず、運転者の外観認識に用いられる顔画像における必要な照明照度が異なる外観認証を複数行うシステムにおいて、発生するものである。そして、このような問題は、特に、個人認証システムのように、顔画像の特徴量を厳密に検出する必要がある機能と、閉眼検出のように、顔画像の特徴量を厳密に検出する必要がない機能とを有するシステムを車両に搭載する場合に、顕著となる。

また、赤外線照射手段の長寿命化の方法としては、赤外線照射手段に与える電流量を小さくする方法が考えられる。しかし、この方法では、赤外線照射手段の照明照度が低いために、個人認証時の検出精度が低下してしまうという問題が生じるので、この方法は好ましくない。

本発明は、上記点に鑑み、運転者の外観認証を複数行うシステムであって、赤外線照射手段の長寿命化が可能である運転者の外観認識システムを提供することを目的とする。

上記目的を達成するため、請求項１に記載の発明では、運転者の顔画像を取得するカメラ（２）と、カメラ（２）が顔画像を取得する際に、運転者の顔に赤外線を照射し、供給される電流量によって照明照度が変化する赤外線照射手段（３）と、カメラ（２）が取得した顔画像に基づいて、運転者の外観を認識する第１の運転者外観認識処理および第１の運転者外観認識処理と異なる第２の運転者外観認識処理を実行し、かつ、カメラ（２）、赤外線照射手段（３）を制御する外観認識制御手段（５）と、外観認識制御手段（５）が第１の運転者外観認識処理を実行する場合では、赤外線照射手段（３）に供給する電流の設定値を第１の設定値とし、外観認識制御手段（５）が第２の運転者外観認識処理を実行する場合では、赤外線照射手段（３）に供給する電流の設定値を、第１の設定値と異なる大きさの第２の設定値とする制御を行う電流量制御手段（４）とを備えることを特徴としている。

上記発明が解決しようとする課題の欄で説明したように、電流量を２つ以上の設定値に可変できる制御手段を有していないシステムでは、電流供給手段から赤外線照射手段に供給される電流量は一定である。そして、この電流量は、赤外線照射手段の照明照度が、第１、第２の乗員外観認識処理のうち、高い照明照度が必要な処理の照明照度となるように、設定される。

このため、電流量を２つ以上の設定値に可変できる制御手段を有していないシステムでは、高い照明照度が必要でない他方の乗員外観認識処理のための画像取得時においても、高い照明照度が必要な乗員外観処理と同様に、赤外線照射手段に対して大きな電流を与えることなる。

これに対して、本発明では、電流制御手段により、赤外線照射手段に供給する電流量を、乗員外観認識処理の種類ごとに、電流を変更することができる。このため、本発明では、カメラによる顔画像の取得時における照明照度を、各種の乗員外観認識処理で必要な照明照度に変更することができる。

例えば、第１の乗員外観処理の方が、第２の乗員外観処理よりも高い照明照度が必要な場合、本発明によれば、電流量制御手段により、第１の乗員外観処理を行うときでは、画像取得時における照明照度が高くなるように、赤外線照射手段に供給する電流量を大きくし、第２の乗員外観処理を行うときでは、第２の乗員外観処理に必要な程度の照明照度となるように、赤外線照射手段に供給する電流量を第１の乗員外観処理を行うときよりも、小さくすることができる。

このように、本発明によれば、第１の乗員外観処理と同程度の高い照明照度が必要でない第２の乗員外観処理のための画像取得時において、赤外線照射手段に供給する電流量を、電流量制御手段を備えていないシステムと比較して、低減することができる。

この結果、本発明によれば、電流量制御手段を備えていないシステムと比較して、赤外線照射手段の長寿命化が可能となる。

例えば、請求項２に示すように、外観認識制御手段（５）の構成を、乗車検出手段（１）から乗員が乗車した旨の信号が入力された場合に、電流量制御手段（４）に対して、赤外線照射手段（３）に供給する電流の設定値を第１の設定値とする旨の指示信号を出力する第１の出力手段（１４）と、第１の運転者外観認識処理を実行する第１の実行手段（１７）と、第１の実行手段（１７）による第１の運転者の外観認識処理が完了したか否かを判定する判定手段（１８）と、判定手段（１８）により、第１の運転者の外観認識処理が完了したと判定された場合、電流量制御手段（４）に対して、赤外線照射手段（３）に供給する電流の設定値を、第１の設定値よりも低い値である第２の設定値とする旨の指示信号を出力する第２の出力手段（１９）と、第２の運転者外観認識処理（１７）を実行する第２の実行手段（２２）とを有する構成とすることができる。

請求項３に記載の発明では、外観認識制御手段（５）は、第１の実行手段（１７）が第１の運転者外観認識処理を開始するときに、時間計測を開始する時間計測手段（３１）と、判定手段（１８）により、第１の運転者外観認識処理が完了していないと判定された場合に、時間計測手段（３１）の計測時間が、所定時間を超えたか否かを判定し、計測時間が所定時間を経過した場合に、第１の実行手段（１７）を停止させる停止手段（３２）とを有することを特徴としている。

時間計測手段と停止手段とを有していない運転者の外観認識システムでは、判定手段で完了したと判定されない限り、第１の運転者外観認識処理が繰り返し実行されることになる。この場合、近赤外ＬＥＤ３の高負荷状態が継続されているため、近赤外ＬＥＤ３の長寿命化の観点から好ましくない。

これに対して、本発明によれば、近赤外ＬＥＤ３の高負荷状態が継続されるのを防止することができる。これにより、本発明によれば、時間計測手段と停止手段とを有していない運転者の外観認識システムと比較して、近赤外ＬＥＤ３の長寿命化がより可能となる。

請求項４に記載の発明では、外観認識制御手段（５）は、外光照度検出手段（６）から入力された検出結果が、規定値を超えていない場合、電流量制御手段（４）に対して、赤外線照射手段（３）に供給する電流の設定値を第３の設定値とする旨の指示信号を出力する第３の出力手段（４３）と、外光照度検出手段（６）から入力された検出結果が、規定値を超えている場合、電流量制御手段（４）に対して、赤外線照射手段（３）に供給する電流の設定値を第３の設定値よりも小さな値である第４の設定値とする旨の指示信号を出力する第４の出力手段（４４）とを備えることを特徴としている。

このように、本発明では、運転者の着座位置近傍に照射されている外光の照度が規定値を超えている場合、電流量制御手段の電流設定値を、規定値を超えていない場合の設定値よりも小さくしている。したがって、本発明によれば、常に、赤外線照射手段に同じ大きさの電流を供給するシステムと比較して、赤外線照射手段の長寿命化が可能となる。

なお、請求項５に示すように、画像処理回路５としては、第１の運転者外観認識処理として、例えば、個人認証処理を実行するものを用いることができる。また、画像処理回路５としては、第２の運転者外観認識処理として、例えば、閉眼検出、顔向き検出、瞳孔の向き検出の全てもしくはいずれかを実行するものを用いることができる。

なお、上記各手段の括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。

（第１実施形態）
本実施形態の運転者の外観認識システムは、上記発明が解決しようとする課題の欄で説明したシステムと同様に、個人認証と閉眼検出とを実行するシステムである。

図１に、本発明の第１実施形態における運転者の外観認識システムの構成を示す。このシステムは、図１に示すように、乗車検出手段としての重量検知スイッチ１と、カメラ２と、赤外線照射手段としての近赤外線発光ダイオード３と、電流量制御手段としての近赤外線発光ダイオードの電流制御回路４と、外観認識制御手段としての画像処理回路５とを備えている。なお、以下では、近赤外線発光ダイオード３を近赤外ＬＥＤ３と呼び、近赤外線発光ダイオードの電流制御回路４をＬＥＤ電流制御回路４と呼ぶ。

重量検知スイッチ１は、運転者の存在を検知するためのものであり、運転席のシート座面に組み込まれている。重量検知スイッチ１は、運転者を検知したとき、画像処理回路５にその旨の信号を出力するようになっている。

カメラ２は、運転席に着座している運転者の顔画像を撮影するものであり、例えば、近赤外線カメラ２が用いられている。また、カメラ２は、自動車内部のうち、運転席に着座している運転者の顔を撮れる位置に配置されている。具体的には、カメラ２は、図１に示すように、インストルメントパネル内の計器盤に設置されており、目立たないように奥まった場所に位置している。

なお、カメラ２を、例えば、インストルメントパネル中央のエアコンのフェイス吹き出し口近傍に設置することもできる。しかし、カメラ２の設置場所としては、運転者の顔を正面から撮れる位置が適しているため、インストルメントパネルの中央よりも、運転席の前に位置する場所が好ましい。

このカメラ２は、画像処理回路５の作動指示信号を受けて作動し、取得した運転者の顔画像を画像処理回路に出力するようになっている。

近赤外ＬＥＤ３は、運転者の顔に向けて近赤外線を照射するものである。近赤外ＬＥＤ３も、カメラ２と同様に、インストルメントパネル内の計器盤に設置されており、カメラ２の近傍に配置されている。本実施形態では、複数の近赤外ＬＥＤ３が、カメラ２の左右両脇に配置されている。

ここで、複数の近赤外ＬＥＤ３をカメラ２の左右両脇に配置しているのは、運転者の顔に対して、近赤外線を左右対称、すなわち、均一に近赤外線を照射するためである。

近赤外ＬＥＤ３は、ＬＥＤ電流制御回路４から電流が供給されることで、点灯するようになっている。また、近赤外ＬＥＤ３は、図示しない制御回路により、カメラ２のシャッターと連動して点灯するように制御されている。例えば、カメラ２が取得する画像は、１秒間に３０フレームである。したがって、カメラ２が１フレームの画像を取得するタイミングで近赤外ＬＥＤ３は点灯する。すなわち、近赤外ＬＥＤ３は、カメラ２のシャッターが開くときに合わせて、点灯を開始し、カメラ２のシャッターが閉じると点灯を終了するようになっている。

ＬＥＤ電流制御回路４は、近赤外ＬＥＤ３に流す電流量を制御する回路であり、車両に搭載されている。ＬＥＤ電流制御回路４は、近赤外ＬＥＤ３に与える電流の設定電流値を複数の大きさの電流値に切り替えることができるようになっている。

この複数の大きさの電流値とは、画像処理回路５が有する機能に応じて設定された電流値のことである。本実施形態では、個人認証を実行する場合に近赤外ＬＥＤ３に対して高電流を与え、閉眼検出を実行する場合に近赤外ＬＥＤ３に対して低電流を与えるようになっている。なお、この低電流の電流値は、個人認証を実行するときよりの電流の電流値よりも小さいが、閉眼検出を実行するには十分な照明照度が得られる大きさである。

ＬＥＤ電流制御回路４は、画像処理回路５の指示信号を受けて、近赤外ＬＥＤ３に与える電流値の設定変更を行うようになっている。

また、ＬＥＤ電流制御回路４は、設定された電流値を、画像処理回路５の指示信号を受けて、近赤外ＬＥＤ３の照明照度を微調整するように、変更することもできるようになっている。

なお、この微調整は、カメラ２が取得した顔画像の照明照度が、所定範囲から外れた場合に、フィードバックしてカメラ２が顔画像を取得する際に行われるものである。すなわち、この微調整は、顔画像の照明照度が低すぎたり、高すぎたりした場合に、初めて行われる機能であり、個人認証処理や閉眼検出処理に応じて、設定電流値を変更する上記した機能とは異なる。

画像処理回路５は、個人認証処理や閉眼検出処理を実行する機能を有するものである。この個人認証処理および閉眼検出処理が本発明の運転者外観認識処理に相当する。また、個人認証処理が本発明の第１の運転者外観認識処理に相当し、閉眼検出処理が本発明の第２の運転者外観認識処理に相当する。

画像処理回路５は、車両に搭載されており、主に、ＤＳＰ（Digital Signal Processor）、ＣＰＵ、メモリ、電圧変換回路を有している。

ＤＳＰは、ＣＰＵからの作動指示信号を受けて、カメラ２から入力された顔画像を処理して、個人認証や閉眼検出を実行するものである。

ＣＰＵは、システム全体を制御するものである。すなわち、ＣＰＵは、カメラ２、ＬＥＤ電流制御回路４、ＤＳＰに対してそれぞれ作動指示信号を出力する。これにより、ＬＥＤ電流制御回路４が設定電流値を変更したり、カメラ２が運転者の顔画像を取得して、その顔画像を画像処理回路５に出力したり、ＤＳＰが個人照合や閉眼検出を実行したりする。

メモリには、カメラ２から入力された顔画像が一時的に記憶される。また、メモリには、個人認証に用いられる運転者の特徴量があらかじめ記憶されている。ＤＳＰは、例えば、個人認証の際では、このメモリに一時的に記憶された顔画像を処理して、特徴量を検出し、検出した特徴量を、このメモリにあらかじめ記憶されている運転者の特徴量と照合するようになっている。

電圧変換回路は、バッテリから供給される電圧を必要な電圧に変換するものである。この電圧変換回路を介して、バッテリから、カメラ２、近赤外ＬＥＤ３、ＬＥＤ電流制御回路４、画像処理回路５のＣＰＵ、ＤＳＰ等に対して、必要な大きさの電圧が供給される。

また、画像処理回路５は、図示していないが、重量検知スイッチ１から乗員検知信号がＣＰＵに入力されるようになっている。そして、画像処理回路５は、ドアがロック状態からアンロック状態となることで、その旨の信号が図示しないドアＥＣＵから入力された場合に、スタンバイ状態となる。さらに、画像処理回路５は、重量検知スイッチ１から乗員検知信号が入力されたとき、ＣＰＵから、カメラ２、ＬＥＤ電流制御回路４、ＤＳＰに対して起動指示信号を出力するようになっている。

次に、このように構成された運転者の外観認識システムの作動を説明する。図２に、画像処理回路５が実行する運転者の外観認識処理のフローチャートを示す。

まず、運転者がドアをロック状態からアンロック状態としたとき、その旨の信号がドアＥＣＵから画像処理回路５に入力される。これにより、画像処理回路５は、バッテリからの給電により、準備状態となる。その後、運転者が運転席に着座したとき、ステップ１１で、重量検知スイッチ１から画像処理回路５に乗員検知信号が入力される。

そして、ステップ１２では、乗員検知信号を受けて、画像処理回路５のＣＰＵ、ＤＳＰ等が起動する。

続いて、ステップ１３では、ＣＰＵからカメラ２、ＬＥＤ電流制御回路４に向けて、起動指示信号が出力される。これにより、カメラ２、ＬＥＤ電流制御回路４が起動する。

続いて、ステップ１４では、ＣＰＵからＬＥＤ電流制御回路４に向けて、高電流出力を指示する指示信号が出力される。ＬＥＤ電流制御回路４は、この指示信号を受けて、近赤外ＬＥＤ３に与える電流の設定値を高電流値に設定する。このステップ１４が本発明の第１の出力手段に相当する。

次に、ステップ１５で、個人認証処理がスタートされる。すなわち、ＣＰＵからカメラ２、近赤外ＬＥＤ３に対して、運転者の顔画像を取得する旨の指示信号が出力される。これにより、近赤外ＬＥＤ３によって運転者の顔に近赤外線が照射されるとともに、カメラ２によって運転者の顔が撮影される。

このとき、ＬＥＤ電流制御回路４の電流値は高電流値に設定されているため、近赤外ＬＥＤ３には、ＬＥＤ電流制御回路４から高電流が供給される。したがって、カメラ２は、高い照明照度が得られている環境下における運転者の顔画像を取得することができる。

そして、ステップ１６で、カメラ２が取得した顔画像が、カメラ２から出力され、画像処理回路５に入力される。

続いて、ステップ１７では、ＤＳＰにより、画像処理回路５に入力された顔画像を用いた個人認証処理が実行される。この顔画像処理は、例えば、非特許文献１と同様の処理である。すなわち、ＤＳＰが、ＣＰＵからの指示を受けて、顔画像から顔の位置を検出し、特徴量を検出する領域となる顔の特徴点を複数検出し、各特徴点から運転者固有の特徴量を抽出する。そして、ＤＳＰは、その抽出した特徴量とメモリにあらかじめ記憶されている特徴量とを照合する。このステップ１７が本発明の第１の実行手段に相当する。

そして、ステップ１８で、認証が完了したか否かが判定される。すなわち、ステップ１７の照合がＯＫであるか否かを、ＤＳＰが判定する。このステップ１８が本発明の判定手段に相当する。

ＤＳＰがＯＫと判定した場合、図示しないエンジンＥＣＵに対して、ＣＰＵからエンジン始動許可の指示信号が出力される。これにより、画像処理回路５による個人認証処理が終了する。

一方、ＤＳＰがＮＯと判定した場合、エンジン始動不許可となり、ステップ１５に戻り、ステップ１８でＯＫと判定されるまで、ステップ１５〜１７が繰り返される。

このとき、カメラ２が取得した顔画像の照明照度が原因で照合がＯＫでなかった場合、画像処理回路５のＣＰＵからＬＥＤ電流制御回路４に対して、近赤外ＬＥＤ３に与える電流の電流値を、個人認証時の設定電流値より少し高くしたり、低くしたりする等の指示信号が出力される。

これにより、近赤外ＬＥＤ３の照明照度が微調整され、近赤外ＬＥＤ３の照明照度が、個人認証において適切な照明照度に調整される。また、画像処理回路５のＣＰＵからカメラ２に指示信号が出力され、カメラ２が絞りを調整することで、顔画像の照明照度を調整することもできる。

なお、このような微調整は、ステップ１８でＮＯと判定された場合だけに限らず、ステップ１６においても同様に行われる。すなわち、メモリに、個人認証処理で使用する顔画像に必要な照明照度の範囲があらかじめ記憶させておき、ＤＳＰが、画像処理回路５に入力された顔画像の照明照度が、メモリに記憶された照明照度の範囲内か否かを判定する。そして、入力された顔画像の照明照度が適切でないとＤＳＰが判定した場合、ＣＰＵからＬＥＤ電流制御回路４やカメラ２に対して、指示信号が出力されることで、近赤外ＬＥＤ３の照明照度や、カメラ２の絞り値が調整される。

次に、ステップ１８で、ＯＫと判定され、ＣＰＵからエンジン始動許可の指示信号が出力された後、ステップ１９では、個人認証処理が完了したことを受けて、閉眼検出処理の準備がされる。

すなわち、ＣＰＵからＬＥＤ電流制御回路４に向けて、低電流出力を指示する指示信号が出力される。ＬＥＤ電流制御回路４は、この指示信号を受けて、近赤外ＬＥＤ３に与える電流の設定値を低電流値に設定する。このステップ１９が本発明の第２の出力手段に相当する。

続いて、ステップ２０で、閉眼検出処理がスタートされる。この閉眼検出処理は、運転者が車両を運転している間中、一定周期で繰り返し実行される。

具体的には、ステップ１５と同様に、画像処理回路５のＣＰＵからカメラ２、近赤外ＬＥＤ３に対して、運転者の顔画像を取得する旨の指示信号が出力される。このとき、ステップ１５と異なり、ＬＥＤ電流制御回路４の電流値は低電流値に設定されているため、近赤外ＬＥＤ３は、ＬＥＤ電流制御回路４から低電流が供給される。

そして、ステップ２１で、カメラ２が取得した顔画像が、カメラ２から画像処理回路５に出力され、画像処理回路５に入力される。

続いて、ステップ２２では、ＤＳＰにより、画像処理回路５に入力された顔画像を用いた閉眼検出処理が実行される。この閉眼検出処理は、例えば、特許文献２と同様の処理である。この閉眼検出処理では、ステップ１７の個人認証処理で使用されるソフトウェアと異なるソフトウェアが用いられる。このステップ２２が本発明の第２の実行手段に相当する。

例えば、画像処理回路５のＣＰＵからの指示を受けて、ＤＳＰが、カメラ２から入力された顔画像から顔の位置を検出し、さらに、目の部分を抽出し、上まぶたと下まぶたの間の黒色画素数を検出する。このとき、顔の位置検出は、ステップ１６で得られた結果を利用することもできる。

そして、ＤＳＰは、運転者の眼が開眼状態か閉眼状態かを時系列で検出する。ＤＳＰは、この時系列で検出した開閉眼状態から、運転者が居眠りの状態か否かを判定する。この判定は、周期的に行われる。このとき、一般に、人がまばたきをしたとき、まぶたが閉じている時間は、例えば、０．１秒である。そこで、例えば、０．４秒以上まぶたが閉じていた場合、ＤＳＰは運転者が居眠り状態であると判定する。

なお、居眠りの状態か否かの判定においては、ＤＳＰに対して以下のように判定させることもできる。例えば、運転者が運転を開始し始めてからの５分間における運転者のまばたきの早さや、まぶたを閉じている時間を測定する。この測定結果を、画像処理回路５のメモリにあらかじめ記憶しておく。そして、ＤＳＰに、閉眼検出処理時の検出結果と、メモリにあらかじめ記憶された測定結果とを比較させることで、居眠りの状態か否かを判定させることもできる。

そして、ＤＳＰが居眠り状態と判定した場合、ＤＳＰから居眠り状態である旨の信号を受けて、ＣＰＵが図示しないブザーに報知指示信号を出力する。これにより、ブザーから警告音が発せられ、運転者に対して、警告がなされる。

一方、ＤＳＰが居眠り状態でないと判定した場合、ＣＰＵはブザーに報知指示信号を出力せずに、この周期における閉眼検出処理が終了する。

１つの周期における閉眼検出処理が終了した後、ステップ２３で、画像処理回路５のＣＰＵによって、閉眼検出処理自体を終了すべきか否かが判定される。すなわち、エンジンが停止したか否かが判定される。この判定では、イグニッションスイッチからエンジン停止の信号が入力されたか否かが判定される。そして、エンジンが停止したと判定された場合、ステップ２４に進み、エンジンが停止していないと判定された場合は、ステップ２１で、閉眼検出処理が続けられる。

ステップ２４では、ＣＰＵから停止指示信号がカメラ２、近赤外ＬＥＤ３、ＬＥＤ電流制御回路４およびＤＳＰに出力される。これにより、本システムが停止し、スタンバイ状態となる。さらに、運転者がドアを開け、ドアロックをして、車両から離れた場合、ドアＥＣＵからドアロック状態である旨の信号が画像処理回路５に入力され、ＣＰＵの指示により、本システムの電源がオフとなる。

以上説明したように、本実施形態の運転者の外観認識システムは、カメラ２と、近赤外ＬＥＤ３と、ＬＥＤ電流制御回路４と、画像処理回路５とを有した構成となっている。

そして、画像処理回路５は、顔画像における必要な照明照度が高い個人認証処理と、顔画像における必要な照明照度が個人認証よりも低い閉眼検出処理とを実行する機能を有している。

また、ＬＥＤ電流制御回路４は、画像処理回路５の指示信号を受けて、画像処理回路５が個人認証処理を実行する場合に、高近赤外ＬＥＤ３に供給する電流量を大きな電流値に設定し、画像処理回路５が閉眼検出処理を実行する場合に、近赤外ＬＥＤ３に供給する電流量を、個人認証処理を実行する場合よりも小さな電流値に設定する機能を有している。

すなわち、本実施形態のシステムは、画像処理回路５が個人認証処理を実行する場合では、カメラ２の画像取得時における照明照度が高くなるように、ＬＥＤ電流制御回路４により、近赤外ＬＥＤ３に大電流を供給することができる。一方、画像処理回路５が閉眼検出処理を実行する場合、本実施形態のシステムは、カメラ２の画像取得時における照明照度が閉眼検出処理で必要な程度となるように、ＬＥＤ電流制御回路４により、近赤外ＬＥＤ３に供給する電流量を、個人認証処理を実行するときよりも、低減させることができる。

上記発明が解決しようとする課題の欄で説明したような電流量制御手段を有していないシステムでは、近赤外ＬＥＤに対して所定の大きさの電流を供給するだけであったが、本実施形態では、このように画像処理回路５の機能に応じて、電流値を変更できる。したがって、本実施形態によれば、電流量制御手段を有していないシステムと比較して、近赤外ＬＥＤ３の長寿命化が可能となる。

なお、本実施形態では、画像処理回路５の個人認証処理の実行時では、画像処理回路５に対して、大電流を供給しているが、個人認証は、通常、運転者の乗車時に１回だけ実施され、数秒で完了するため、近赤外ＬＥＤ３に大電流を流しても寿命への影響は少ないと考えられる。

（第２実施形態）
本実施形態は、第１実施形態の画像処理回路５にタイマー機能を追加し、画像処理回路５に個人認証処理の継続時間を監視する機能を追加したものである。なお、このタイマーは、ステップ１５から経過した時間を計測するものである。また、このタイマーが本発明の時間計測手段に相当する。

また、第１実施形態では、エンジン始動許可を目的として、画像処理回路５が個人認証処理を実行する場合を例として説明したが、本実施形態では、車載機器等の環境をユーザに合わせた環境設定とすることを目的として、画像処理回路５が個人認証処理を実行する場合を例として説明する。

図３に、本発明の第２実施形態における画像処理回路５が実行する運転者の外観認識処理のフローチャートを示す。

本実施形態の画像処理回路５の運転者の外観認識処理は、第１実施形態の処理に対して、ステップ１４とステップ１５の間に、タイマースタートのステップ３１を追加し、ステップ１８でＮＯと判定された場合に、タイムオーバか否か判定するステップ３２を追加したものである。

すなわち、ステップ１４が実行された後、ステップ３１で、画像処理回路５が有するタイマーがスタートされる。そして、タイマーがスタートされるとすぐに、ステップ１５で、個人認証処理がスタートされる。

次に、ステップ１６、１７、１８が、第１実施形態と同様に、実行される。そして、ステップ１８で、ＹＥＳと判定された場合、第１実施形態と同様に、ステップ１９に進む。一方、ステップ１８で、ＮＯと判定された場合、ステップ３２に進む。

ステップ３２では、タイマーが計測している時間が、所定時間を経過したか否かが判定される。この所定時間は任意に設定されるものである。また、この所定時間は、画像処理回路５のメモリにあらかじめ記憶されている。所定時間を経過していなければ、ＮＯと判定され、ステップ１５に進み、再び、ステップ１６〜１８が実行される。

一方、ステップ３２で、タイマーが計測している時間が、所定時間を経過していれば、ＹＥＳと判定され、個人認証処理を完了せずに、ステップ１９に進む。本実施形態では、このように、所定時間を経過しても、照合がＯＫとならなかった場合は、個人認証処理を強制的に停止し、次のステップに進む。このステップ３２が本発明の停止手段に相当する。その後は、第１実施形態と同様である。

なお、タイマーは、ステップ１８で認証完了と判定された場合もしくはステップ３２でタイムオーバと判定された場合、すなわち、個人認証が終了した場合にリセットされる。

次に、本実施形態と第１実施形態とを比較する。第１実施形態では、画像処理回路５がタイマー機能を有していないため、ステップ１８で照合ＯＫと判定されるまで、ステップ１５〜１８の個人認証処理が繰り返し実行されていた。このような状態は、近赤外ＬＥＤ３に高電流が流される状態、すなわち、近赤外ＬＥＤ３の高負荷状態が継続されているため、近赤外ＬＥＤ３の長寿命化の観点から好ましくない。

これに対して、本実施形態では、上記したように、画像処理回路５において、タイマーにより個人認証の継続時間を監視し、個人認証が一定時間内に完了しない場合に、個人認証処理を終了するようになっている。

これにより、本実施形態によれば、近赤外ＬＥＤ３の高負荷状態が継続されるのを防止することができ、近赤外ＬＥＤ３の寿命が低下するのを抑制することができる。言い換えると、本実施形態によれば、第１実施形態と比較して、近赤外ＬＥＤ３の長寿命化がより可能となる。

（第３実施形態）
図４に本発明の第３実施形態における運転者の外観認識システムの構成を示す。運転者が昼間に車両を運転する場合、通常、運転者の顔に外光が照射されている。この場合、近赤外ＬＥＤ３が運転者に赤外光を照射すると、運転者の顔には、外光と近赤外ＬＥＤ３からの赤外光の両方が照射されることとなる。外光の照度が強い場合、近赤外ＬＥＤ３の照明照度を抑えても、運転者の顔において、十分な照明照度を得ることができる。

そこで、本実施形態では、第１実施形態のシステムに対して、外光照度センサ６を追加し、第１実施形態の画像処理回路５およびＬＥＤ電流制御回路４に対して、運転者の顔を照らす外光の照度が強い場合に、近赤外ＬＥＤ３に供給する電流量を抑える制御機能を追加している。

この外光照度センサ６は、運転者の顔を照らす外光の照度を検出するものであり、運転者の顔を照らす外光の照度を検出できる位置に配置される。外光照度センサ６は、例えば、図４に示すように、インストルメントパネルの上方に配置される。また、外光照度センサ６は、検出結果を画像処理回路５に出力するようになっている。

そして、画像処理回路５は、外光照度センサ６から入力された検出結果に基づいて、ＬＥＤ電流制御回路４に対して、近赤外ＬＥＤ３に供給される電流量が適切となるように、電流量を設定する指示信号を出力するようになっている。

次に、画像処理回路５が実行する運転者の外観認識処理について説明する。図５に、本発明の第３実施形態における運転者の外観認識処理のフローチャートの一部を示す。

本実施形態の処理は、第１実施形態で説明した各ステップのうち、ステップ１４を図５に示すステップ４１〜４４に変更したものである。

図２中のステップ１１〜１３が実行された後、図５に示すように、ステップ４１で、外光照度センサ６から検出結果が入力される。

ステップ４２では、外光照度センサ６から入力された検出照度が規定値以上か否かが判定される。

このとき、外光照度センサ６から入力された照度が規定値以上でない場合、ＮＯと判定され、ステップ４３に進む。そして、ステップ４３で、ＬＥＤ電流制御回路４に対して、近赤外ＬＥＤ３に高電流出力をする旨の指示信号が出力される。このステップ４３が本発明の第３の出力手段に相当する。

この指示信号を受けて、ＬＥＤ電流制御回路４は、近赤外ＬＥＤ３に与える電流の設定値を高電流値に設定する。なお、このステップ４３は、第１実施形態で説明した図２中のステップ１４と同じである。また、ここでいう高電流値は、個人認証を実行するために必要な照明照度を得るために、近赤外ＬＥＤ３に供給する電流の設定値のことであり、第１実施形態で説明した高電流値と同じである。その後、図２中のステップ１９に進む。

一方、ステップ４２で、外光照度センサ６から入力された検出照度が規定値以上である場合、ＹＥＳと判定され、ステップ４４に進む。そして、ステップ４４で、ＬＥＤ電流制御回路４に対して、近赤外ＬＥＤ３に低電流出力をする旨の指示信号が出力される。このステップ４４が本発明の第４の出力手段に相当する。

この指示信号を受けて、ＬＥＤ電流制御回路４は、近赤外ＬＥＤ３に与える電流の設定値を低電流値に設定する。

ここで、低電流値とは、ステップで設定する高電流値と比較して、低い電流値のことである。低電流値は、外光と近赤外ＬＥＤ３の赤外光とによる運転者の顔における照明照度が、個人認証を実行するために必要な照明照度となるように、設定される。また、ステップで判断基準となる照度の規定値は、任意に設定される値であり、この規定値に基づいて、低電流値が設定される。

その後、図２中のステップ１９に進む。

このように、本実施形態のシステムは、運転者の顔近傍の照度を測定する外光照度センサ６を有しており、運転者の顔を照らす外光の照度が強いと判定された場合に、画像処理回路５が、近赤外ＬＥＤ３に供給する電流量を抑えるように、ＬＥＤ電流制御回路４の電流設定値を制御するようになっている。

これにより、本実施形態によれば、第１実施形態のように、個人認証の際、常に、近赤外ＬＥＤ３に高電流を供給するシステムと比較して、近赤外ＬＥＤ３に供給する電流を低減することができる。

この結果、本実施形態によれば、第１実施形態のようなシステムと比較して、近赤外ＬＥＤ３の長寿命化がより可能となる。

また、本実施形態では、以下の理由によっても、近赤外ＬＥＤ３の長寿命化が可能となっている。すなわち、近赤外ＬＥＤ３は、一般に、許容電流の温度依存性が高く、雰囲気温度が高くなるほど許容電流が下がる。この許容電流とは、所定時間使用するために許容される電流量のことである。このため、許容電流を超える大きさの電流を近赤外ＬＥＤ３に供給して、近赤外ＬＥＤ３を使用すると、極端に寿命が短くなる。

したがって、自動車室内の温度が高い場合では、近赤外ＬＥＤ３に供給する電流の電流量を抑える必要がある。

一方、自動車室内の温度は、主に直射日光の入射によって上昇するため、自動車室内に強い外光が入射している場合、車室内温度が高くなると考えられる。

そして、本実施形態では、外光照度センサ６による検出結果が、規定値以上である場合、つまり、自動車室内の温度が高い場合に、ＬＥＤ電流制御回路４の設定電流値を低電流値としている。

このため、本実施形態によれば、運転者の顔において、十分な照明照度を得ながら、近赤外ＬＥＤ３の長寿命化が実現できる。

なお、外光照度センサ６の近赤外成分への感度を高めるために、外光照度センサ６に可視光カットフィルタを装着することもできる。例えば、可視光カットフィルムで外光照度センサ６を覆うこともできる。

また、本実施形態では、第１実施形態で説明した図２中のステップ１４を、図５に示すステップに変更する場合を例として説明したが、図２中のステップ１９を本実施形態のように、図５に示すステップに変更することもできる。すなわち、
また、ステップ４２では、画像処理回路５に、規定値以上か否かを判定させていたが、単に規定値を超えているか否かを判定させることもできる。

（他の実施形態）
（１）上記した各実施形態では、画像処理回路５が個人認証を行う機能と、閉眼検出を行う機能とを有する場合を例として説明したが、個人認証および閉眼検出は、画像処理回路５が有する機能の一例であり、画像処理回路５が他の機能を有する場合においても、本発明を適用することができる。

すなわち、画像処理回路５が、顔画像を利用した運転者の外観を認識する外観認識処理を行う機能を複数有する場合であって、それらの外観認識処理において、運転者の顔における必要な照明照度が異なる場合であれば、本発明を適用することもできる。

このような機能として、個人認証および閉眼検出を行う機能の他、例えば、わき見防止を目的とした運転者の顔の向きを検出する機能、眼の瞳孔の向きを検出する機能を画像処理回路５に持たせることができる。

前者の機能では、例えば、カメラ２が取得した運転者の顔画像から、眼や鼻の位置が検出され、さらに、その検出結果より、眼と眼との間隔や、２つの眼と鼻の位置を結ぶことで形成される三角形の形状が検出される。

ここで、カメラ２が運転者の顔を正面から撮影している場合、カメラ２が取得した顔画像において、２つの眼の間隔は、運転者の顔が正面を向いているときの方が、横を向いているときよりも長いことや、運転者の２つの眼と鼻の位置を結ぶことで形成される三角形は、運転者の顔が正面を向いているときと、横を向いているときとでは、形が異なる。

そこで、この眼と眼との間隔や、三角形の形状の変化から、運転者の顔の向きが検出される。この結果から、運転者がわき見をしているか否かが判定される。

また、後者の機能では、例えば、カメラ２が取得した運転者の顔画像から、眼の位置が検出され、さらに、その検出結果より、目尻と目頭と黒目の位置が検出される。そして、この検出結果より、黒目の中心がどこを向いているか、すなわち、目の瞳孔の向きが検出される。この結果から、運転者がわき見をしているか否かが判定される。

これらの機能では、顔画像を利用する点が共通しているが、顔画像から抽出する部分等が異なる。このため、これらの機能を厳密に比較すると、画像処理回路５がこれらの機能を実行する場合、顔画像における必要な照明照度は、機能ごとに異なる。

したがって、これらの機能のうち、少なくとも２つの機能を画像処理回路５が有している場合であれば、本発明を適用することができる。

また、上記した４つの機能を大まかに比較すると、特に、個人認証を行う機能では、上記したように、顔画像の特徴量を厳密に検出する必要がある。これに対して、残りの３つの機能では、上記したように、顔画像の特徴量を厳密に検出する必要がなく、顔部品の輪郭、位置等が検出できれば十分である。

このため、上記した４つの機能のうち、個人認証を行う機能が、最も、高い照明照度が必要であり、残りの３つの機能は、個人認証を行う機能と比較して、必要な照明照度が低い。

したがって、画像処理回路５が個人認証を行う機能と、上記した他の機能のいずれかを有するシステムに対して、本発明を適用した場合に、最も大きな発明の効果を得ることができる。

（２）上記した各実施形態では、閉眼検出方法として、上まぶたと下まぶたの間の連続黒色画素数から開閉眼を判別する方法を採用する場合を説明したが、他の方法を採用することもできる。例えば、閉眼検出方法として、特許文献２の従来の技術の欄に記載されているような目の虹彩を検出することによって開閉眼を判別する方法を採用することもできる
（３）図１、４では、ＬＥＤ電流制御回路４と画像処理回路５とを別々の装置として記載しているが、ＬＥＤ電流制御回路４と画像処理回路５とを１つの電子制御装置に組み込むこともできる。

（４）上記した実施形態では、乗車検出手段として重量検知スイッチ１を用いる場合を例としたが、これに限らず、他の手段を用いることもできる。例えば、インストルメントパネルに配置された赤外線センサを乗車検出手段として用いることもできる。

（５）上記した実施形態では、カメラ２をインストルメントパネル内の計器盤の中に隠すように設ける場合を例として説明したが、カメラ２をルームミラー内に設けることもできる。

（６）上記した各実施形態では、近赤外ＬＥＤ３が近赤外光を照射する場合を例として説明したが、近赤外光に限らず、ＬＥＤに、赤外線波長領域の光を照射させるようにすることもできる。

（７）上記した各実施形態では、赤外線照射手段として、近赤外ＬＥＤ３を用いる場合を例として説明したが、赤外線を照射し、供給される電流量によって照明照度が変化するものであれば、他の赤外線照射手段を用いることもできる。例えば、白熱灯を赤外線照射手段として用いることもできる。

本発明の第１実施形態における運転者の外観認識システムの構成を示す図である。 図１中の画像処理回路５が実行する運転者の外観認識処理を示すフローチャートである。 本発明の第２実施形態における画像処理回路５が実行する運転者の外観認識処理を示すフローチャートである。 本発明の第３実施形態における運転者の外観認識システムの構成を示す図である。 図４中の画像処理回路５が実行する運転者の外観認識処理を示すフローチャートである。

符号の説明

１…重量検知スイッチ、２…カメラ、３…近赤外ＬＥＤ、４…ＬＥＤ電流制御回路、
５…画像処理回路、６…外光照度センサ。

Claims (5)

1. 運転者の顔画像を取得するカメラ（２）と、
   前記カメラ（２）が前記顔画像を取得する際に、前記運転者の顔に赤外線を照射し、供給される電流量によって照明照度が変化する赤外線照射手段（３）と、
   前記カメラ（２）が取得した顔画像に基づいて、運転者の外観を認識する第１の運転者外観認識処理および前記第１の運転者外観認識処理と異なる第２の運転者外観認識処理を実行し、かつ、前記カメラ（２）、前記赤外線照射手段（３）を制御する外観認識制御手段（５）と、
   前記外観認識制御手段（５）が前記第１の運転者外観認識処理を実行する場合では、前記赤外線照射手段（３）に供給する電流の設定値を第１の設定値とし、前記外観認識制御手段（５）が前記第２の運転者外観認識処理を実行する場合では、前記赤外線照射手段（３）に供給する電流の設定値を、前記第１の設定値と異なる大きさの第２の設定値とする制御を行う電流量制御手段（４）とを備えることを特徴とする運転者の外観認識システム。
2. 運転者が車両に乗車したことを検出する乗車検出手段（１）を有しており、
   前記外観認識制御手段（５）は、前記乗車検出手段（１）から乗員が乗車した旨の信号が入力された場合に、前記電流量制御手段（４）に対して、前記赤外線照射手段（３）に供給する電流の設定値を前記第１の設定値とする旨の指示信号を出力する第１の出力手段（１４）と、
   前記カメラ（２）により、前記第１の設定値に設定された前記電流量制御手段（４）から赤外線照射手段（３）に電流が供給された状態で、取得された前記運転者の顔画像を利用して、前記第１の運転者外観認識処理を実行する第１の実行手段（１７）と、
   前記第１の実行手段（１７）による前記第１の運転者の外観認識処理が完了したか否かを判定する判定手段（１８）と、
   前記判定手段（１８）により、前記第１の運転者の外観認識処理が完了したと判定された場合、前記電流量制御手段（４）に対して、前記赤外線照射手段（３）に供給する電流の設定値を、前記第１の設定値よりも低い値である前記第２の設定値とする旨の指示信号を出力する第２の出力手段（１９）と、
   前記カメラ（２）により、前記第２の設定値に設定された前記電流量制御手段（４）から赤外線照射手段（３）に電流が供給された状態で、取得された前記運転者の顔画像を利用して、前記第２の運転者外観認識処理を実行する第２の実行手段（２２）とを有することを特徴とする請求項１に記載の運転者の外観認識システム。
3. 前記外観認識制御手段（５）は、前記第１の実行手段（１７）が前記第１の運転者外観認識処理を開始するときに、時間計測を開始する時間計測手段（３１）と、
   前記判定手段（１８）により、前記第１の運転者外観認識処理が完了していないと判定された場合に、前記時間計測手段（３１）の計測時間が、所定時間を超えたか否かを判定し、前記計測時間が前記所定時間を経過した場合に、前記第１の実行手段（１７）を停止させる停止手段（３２）とを有することを特徴とする請求項２に記載の運転者の外観認識システム。
4. 前記運転者の着座位置近傍に照射される外光の照度を検出し、検出結果を外観認識制御手段（５）に出力する外光照度検出手段（６）を有し、
   前記外観認識制御手段（５）は、前記外光照度検出手段（６）から入力された検出結果が、規定値を超えていない場合、前記電流量制御手段（４）に対して、前記赤外線照射手段（３）に供給する電流の設定値を第３の設定値とする旨の指示信号を出力する第３の出力手段（４３）と、
   前記外光照度検出手段（６）から入力された検出結果が、前記規定値を超えている場合、前記電流量制御手段（４）に対して、前記赤外線照射手段（３）に供給する電流の設定値を前記第３の設定値よりも小さな値である第４の設定値とする旨の指示信号を出力する第４の出力手段（４４）とを備えることを特徴とする請求項２または３に記載の運転者の外観認識システム。
5. 前記外観認識制御手段（５）は、前記第１の運転者外観認識処理として、前記顔画像から顔の特徴点を検出し、前記特徴点における特徴量を検出し、前記特徴量をあらかじめ登録されている特徴量と照合する個人認証処理（１７）を実行するものであることを特徴とする請求項１ないし４のいずれか１つに記載の運転者の外観認識システム。

Images