JP2007272877A - 情報処理装置および方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】顔画像認識の技術を利用してより快適に自動車を利用することができるようにする。
【解決手段】画像認識部２０１は、画像センサにより撮像された画像に含まれる顔画像のデータの特徴量が、自動車の所有者の顔画像のデータの特徴量と一致するか否かを判定し、両者が一致すると判定された場合、顔画像が存在する領域を特定するための情報などを動き分析部２０２に供給する。動き分析部２０２は、顔画像の動きを分析して、当該顔画像に対応する人物が、通り過ぎたのか、近づいてくるのかを判定する。インタフェース制御部２０３は、動き分析部２０２の分析結果に基づいて、必要に応じて自動車のエアコン、パワーシートなどの操作を行うための制御信号などを出力させる。
【選択図】図５

Description

本発明は、情報処理装置および方法、プログラム、並びに記録媒体に関し、特に、顔画像認識の技術を利用してより快適に自動車を利用することができるようにする情報処理装置および方法、プログラム、並びに記録媒体に関する。

人物を検出する技術としては、画像処理、遠赤外線センサ、静電容量式、音波式、電波式、光学式物体検出センサ、光学式レーダ、電波式レーダ、ドップラセンサなど様々な方式があり、接近してくる物体が予め登録された人物であるか否かを識別することも可能である。接近してくる物体を自動的に判定する技術も提案されている（例えば、特許文献１参照）。

また、近年、例えば、自動車の盗難防止システム、ユーザの利便性向上システム、事故防止システムとして、カメラで撮像した車両運転者の顔画像を利用して運転者を認識するシステムが提案されている。

例えば、カメラが撮像した運転者の顔画像から画像の特徴量を抽出し、抽出した特徴量と、あらかじめ登録された特徴量とを照合し、両者が一致した場合、エンジンの始動が許可されたり、車載機器等の環境がそのユーザに合わせた環境に設定されたりする。

また、このような顔画像認識による運転者の外観認証を複数行うシステムであって、赤外線照射手段の長寿命化を可能とする技術も提案されている（例えば、特許文献２参照）。

特開平６−２１４０１４号公報

特開２００５−３０１７４２号公報

しかしながら、従来の技術では、例えば人物と自動車との距離が徐々に小さくなったときに、その人物が自動車に接近しようとしているのか、または自動車の近くを通過しているのかを判定することはできなかった。

また、顔画像認識では、事前に登録された顔画像の特徴と一致しているかの確認をあまり厳密に行うと、例えば体調や装置のコンディションなどにより本人であるにもかかわらず、本人ではないと判定されてしまうことがあるので、事前に登録された顔画像の特徴と一致していると判断される条件をある程度緩やかにし、幅を持たせる必要がある。その結果、他人であるのに所有者本人と判定されてしまう確率をゼロにすることは困難であり、セキュリティが重視されるドアロックの解除、エンジンの始動などの処理を、顔画像認識のみに基づいて実行することは望ましいとは言えない。

また、近年では、自動車から離れたところから、ドアの開け閉めが可能な、いわゆるキーレスエントリーシステムの普及も目覚しく、今後キーレスエントリーシステムのセキュリティ面も一段と改善されることが予想される。

一方、エアコンの始動、ナビゲーション装置、オーディオ装置など電子装置の起動、シートポジションの調整などを運転者が自動車に乗り込むのに先立って行っておけば、自動車に乗り込んだときに、すぐに利用を開始することができ、利用を開始するときに望ましい状態にすることができる。

本発明は、このような状況に鑑みてなされたものであり、顔画像認識の技術を利用してより快適に自動車を利用することができるようにするものである。

本発明による情報処理装置は、予め定められた場所の画像を撮像する撮像手段と、撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かを判定する顔画像判定手段と、顔画像判定部より、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の撮像手段により撮像される画像の中での顔画像の動きを分析して分析結果を表す情報を出力する動き分析手段と、動き分析手段の分析結果に基づいて、顔画像に対応する人物が自分に対して接近してくるか否かを判定する接近判定手段と、接近判定手段により顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号を出力する信号出力手段とを備える情報処理装置である。

本発明の情報処理装置においては、予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータが抽出されるとともに、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かが判定され、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の撮像手段により撮像される画像の中での顔画像の動きが分析されて分析結果を表す情報が出力され、分析結果に基づいて、顔画像に対応する人物が自分に対して接近してくるか否かが判定され、顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号が出力される。

したがって、認識された顔画像の人物が近づいてきた場合に所定の処理を実行させることができる。

前記動き分析手段は、予め設定された時間内の撮像手段により撮像される画像の中での顔画像の中心位置の変化と、顔画像を構成する領域の面積の変化に基づいて動きを分析するようにすることができる。

したがって、顔画像の人物が接近してくる場合と、通り過ぎる場合、または遠ざかっている場合とを確実に区別することができる。

前記動き分析手段は、顔画像に対応する人物が自分に対して接近してくるか否か、または顔画像に対応する人物が自分に対して接近して立ち止まったか否かを表す情報を分析結果として出力するようにすることができる。

自動車に取り付けられ、顔画像判定手段は、顔画像を構成する画素のデータの特徴量が予め記憶されている自動車の所有者の顔画像を構成する画素のデータの特徴量と一致するか否かを判定するようにすることができる。

前記信号出力手段は、前記自動車に取り付けられた機器のうち、電気信号により制御可能な機器に対して、前記自動車の所有者にとって好適な状態となるように、前記機器を動作させるための制御信号を出力する

したがって、自動車の所有者が自動車に搭乗するのに先立って、エアコンやパワーシートなどを調整しておくことが可能となる。

前記信号出力手段は、自動車の所有者にとって好適な状態となるように、機器を動作させるための制御信号を出力した後、予め設定された時間が経過しても自動車に所有者が搭乗しなかったと判定された場合、機器の動作を解除させる制御信号をさらに出力するようにすることができる。

したがって、所有者の顔画像が誤認識された場合、エアコンやパワーシートなどの設定をキャンセルすることができる。

本発明による情報処理方法は、予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かを判定し、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の撮像手段により撮像される画像の中での顔画像の動きを分析して分析結果を表す情報を出力し、分析結果に基づいて、顔画像に対応する人物が自分に対して接近してくるか否かを判定し、顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号を出力するステップを含む情報処理方法である。

本発明によるプログラムは、予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かの判定を制御し、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の撮像手段により撮像される画像の中での顔画像の動きを分析して分析結果を表す情報の出力を制御し、分析結果に基づいて、顔画像に対応する人物が自分に対して接近してくるか否かの判定を制御し、顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号の出力を制御するステップを含むコンピュータが読み取り可能なプログラムである。

本発明による記録媒体は、予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かの判定を制御し、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の撮像手段により撮像される画像の中での顔画像の動きを分析して分析結果を表す情報の出力を制御し、分析結果に基づいて、顔画像に対応する人物が自分に対して接近してくるか否かの判定を制御し、顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号の出力を制御するステップを含むコンピュータが読み取り可能なプログラムが記録されている記録媒体である。

本発明の情報処理方法およびプログラムにおいては、予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータが抽出されるとともに、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かが判定され、顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の撮像手段により撮像される画像の中での顔画像の動きが分析されて分析結果を表す情報が出力され、分析結果に基づいて、顔画像に対応する人物が自分に対して接近してくるか否かが判定され、顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号が出力される。

本発明によれば、顔画像認識の技術を利用してより快適に自動車を利用することができる

以下に、本発明の実施の形態について図面を参照して説明する。

図１は、本発明の車両制御装置１０の一実施の形態に係る構成例を示すブロック図である。同図に示されるように、車両制御装置１０は、マイコン３１、画像センサ３２、コントロールインタフェース３３、および各部を相互に接続するバス３４により構成されている。この車両制御装置１０は、自動車に取り付けられ、後述するように自動車の所有者を認識して、所有者が自動車に乗車するのに先立って所定の処理を実行するように構成されている。

画像センサ３２は、CCD（Charge-Coupled Devices）イメージセンサなどの撮像素子を用いて構成され、例えば、運転席付近に取り付けられたレンズを介して入射した光に対応して撮像素子から出力される信号に基づいて画像を撮像する。画像センサ３２は、レンズの取付位置、焦点位置、絞りなどの調整が適当になされることにより、自動車の外にいる人の顔画像を撮像することが可能となるようになされている。

コントロールインタフェース３３は、自動車の電子制御部品などと接続され、マイコン３１の制御に応じて、所定の信号などを送受信する。例えば、コントロールインタフェース３３は、自動車のドアロックが解除されているか否かを表す信号を受信したり、自動車のエアコンの操作を行う制御信号を出力したり、自動車の運転席の位置を、電気モータなどを用いて調整する装置であるパワーシートの操作を行う制御信号を出力したりする。

マイコン３１は、内部にプロセッサ、メモリなどを有する小型のコンピュータとして構成され、実装されたプログラムなどのソフトウェアなどによりバス３４を介して画像センサ３２、およびコントロールインタフェース３３を制御する。マイコン３１は、例えば、画像センサ３２から供給される画像信号に基づいて、所定の特徴量を検出して自動車の所有者の顔画像を認識したり、認識された顔画像の動きを分析したりする処理を実行する。

図２は、画像センサ３２のレンズの取り付け位置と、画像センサにより撮像される画像の位置を説明する図である。同図において、画像センサのレンズ３２ａは、自動車１００のステアリングホイール１０１の付近であって、運転席の周辺に取り付けられており、画像センサ３２は、例えば、運転席から自動車の窓越しに、点線ａ１とａ２に挟まれる範囲内の物体を撮像する。

上述したように、マイコン３１は、例えば、画像センサ３２から供給される画像信号に基づいて、所定の特徴量を検出して自動車の所有者の顔画像を認識する。したがって、点線ａ１とａ２に挟まれる範囲内に人が入ってきた場合、マイコン３１は、画像センサ３２から供給される画像に基づいて、画像に含まれる顔画像の部分の特徴量を検出し、予め登録されている自動車１００の所有者の顔画像の特徴量と比較することにより、その顔画像が自動車の所有者であるか否かを識別する。

車両制御装置１０は、自動車の所有者を認識して、所有者が自動車に乗車するのに先立って、例えば、エアコンを稼動させて車内の温度の上げ下げを行ったり、パワーシートを制御して運転席の位置（シートポジション）を、所有者に最も適した位置に移動させたりする処理を実行する。

しかしながら、自動車の所有者の顔画像が認識された場合、すなわち自動車の所有者が点線ａ１とａ２に挟まれる範囲内に入ってきたからといって、その後、所有者が自動車１００を運転するとは限らず、所有者は自動車１００の近辺をただ通り過ぎただけという場合もある。このため、自動車の所有者の顔画像が認識された場合、常に、エアコンを稼動させて車内の温度の上げ下げを行ったり、パワーシートを制御して運転席の位置を移動させたりする処理を実行してしまうと、バッテリーの消耗などにつながる恐れがある。

そこで、本発明の車両制御装置１０においては、認識された顔画像の動きが分析され、その分析結果に基づいて、エアコンを稼動させて車内の温度の上げ下げを行ったり、パワーシートを制御して運転席の位置を移動させたりする処理を実行する。

すなわち、図３に示されるように、画像センサ３２により撮像された画像において、所有者の顔１５１の画像が認識され、その画像が所定の時間の間に、自動車１００の側面を、図中下側から上側に通り過ぎるように動いていると分析された場合は、エアコンや、パワーシートの制御などの処理は実行されないようにする。

一方、図４に示されるように、画像センサ３２により撮像された画像において、所有者の顔１５１の画像が認識され、その画像が所定の時間の間に、自動車１００の運転席に向かって近づいてくる（図中右下側から左上側に動いてくる）と分析された場合は、エアコンや、パワーシートの制御などの処理が実行されるようにする。

図５は、図１のマイコン３１に実装されるソフトウェアの機能的構成例を示すブロック図である。

図５において、画像認識部２０１は、画像センサ３２により撮像された画像のデータに対して予め定められた処理を施すなどして画像の中に人の顔の画像（顔画像）が含まれているか否かを判定し、画像の中に顔画像が含まれている場合、その顔画像を構成する画素のデータから特徴量を抽出し、予め記憶されている自動車１００の所有者の顔画像のデータの特徴量と比較する。

画像認識部２０１は、画像センサ３２により撮像された画像に含まれる顔画像のデータの特徴量が、自動車１００の所有者の顔画像のデータの特徴量と一致するか否かを判定し、両者が一致すると判定された場合、例えば、所有者の顔画像が認識されたことを表す情報と、画像の中で顔画像が存在する領域を特定するための情報などを動き分析部２０２に供給する。

なお、上述した顔画像の特徴量の比較において、予め記憶された顔画像の特徴量と一致しているかの確認をあまり厳密に行うと、例えば体調や装置のコンディションなどにより本人であるにもかかわらず、本人ではないと判定されてしまうことがある。このため、画像認識部２０１による顔画像の特徴量の一致の判定は、例えば、特徴量の値が正確に一致した場合のみに一致したと判定されるものではなく、一致していると判定される条件をある程度緩やかにし、例えば、特徴量の値が所定の範囲内であれば一致していると判定されるなど、幅を持たせた状態で判定される。

動き分析部２０２は、画像認識部２０１から供給される顔画像が存在する領域を特定するための情報に基づいて、後述するように顔画像の動きを分析する。そして、動き分析部２０２は、顔画像の動きの分析結果に基づいて、当該顔画像に対応する人物（自動車１００の所有者）が、通り過ぎたのか、近づいてくるのかを判定する。

インタフェース制御部２０３は、動き分析部２０２の分析結果に基づいて、コントロールインタフェース３３を制御し、必要に応じて自動車１００のエアコン、パワーシートなどの操作を行うための制御信号などを出力させる。なお、自動車１００のどの部分（例えば、エアコン、パワーシートなど）を、どの程度（例えば、設定温度、移動量など）操作するかは、予めマイコン３１の内部のメモリなどに記憶されているようにしてもよいし、あるいはまた、自動車１００の周囲の温度などの情報を取得し、その情報に基づいてプログラムなどにより最適な操作が特定されるようにしてもよい。

次に、車両制御装置１０による、自動車の所有者を認識して、所有者が自動車に乗車するのに先立って行われる処理である運転準備処理について、図６のフローチャートを参照して説明する。ここでは、所有者が自動車に乗車するのに先立って、自動車のエアコンを稼動させる例について説明する。

ステップＳ１０１において、画像認識部２０１は、自動車１００の所有者の顔画像を検出したか否かを判定し、検出したと判定されるまで待機する。ステップＳ１０１において、所有者の顔画像が検出されたと判定された場合、処理は、ステップＳ１０２に進む。

ステップＳ１０２において、動き分析部２０２は、図７を参照して後述する動き分析処理を実行する。これにより、ステップＳ１０１の処理で検出された顔画像に対応する人物（自動車１００の所有者）が自動車１００に接近しているのか否かが判定される。

ここで、図７のフローチャートを参照して、図６のステップＳ１０２の動き分析処理の詳細について説明する。

ステップＳ１２１において、動き分析部２０２は、ステップＳ１０１の処理で検出された顔画像の領域の中で、中心となる位置の座標（中心座標）Ｐ１を取得する。

ステップＳ１２２において、動き分析部２０２は、ステップＳ１０１の処理で検出された顔画像の面積Ｓ１を計算して取得する。

ステップＳ１２３において、動き分析部２０２は、予め設定された所定の時間（例えば、１秒）経過したか否かを判定し、所定の時間が経過したと判定されるまで待機する。ステップＳ１２３において、所定の時間が経過したと判定された場合、処理は、ステップＳ１２４に進む。

ステップＳ１２４において、動き分析部２０２は、現在の顔画像の中心座標Ｐ２を取得する。なお、画像認識部２０１は、自動車１００の所有者の顔画像を検出した場合、顔画像の移動に伴って、画像の中で顔画像が存在する領域を特定するための情報を、あらためて動き分析部２０２に供給する処理を繰り返すものとする。すなわち、ステップＳ１２４においては、ステップＳ１２１の時刻から所定の時間（例えば、１秒）経過したときの顔画像の中心座標が取得されることになる。

ステップＳ１２５において、動き分析部２０２は、現在の顔画像の面積Ｓ２を計算して取得する。

ステップＳ１２６において、動き分析部２０２は、予め設定された所定の時間（例えば、１秒）経過したか否かを判定し、所定の時間が経過したと判定されるまで待機する。ステップＳ１２６において、所定の時間が経過したと判定された場合、処理は、ステップＳ１２７に進む。

ステップＳ１２７において、動き分析部２０２は、現在の顔画像の中心座標Ｐ３を取得する。このとき、ステップＳ１２４からさらに所定の時間（例えば、１秒）が経過したときの顔画像の中心座標が取得される。すなわち、ステップＳ１２７においては、ステップＳ１２１の時刻から、例えば、２秒経過したときの顔画像の中心座標が取得されることになる。

ステップＳ１２８において、動き分析部２０２は、現在の顔画像の面積Ｓ３を計算して取得する。

ステップＳ１２９において、動き分析部２０２は、図８を参照して後述する接近判定処理を実行する。

ここで、図８のフローチャートを参照して、図７のステップＳ１２９の接近判定処理の詳細について説明する。

ステップＳ１５１において、動き分析部２０２は、座標Ｐ１乃至Ｐ３に対応する各点間の距離を演算する。ここでは、座標Ｐ１とＰ２間の距離、座標Ｐ１とＰ３間の距離、および座標Ｐ２とＰ３間の距離がそれぞれ演算されることになる。

ステップＳ１５２において、動き分析部２０２は、ステップＳ１５１の処理で演算された距離（いまの場合、３通りの距離）は、すべて閾値以下であるか否かを判定する。

時間の経過に伴って移動した顔画像の中心座標（Ｐ１乃至Ｐ３）間の距離が大きい場合、その顔画像に対応する人物の動きは、例えば、図３に示されるように、点線ａ１とａ２に挟まれた領域内を通りすぎているものと考えられる。すなわち、図４に示されるように、顔画像に対応する人物が接近してくる場合、時間の経過に伴って移動した顔画像の中心座標間の距離は、小さいものになると考えられ、ステップＳ１５１の処理で演算された距離のいずれかが閾値を超えている場合、顔画像に対応する人物が接近してくるとは考え難い。

図９は、図３に示されるように人物が自動車の側面と通り過ぎるとき、画像センサ３２により撮像される、点線ａ１とａ２に挟まれた領域内の画像２５０の例を示す図である。図９においては、画像２５０の中に顔画像２５１−１乃至２５１−３が示されており、顔画像２５１−２は、顔画像２５１−１が撮像された時刻から、例えば１秒経過したとき撮像された顔画像とされ、顔画像２５１−３は、顔画像２５１−２が撮像された時刻から、例えば、さらに１秒経過したとき撮像された顔画像とされる。

これに対して、図４に示されるように、人物が自動車（運転席）に接近してくるとき、画像センサ３２により撮像される、点線ａ１とａ２に挟まれた領域内の画像２６０は、例えば、図１０に示されるようになる。図１０においては、画像２６０の中に顔画像２６１−１乃至２６１−３が示されており、顔画像２６１−２は、顔画像２６１−１が撮像された時刻から、例えば１秒経過したとき撮像された顔画像とされ、顔画像２６１−３は、顔画像２６１−２が撮像された時刻から、例えば、さらに１秒経過したとき撮像された顔画像とされる。

図９のように人物が自動車の側面と通り過ぎる場合の画像においては、時間の経過に伴って移動した顔画像の中心座標Ｐ１乃至Ｐ３間の距離は、図１０のように人物が接近してくる場合の画像と比較して、充分大きいものになる。

ステップＳ１５２において、ステップＳ１５１の処理で演算された距離がすべて閾値以下ではないと判定された場合、顔画像に対応する人物が接近してこないと考えられるので、接近判定処理は終了される。

ステップＳ１５２において、ステップＳ１５１の処理で演算された距離がすべて閾値以下であると判定された場合、処理は、ステップＳ１５３に進み、動き分析部２０２は、面積Ｓ１乃至Ｓ３の大きさを比較する。

ステップＳ１５４において、動き分析部２０２は、面積Ｓ１乃至Ｓ３の大きさが、次式を満たす関係であるか否かを判定する。

Ｓ１≦Ｓ２≦Ｓ３

例えば、図１０に示されるように、顔画像に対応する人物が接近してくる場合、時間の経過に伴って移動した顔画像の面積は、序々に大きくなるものと考えられる。すなわち、図１０においては、顔画像２５１−１の面積より顔画像２５１−２の面積は大きくなっており、顔画像２５１−２の面積より顔画像２５１−３の面積はさらに大きくなっている。換言すれば、時間の経過に伴って移動した顔画像の中心座標Ｐ１乃至Ｐ３間の距離が閾値以下であっても、顔画像の面積が序々に大きくなっていなければ、人物は立ち止まっていたり、遠ざかっていたりする可能性が高い。

ステップＳ１５４において、面積Ｓ１乃至Ｓ３の大きさが、上述した式を満たす関係ではないと判定された場合、顔画像に対応する人物が接近してこないと考えられるので、接近判定処理は終了される。

一方、ステップＳ１５４において、面積Ｓ１乃至Ｓ３の大きさが、上述した式を満たす関係であると判定された場合、処理は、ステップＳ１５５に進み、動き分析部２０２は、顔画像に対応する人物が接近してくることを表す接近フラグをＯＮに設定する。

なお、接近しているか否かの判定はさらに詳細に行われるようにすることも可能である。例えば、自動車１００がワンボックスカーであり、Ｂピラー上部であって、人の平均的な身長よりも高い位置に水平よりも少し下に向けて画像センサ３２のレンズが取り付けられている場合、運転席に乗り込もうとする人物の顔画像は、乗り込む動作とともに、画像左下の領域に向かって大きく移動する動きが検出されることになる。このように、乗り込もうとする動作に伴って検出される顔画像の特徴的な動きを検出し、例えば、ステップS１５４での判定に加えてさらに、上述した顔画像の特徴的な動きが検出されたか否かを判定することで顔画像に対応する人物が接近しているか否かの判定がさらに詳細に行われるようにしてもよい。

このような場合、画像センサ３２のレンズの取付位置と、レンズが向けられる方向に応じて上述した顔画像の特徴的な動きを予め登録しておくようにすればよい。

このようにして、顔画像に対応する人物の接近が検知される。なお、図７と図８を参照して説明した処理は、動き分析処理の一例であって、必ずしもこの方式で顔画像の動きが分析されなければないないわけではない。要は、認識された顔画像に対応する人物が、自動車に接近してくることを確実に検出できればよい。

例えば、レーダなどを用いて物体との間の距離を検出する距離検出装置を設けて、顔画像に対応する人物と自動車との間の距離を測定し、顔画像に対応する人物が、自動車に接近してくることを検出してもよい。あるいはまた、自動車の所有者にＲＦＩＤなどの小型の無線通信装置を携行させ、無線通信により自動車の所有者の接近がより正確に検知されるようにしてもよい。

図６に戻って、ステップＳ１０２の処理の後、処理は、ステップＳ１０３に進み、インタフェース制御部２０３は、自動車１００の所有者が接近してくるのか否かを判定する。接近の判定は、上述した接近フラグに基づいて行われる。

ステップＳ１０３において、自動車１００の所有者が接近してくると判定された場合、インタフェース制御部２０３は、自動車１００のエアコンをＯＮにする。

ステップＳ１０５において、インタフェース制御部２０３は、自動車１００のドアロックが解除されたか否かを判定し、ドアロックが解除されていないと判定された場合、処理は、ステップＳ１０６に進む。

ステップＳ１０６において、インタフェース制御部２０３は、ステップＳ１０４の処理が実行されてから所定の時間が経過したか否かを判定し、まだ、所定の時間が経過していないと判定された場合、ステップＳ１０５に戻る。

顔画像に対応する人物が接近してくる場合であっても、ステップＳ１０１における所有者の顔画像の検出は、上述したように、特徴量が一致していると判定される条件をある程度緩やかにして行われるので、例えば、自動車１００の所有者ではない人物を、誤って検出している可能性がある。このような場合、ステップＳ１０４の処理によるエアコンの稼動も取り消す必要がある。仮に、ステップＳ１０１の処理で、自動車１００の所有者ではない人物を、誤って検出していた場合、その人物は、自動車１００の鍵を持っていないはずなので、ドアロックが解除されることはない。

したがって、ステップＳ１０６において、ステップＳ１０４の処理が実行されてから所定の時間が経過してもドアロックが解除されないと判定された場合、処理は、ステップＳ１０７に進み、インタフェース制御部２０３は、エアコンをＯＦＦにする。

なお、ステップＳ１０３の処理で、自動車１００の所有者（顔画像の人物）が接近していないと判定された場合、または、ステップＳ１０５においてドアロックが解除されたと判定された場合、処理は終了する。

このようにして、自動車の所有者を認識して、所有者が自動車に乗車するのに先立ってエアコンがＯＮに設定される。これにより、自動車の所有者は、快適に運転を開始することが可能となる。

例えば、顔画像に基づいて所有者を認識することにより、ドアロックを解除することも技術的には可能である。しかしながら、所有者の顔画像の検出は、特徴量が一致していると判定される条件をある程度緩やかにして行われるので、例えば、自動車１００の所有者ではない人物を、誤って検出している可能性がある。このような、顔画像の認識に基づいてドアロックを解除してしまうことには、多くのユーザが違和感をもつ可能性がある。

また、近年では、自動車から離れたところから、ドアの開け閉めが可能な、いわゆるキーレスエントリーシステムの普及も目覚しく、今後キーレスエントリーシステムのセキュリティ面も一段と改善されることが予想される。

一方で、より快適に自動車を利用したいというニーズは高く、例えば、真夏や真冬に自動車に乗り込むときの、暑い、寒いといった不快感を和らげることができれば、ユーザにとっての利便性が充分に向上したと考えられる。

そこで、本発明においては、顔画像認識により自動車の所有者を認識して、所有者が自動車に乗車するのに先立って、例えば、エアコンをＯＮに設定するなどの処理が実行され、ドアロックの解除は、この処理とは別の方式で行われる。これにより、自動車の所有者は、安心して自動車を所有することができるとともに、快適に運転を開始することが可能となる。

以上においては、自動車の所有者の顔画像を認識する例について説明したが、例えば、所有者以外の人物の顔画像のデータの特徴量も予め記憶しておき、その人物が接近してくることが検出された場合、その人物に対応したパワーシートの調整などが行われるようにすることも可能である。あるいはまた、例えば、登録手配者情報などにより手配者（例えば、車上荒らしの常習者など）の顔画像のデータを得て予め記憶しておき、不審者を検出して警告音を発したり、警告の電子メールなどが自動的に通知されるようにしてもよい。

また、以上においては、自動車に接近する人物を検出して所定の処理を行う例について説明したが、家やビルの入口に接近する人物を検出して所定の処理を行うようにしてもよいし、携帯電話やパーソナルコンピュータに接近する人物を検出して所定の処理を行うようにしてもよい。

ところで、以上においては、図７と図８を参照して上述した処理により、人物が自動車１００に接近してくること検出するようにしたが、例えば、接近した人物がさらに立ち止まったことが検出されるようにしてもよい。

例えば、自動車１００の所有者が、一旦自動車１００に接近したものの、直ぐに遠ざかってしまった場合などは、ドアロックが解除されたり、エアコンがONにされたりすることは望ましくない。しかし、例えば、接近した所有者がさらに立ち止まったことが検出できれば、所有者が自動車１００に乗ろうとする意思のあることを、より確実に検出することが可能となる。

接近した人物がさらに立ち止まったことが検出されるようにする場合、例えば、図８の接近判定処理に代えて、図１１の接近立ち止まり判定処理が実行されるようにすればよい。ここで、図１１のフローチャートを参照して、接近立ち止まり処理の例について説明する。この処理は、図７のステップＳ１２９の処理として実行される。

図１１のステップＳ１８１乃至Ｓ１８４の処理は、図８のステップＳ１５１乃至Ｓ１５４の処理と同様なので、詳細な説明は省略する。

ステップＳ１８４において、面積Ｓ１乃至Ｓ３の大きさが、上述した式（Ｓ１≦Ｓ２≦Ｓ３）を満たす関係であると判定された場合、処理は、ステップＳ１８５に進む。

ステップＳ１８５において、動き分析部２０２は、座標Ｐ２とＰ３間の距離は、充分に小さいか否かを判定する。ここでは、例えば、ステップＳ１８２の判定に用いられた閾値とは異なる、さらに小さい値の閾値と、座標Ｐ２とＰ３間の距離とが比較され、座標Ｐ２とＰ３間の距離がその閾値より小さい場合、座標Ｐ２とＰ３間の距離は、充分に小さいと判定される。

ステップＳ１８５において、距離は充分に小さいと判定された場合、処理は、ステップＳ１８６に進む。

ステップＳ１８６において、動き分析部２０２は、面積Ｓ２とＳ３の大きさがほぼ等しいか否かを判定する。ここでは、例えば、面積Ｓ３とＳ２の差分値が演算され、その差分値が予め設定された所定の値より小さい場合、面積Ｓ２とＳ３の大きさがほぼ等しいと判定される。

ステップＳ１８４で、面積Ｓ１乃至Ｓ３の大きさが、上述した式（Ｓ１≦Ｓ２≦Ｓ３）を満たす関係であると判定されたことにより、人物が接近していることが分かる。そして、ステップＳ１８５で、座標Ｐ２とＰ３間の距離は充分に小さいと判定されたことにより、人物は、例えば、ほぼ画像センサ３２のレンズに入射する光軸に近い傾きの線（例えば、図４において矢印で示されている線）上に存在していることが分かる。さらに、ステップＳ１８６で、面積Ｓ２とＳ３の大きさがほぼ等しいと判定されたことにより、人物は、座標P２が取得された時刻から、座標P３が取得された時刻まで、その場所をほとんど移動していないことが分かる。

従って、自動車１００に接近した人物が、さらに立ち止まったと考えられる。

ステップＳ１８６において、面積Ｓ２とＳ３の大きさがほぼ等しいと判定された場合、処理は、ステップＳ１８７に進み、動き分析部２０２は、接近立ち止まりフラグをONにする。

一方、ステップＳ１８５において、座標Ｐ２とＰ３間の距離は充分に小さくないと判定された場合、またはステップＳ１８７において、面積Ｓ２とＳ３の大きさがほぼ等しくないと判定された場合、人物は、接近してきたものの、立ち止まってはいないと考えられるので、処理は、ステップＳ１８８に進み、顔画像（例えば、座標Ｐ３を取得した時刻の顔画像）を記録する。

例えば、人物が自動車に接近してきたものの、立ち止まらずに去って行くなどの場合、その人物は不審者であることも考えられるので、そのときの顔画像が記録される。なお、ステップＳ１８８の処理はスキップされるようにしてもよい。

ステップＳ１８４で、面積Ｓ１乃至Ｓ３の大きさが、上述した式を満たす関係ではないと判定された場合、ステップＳ１８７の処理の後、またはステップＳ１８８の処理の後、接近立ち止まり処理は終了され、同時に図7の動き分析処理も終了されて、処理は、図６のステップＳ１０３に進むことになる。いまの場合、ステップＳ１０３では、接近立ち止まりフラグがＯＮであるか否かが判定されるようにすればよい。

このようにすることで、接近した人物がさらに立ち止まったことが検出でき、例えば、所有者が自動車１００に乗ろうとする意思のあることを、より確実に検出することが可能となる。

なお、図１１では、座標Ｐ２とＰ３間の距離、面積Ｓ２とＳ３の大きさに基づいて、人物が立ち止まったか否かが判定される例について説明したが、例えば、図７の処理において、座標Ｐ３が取得され、面積Ｓ３が取得された後、さらに所定の時間の経過後に座標Ｐ４が取得され、面積Ｓ４が取得されるようにし、座標Ｐ３とＰ４間の距離、面積Ｓ３とＳ４の大きさに基づいて、人物が立ち止まったか否かが判定されるようにしてもよい。

図７と図８を参照して説明した処理、または図７と図１１を参照して上述した処理を実行することにより、自らの意思で不規則に移動する人間が、自動車に乗るなどのために接近してくる行為を確実に検出することができる。

人間は、自らの意思で不規則に移動するので、例えば、自動車の横を通過することもあるし、自動車の周辺を歩き回ることもある。例えば、電磁波の強度やカメラで撮影された画像の特徴などに基づいて、自動車が走行中に接近してくる物体を単純に検出するなどの技術は、従来より実現されている。走行中の自動車などに対して接近してくる物体の運動は、通常、自動車に対して同じ方向に（いわば一直線に）、ほぼ同じ速度で接近してくるから、例えば、物体から発せられる所定の信号などの強度を検出することで、物体が接近してきたことをほぼ特定することができる。

これに対して、人間は、上述したように、自動車の横を通過することもあるし、自動車の周辺を歩き回ることもあるし、一旦近づいてきても、再び去っていってしまうこともある。このような不規則な運動の中から、自動車に乗るなどのために接近してくる行為のみを検出することは、従来の技術では困難であった。

本発明によれば、人間が、例えば自動車に乗るなど目的をもって接近してくる行為を確実に検出することができる。例えば、図８のステップＳ１５２、または図１１のステップＳ１８２の処理で用いられる閾値を適切に設定しておけば、ほぼ一直線に近づいてくる人物も検出できるし、ジグザグに近づいてくる人物も検出できる。また、例えば、図７のステップＳ１２３またはステップＳ１２６の判定で用いられる所定の時間を適切に設定しておけば、ほぼ同じ速度で近づいてくる人物も検出できるし、最初は走って、途中からゆっくり歩いて近づいてくる人物も検出できる。

あるいはまた、自動車１００の複数の位置にそれぞれレンズと画像センサを取り付け、個々の画像センサ毎に、図６を参照して上述した処理が実行されるようにしてもよい。

この場合、例えば、図６のステップＳ１０４、またはステップＳ１０７に対応する処理を、複数の画像センサ毎に異なる処理とする。

例えば、自動車１００の運転席付近に取り付けられたレンズに対応する画像センサにより取得された画像に基づいて、図６の処理を実行する場合、ステップＳ１０４では、運転席のパワーシートの調整が行われてシートポジションが適切に設定されるようにし、自動車１００の後部座席付近に取り付けられたレンズに対応する画像センサにより取得された画像に基づいて、図６の処理を実行する場合、ステップＳ１０４では、自動車１００の後部の室内灯が点等するようにする。

すなわち、人物が自動車１００のどの位置に向かって、接近してきたか（または接近して立ち止まったか）が判定され、その判定結果に基づく処理がなされるようにすることができる。

このようにすることで、ユーザの利便性をより高めることが可能となる。

なお、上述した一連の処理をハードウェアで実現するか、ソフトウェアで実現するかは問わない。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１２に示されるような汎用のパーソナルコンピュータ５００などに、ネットワークや記録媒体からインストールされる。

図１２において、CPU（Central Processing Unit）５０１は、ROM（Read Only Memory）５０２に記憶されているプログラム、または記憶部５０８からRAM（Random Access Memory）５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。このバス５０４にはまた、入出力インタフェース５０５も接続されている。

入出力インタフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT(Cathode Ray Tube)、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、モデム、LANカードなどのネットワークインタフェースカードなどより構成される通信部５０９が接続されている。通信部５０９は、インターネットを含むネットワークを介しての通信処理を行う。

入出力インタフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。

上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア５１１などからなる記録媒体からインストールされる。

なお、この記録媒体は、図１２に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア５１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROM５０２や、記憶部５０８に含まれるハードディスクなどで構成されるものも含む。

また、本明細書において上述した一連の処理を実行するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明の車両制御装置の一実施の形態に係る構成例を示すブロック図である。 画像センサのレンズの取り付け位置と、画像センサにより撮像される画像の位置を説明する図である。 自動車の側面を通り過ぎる人物の動きの例を示す図である。 自動車に向かって接近してくる人物の動きの例を説明する図である。 図１のマイコンに実装されるソフトウェアの機能的構成例を示すブロック図である。 運転準備処理を説明するフローチャートである。 動き分析処理を説明するフローチャートである。 接近判定処理を説明するフローチャートである。 自動車の側面を通り過ぎる人物の顔画像の動きの例を示す図である。 自動車に向かって接近してくる人物の顔画像の動きの例を説明する図である。 接近立ち止まり判定処理の例を説明するフローチャートである。 パーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１０ 車両制御装置，
３１ マイコン，
３２ 画像センサ，
３３ コントロールインタフェース，
１００ 自動車，
２０１ 画像認識部，
２０２ 動き分析部，
２０３ インタフェース制御部，
５０１ ＣＰＵ，
５０２ ＲＯＭ，
５０８ 記憶部，
５１１ リムーバブルメディア

Claims (9)

1. 予め定められた場所の画像を撮像する撮像手段と、
   前記撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かを判定する顔画像判定手段と、
   前記顔画像判定部より、前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の前記撮像手段により撮像される画像の中での前記顔画像の動きを分析して分析結果を表す情報を出力する動き分析手段と、
   前記動き分析手段の分析結果に基づいて、前記顔画像に対応する人物が自分に対して接近してくるか否かを判定する接近判定手段と、
   前記接近判定手段により前記顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号を出力する信号出力手段と
   を備える情報処理装置。
2. 前記動き分析手段は、予め設定された時間内の前記撮像手段により撮像される画像の中での前記顔画像の中心位置の変化と、前記顔画像を構成する領域の面積の変化に基づいて動きを分析する
   請求項１に記載の情報処理装置。
3. 前記動き分析手段は、
   前記顔画像に対応する人物が自分に対して接近してくるか否か、または前記顔画像に対応する人物が自分に対して接近して立ち止まったか否かを表す情報を前記分析結果として出力する
   請求項２に記載の情報処理装置。
4. 自動車に取り付けられ、
   前記顔画像判定手段は、前記顔画像を構成する画素のデータの特徴量が予め記憶されている前記自動車の所有者の顔画像を構成する画素のデータの特徴量と一致するか否かを判定する
   請求項１に記載の情報処理装置。
5. 前記信号出力手段は、
   前記自動車に取り付けられた機器のうち、電気信号により制御可能な機器に対して、前記自動車の所有者にとって好適な状態となるように、前記機器を動作させるための制御信号を出力する
   請求項４に記載の情報処理装置。
6. 前記信号出力手段は、
   前記自動車の所有者にとって好適な状態となるように、前記機器を動作させるための制御信号を出力した後、予め設定された時間が経過しても前記自動車に前記所有者が搭乗しなかったと判定された場合、前記機器の動作を解除させる制御信号をさらに出力する
   請求項５に記載の情報処理装置。
7. 予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かを判定し、
   前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の前記撮像手段により撮像される画像の中での前記顔画像の動きを分析して分析結果を表す情報を出力し、
   前記分析結果に基づいて、前記顔画像に対応する人物が自分に対して接近してくるか否かを判定し、
   前記顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号を出力するステップ
   を含む情報処理方法。
8. 予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かの判定を制御し、
   前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の前記撮像手段により撮像される画像の中での前記顔画像の動きを分析して分析結果を表す情報の出力を制御し、
   前記分析結果に基づいて、前記顔画像に対応する人物が自分に対して接近してくるか否かの判定を制御し、
   前記顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号の出力を制御するステップ
   を含むコンピュータが読み取り可能なプログラム。
9. 予め定められた場所の画像を撮像する撮像手段により撮像された画像に含まれる人物の顔画像を構成する画素のデータを抽出するとともに、前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致するか否かの判定を制御し、
   前記顔画像を構成する画素のデータの特徴量が予め記憶されている特徴量と一致すると判定された場合、予め設定された時間内の前記撮像手段により撮像される画像の中での前記顔画像の動きを分析して分析結果を表す情報の出力を制御し、
   前記分析結果に基づいて、前記顔画像に対応する人物が自分に対して接近してくるか否かの判定を制御し、
   前記顔画像に対応する人物が自分に対して接近してくると判定された場合、所定の信号の出力を制御するステップ
   を含むコンピュータが読み取り可能なプログラムが記録されている記録媒体。

Images