JP2015007952A - 顔の動きを検知して信号を生成する装置、方法及びコンピュータ可読記憶媒体 - Google Patents

Abstract

【課題】ユーザの複雑な意思を外部へ伝えて救助を求めたり情報提供したりすることができる、顔の動きを検知して信号を生成する装置、方法及びコンピュータ可読記憶媒体を提供する。【解決手段】顔の動きを検知して信号を生成する装置１００は、撮像ユニット１０及び処理ユニット２０を備える。撮像ユニット１０は、連続撮影して複数の画像を得る。処理ユニット２０は、撮像ユニット１０が得た複数の画像を記憶ユニット３０へ記憶させ、記憶ユニット３０により所定情報を記憶し、処理ユニット２０は、画像背景除去モジュール、画像キャプチャモジュール及び比較器を含む。画像背景除去モジュールは、複数の画像を処理して顔の画像をキャプチャする。画像キャプチャモジュールは、顔の画像中の鼻孔位置を検出して口部検索欄を設定し、口部検索欄から口部動作情報を得る。比較器は、口部動作情報を所定情報と照合し、比較結果が一致する場合に指定信号を生成する。【選択図】図３

Description

本発明は、顔の動きを検知して信号を生成する装置、方法及びコンピュータ可読記憶媒体に関し、特に、ユーザの口部動作を検知してユーザが伝えたい意思を判断し、それに対応した信号を生成する装置及びその方法に関する。

人の手は、多数の関節を有するため様々な動きを行うことができる。そのため、大部分の機械又は乗り物は、手で操作するキーボード、ステアリング、押しボタン、ハンドルなどを備えて容易に使用できるように設計されているのが一般的である。しかし、一部の身体障碍者は手動で操作するように設計された器具の大部分を使用することができないため、ツールを利用して日常生活における問題を解決することができない上、身体障碍者でない健全なユーザでも、両手でツールを操作することができないときがある。例えば、これは両手で重い物を持っている場合、ドアのハンドルを開くことが困難であったり、走行車両の安全を図りながら携帯電話を使用することが困難であったり、さらには誘拐されたり脅迫されたときに加害者に気付かれないように手を使わずに外部へ救助を求めるときなど様々な状況がある。即ち、両手を用いる以外の動作により、電子機器などのツールと通信することが可能な方法についてメーカの多くは研究・開発を行っている。

手を使用する以外に、意思により顔の各部位を動かして様々な表情を作ることができるが、直接ツールを押したり引いたりする接触方式を利用する両手と異なり、以前は顔の動きにより通信することはできなかった。しかし画像処理技術の発展に伴い、顔の動きの画像により信号を生成して電子機器などのツールを操作する技術が開発されてきている。例えば、特許文献１において開示されているように、眼球の動きを検知する方式により制御を行う運転補助システムの場合、身体障碍者は簡単な操作により、電動車椅子などを運転することができる。当該システムは、目の画像をキャプチャし、スクリーン上の正確な座標位置を演算し、目の瞬きによりシステムへ信号を送信して車両運転の制御を行う。しかし、ある程度自由自在に動かすことができる手と異なり、目の場合、単純に上下左右へ動かしたり瞼を開閉したりすることしかできないため、目で伝えられる情報には限界があった。また、ユーザが事故などである場所に閉じ込められたり誘拐されたりしたときに、加害者に見つからないように顔の動きだけで救助を求める信号を外部へ送信したい場合であっても、従来技術では、信号により制御できるのは、目の動きにより意思を伝えて運転操作を支援するシステムだけであり、複雑な意思を伝えることはできなかった。顔の動きを検知して信号を生成する従来技術では、複雑な意思を伝えて通信することが困難であった。これに対して従来技術では問題を解決することができる方式は提供されていなかった。

台湾特許第５６５７５４号公報

そのため、本発明の目的は、ユーザの複雑な意思を外部へ伝えて救助を求めたり情報提供したりすることができる、顔の動きを検知して信号を生成する装置、方法及びコンピュータ可読記憶媒体を提供することにある。

（１）上記課題を解決するために、本発明の第１の形態によれば、撮像ユニット及び処理ユニットを備えた顔の動きを検知して信号を生成する装置であって、前記撮像ユニットは、連続撮影して複数の画像を得て、前記処理ユニットは、前記撮像ユニットが得た複数の画像を記憶ユニットへ記憶させ、前記記憶ユニットにより所定情報を記憶し、前記処理ユニットは、画像背景除去モジュール、画像キャプチャモジュール及び比較器を含み、前記画像背景除去モジュールは、複数の画像を処理して顔の画像をキャプチャし、前記画像キャプチャモジュールは、顔の画像中の鼻孔位置を検出して口部検索欄を設定し、前記口部検索欄から口部動作情報を得て、前記比較器は、前記口部動作情報を所定情報と照合し、比較結果が一致する場合に指定信号を生成することを特徴とする顔の動きを検知して信号を生成する装置が提供される。

（２）前記口部動作情報は、顔画像の口部の開閉動作に基づいて配列組み合わされて生成された符号化系列であり、前記所定情報は、前記記憶ユニット中へ予め記憶した所定の符号化系列であることが好ましい。

（３）前記口部動作情報は、複数の口形の配列組み合わせにより生成された口形符号化系列であり、前記所定情報は、前記記憶ユニット中に記憶した所定の口形符号化系列であることが好ましい。

（４）前記比較器が生成する指定信号を受信し、指定装置へ指定信号を送信する信号送信ユニットをさらに備えることが好ましい。

（５）前記信号送信ユニットは、移動通信モジュール又はＷｉ−Ｆｉモジュールであり、前記指定装置は、基地局、自動車サービスセンター、警備会社又は緊急連絡先の電話であることが好ましい。

（６）前記信号送信ユニットは、指定信号を送信した後、前記信号送信ユニットを介して送信した位置情報を前記指定装置へ送信するＧＰＳモジュールをさらに備えることが好ましい。

（７）走行情報を記録し、前記信号送信ユニットにより指定信号を送信した後、前記信号送信ユニットを介して走行情報を前記指定装置へ送信するＯＢＤ（Ｏｎ−Ｂｏａｒｄ Ｄｉａｇｎｏｓｔｉｃｓ）をさらに備えることが好ましい。

（８）前記信号送信ユニットが指定信号を送信すると、乗り物の内部及び／又は外部の様子を記録する画像記録器をさらに備えることが好ましい。

（９）前記処理ユニットは、瞬き計算モジュールを含み、前記瞬き計算モジュールにより顔の画像の瞬き回数を計算し、前記瞬き回数が所定時間内に第１の閾値を超えた場合に警報を鳴らす警報装置をさらに備えることが好ましい。

（１０）前記処理ユニットは、顔回転計算モジュールを含み、前記顔回転計算モジュールは、顔の画像から顔の回転角度を計算し、前記顔の回転角度が所定時間内に第２の閾値を超えた場合に警報を鳴らす警報装置をさらに備えることが好ましい。

（１１）上記課題を解決するために、本発明の第２の形態によれば、電子機器中で実行する顔の動きを検知して信号を生成する方法であって、複数の画像を連続撮影し、前記画像中から顔の画像を識別するステップと、前記顔の画像から、鼻孔位置決め点を識別するステップと、前記鼻孔位置決め点に基づき、口部領域を設定するステップと、所定時間内に前記口部領域の画像を記録して口部動作情報を得るステップ、前記口部動作情報と少なくとも１つの所定情報とを比べ、前記口部動作情報が前記所定情報と一致すると、前記所定情報に対応した指定信号を生成するステップと、を含むことを特徴とする顔の動きを検知して信号を生成する方法が提供される。

（１２）前記鼻孔位置決め点に基づいて前記口部領域を設定するステップは、前記鼻孔位置決め点に基づいて口部検索欄を設定し、前記口部検索欄内の比較を調整して画像を強調するステップと、前記強調した画像に対してノイズ除去処理を行い、前記ノイズ除去された画像を得るステップと、前記ノイズ除去された画像に対してエッジシャープネス処理を行い、前記シャープネス処理された画像を得るステップと、前記シャープネス処理された画像に対して二値化処理を行い、二値化画像を得るステップと、前記二値化画像に対して再びエッジシャープネス処理を行い、前記口部検索欄中から前記口部領域を取り出すステップと、を含むことが好ましい。

（１３）前記所定時間内の前記口部領域の画像を記録して前記口部動作情報を得るステップは、上唇部位及び下唇部位を含む複数の口部特徴を前記口部領域中から取り出すステップと、前記上唇部位と前記下唇部位との間隔と、隙間値とを比べるステップと、前記間隔が前記隙間値より大きい場合、口部を開く動作画像を得るステップと、前記間隔が前記隙間値より小さい場合、口部を閉じる動作画像を得るステップと、前記口部を閉じる動作画像又は前記口部を開く動作画像に基づいて符号を生成し、前記符号化系列中の第Ｎ欄へ符号を記憶させるステップと、前記所定時間に達したか否かを判断するステップと、前記口部動作情報を前記符号化系列へ保存するステップと、を含むことが好ましい。

（１４）前記所定時間内に口部領域の画像を記録して口部動作情報を得るステップは、前記口部領域の画像を複数のパターンと照合するステップと、比較結果が一致する場合に口形符号を生成し、符号化系列中の第Ｎ欄へ前記口形符号を記憶させるステップと、前記所定時間に達したか否かを判断するステップと、前記口部動作情報を前記符号化系列へ保存するステップと、を含むことが好ましい。

（１５）前記指定信号を生成するステップの後には、さらに信号送信ユニットから指定装置へ指定信号を送信するステップを含み、前記信号送信ユニットは、乗り物内へ取り付ける移動通信モジュール又はＷｉ−Ｆｉモジュールであり、前記指定装置は、基地局、自動車サービスセンター、警備会社又は緊急連絡先の電話であることが好ましい。

（１６）前記信号送信ユニットは、前記指定信号を送信した後、前記信号送信ユニットを介して前記指定装置のＧＰＳモジュールへ位置情報を送信するステップをさらに含むことが好ましい。

（１７）走行情報を記録し、前記信号送信ユニットが指定信号を送信した後、前記信号送信ユニットを介して前記指定装置のＯＢＤ（Ｏｎ−Ｂｏａｒｄ Ｄｉａｇｎｏｓｔｉｃｓ）へ走行情報を送信するステップをさらに含むことが好ましい。

（１８）前記信号送信ユニットが指定信号を送信した後、乗り物の内部及び／又は外部の画像を記録するステップをさらに含むことが好ましい。

（１９）上記課題を解決するために、本発明の第３の形態によれば、ユーザの顔の動きを検知して信号を生成する、（１１）〜（１８）の何れかの方法に含まれるステップをコンピュータ（電子機器）に実行させるプログラム（コマンド）を記憶したコンピュータ可読記憶媒体が提供される。

本発明の顔の動きを検知して信号を生成する装置、方法及びコンピュータ可読記憶媒体は、従来技術と比べ、以下（１）〜（３）の効果を有する。
（１）顔の動きを検知して信号を生成する装置は、ユーザの顔の画像中から口部動作情報を得て、口部動作情報を記憶ユニット中に予め記憶した所定情報と比べ、比較結果が一致する場合に信号送信ユニットから指定装置へ所定情報に対応した指定信号を送信し、ユーザが事故に遭ったり誘拐されたりしたとき、加害者に気付かれないように外部へ救援を求めるために、ユーザの口部動作を検知して救援信号を生成することができる。
（２）顔の動きを検知して信号を生成する装置を自動車などの乗り物内へ取り付けると、信号送信ユニットが指定装置へ指定信号を送信する際、ＧＰＳモジュール及び走行監視システムがユーザの現在位置情報及び走行情報を送信し、指定装置側の者がユーザの現在状況を迅速かつ詳細に知ることができる。
（３）ユーザの目の開閉情報、顔回転情報を検知し、閾値情報と比べてユーザの注意力のレベルを判断し、車両を運転しているときに注意力が散漫となり事故が発生することを防ぐことができる。

図１は、本発明の一実施形態に係る顔の動きを検知して信号を生成する装置を示すブロック図である。 図２は、本発明の一実施形態に係る処理ユニットを示すブロック図である。 図３は、本発明の顔の動きを検知して信号を生成する方法を示す流れ図である。 図４は、本発明の口部領域を取り出す方法を示す流れ図である。 図５は、本発明の第１実施形態に係る口部動作を検知して信号を生成する方法を示す流れ図である。 図６は、本発明の第２実施形態に係る口部動作を検知して信号を生成する方法を示す流れ図である。

以下、本発明の実施例について図に基づいて説明する。なお、これによって本発明が限定されるものではない。

図１及び図２を参照する。図１は、本発明の一実施形態に係る顔の動きを検知して信号を生成する装置を示すブロック図である。図２は、本発明の一実施形態い係る処理ユニットを示すブロック図である。図１及び図２に示すように、本発明の一実施形態に係る顔の動きを検知して信号を生成する装置１００は、様々な電子機器中へ設置することができる。例えば、自動車内へ設置してドライバの顔を検知し、ドライバの顔の動きが所定情報と一致する場合、対応した信号を生成し、特定装置へ信号を送信する。顔の動きを検知して信号を生成する装置１００は、少なくとも撮像ユニット１０、処理ユニット２０及び記憶ユニット３０から構成される。

撮像ユニット１０は、連続撮影して複数の画像を得ることが可能な、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）レンズ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）レンズ、ドライブレコーダー、カメラなどでもよい。処理ユニット２０は、撮像ユニット１０を介して複数の画像を得て、記憶ユニット３０中に複数の画像を記憶して画像処理を行う。記憶ユニット３０は、撮像ユニット１０により撮影した複数の画像を記憶するために用いる。記憶ユニット３０は、プログラム又はデータを記憶するために用いるハードディスクなどの電子式記憶装置であり、所定情報をさらに記憶することもできる。所定情報は、記憶ユニット３０中に予め記憶した符号化系列（ｅｎｃｏｄｉｎｇ ｓｅｒｉｅｓ）であり、各符号は、単位時間内のユーザの口部動作を表し、所定情報は、特定の口部の形を表す情報でもよい。

処理ユニット２０は、画像背景除去モジュール２１、画像キャプチャモジュール２２及び比較器２３を含む。画像背景除去モジュール２１は、画像中の人の顔を認識し、ユーザの顔画像をキャプチャし、画像中の背景など不必要な情報を除去して画像範囲を縮小して識別効果を高めるために用いる。人物の認識技術に関しては、当業者であれば容易に理解することができるため、ここでは詳細な説明を省略する。画像キャプチャモジュール２２は、光源補正、コントラスト調整、シャープネス処理、ノイズ除去処理、画像照合などの各種画像処理アルゴリズムを有する。画像キャプチャモジュール２２は、顔の画像中の鼻孔位置を識別し、鼻孔を基準点として口部検索欄を設定し、口部検索欄内の画像を調整して口部動作情報を得る。口部動作情報とは、顔の画像中で、ユーザの連続した口部動作に基づいて生成した符号化系列である。また、比較器２３は、口部動作情報と、所定情報とを比べてユーザが伝えたい意思を判断するために用い、比較結果が一致する場合、比較器が指定信号を生成する。指定信号は、所定情報が表わす状況に応じて生成される応答メッセージである。また、上述した顔の動きを検知して信号を生成する装置１００は、信号送信ユニット４０をさらに含む。信号送信ユニット４０は、比較器が生成する指定信号を受信し、指定装置５０へ指定信号を送信する。信号送信ユニット４０は、Ｗｉ−Ｆｉ（登録商標）モジュール、移動通信モジュールなど、信号を外部へ送る送信機器である。予め設定した所定情報の符号化系列は、車両に発生した故障状況を表す。本実施形態において指定装置５０は、自動車サービスセンターの信号受信装置であり、指定信号は、自動車サービスセンターへ救援を求めるメッセージであるが、本実施形態の指定信号の形式又は用途は単なる一例であり、本発明を何ら限定するものではない。以下では２つの実施形態により本発明の技術内容を詳しく説明する。

（第１実施形態）
本発明の第１実施形態において、口部動作情報は、一定時間内のユーザの口部の開閉状態を記録し、ユーザが口部を開くとユーザの顔の画像は処理ユニット２０により口部を開いていると判断され、逆の場合、口部が閉じられていると判断される。処理ユニット２０は、単位時間中でユーザの口部の開閉と、開閉時間の長さに基づいて符号化を行い、符号化の系列は、口部動作情報を構成する。符号化系列は、二次元符号又はモールス符号の方式により符号化してもよい。例えば、口部を開く動作の画像を定義し、口部を閉じる動作の画像を定義し、ユーザが口部を２単位時間開いてから口部を２単位時間閉じると、その符号化系列は（１，１，０，０）である。処理ユニット２０は、比較器２３を介して口部動作情報と所定情報とを比べ、比較結果が一致したと判断した場合、比較器２３が信号送信ユニット４０へ指定信号を送信し、信号送信ユニット４０が指定装置５０へ指定信号を送信する。そのためユーザは、特定の符号化方式に基づき、口部の開閉を行い、顔の動きを検知して信号を生成する装置１００により、対応した指定信号を生成し、顔の動きにより信号を送信する。

（第２実施形態）
本発明の第２実施形態に係る顔の動きを検知して信号を生成する装置、方法及びコンピュータ可読記憶媒体は、口部動作情報は、特定の口部の連続動作又は唇の動きを表してもよい。所定情報は、記憶ユニット３０中の所定の口形符号化系列であり、記憶ユニット３０により口形符号化系列と所定の口形符号化系列とを比べ、一致するか否かを判断し、ユーザの口部動作により伝えたい意思を判断する。例えば、ユーザが「助けて」と発声すると、撮像ユニット１０により撮影されたユーザの画像が処理ユニット２０へ送られ、処理ユニット２０中の画像背景除去モジュール２１を介してユーザの顔の画像をキャプチャし、処理ユニット２０の画像キャプチャモジュール２２を介してユーザの顔の画像から口部動作情報を得て、比較器２３により所定情報と比べた結果、ユーザの口部動作が「助けて」を表す所定情報と一致する場合、処理ユニット２０が信号送信ユニット４０へ指定信号を送信し、指定装置５０へ指定信号を送信し、このように顔の動きにより信号を生成して送信することができる。

また、顔の動きを検知して信号を生成する装置１００は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）モジュールをさらに含む。ＧＰＳモジュールは、衛星を介して現在の位置情報を得る。信号送信ユニット４０は、指定信号を送信した後、ＧＰＳモジュールが信号送信ユニット４０を介して所在地の位置情報を送信し、指定装置５０側に位置する者が、迅速かつ確実にドライバの現在位置を知ることができる。上述の顔の動きを検知して信号を生成する装置１００は、走行情報を記録し、信号送信ユニット４０により指定信号を送信した後、信号送信ユニット４０を介して走行情報を指定装置へ送信するＯＢＤ（Ｏｎ−Ｂｏａｒｄ Ｄｉａｇｎｏｓｔｉｃｓ）をさらに含む。走行情報は、自動車の走行状態（例えば、排気量、燃料系統状態、故障符号などの情報）を記録し、信号送信ユニット４０を介して指定信号と一緒に送信し、指定装置５０側に位置するスタッフが自動車の状態を予め知ることができるため、運転手がいる場所へ向かう前に必要な前準備を行うことができる。

本実施形態に係る顔の動きを検知して信号を生成する装置１００は、画像記録器（図示せず）をさらに含む。信号送信ユニット４０が指定信号を送信すると、画像記録器により乗り物の内部及び／又は外部の様子を録画したり、画像記録器により継続的に画像記録を行ったりするが、一部の録画部分（信号送信ユニット４０から指定信号を送信する５分前に記録を開始する）を残して記憶空間を効率的に利用し、事故などの状況が発生したときに容易にその発生原因を知ることができる。

本実施形態に係る顔の動きを検知して信号を生成する装置１００は、警報装置（図示せず）をさらに含む。処理ユニット２０は、瞬き計算モジュール２４を含む。瞬き計算モジュール２４は、顔の画像中から目の位置を探し出し、目の開閉状態を判断して瞬き回数を得て、瞬き回数が所定時間内に第１の閾値を超えたときに警報装置により警報を鳴らす。第１の閾値は、正常な注意力の状況下における瞬き回数の上限であり、ユーザの瞬き回数が第１の閾値を超えると、疲労によりユーザの注意力が散漫となっている可能性があると判断し、警報装置により警報を鳴らす。処理ユニット２０は、顔回転計算モジュール２５をさらに含み、顔の画像中で顔が正面以外の方向へ向けられると、角度を計算して顔の回転角度を得て、顔の回転角度が所定時間内に第２の閾値を超えたときに、警報装置により警報を鳴らす。第２の閾値は、正常な注意力が回転角度の上限を表し、例えば、ユーザが周りの景色を見るために頭を大きく動かして第２の閾値を超える場合、注意力が散漫となったと判断し、警報装置により警報を鳴らす。

本発明の技術効果についてより良く理解できるように、以下、本発明の応用例を説明する。上述の顔の動きを検知して信号を生成する装置１００は、勿論、自動車、レジャーボート、プライベートジェットなどの乗り物に取り付けることができるが、以下では自動車を例にとり説明する。撮像ユニット１０は、乗り物に取り付けてドライバの顔を撮影する。例えば、事故が発生してドライバが車内に閉じ込められたときに、口部を動かすと上述の顔の動きを検知して信号を生成する装置１００は、信号送信ユニット４０により指定装置５０へ指定信号を送信する。指定信号は、例えば、ユーザの意思を伝える文字メッセージ又は予め録音した音声でもよい。指定装置５０は、基地局、自動車サービスセンター、警備会社、緊急連絡先の電話などでもよい。

以下、本発明の使用方法について説明する。図３は、本発明の顔の動きを検知して信号を生成する方法を示す流れ図である。図３に示すように、本発明の一実施形態に係る顔の動きを検知して信号を生成する方法は、以下のステップ（Ｓ１１０）〜（Ｓ１６０）を含む。

まず、複数の画像を連続撮影し、色、形状などの条件により画像中の顔の部分を識別する（ステップＳ１１０）。顔の画像から、鼻孔位置決め点を識別する（ステップＳ１２０）。鼻孔は、大多数の人の顔において略同じ形状及び色（即ち、黒）を有するため、鼻孔の位置は、人の顔を認識する際の基準点として用いるのに適している。続いて、鼻孔位置決め点に基づき口部領域を設定する（ステップＳ１３０）。具体的には、鼻孔位置決め点から下方へ一定距離離れた箇所に口部検索欄を設定する。口部検索欄は横長で狭く、唇の形状を含む長方形状の欄であることが好ましく、不必要な部分を取り出すと、顔の画像中の口部領域を取り出すことができる。所定時間内の口部領域の画像を記録し、口部動作情報を得る（ステップＳ１４０）。所定時間内のユーザの口部動作は複数枚の写真に分割され、それぞれの写真は単位時間内の口部動作を表し、口部動作はそれぞれ特定の符号に対応する。前述した口部動作情報は、ユーザの口部の開閉、動作、唇の動きなどの動作に基づいて生成した画像符号化系列である。例えば、各単位時間は０．５秒であり、口部動作情報の長さは１６個の符号である。所定時間は１６×０．５＝８秒であり、所定時間及び単位時間の長さは必要に応じて調整することができ、本発明だけに限定されるわけではない。最終的に、口部動作情報と少なくとも１つの所定情報とを比べ（ステップＳ１５０）、口部動作情報が所定情報と一致する場合に、所定情報に対応した指定信号を送信する（ステップＳ１６０）。

図４を参照する。図４は、本発明の口部領域を取り出す方法を示す流れ図である。図４に示すように、鼻孔位置決め点に基づいて口部領域を取り出すステップは、具体的には、唇の色及び皮膚、歯の色の濃淡の違いに基づき、口部検索欄内の比較を調整して画像を強調することができ（ステップＳ１３１）、強調した画像に対してノイズ除去処理を行い、画素マトリクスを介してノイズを除去し、強化画像に対してノイズ除去された鮮明な画像を得る（ステップＳ１３２）。続いて、画像中の一色と他色との比較レベルに基づいてエッジシャープネス処理を行い、ノイズ除去された画像中のエッジを決定し、シャープネス処理された画像を得る（ステップＳ１３３）。画像の複雑レベルに応じて画像が使用する記憶容量を決定し、コントラスト効果を高め、シャープネス処理した画像に対して二値化処理を行う。上述の二値化処理は、まず、閾値を定義し、画像中の画素を、閾値を超えた数値及び閾値より低い数値である２種類の数値に画像中の画素を分けて二値化画像を得る（ステップＳ１３４）。最後に、二値化画像に対して再びエッジシャープネス処理を行うが、このとき二値化画像中のユーザの唇部位が非常に鮮明であるため、口部検索欄中から口部領域を取り出すことができる（ステップＳ１３５）。上述した口部領域を取り出す方法は、説明の便宜上示した単なる一例であり、本発明を何ら限定するものではない。

図５を参照する。図５は、本発明の第１実施形態に係る顔の動きを検知して信号を生成する方法を示す流れ図である。図５に示すように、所定時間内の口部領域の画像を記録して口部動作情報を得るステップにおいて、ユーザの口部の開閉を記録して口部動作情報を得るためには、まず、口部領域中から上唇部位及び下唇部位が含まれる複数の口部特徴を取り出す必要がある（ステップＳ１４１Ａ）。詳細には、口部特徴を取り出す方法において、口部領域の左右両側の境界を探し出し、左側口角及び右側口角を判断する。同様に、口部領域の上下両側の輪郭線を探し出し、左側口角と右側口角との接続線により上唇部位及び下唇部位の位置を識別する。続いて、上唇部位と下唇部位との間隔と、隙間値とを比べる（ステップＳ１４２Ａ）。上唇部位と下唇部位との間の間隔が隙間値より大きい場合（ステップＳ１４３Ａ）、ユーザの口部が開いていることを表し、口部を開く動作の画像を得る。反対に間隔が隙間値より小さい場合、口部を閉じる動作の画像を得る（ステップＳ１４４Ａ）。口部を閉じる動作画像又は口部を開く動作画像に基づいて符号を生成し、符号化系列中の第Ｎ欄へ符号を保存してから（ステップＳ１４５Ａ）、所定時間に達したか否かを判断し（ステップＳ１４６Ａ）、所定時間に達していない場合、Ｎ＝Ｎ＋１（ステップＳ１４７Ａ）とし、ステップＳ１４１Ａへ戻って口部の開閉を識別し続け、次に発生した符号が符号化系列中の次の欄へ記憶される。各第Ｎ欄は、１つの単位時間を表し、欄中に記憶された符号が単位時間の顔の画像を表し、実際にはステップＳ１４１Ａ〜Ｓ１４７Ａの流れ図中に遅延時間が加えられているため、この流れ図でかかる時間は単位時間に等しく、各第Ｎ欄が１単位時間を表す目的を達成することができる。最後に符号化系列を口部動作情報へ保存する（ステップＳ１４８Ａ）。

（第２実施形態）
図６を参照する。図６は、本発明の第２実施形態に係る口部動作を検知して信号を生成する方法を示す流れ図である。図５に示す方法以外には、図６に示すように、口部動作情報が多種類の口形の組み合わせ順序を表すようにしてもよい。所定時間内の口部領域の画像を記録して口部動作情報を得るステップにおいて、まず、口部領域の画像と記憶ユニット３０中の複数のパターン（ｐａｔｔｅｒｎ）とを比べ（ステップＳ１４１Ｂ）、比較結果の口部領域の画像がパターンと一致する場合（ステップＳ１４２Ｂ）、口形符号を生成し、口形符号を符号化系列中の第Ｎ欄へ記憶し（ステップＳ１４３Ｂ）、その後、所定時間に達したか否かを判断する（ステップＳ１４４Ｂ）。もしノーの場合、Ｎ＝Ｎ＋１（ステップＳ１４５Ｂ）であり、ステップＳ１４１Ｂへ戻る。所定時間に達した場合、符号化系列を口部動作情報へ記憶させる（ステップＳ１４６Ｂ）。上述したパターンは、識別性を有する特定の口部動作画像、唇の形などを含む。例えば、日本語の「あ、い、う、え、お」を発声するときの口部の筋肉各部の動きは、パターンがそれぞれ一定のトレランス（ｔｏｌｅｒａｎｃｅ）を有する。即ち、ユーザの顔の画像中の口形及びパターンが僅かに相違しても、トレランスの許容範囲内ではパターンと一致する口形符号であると識別することが可能である。相対的に、記憶ユニット３０中に予め記憶した所定情報は、上述したパターンの配列組み合わせにより構成された少なくとも１つの所定の口形符号化系列から取り出し、各所定の口形符号化系列のそれぞれが指定信号に対応する。例えば、ユーザが誘拐された場合、加害者に気付かれないように、ユーザが発声せずに「助けて」と口部を動かすだけで、信号送信ユニット４０により救援信号を生成し、警備会社などへ送信して救助を求めることができる。

さらに、本発明の方法に係るコンピュータ可読記憶媒体は、磁気ディスク、光ディスク、ハードディスクなどの電子式記憶媒体であり、コンピュータ可読記憶媒体の電子機器を読み取って実行する。具体的に電子機器は、小型のモバイル型電子機器、ドライブレコーダー、運転安全支援装置、車両システムのＯＤＢ（Ｏｎ Ｂｏａｒｄ Ｄｉａｇｎｏｓｔｉｃｓ）、コンピュータ装置、又はこれらの電子機器などでもよい。

上述したことから分かるように、本発明の顔の動きを検知して信号を生成する装置、方法及びコンピュータ可読記憶媒体は、顔の動きを検知して信号を生成する装置の撮像ユニットにより複数の画像を撮影し、それら複数の画像を処置ユニットへ送信し、画像背景除去モジュールによりユーザの顔の画像をキャプチャし、画像キャプチャモジュールにより、口部検索欄を設定して口部動作情報を得て、口部動作情報を比較器により記憶ユニット中に予め記憶した所定情報と比べ、比較結果が一致する場合に信号送信ユニットから指定装置へ所定情報に対応した指定信号を送信し、顔の動きにより信号を生成する。さらに、顔の動きを検知して信号を生成する装置を自動車などの乗り物内へ取り付けると、ＧＰＳモジュール及び走行監視システムがユーザの現在位置情報及び走行情報を送信し、指定装置側にいる者がユーザの現在状況を迅速かつ詳細に知り、画像記録器により当時の状況を録画するため、事故などの発生原因を容易に知ることができる。さらに、本発明は、顔の画像からユーザの目の瞬き回数及び顔回転角度を判断し、第１の閾値又は第２の閾値と比べ、比較結果が一致する場合にユーザの注意力が散漫であると判断し、警報装置により警報を鳴らす。

当該分野の技術を熟知するものが理解できるように、本発明の好適な実施例を前述の通り開示したが、これらは決して本発明を限定するものではない。本発明の主旨と領域を逸脱しない範囲で各種の変更や修正を加えることができる。従って、本発明の特許請求の範囲は、このような変更や修正を含めて広く解釈されるべきである。

１０ 撮像ユニット
２０ 処理ユニット
２１ 画像背景除去モジュール
２２ 画像キャプチャモジュール
２３ 比較器
２４ 瞬き計算モジュール
２５ 顔回転計算モジュール
３０ 記憶ユニット
４０ 信号送信ユニット
５０ 指定装置
１００ 顔の動きを検知して信号を生成する装置

Claims (19)

1. 撮像ユニット及び処理ユニットを備えた顔の動きを検知して信号を生成する装置であって、
   前記撮像ユニットは、連続撮影して複数の画像を得て、
   前記処理ユニットは、前記撮像ユニットが得た複数の画像を記憶ユニットへ記憶させ、前記記憶ユニットにより所定情報を記憶し、前記処理ユニットは、画像背景除去モジュール、画像キャプチャモジュール及び比較器を含み、
   前記画像背景除去モジュールは、複数の画像を処理して顔の画像をキャプチャし、
   前記画像キャプチャモジュールは、顔の画像中の鼻孔位置を検出して口部検索欄を設定し、前記口部検索欄から口部動作情報を得て、
   前記比較器は、前記口部動作情報を所定情報と照合し、比較結果が一致する場合に指定信号を生成することを特徴とする顔の動きを検知して信号を生成する装置。
2. 前記口部動作情報は、顔画像の口部の開閉動作に基づいて配列組み合わされて生成された符号化系列であり、
   前記所定情報は、前記記憶ユニット中へ予め記憶した所定の符号化系列であることを特徴とする請求項１に記載の顔の動きを検知して信号を生成する装置。
3. 前記口部動作情報は、複数の口形の配列組み合わせにより生成された口形符号化系列であり、
   前記所定情報は、前記記憶ユニット中に記憶した所定の口形符号化系列であることを特徴とする請求項１又は２に記載の顔の動きを検知して信号を生成する装置。
4. 前記比較器が生成する指定信号を受信し、指定装置へ指定信号を送信する信号送信ユニットをさらに備えることを特徴とする請求項１から３のいずれかに記載の顔の動きを検知して信号を生成する装置。
5. 前記信号送信ユニットは、移動通信モジュール又はＷｉ−Ｆｉモジュールであり、
   前記指定装置は、基地局、自動車サービスセンター、警備会社又は緊急連絡先の電話であることを特徴とする請求項４に記載の顔の動きを検知して信号を生成する装置。
6. 前記信号送信ユニットは、指定信号を送信した後、前記信号送信ユニットを介して送信した位置情報を前記指定装置へ送信するＧＰＳモジュールをさらに備えることを特徴とする請求項５に記載の顔の動きを検知して信号を生成する装置。
7. 走行情報を記録し、前記信号送信ユニットにより指定信号を送信した後、前記信号送信ユニットを介して走行情報を前記指定装置へ送信するＯＢＤ（Ｏｎ−Ｂｏａｒｄ Ｄｉａｇｎｏｓｔｉｃｓ）をさらに備えることを特徴とする請求項５又は６に記載の顔の動きを検知して信号を生成する装置。
8. 前記信号送信ユニットが指定信号を送信すると、乗り物の内部及び／又は外部の様子を記録する画像記録器をさらに備えることを特徴とする請求項５から７のいずれかに記載の顔の動きを検知して信号を生成する装置。
9. 前記処理ユニットは、瞬き計算モジュールを含み、
   前記瞬き計算モジュールにより顔の画像の瞬き回数を計算し、前記瞬き回数が所定時間内に第１の閾値を超えた場合に警報を鳴らす警報装置をさらに備えることを特徴とする請求項１から８のいずれかに記載の顔の動きを検知して信号を生成する装置。
10. 前記処理ユニットは、顔回転計算モジュールを含み、
    前記顔回転計算モジュールは、顔の画像から顔の回転角度を計算し、前記顔の回転角度が所定時間内に第２の閾値を超えた場合に警報を鳴らす警報装置をさらに備えることを特徴とする請求項１から９のいずれかに記載の顔の動きを検知して信号を生成する装置。
11. 電子機器中で実行する顔の動きを検知して信号を生成する方法であって、
    複数の画像を連続撮影し、前記画像中から顔の画像を識別するステップと、
    前記顔の画像から、鼻孔位置決め点を識別するステップと、
    前記鼻孔位置決め点に基づき、口部領域を設定するステップと、
    所定時間内に前記口部領域の画像を記録して口部動作情報を得るステップ、
    前記口部動作情報と少なくとも１つの所定情報とを比べ、前記口部動作情報が前記所定情報と一致すると、前記所定情報に対応した指定信号を生成するステップと、を含むことを特徴とする顔の動きを検知して信号を生成する方法。
12. 前記鼻孔位置決め点に基づいて前記口部領域を設定するステップは、
    前記鼻孔位置決め点に基づいて口部検索欄を設定し、前記口部検索欄内の比較を調整して画像を強調するステップと、
    前記強調した画像に対してノイズ除去処理を行い、前記ノイズ除去された画像を得るステップと、
    前記ノイズ除去された画像に対してエッジシャープネス処理を行い、前記シャープネス処理された画像を得るステップと、
    前記シャープネス処理された画像に対して二値化処理を行い、二値化画像を得るステップと、
    前記二値化画像に対して再びエッジシャープネス処理を行い、前記口部検索欄中から前記口部領域を取り出すステップと、を含むことを特徴とする請求項１１に記載の顔の動きを検知して信号を生成する方法。
13. 前記所定時間内の前記口部領域の画像を記録して前記口部動作情報を得るステップは、
    上唇部位及び下唇部位を含む複数の口部特徴を前記口部領域中から取り出すステップと、
    前記上唇部位と前記下唇部位との間隔と、隙間値とを比べるステップと、
    前記間隔が前記隙間値より大きい場合、口部を開く動作画像を得るステップと、
    前記間隔が前記隙間値より小さい場合、口部を閉じる動作画像を得るステップと、
    前記口部を閉じる動作画像又は前記口部を開く動作画像に基づいて符号を生成し、前記符号化系列中の第Ｎ欄へ符号を記憶させるステップと、
    前記所定時間に達したか否かを判断するステップと、
    前記口部動作情報を前記符号化系列へ保存するステップと、を含むことを特徴とする請求項１１又は１２に記載の顔の動きを検知して信号を生成する方法。
14. 前記所定時間内に口部領域の画像を記録して口部動作情報を得るステップは、
    前記口部領域の画像を複数のパターンと照合するステップと、
    比較結果が一致する場合に口形符号を生成し、符号化系列中の第Ｎ欄へ前記口形符号を記憶させるステップと、
    前記所定時間に達したか否かを判断するステップと、
    前記口部動作情報を前記符号化系列へ保存するステップと、を含むことを特徴とする請求項１１から１３のいずれかに記載の顔の動きを検知して信号を生成する方法。
15. 前記指定信号を生成するステップの後には、さらに信号送信ユニットから指定装置へ指定信号を送信するステップを含み、
    前記信号送信ユニットは、乗り物内へ取り付ける移動通信モジュール又はＷｉ−Ｆｉモジュールであり、
    前記指定装置は、基地局、自動車サービスセンター、警備会社又は緊急連絡先の電話であることを特徴とする請求項１１から１４のいずれかに記載の顔の動きを検知して信号を生成する方法。
16. 前記信号送信ユニットは、前記指定信号を送信した後、前記信号送信ユニットを介して前記指定装置のＧＰＳモジュールへ位置情報を送信するステップをさらに含むことを特徴とする請求項１５に記載の顔の動きを検知して信号を生成する方法。
17. 走行情報を記録し、前記信号送信ユニットが指定信号を送信した後、前記信号送信ユニットを介して前記指定装置のＯＢＤ（Ｏｎ−Ｂｏａｒｄ Ｄｉａｇｎｏｓｔｉｃｓ）へ走行情報を送信するステップをさらに含むことを特徴とする請求項１５又は１６に記載の顔の動きを検知して信号を生成する方法。
18. 前記信号送信ユニットが指定信号を送信した後、乗り物の内部及び／又は外部の画像を記録するステップをさらに含むことを特徴とする請求項１５から１７のいずれかに記載の顔の動きを検知して信号を生成する方法。
19. ユーザの顔の動きを検知して信号を生成する、請求項１１〜１８の何れか１項の方法に含まれるステップをコンピュータに実行させるプログラムを記憶したコンピュータ可読記憶媒体。

Images