JP2019504386A - 顔画像処理方法および装置、ならびに記憶媒体 - Google Patents

Abstract

本発明の実施形態は、顔画像処理方法および装置、ならびに記憶媒体を開示する。この方法は、顔画像から顔器官に対応する顔特徴点を抽出するステップと、顔器官に対応する顔特徴点の間の距離を計算するステップと、顔特徴点の間の距離に従って異なる位置の顔器官の特徴パラメータを計算するステップと、特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、顔器官が顔画像内に顔動作を形成すると決定するステップとを含む。

Description

本開示は、画像処理技術に関するものであり、特に、顔画像処理方法および装置、ならびに記憶媒体に関するものである。

顔抽出技術は、画像処理の新しく現れた1つの方向であり、抽出は、入力画像またはビデオストリームを読み出すことによって実行されるものとしてよく、写真または識別認証などのアプリケーションシナリオにおいて使用される。関連技術における顔抽出は、ただ単に顔の顔特徴を抽出することを達成することができるだけであり、ユーザが口を開ける、キスをする、眉をつり上げる、または頭を振るなどの顔動作を効果的に認識することができない。

このような事情にかんがみて、本発明の実施形態は、ユーザの顔動作を顔画像から正確に識別するための、顔画像処理方法および装置ならびに記憶媒体を実現する。

本発明の実施形態の技術的解決方法は、次のように実装される。

第1の態様によれば、本発明の一実施形態は、顔画像処理方法を提供し、この方法は
顔画像から顔器官に対応する顔特徴点を抽出するステップと、
顔器官に対応する顔特徴点の間の距離を計算するステップと、
顔特徴点の間の距離に従って異なる位置の顔器官の特徴パラメータを計算するステップと、
特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、顔器官が顔画像内に顔動作を形成すると決定するステップとを含む。

第2の態様によれば、本発明の一実施形態は、顔画像処理装置を実現し、この装置は
顔画像から顔器官に対応する顔特徴点を抽出するように構成されている、顔特徴抽出モジュールと、
顔器官に対応する顔特徴点の間の距離を計算するように構成されている、顔動作解析モジュールとを備え、
顔動作解析モジュールは顔特徴点の間の距離に従って異なる位置の顔器官の特徴パラメータを計算するように構成され、
顔動作解析モジュールは特徴パラメータが顔動作に対応するプリセット条件を満たす場合に顔器官が顔画像内に顔動作を形成すると決定するように構成される。

第3の態様によれば、本発明の一実施形態は、顔画像処理装置を実現し、この装置は
実行可能プログラムを記憶するように構成されているメモリと、
メモリ内に記憶されている実行可能プログラムを実行することによって、
顔画像から顔器官に対応する顔特徴点を抽出するオペレーションと、
顔器官に対応する顔特徴点の間の距離を計算するオペレーションと、
顔特徴点の間の距離に従って異なる位置の顔器官の特徴パラメータを計算するオペレーションと、
特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、顔器官が顔画像内に顔動作を形成すると決定するオペレーションとを実装するように構成されているプロセッサとを備える。

第4の態様によれば、本発明の一実施形態は、プロセッサによって実行されるときに、実行可能プログラムを記憶する記憶媒体をさらに実現し、実行可能プログラムは
顔画像から顔器官に対応する顔特徴点を抽出するオペレーションと、
顔器官に対応する顔特徴点の間の距離を計算するオペレーションと、
顔特徴点の間の距離に従って異なる位置の顔器官の特徴パラメータを計算するオペレーションと、
特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、顔器官が顔画像内に顔動作を形成すると決定するオペレーションとを実装する。

本発明の実施形態は、次の有益な効果を有する。

顔画像ベースの特徴点抽出方式では、異なる位置における顔器官の特徴は、顔器官の顔特徴点の間の距離を計算することによって得られる。顔動作が生じたときに顔動作に関わる器官は必ず異なる位置における顔器官の特徴パラメータの変化を反映するので、顔動作を正確に認識する技術的効果は、異なる顔動作に対する特徴パラメータに対応する条件(プリセット条件)をプリセットし、それらの条件を顔画像から抽出された顔器官の特徴パラメータと比較することによって実装され得る。

本発明の実施形態または既存の技術における技術的解決方法をより明確に説明するために、次に、実施形態または既存の技術を説明するために必要な添付図面について簡単に説明する。明らかに、以下の説明の添付図面は、本発明のいくつかの実施形態を示しているにすぎず、および当業者であれば、創造的労力を費やすことなくこれらの添付図面から他の図面を導き出すことができる。

本発明の一実施形態における顔画像処理装置のハードウェアの構造図である。 本発明の一実施形態におけるシナリオで顔画像処理装置を使用することを示す概略図である。 本発明の一実施形態における顔画像処理方法の概略フローチャートである。 本発明の一実施形態においてユーザの顔画像から複数の顔特徴点を抽出することを示す概略図である。 本発明の別の実施形態における顔画像処理方法の概略フローチャートである。 本発明の別の実施形態における顔画像処理方法の概略フローチャートである。 本発明の別の実施形態における顔画像処理方法の概略フローチャートである。 本発明の別の実施形態における顔画像処理方法の概略フローチャートである。 本発明の別の実施形態における顔画像処理方法の概略フローチャートである。 本発明の一実施形態においてユーザの口を開ける動作に従ってマッピングを実行する効果を示す概略図である。 本発明の一実施形態においてユーザの瞬きする動作に従ってマッピングを実行する効果を示す概略図である。 本発明の一実施形態においてユーザの瞬きする動作およびキスする動作に従ってマッピングを実行する効果を示す概略図である。 本発明の一実施形態における顔画像処理装置の概略構造図である。 本発明の一実施形態における顔動作解析モジュールの概略構造図である。

以下では、本発明の実施形態の添付図面を参照しつつ本発明の実施形態の技術的解決方法について明確に、かつ完全に説明する。明らかに、説明されている実施形態は、本発明のすべての実施形態の代わりにいくつかの実施形態のみである。創造的効果なく本発明の実施形態に基づいて当業者が得る他のすべての実施形態は、本開示の保護の範囲内に収まるものとする。

本開示がさらに詳細に説明される前に、本発明の実施形態に関わる名称および用語が説明され、本発明に関わる名称および用語は、次の説明に適用される。

1)顔画像は、顔を含む電子画像、またはビデオデータ内の顔を含む画像フレームである。電子画像は、Joint Photographic Experts Group(JPEG)またはGraphics Interchange Format(GIF)などのフォーマットの画像であるものとしてよい。画像フレームは、一連の、ビデオ内の顔を含む連続(すなわち、ビデオの時間軸上に連続的に分布する)画像フレームまたはビデオ内の顔を含むs個の離散(すなわち、ビデオの時間軸上に離散的に分布する)画像フレームであってよい。

2)顔特徴点は、顔の、認識可能な特性を有する、局所的特徴に対応し、特徴点は、一組の複数のピクセル点およびその座標を使用することによって記述されるものとしてよく、顔特徴点は、顔器官を表すために使用される特徴点であり、各顔器官は、1つまたは複数の特徴点に対応する。たとえば、特徴点は、目特徴点、鼻特徴点、唇特徴点、眉特徴点、および顔エッジ特徴点を含み得る。

3)顔特徴点抽出は、顔画像から異なる位置にある対応する顔器官の特徴点を抽出することであり、顔特徴点およびその抽出方式は、次の異なる次元で記述される。

3.1)色特徴
色特徴は、顔器官の表面色を記述するものであり、色特徴は、ピクセル点に基づく特徴であり、赤色、緑色、および青色(RGB)、色相、彩度、および明度(HSV)などの色空間表現が、色特徴を記述するために使用され得る。色特徴ベースの顔特徴点を抽出する一例において、顔画像は、ヒストグラムに変換され、色分布が顔器官の異なる位置に適合する特徴点は、対応する位置における特徴点としてヒストグラムから抽出される。

3.2)テクスチャ特徴
顔画像内の異なる位置の表面テクスチャが記述される。統計的手法が、顔画像からテクスチャ特徴を抽出する典型的な方法である。特に、顔器官の異なる位置に適合するテクスチャ特徴は、顔画像の自己相関関数(すなわち、画像のエネルギースペクトル関数)から抽出される。すなわち、テクスチャの、粗さおよび指向性(directivity)などの、特徴パラメータは、画像のエネルギースペクトル関数を計算することによって抽出され、顔器官の異なる位置に適合するテクスチャ特徴の特徴点は、対応する位置における特徴点として使用される。

3.3)スケール不変特徴
スケール不変特徴は、顔画像が回転されるか、または並進移動されたときにスケールが顔画像内で安定に保つ局所的特徴である。典型的には、スケール空間は、スケール不変特徴変換(SIFT)アルゴリズムを使用することによって、また元の顔画とガウス核との畳み込みを使用することによって確立され、スケール不変特徴点は、ガウス空間ピラミッド(Gaussian space pyramid)の差から抽出される。

3.4)形状特徴
顔器官内の異なる位置の外部輪郭が記述される。典型的な方式は、エッジ検出を使用する方式である。エッジ特徴方法は、画像の形状パラメータを取得するためのエッジ特徴を記述するものである。輪郭検出の一例として、顔画像は、グレースケール画像に変換され、グレースケール画像は、エッジとして明度が明確に変化する(たとえば、明度変化閾値を超える)ピクセル点がないか探索される。

異なる次元において顔器官の異なる位置で顔特徴点を抽出する前述の方式は、代替的に、または組み合わせて使用され得ることは指摘されるべきである。顔画像から抽出された顔特徴点について、その配置および中に含まれるピクセル点が決定されることは理解され得るであろう。顔特徴点は、対応するピクセル点配置の幾何中心配置もしくは幾何重心配置、または任意のピクセル点配置を使用することによって表現され得る。

本発明の実施形態は、顔画像処理方法、顔画像処理方法を実装するための顔画像処理装置、および記憶媒体を実現する。

顔画像処理装置は、多くの方式で実装され得る。たとえば、顔画像処理装置は、パーソナルコンピュータ、タブレットコンピュータ、ノートブックコンピュータ、スマートフォン、電子書籍リーダ、デジタルカメラ、デジタルビデオカメラ、およびインテリジェントウェアラブルデバイスなどのユーザ端末として実装され得る。別の例では、顔画像処理装置は、ネットワークサイドに配備されるサーバとして実装されてよい。顔画像処理装置は、ユーザ端末として実装される場合、顔画像処理方法を実装するための前述のユーザ端末は、ユーザの顔画像をタイミングよく取得するように構成されている、カメラモジュールを備え得るか、またはデータ伝送を用いてネットワークもしくは別のデバイスからユーザの顔画像を取得し得る。顔画像処理方法の次の実装手順において、本発明の実施形態における顔画像処理装置は、実装対象として使用される。

たとえば、図1-1を参照すると、図1-1は、本発明の一実施形態における顔画像処理装置100のハードウェアの構造図であり、少なくとも1つのプロセッサ110と、メモリ120と、少なくとも1つのネットワークインターフェース130と、ユーザインターフェース140とを備える。顔画像処理装置100の内のコンポーネントは、バスシステム150を用いて結合される。バスシステム150は、これらのコンポーネントの間の接続および通信を実装するように構成されることが理解され得るであろう。データバスに加えて、バスシステム150は、電源バス、制御バス、およびステータス信号バスをさらに備える。しかしながら、明確な説明を簡単に行えるように、図1-1中のすべての種類のバスはバスシステム150としてマークを付けられている。

ユーザインターフェース140は、要求条件に従ってディスプレイ、キーボードタッチパッド、またはタッチスクリーンとして実装され得る。

メモリ120は、揮発性メモリまたは不揮発性メモリであり得るか、または揮発性メモリおよび不揮発性メモリの両方を含み得ることが理解され得るであろう。本発明の実施形態において説明されているメモリ120は、限定はしないが、メモリおよび任意の別の好適な種類のメモリを含むことが意図されている。

本発明の実施形態におけるメモリ120は、顔画像処理装置100のオペレーションをサポートするために異なる種類のデータを記憶するように構成される。これらのデータの例は、顔画像処理装置100上でオペレーションを実行するために使用される、オペレーティングシステム121およびアプリケーションプログラム122などのコンピュータプログラム、顔画像の元のデータ、顔画像処理の中間データ、顔画像処理の最終データ、および同様のものを含む。

オペレーティングシステム121は、様々な基本タスクを実装し、ハードウェアベースのタスクを処理するために使用される、フレームワーク層、コアライブラリ層、およびドライバ層などの様々なシステムプログラムを含む。アプリケーションプログラム122は、様々なアプリケーションサービスを実装するために使用される、メディアプレーヤーおよびブラウザなどの様々なアプリケーションプログラムを含み得る。本発明の実施形態の方法を実装するためのプログラムは、機能モジュールとしてアプリケーションプログラム122に含まれ得るか、または確かに、顔画像処理専用のアプリケーションプログラムとして提供され得る。

本発明の実施形態において開示されている方法は、プロセッサ110に適用され得るか、または全くのハードウェアだけに基づきプロセッサ110によって実装され得るか、またはソフトウェアとハードウェアの組合せに基づき実装され得る。

全くのハードウェアだけによる実装については、プロセッサ110は、信号処理機能を有する、集積回路チップであってよい。実装プロセスにおいて、本発明の実施形態によって提供される方法のステップは、プロセッサ11内のハードウェアの集積論理回路によって実行され得る。たとえば、例示的な一実施形態において、顔画像処理装置100は、本発明の実施形態によって提供される顔画像処理方法を実装するように構成されている、たとえば、特定用途向け集積回路(ASIC)、複合プログラム可能論議デバイス(CPLD)、または内蔵ハードウェア復号プロセッサを有するフィールドプログラマブルゲートアレイ(FPGA)として実装され得る。

ソフトウェアとハードウェアとを組み合わせた実装については、前述のプロセッサ110は、汎用プロセッサとソフトウェアモジュールとの組合せとして実装され得る。ソフトウェアモジュールは、記憶媒体内に配置されるものとしてよく、記憶媒体は、メモリ120内に配置され、プロセッサ110は、メモリ120内のデータを読み出し、データとそれらのハードウェアとを組み合わせることによって本発明の実施形態によって提供される顔画像処理方法を実装する。

図1-2を参照すると、図1-2は、本発明の一実施形態による顔画像処理装置のオプションのアプリケーションシナリオの概略図である。顔画像処理装置は、スマートフォンまたはタブレットコンピュータとして実装される。カメラモジュールを呼び出して画像キャプチャを実行し顔画像を取得することに加えて、スマートフォンは、代替的に、ユニバーサルシリアルバス(USB)などの様々な有線通信方式、または様々なワイヤレス通信方式(セルラーワイヤレス通信またはワイヤレスローカルエリアネットワークなど)でタブレットコンピュータによってキャプチャされた顔画像を取得するものとしてよく、確かに、代替的に、顔画像データベースから顔画像を取得し、様々な通信方式でスマートフォンによってキャプチャされた顔画像を顔画像データベースにアップロードし得る。

図2は、本発明の一実施形態における顔画像処理方法の概略フローチャートである。図2に示されているように、本発明のこの実施形態における顔画像処理方法は、次の手順を含み得る。

S101:顔画像から複数の顔特徴点を抽出する。

顔画像の1つのフレームから顔動作を認識するために、S101において、異なる顔器官の顔特徴点が認識されるべき顔画像のフレームから抽出され、顔画像の複数のフレームから顔動作を認識するために、S101において、特徴抽出が顔画像の複数のフレーム上で別々に実行され、顔画像のすべてのフレーム内の顔特徴に対応する複数の顔特徴点を取得することは理解できるであろう。

オプションの実施形態において、顔画像処理装置は、顔画像処理装置のカメラモジュールを呼び出すことによって写真撮影を実行し、ユーザの顔を含む1つまたは複数の顔画像を取得し、写真撮影によって取得された顔画像から顔画像特徴点を抽出し得る。たとえば、形状特徴の1つの次元での抽出に関して、外部輪郭特徴を使用することによって異なる顔器官が検出され、顔器官の異なる位置における顔特徴点が抽出される。

別のオプションの実施形態において、顔画像処理装置は、代替的に、顔画像の複数のフレームを取得し、キャプチャされた顔画像の複数のフレーム上で別々に抽出を実行し、各顔画像内の複数の顔特徴点の配置を取得し得る。顔画像の複数のフレームは、連続的にキャプチャされてよい。たとえば、顔画像は、1秒または0.5秒などの指定された時間長でキャプチャされたビデオ内の顔画像の複数の連続フレームであってよい。確かに、顔画像は、代替的に、キャプチャされたビデオ内の時間軸上に離散的に分布する顔画像の複数のフレームであってもよい。

顔特徴点は、目特徴点、鼻特徴点、唇特徴点、眉特徴点、および顔エッジ特徴点のうちの1つまたは複数を含む。

たとえば、図3に示されている顔特徴点の抽出結果が得られるものとしてよい。以下の説明の便宜上、各抽出された顔特徴点は、番号を記される。たとえば、図3に示されている1から20は、顔エッジ特徴点を表し、21から28および29から36は、ユーザの左眉特徴点および右眉特徴点をそれに対応して表し、37から44および88は、ユーザの左目特徴点を表し、88は、左目瞳を表し、45から51および89は、ユーザの右目特徴点を表し、8は、右目瞳特徴点を表し、53から65は、ユーザの鼻特徴点を表し、66から87は、ユーザの唇特徴点を表す。上記の説明は単なる例であることに留意されたい。オプションの実施形態において、前述の顔特徴点のうちのいくつかのみ、またはさらに多くの特徴点を抽出するステップ、または別の方式で各特徴点をマークするステップは、本発明のこの実施形態のカテゴリに属す。

S102:顔画像からユーザの顔動作を認識する。

オプションの実施形態において、顔動作を認識するステップは、次のステップを用いて実装され得る。

S1021:顔器官に対応する複数の特徴点について、同じ顔器官に対応する複数の顔特徴点の間の距離を計算する。

S101において、顔器官の複数の顔特徴点が顔画像から抽出された後、顔画像内の特徴点の配置は、顔画像内の特徴点の分布に従って決定され得る。特定の配置について、顔画像上に平面座標系が確立されてよく、同じ顔器官の2つの顔特徴点の間の平面距離は、特徴点距離として計算される。

S1022:顔特徴点の間の距離に従って異なる位置の顔器官の特徴パラメータを計算する。

オプションの実施形態において、顔画像のフレームから顔動作を認識するために、異なる位置の顔器官のサイズを示す特徴パラメータは、顔器官に対応する複数の特徴点の間の距離に従って計算される。すなわち、特徴パラメータは、上唇と下唇との間の距離などの顔器官の異なる位置の間の距離であってよい。

オプションの実施形態において、顔画像の複数のフレームから顔動作を認識するために、S101において、顔画像のすべてのフレーム内の顔器官の複数の顔特徴点の間の距離に従って特徴パラメータが決定され、特徴パラメータは、顔画像の複数のフレームの間の距離の変化を表す。すなわち、特徴パラメータは、顔器官の異なる位置(たとえば、眉と目)の間の距離の変化であってよく、たとえば、その場合に顔画像の複数のフレーム内に目が開いているのと目が閉じているのとが交互に出現し、またその場合に左の顔と右の顔が顔画像の複数のフレーム内に交互に出現する。

S1023:特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、顔器官が顔画像内に顔動作を形成すると決定する。

オプションの実施形態において、顔画像のフレームから顔動作を認識するために、異なる位置の顔器官のサイズを示す少なくとも2つの特徴パラメータは、顔動作を認識するために使用され、特徴パラメータは、第1の特徴パラメータおよび第2のパラメータとして設定される。第1の特徴パラメータと第2の特徴パラメータとの比が、プリセット閾値以上である場合、顔画像は顔器官によって形成される顔動作を含むと決定される。すなわち、プリセット条件は、顔器官によって形成される顔動作に対応し、顔器官が顔動作を形成するときに顔器官の異なる位置の間の距離によって満たされる条件を記述するために使用される。

たとえば、口を開く顔動作については、プリセット条件は、唇が開いている間隔(第1の特徴パラメータに対応する)と唇の厚さ(第2の特徴パラメータに対応する)との比を記述するために使用される距離が、第1のプリセット閾値よりも小さい必要があるという条件であってよく、キスする顔動作については、プリセット条件は、唇の厚さと唇の幅との比が第2のプリセット閾値(第2のプリセット閾値は1未満である)よりも小さい必要があるという条件であってよい。

オプションの実施形態において、顔画像の複数のフレームから顔動作を認識するために、顔画像の複数のフレームの間の距離の変化が顔器官が顔動作を形成するときの変化に対するプリセット条件を満たす場合に、顔器官が顔画像内で顔動作を形成すると決定される。すなわち、プリセット条件は、顔器官によって形成される顔動作に対応し、顔器官が顔画像の複数のフレーム内で顔動作を形成するときの顔画像の複数のフレーム内の顔器官の位置の変化を記述するために使用される。

たとえば、眉をつり上げる顔動作については、プリセット条件は、眉と目との間の距離が顔画像の複数のフレーム内で変化するという条件であってよく、目を瞬きさせる目動作については、プリセット条件は、目を開くことと目を閉じることとが顔画像の複数のフレーム内で交互に出現するという条件であってよい。

特定の実装において、ユーザの複数の顔動作、たとえば、目動作(目を瞬きする、または目を細める、など)、口動作(キスする、口を開く、および舌をひっきりなしに動かすなど)、眉動作(眉をつり上げる、しかめっ面をする、など)、および頭動作(たとえば、頭を下げる、頭を上げる、うなずく、頭を振る、および頭がぐらぐらする、など)のうちの1つまたは複数が事前定義され得る。

それに加えて、各顔動作について、複数の対応する顔特徴点(すなわち、顔動作に関わる位置に対応する特徴点)が事前定義される。たとえば、口を開く動作について、関っている顔位置は、上唇および下唇であり、上唇の下側エッジ中心特徴点と上唇の下側エッジ中心特徴点との間の距離は、10ピクセルを超え(るか、または別の距離単位に変換され)、したがって、上唇の下側エッジ中心配置85および現在のユーザの顔画像から抽出された上唇のエッジ中心配置80に従って、85と80との間の距離が10ピクセルである場合に、ユーザの現在の顔動作は口を開く動作であると決定される。

オプションの実施形態において、顔画像のフレームから抽出された顔器官の特徴点の複数のグループについて、顔器官が顔動作を形成するかどうかは、顔特徴点の複数のグループの間の距離を比較することによって取得される関係に従って決定される。

たとえば、口を開ける動作に対するプリセット条件は、次のように定義される。ユーザの唇を開いた間隔と唇の厚さとの比が第1のプリセット閾値以上である場合、ユーザの唇を開いた間隔および唇の厚さは、顔画像から抽出された複数の唇特徴点の間の距離に従って決定されるものとしてよく、唇を開いた間隔と唇の厚さとの比が第1のプリセット閾値以上である場合、ユーザの現在の顔動作は口を開く動作であると決定される。たとえば、第1のプリセット閾値は、2/3であってよい。

たとえば、図3に示されているように、ユーザの上唇の下側エッジ中心特徴点85と下唇の上側エッジ中心特徴点80との間の距離は、唇を開いた間隔として抽出され、下唇の上側エッジ中心特徴点80と下側エッジ中心特徴点69との間の距離は、唇の厚さとして抽出される。別のオプションの実施形態において、他の抽出された特徴点の間の距離は、代替的に使用され得る。たとえば、特徴点70と特徴点81との間の距離が、唇の厚さを提示するために使用され得るか、または81と84との間の距離は、唇を開いた間隔を表すために使用され得る。

別の例では、キスする動作に対するプリセット条件は、次のように定義され得る。ユーザの口の厚さと口の幅との比は第2のプリセット閾値以上であり、第2のプリセット閾値は1未満、たとえば、1/2である。顔画像処理装置は、複数の唇特徴点の間の距離を計算することによってユーザの口の厚さおよび口の幅を取得し、口の厚さと口の幅との比が第2のプリセット閾値以上である場合に、ユーザの顔動作はキスする動作であると決定し得る。

たとえば、図3に示されているように、ユーザの上唇の上側エッジ中心特徴点75と下唇の下側エッジ中心特徴点69との間の距離は、口の厚さとして計算され、ユーザの左口角特徴点66と右口角特徴点72との間の距離は、口の幅として計算される。

別のオプションの実施形態において、他の抽出された特徴点の間の距離は、代替的に、口の厚さおよび口の幅を表すために使用され得る。たとえば、特徴点74と特徴点80との間の距離、または75と68との間の距離は、両方とも、口の厚さを表すために使用され得るか、または69と71との間の距離は、唇を開いた間隔を表すために使用される。

オプションの実施形態において、顔画像の複数のフレームから顔動作を認識するために、顔画像の複数のフレーム内の顔器官の異なる位置の変化が顔器官の複数の顔特徴点の間の距離に従って決定される場合。たとえば、連続してキャプチャされた顔画像の複数のフレーム(S101において連続してキャプチャされた顔画像の複数のフレーム)内で、異なる位置の顔器官の変化がプリセット条件を満たしているかどうかに応じて、顔器官が顔画像の複数のフレーム内で顔動作を形成すると決定される。

たとえば、眉をつり上げる動作に対応するプリセット条件は、次のように定義され得る。連続してキャプチャされた顔画像の複数のフレーム内で、顔画像の2つのフレーム内の眉と目との間の間隔の変化量が第3のプリセット閾値を超える。顔画像処理装置は、ユーザの眉特徴点と目特徴点との間の距離に従って、眉と目との間の間隔を取得するものとしてよく、連続してキャプチャされた顔画像の複数のフレーム内で、顔画像の2つのフレーム内の眉と目との間の間隔の変化量が第3のプリセット閾値を超える場合に、ユーザの顔動作は、眉をつり上げる動作であると決定し得る。

たとえば、図3に示されているように、ユーザの眉と目との間の間隔を表すために23と39との間の距離が使用され得る。連続してキャプチャされた顔画像の複数のフレーム内で、顔画像の2つのフレーム内の第1の眉と目との間の間隔と第2の眉と目との間の間隔との比の差が第3のプリセット閾値(本明細書の第3のプリセット閾値は、たとえば、10ピクセルであってよい)を超える場合に、ユーザの顔動作は、眉をつり上げる動作であると決定される。

別の例において、ユーザの眉尻位置21と同じ側の目の下側エッジ中心位置39との間の第1の眉と目との間の間隔およびユーザの眉尻位置21と同じ側の外側目尻位置37との間の第2の眉と目との間の間隔が取得され得る。連続してキャプチャされた顔画像の複数のフレーム内で、顔画像の2つのフレーム内の第1の眉と目との間の間隔と第2の眉と目との間の間隔との比の差が第3のプリセット閾値(本明細書の第3のプリセット閾値は、たとえば、0.3または0.2であってよい)を超える場合に、ユーザの顔動作は、眉をつり上げる動作であると決定される。

別の例では、目を瞬きさせる動作に対するプリセット条件は、次のように定義され得る。連続してキャプチャされた顔画像の複数のフレーム内で、目を開く目を閉じる目を開く顔画像が順次出現する。すなわち、ユーザの目を開く顔画像の2つのフレームの間のユーザの目を閉じる顔画像のフレームがある。顔画像処理装置は、ユーザの複数の目特徴点の間の距離に従ってユーザの目を開いた間隔を計算し、ユーザが顔画像の特定のフレーム内でユーザの目を開いた間隔に従って目を開いているか、または目を閉じているかを決定することができる。

たとえば、図3に示されているように、43と39との間の距離は、目を開いた間隔として使用されてよい。顔画像のフレーム内の目43と39との間の距離がプリセット間隔よりも大きい、たとえば、5ピクセルの場合、ユーザの目は開いていると決定される。そうでなければ、目を開いた間隔がプリセット間隔よりも小さい場合、ユーザの目は閉じられていると決定される。別の例では、顔画像処理装置は、ユーザの目の上側エッジ中心配置43と下側エッジ中心配置39との間の距離を目を開いた間隔として使用し、それに加えて、ユーザの目の下側エッジ中心配置39と外側目尻配置37との間の距離を目の幅として取得し、顔画像のフレーム内の目を開いた間隔が目の幅の半分よりも大きい場合に、ユーザの目が顔画像のフレーム内で開いていると決定し、そうでなければ、ユーザの目は顔画像のフレーム内で閉じられていると決定し得る。

別の例では、頭を振る動作に対応するプリセット条件は、次のように定義され得る。連続してキャプチャされた顔画像の複数のフレーム内に、左の顔の顔画像のフレームおよび右の顔の顔画像のフレームがある。顔画像処理装置は、ユーザの鼻特徴点および顔エッジ特徴点に従ってユーザの左の顔の幅および右の顔の幅を取得し、ユーザの左の顔の幅および右の顔の幅に従って、顔画像の特定のフレームはユーザの左の顔または右の顔であると決定し得る。

たとえば、ユーザの鼻尖配置53と顔の左外側エッジ中心配置(2〜5のいずれか1つが選択され得る)との間の距離は、左の顔の幅として使用されてよく、ユーザの鼻尖配置53と顔の右外側エッジ中心配置(15〜18のいずれか1つが選択され得る)との間の距離は、右の顔の幅として使用され得る。顔画像の特定のフレーム内における左の顔の幅と右の顔の幅との比が第4のプリセット閾値よりも小さい場合、顔画像のフレームは、ユーザの右の顔であると決定され、第4のプリセット閾値は、1未満、たとえば、0.7である。その反対に、顔画像の特定のフレーム内における右の顔の幅と左の顔の幅との比が第4のプリセット閾値よりも小さい場合、顔画像のフレームは、ユーザの左の顔であると決定される。

上記の説明は単なる例であることに留意されたい。当業者であれば、前述の例から発明の努力をすることなくより多くの事例を得ることができる。たとえば、ユーザのうなずく動作、しかめっ面をする動作、いやな顔をする動作、舌をひっきりなしに動かす動作、および同様の動作が認識され得る。本開示において網羅することはしない。

オプションの実施形態において、顔画像から認識される顔動作について、様々な特殊効果を形成するなどの、画像処理は、顔動作について実行され得る。

S103:ユーザの顔動作に従ってユーザの顔画像上で画像処理を実行する。

特定の一実装において、顔画像処理装置は、様々な定義済み顔動作に対応する画像処理方式をプリセットし、顔画像再編成によるユーザの顔動作を取得した後、顔画像上で対応する画像処理を実行するものとしてよい。たとえば、顔画像上で画像処理を実行する方式は以下を含み得る。

1)ユーザの顔動作に対応するプリセットマップが使用され、顔画像の上に配置されているマップ層に追加され、顔画像をマッピングする効果を形成する。

顔画像処理装置は、ユーザの異なる顔動作にそれぞれ対応する複数のマップをプリセットし、ユーザの顔動作が顔画像から抽出された後に、顔画像上でマッピングを実行するために対応するマップが使用される。たとえば、図9および図11に示されているように、対応するマッピング効果は、ユーザの認識された異なる顔動作に従って生成され得る。本明細書の説明は単なる例であることに留意されたい。当業者であれば、本発明の実施形態における例に従って発明の努力をすることなくより多くのマッピングの事例を得ることができる。本開示において網羅することはしない。

図9において、顔画像内でユーザが口を開いていると決定されたときに顔画像上で「ウサギの歯」のマッピングが実行され得る。「ウサギの歯」マップが、重ね合わせ方式でユーザの上唇の下側エッジ中心点配置に表示される。確かに、「ウサギの歯」マップは、顔画像内の任意の配置に重ね合わされてよく、顔画像内の「ウサギの歯」マップの重ね合わせ表示配置は、代替的に、「ウサギの歯」マップに対するユーザの移動命令に従って変更され得る。

図10において、顔画像内でユーザが瞬きをしていると決定されたときに顔画像上で「王女の目が涙でいっぱい」のマッピングが実行され得る。「王女の目が涙でいっぱい」マップの涙でいっぱいの目の部分が、重ね合わせ方式で顔画像内のユーザの目の配置に表示され得る。確かに、「王女の目が涙でいっぱい」マップは、代替的に、顔画像内の任意の配置に重ね合わされてよく、顔画像内の「王女の目が涙でいっぱい」マップの重ね合わせ表示配置は、代替的に、「王女の目が涙でいっぱい」マップに対するユーザの移動命令に従って変更され得る。

図11において、顔画像内のユーザが、目を瞬く動作を実行しながらキスする動作を実行すると決定された場合、それに対応して、「リンゴ渡し」マップも、「王女の目が涙でいっぱい」マップが顔画像に追加されている間に追加され得る。

2)ユーザの顔動作に対応する顔対象物が決定され、対応する特殊効果変形処理が、ユーザの顔動作に対応する顔対象物に対して実行される。

たとえば、顔画像内のユーザの目動作が認識された場合、顔画像内のユーザの目領域上で特殊効果変形処理が実行され得る。顔画像内のユーザの口動作が認識された場合、顔画像内のユーザの口領域上で特殊効果変形処理が実行され得る。顔画像内のユーザの眉動作が認識された場合、顔画像内のユーザの眉領域上で特殊効果変形処理が実行され得る。顔画像内のユーザの頭動作が認識された場合、顔画像内のユーザの頭領域上で特殊効果変形処理が実行され得る。特殊効果変形処理は、拡大、引き伸ばし、ぼかし、または同様のものを含み得る。

本発明のこの実施形態において、顔画像内のユーザの顔動作が、顔画像から認識された複数の顔特徴点の間の距離を計算することによって決定され、ユーザの顔動作に従って顔画像上で画像処理が実行され、それにより、ユーザの異なる顔動作または表情に従って顔画像上で動的処理を実行する。

図4は、本発明の一実施形態における顔画像処理方法の概略フローチャートである。図4に示されているように、本発明のこの実施形態における顔画像処理方法の手順は、次の手順を含む。

S301:ユーザの顔画像から、複数の唇特徴点を含む複数の顔特徴点を抽出する。

オプションの実施形態において、顔画像処理装置は、カメラモジュールを使用することによってユーザの顔画像をキャプチャし、キャプチャされた顔画像上で顔特徴抽出をリアルタイムで実行し得る。たとえば、図3に示されているように、66から87は、ユーザの唇特徴点を表し、本発明のこの実施形態において、66から87におけるいくつかのまたはすべての唇特徴点が抽出され得る。

S302:複数の唇特徴点の間の距離に従ってユーザの唇が開いた間隔と唇の厚さとを計算する。

S303:唇を開いた間隔と唇の厚さとの比が第1のプリセット閾値以上である場合、ユーザの顔動作が口を開く動作であると決定する。

第1のプリセット閾値は、たとえば、2/3であってよい。

S304:ユーザの口を開く動作に従ってユーザの顔画像上で画像処理を実行する。

たとえば、顔画像上で画像処理を実行する方式は以下を含み得る。

ユーザの顔動作に対応するプリセットマップを使用することによって顔画像上でマッピングが実行される。代替的に、ユーザの顔動作に対応する顔対象物が、本発明のこの実施形態における口領域であると決定された場合、対応する特殊効果変形処理が口領域に対して実行される。

図5は、本発明の別の実施形態における顔画像処理方法の概略フローチャートである。図5に示されているように、本発明のこの実施形態における顔画像処理方法の手順は、次の手順を含む。

S401:ユーザの顔画像から、複数の唇特徴点を含む複数の顔特徴点を抽出する。

S402:複数の唇特徴点の間の距離に従って口の厚さと口の幅とを計算する。

S403:口の厚さと口の幅との比が第2のプリセット閾値以上である場合、ユーザの顔動作がキスをする動作であると決定する。

第2のプリセット閾値は、1未満、たとえば、1/2である。

S404:ユーザのキスをする動作に従ってユーザの顔画像上で画像処理を実行する。

たとえば、顔画像上で画像処理を実行する方式は以下を含み得る。

ユーザの顔動作に対応するプリセットマップを使用することによって顔画像上でマッピングが実行される。代替的に、ユーザの顔動作に対応する顔対象物が、本発明のこの実施形態における口領域であると決定された場合、対応する特殊効果変形処理が口領域に対して実行される。

図6は、本発明の別の実施形態における顔画像処理方法の概略フローチャートである。図6に示されているように、本発明のこの実施形態における顔画像処理方法の手順は、次の手順を含む。

S501:連続してキャプチャされた顔画像の複数のフレーム上で抽出を別々に実行して、各顔画像内のユーザの、眉特徴点および目特徴点を含む、複数の顔特徴点を取得する。

本発明のこの実施形態において、顔画像処理装置は、連続してキャプチャされた顔画像の複数のフレームを取得し、連続してキャプチャされた顔画像の複数のフレーム上で別々に抽出を実行し、各顔画像内の複数の顔特徴点を取得し得る。連続してキャプチャされた顔画像の複数のフレームは、1秒または0.5秒などの指定された時間長で連続してキャプチャされた顔画像の複数のフレームであってよい。

たとえば、図3に示されているように、21から28および29から36は、それぞれ、ユーザの左眉特徴点および右眉特徴点を表し、37から44および88は、ユーザの左目特徴点を表し、88は、左目瞳配置を表し、45から51および89は、ユーザの右目特徴点を表し、89は、右目瞳配置であり、本発明のこの実施形態において、21から28、37から44、および88におけるいくつかもしくはすべての特徴点が抽出され得るか、または29から36、45から51、および89におけるいくつかもしくはすべての特徴点が抽出され得る。

S502:ユーザの眉特徴点と目特徴点との間の距離に従って、眉と目との間の間隔を取得する。

本発明のこの実施形態の第1の例において、図3に示されているように、ユーザの眉と目との間の間隔を提示するために23と39との間の距離が使用され得る。

第2の例において、ユーザの眉尻位置21と同じ側の目の下側エッジ中心位置39との間の第1の眉と目との間の間隔が取得され、ユーザの眉尻位置21と同じ側の外側目尻位置37との間の第2の眉と目との間の間隔が取得され得る。

S503:連続してキャプチャされた顔画像の複数のフレーム内で、顔画像の2つのフレーム内の眉と目との間の間隔の変化量が第3のプリセット閾値を超えた場合に、ユーザの顔動作が、眉をつり上げる動作であると決定する。

本発明のこの実施形態の第1の例において、連続してキャプチャされた顔画像の複数のフレーム内で、顔画像の2つのフレーム内の第1の眉と目との間の間隔と第2の眉と目との間の間隔との比の差が第3のプリセット閾値(本明細書の第3のプリセット閾値は、たとえば、10ピクセルであってよい)を超える場合に、ユーザの顔動作は、眉をつり上げる動作であると決定される。

本発明のこの実施形態の第2の例において、連続してキャプチャされた顔画像の複数のフレーム内で、顔画像の2つのフレーム内の第1の眉と目との間の間隔と第2の眉と目との間の間隔との比の差が第3のプリセット閾値(本明細書の第3のプリセット閾値は、たとえば、0.3または0.2であってよい)を超える場合に、ユーザの顔動作は、眉をつり上げる動作であると決定される。

S504:眉をつり上げる動作に従ってユーザの顔画像上で画像処理を実行する。

たとえば、顔画像上で画像処理を実行する方式は以下を含み得る。

ユーザの顔動作に対応するプリセットマップを使用することによって顔画像上でマッピングが実行される。代替的に、ユーザの顔動作に対応する顔対象物が、本発明のこの実施形態における眉領域または目領域であると決定された場合、対応する特殊効果変形処理が眉領域または目領域に対して実行される。

図7は、本発明の一実施形態における顔画像処理方法の概略フローチャートである。図7に示されているように、本発明のこの実施形態における顔画像処理方法の手順は、次の手順を含む。

S601:連続してキャプチャされた顔画像の複数のフレーム上で抽出を別々に実行して、各顔画像内のユーザの、目特徴点を含む複数の顔特徴点を取得する。

たとえば、図3に示されているように、37から44および88は、ユーザの左目特徴点を表し、88は、左目瞳配置を表し、45から51および89は、ユーザの右目特徴点を表し、89は、右目瞳配置であり、本発明のこの実施形態において、37から44および88におけるいくつかもしくはすべての特徴点が抽出され得るか、または45から51および89におけるいくつかもしくはすべての特徴点が抽出され得る。

S602:ユーザの複数の目特徴点の間の距離に従ってユーザの目を開いた間隔を取得し、ユーザが顔画像の特定のフレーム内で目を開いているか、または目を閉じているかを、ユーザの目を開いた間隔に従って決定する。

たとえば、図3に示されているように、43と39との間の距離は、目を開いた間隔として使用されてよい。顔画像のフレーム内の目43と39との間の距離がプリセット間隔よりも大きい、たとえば、5ピクセルの場合、ユーザの目は開いていると決定される。そうでなければ、目を開いた間隔がプリセット間隔よりも小さい場合、ユーザの目は閉じられていると決定される。別の例では、顔画像処理装置は、ユーザの目の上側エッジ中心配置43と下側エッジ中心配置39との間の距離を目を開いた間隔として使用し、それに加えて、ユーザの目の下側エッジ中心配置39と外側目尻配置37との間の距離を目の幅として取得し、顔画像のフレーム内の目を開いた間隔が目の幅の半分よりも大きい場合に、ユーザの目が顔画像のフレーム内で開いていると決定し、そうでなければ、ユーザの目は顔画像のフレーム内で閉じられていると決定し得る。

S603:連続してキャプチャされた顔画像の複数のフレーム内でユーザの目を開いている顔画像の2つのフレームの間にユーザの目を閉じている顔画像のフレームがある場合に、ユーザの顔動作は目を瞬きする動作であると決定する。

目を瞬きする動作は、連続してキャプチャされた顔画像の複数のフレーム内で、目を開く目を閉じる目を開く顔画像が順次出現することとして定義される。別のオプションの実施形態において、代替的に、ユーザの目を瞬きする各時間に応答することを回避するために2つまたはそれ以上の目を開き目を閉じる変化のみが目を瞬きする動作として定義されると、定義されることも可能である。

S604:ユーザの目を瞬きする動作に従ってユーザの顔画像上で画像処理を実行する。

たとえば、顔画像上で画像処理を実行する方式は以下を含み得る。

ユーザの顔動作に対応するプリセットマップを使用することによって顔画像上でマッピングが実行される。代替的に、ユーザの顔動作に対応する顔対象物が、本発明のこの実施形態における目領域であると決定された場合、対応する特殊効果変形処理が目領域に対して実行される。

図8は、本発明の別の実施形態における顔画像処理方法の概略フローチャートである。図8に示されているように、本発明のこの実施形態における顔画像処理方法の手順は、次の手順を含む。

S501:連続してキャプチャされた顔画像の複数のフレーム上で抽出を別々に実行して、各顔画像内のユーザの、鼻特徴点および顔エッジ特徴点を含む、複数の顔特徴点を取得する。

S702:それぞれ両側の鼻特徴点と顔エッジ特徴点との間の距離に従ってユーザの左の顔の幅および右の顔の幅を取得し、ユーザの左の顔の幅および右の顔の幅に従って、顔画像の特定のフレームはユーザの左の顔または右の顔であると決定する。

S703:左の顔を含む顔画像のフレームおよび右の顔を含む顔画像のフレームが両方とも連続してキャプチャされた顔画像の複数のフレーム内に存在する場合に、ユーザの顔動作は頭を振る動作であると決定する。

S704:ユーザの頭を振る動作に従ってユーザの顔画像上で画像処理を実行する。

たとえば、顔画像上で画像処理を実行する方式は以下を含み得る。

ユーザの顔動作に対応するプリセットマップを使用することによって顔画像上でマッピングが実行される。代替的に、ユーザの顔動作に対応する顔対象物が、本発明のこの実施形態における頭領域(全体として)であると決定された場合、対応する特殊効果変形処理が頭領域に対して実行される。

図12は、本発明の一実施形態における顔画像処理装置の概略構造図である。図12に示されているように、本発明のこの実施形態における顔画像処理装置は、次のものを含み得る。

顔特徴抽出モジュール1110は、顔画像から顔器官に対応する顔特徴点を抽出するように構成される。

オプションの実施形態において、顔特徴抽出モジュール1110は、カメラモジュールを使用することによってユーザの顔画像をキャプチャし、キャプチャされた顔画像上で顔特徴抽出をリアルタイムで実行し得る。本発明のこの実施形態において、顔画像処理装置は、連続してキャプチャされた顔画像の複数のフレームを取得し、連続してキャプチャされた顔画像の複数のフレーム上で別々に抽出を実行し、各顔画像内の複数の顔特徴点を取得し得る。連続してキャプチャされた顔画像の複数のフレームは、1秒または0.5秒などの指定された時間長で連続してキャプチャされた顔画像の複数のフレームであってよい。

顔特徴点は、目特徴点、鼻特徴点、唇特徴点、眉特徴点、および顔エッジ特徴点のうちの1つまたは複数を含む。

顔動作解析モジュール1130は、複数の顔特徴点の間の距離に従ってユーザの顔動作を決定するように構成され、この処理は顔器官に対応する顔特徴点の間の距離を計算するステップと、顔特徴点の間の距離に従って異なる位置の顔器官の特徴パラメータを計算するステップと、特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、顔器官が顔画像内に顔動作を形成すると決定するステップとを伴う。

オプションの実施形態において、顔画像のフレームから顔動作を認識するために、顔動作解析モジュール1130は、顔器官に対応する複数の特徴点の間の距離に従って、異なる位置における顔器官のサイズを示す特徴パラメータを計算し、第1の特徴パラメータと第2の特徴パラメータとの比が、プリセット閾値以上である場合に、顔画像は顔器官によって形成される顔動作を含むと決定するように特に構成される。

たとえば、顔動作解析モジュール1130は、図13に示されているように、以下を含み得る。

特徴データ取得ユニット1131は、顔画像から顔器官の複数の顔特徴点の間の距離を抽出するように構成される。

動作解析ユニット1133は、顔器官に対応する複数の特徴点の間の距離に従って、異なる位置における顔器官のサイズを示す特徴パラメータを計算するように特に構成される。顔動作解析モジュールは、第1の特徴パラメータと第2の特徴パラメータとの比が、プリセット閾値以上である場合に、顔画像は顔器官によって形成される顔動作を含むと決定するように特に構成される。

たとえば、口を開く動作に対応するプリセット条件は、次のように定義され得る。ユーザの唇を開いた間隔と唇の厚さとの比が第1のプリセット閾値以上である場合、特徴データ取得ユニット1131は、現在のユーザの顔画像から抽出された複数の唇特徴点の間の距離に従ってユーザの唇を開いた間隔および唇の厚さを計算し、動作解析ユニット1133は、唇を開いた間隔と唇の厚さとの比が第1のプリセット閾値以上である場合、ユーザの現在の顔動作が口を開く動作であると決定する。第1のプリセット閾値は、たとえば、2/3であってよい。唇が開いた間隔および唇の厚さが計算される一例において、特徴データ取得ユニット1131は、上唇の下側エッジ中心と下唇の上側エッジ中心との間の距離を唇が開いた間隔として計算し、距離を計算し、下唇の上側エッジ中心と下側エッジ中心との間の距離を厚さとして計算する。

別の例では、キスする動作に対応するプリセット条件は、次のように定義され得る。ユーザの口の厚さと口の幅との比は第2のプリセット閾値以上であり、第2のプリセット閾値は1未満、たとえば、1/2である。特徴データ取得ユニット1131は、複数の唇特徴点の間の距離に従ってユーザの口の厚さおよび口の幅を取得することができ、動作解析ユニット1133は、口の厚さと口の幅との比が第2のプリセット閾値以上であるかどうかを決定し、もしそうであれば、ユーザの顔動作はキスする動作であると決定する。第2のプリセット閾値は、1未満、たとえば、1/2である。唇が開いた間隔および唇の厚さが計算される一例において、特徴データ取得ユニット1131は、上唇の上側エッジ中心と下唇の下側エッジ中心との間の距離を口の厚さとして計算し、左口角と右口角との間の距離を口の幅として計算する。

オプションの実施形態において、顔画像の複数のフレームから顔動作を認識するために、顔動作解析モジュール1130は、顔器官に対応する複数の特徴点の間の距離に従って、異なる位置における顔器官のサイズを示す特徴パラメータを計算し、第1の特徴パラメータと第2の特徴パラメータとの比が、プリセット閾値以上である場合に、顔画像は顔器官によって形成される顔動作を含むと決定するように特に構成される。

たとえば、特徴データ取得ユニット1131は、連続してキャプチャされた顔画像の複数のフレーム内の顔画像の各フレームを取得し、顔画像のフレームの各々から顔器官の複数の特徴点を抽出する。動作解析ユニット1133は、顔器官の複数の顔特徴点の間の距離に従って特徴パラメータを決定し、特徴パラメータは、顔画像の複数のフレームの間の顔器官の位置の変化を表し、顔画像の複数のフレームの間の顔器官の位置の変化が顔器官が顔動作を形成したときの変化に対するプリセット条件を満たしている場合に、顔器官は顔画像内で顔動作を形成すると決定する。

たとえば、眉をつり上げる動作に対応するプリセット条件は、次のように定義され得る。連続してキャプチャされた顔画像の複数のフレーム内で、顔画像の2つのフレーム内の眉と目との間の間隔の変化量が第3のプリセット閾値を超える。特徴データ取得ユニット1131は、ユーザの眉特徴点と目特徴点との間の距離に従って、眉と目との間の間隔を取得するものとしてよく、連続してキャプチャされた顔画像の複数のフレーム内で、顔画像の2つのフレーム内の眉と目との間の間隔の変化量が第3のプリセット閾値を超える場合に、動作解析ユニット1133は、ユーザの顔動作は眉をつり上げる動作であると決定する。動作解析ユニット1133は、変化量が第3のプリセット閾値を超えるかどうかを、眉尻と同じ側の目の下側エッジ中心との間の第1の眉と目との間の間隔を計算し、眉尻と同じ側の外側目尻との間の第2の眉と目との間の間隔を計算し、顔画像の複数のフレーム内の第1の眉と目との間の間隔と第2の眉と目との間の間隔との比の差が第3のプリセット閾値を超えるかどうかを決定する、という仕方で決定し得る。

別の例では、目を瞬きさせる動作に対応するプリセット条件は、次のように定義され得る。連続してキャプチャされた顔画像の複数のフレーム内で、目を開く目を閉じる目を開く顔画像が順次出現する。すなわち、ユーザの目を開く顔画像の2つのフレームの間のユーザの目を閉じる顔画像のフレームがある。特徴データ取得ユニット1131は、ユーザの複数の目特徴点の間の距離に従ってユーザの目を開いた間隔を計算することができ、動作解析ユニット1133は、ユーザが顔画像の特定のフレーム内でユーザの目を開いた間隔に従って目を開いているか、または目を閉じているかを決定する。動作解析ユニット1133は、連続してキャプチャされた顔画像の複数のフレーム内でユーザの目を開いている顔画像の2つのフレームの間にユーザの目を閉じている顔画像のフレームがある場合に、ユーザの顔動作は目を瞬きする動作であると決定する。別のオプションの実施形態において、代替的に、ユーザの目を瞬きする各時間に応答することを回避するために2つまたはそれ以上の目を開き目を閉じる変化のみが目を瞬きする動作として定義されると、定義されることも可能である。顔画像が目を開いているまたは目を閉じている状態を含むと決定する例において、動作解析ユニット1133は、目の上側および下側エッジ中心の間の距離を、目を開いた間隔として計算し、目の下側エッジ中心と外側目尻との間の距離を目の幅として計算し、顔画像内の目を開いた間隔が目の幅の半分よりも大きい場合に、顔画像の複数のフレームが目を開いている状態を含むと決定し、そうでない場合、顔画像の複数のフレームは目を閉じている状態を含むと決定するように特に構成される。

別の例では、頭を振る動作に対応するプリセット条件は、次のように定義され得る。連続してキャプチャされた顔画像の複数のフレーム内に、左の顔の顔画像のフレームおよび右の顔の顔画像のフレームがある。特徴データ取得ユニット1131は、ユーザの鼻特徴点および顔エッジ特徴点に従ってユーザの左の顔の幅および右の顔の幅を取得するものとしてよく、動作解析ユニット1133は、ユーザの左の顔の幅および右の顔の幅に従って、顔画像の特定のフレームはユーザの左の顔または右の顔であると決定する。顔画像が左の顔または右の顔を含むかどうかを決定する例において、動作解析ユニット1133は、鼻尖と顔左外側エッジ中心との間の距離を左の顔の幅として計算し、鼻尖と顔右外側エッジ中心との間の距離を右の顔の幅として計算し、顔画像内の左の顔の幅と右の顔の幅との比が第4のプリセット閾値よりも小さい場合、顔画像は右の顔を含むと決定し、この比が第4のプリセット閾値よりも大きい場合、顔画像は左の顔を含むと決定し、第4のプリセット閾値は1未満である。

上記の説明は単なる例であることに留意されたい。当業者であれば、前述の例から発明の努力をすることなくより多くの事例を得ることができる。たとえば、ユーザのうなずく動作、しかめっ面をする動作、いやな顔をする動作、舌をひっきりなしに動かす動作、および同様の動作が認識され得る。本開示において網羅することはしない。

画像処理モジュール1150は、ユーザの顔動作に従ってユーザの顔画像上で画像処理を実行するように構成される。

特定の一実装において、顔画像処理装置は、様々な定義済み顔動作に対応する画像処理方式をプリセットし、顔画像再編成によるユーザの顔動作を取得した後、画像処理モジュール1150は、顔画像上で対応する画像処理を実行する。たとえば、画像処理モジュール1150が顔画像上で画像処理を実行する方式は、1)ユーザの顔動作に対応するプリセットマップを使用して顔画像上でマッピングを実行するステップと、2)ユーザの顔動作に対応する顔対象物を決定し、ユーザの顔動作に対応する顔対象物に対して対応する特殊効果変形処理を実行するステップとを含み得る。

本発明の実施形態は、実行可能プログラムを記憶する記憶媒体をさらに提供し、実行可能プログラムはプロセッサによって実行されたときに、本発明の実施形態において提供される顔画像処理方法、たとえば、図2、図4、および図8のうちのいずれか1つに示されている顔画像処理方法を実装する。記憶媒体は、揮発性ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラム可能リードオンリーメモリ(EPROM)、フラッシュメモリもしくは別のメモリ技術、コンパクトディスクリードオンリーメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、または別のアクセスされる媒体を含む。

本発明のこの実施形態において、顔画像内のユーザの顔動作が、顔画像から認識された複数の顔特徴点の間の距離を計算することによって決定され、ユーザの顔動作に従って顔画像上で画像処理が実行され、それにより、ユーザの異なる顔動作または表情に従って顔画像上で動的処理を実行する。

上で開示されている内容は、本発明の実施形態の単なる一例であり、および確かに、本開示の保護範囲を限定することを意図されていない。したがって、本開示の請求項に従ってなされる同等の変更は、本開示の範囲内に収まるであろう。

21 眉尻位置
37 外側目尻位置
39 下側エッジ中心位置
43 目
43 上側エッジ中心配置
53 鼻尖配置
66 左口角特徴点
69 下側エッジ中心特徴点
70 特徴点
72 右口角特徴点
74 特徴点
80 エッジ中心配置
81 特徴点
85 下側エッジ中心配置
100 顔画像処理装置
110 プロセッサ
120 メモリ
121 オペレーティングシステム
122 アプリケーションプログラム
130 ネットワークインターフェース
140 ユーザインターフェース
150 バスシステム
1110 顔特徴抽出モジュール
1130 顔動作解析モジュール
1131 特徴データ取得ユニット
1133 動作解析ユニット
1150 画像処理モジュール

Claims (26)

1. 顔画像処理方法であって、
   顔画像から顔器官に対応する顔特徴点を抽出するステップと、
   前記顔器官に対応する前記顔特徴点の間の距離を計算するステップと、
   前記顔特徴点の間の前記距離に従って異なる位置の前記顔器官の特徴パラメータを計算するステップと、
   前記特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、前記顔器官が前記顔画像内に前記顔動作を形成すると決定するステップとを含む顔画像処理方法。
2. 前記顔特徴点の間の前記距離に従って異なる位置の前記顔器官の特徴パラメータを計算するステップは、
   前記顔器官に対応する複数の特徴点の間の距離に従って、異なる位置における前記顔器官のサイズを示す特徴パラメータを計算するステップを含み、
   前記特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、前記顔器官が前記顔画像内に前記顔動作を形成すると決定するステップは、
   第1の特徴パラメータと第2の特徴パラメータとの比が、プリセット閾値以上である場合に、前記顔画像は前記顔器官によって形成される顔動作を含むと決定するステップを含む請求項1に記載の顔画像処理方法。
3. 前記顔特徴点は、複数の唇特徴点を含み、
   前記顔器官に対応する複数の特徴点の間の距離に従って、異なる位置における前記顔器官のサイズを示す特徴パラメータを計算する前記ステップは、
   前記複数の唇特徴点の間の距離に従って唇が開いた間隔と唇の厚さとを計算するステップを含み、
   第1の特徴パラメータと第2の特徴パラメータとの比が、プリセット閾値以上である場合に、前記顔画像は前記顔器官によって形成される顔動作を含むと決定する前記ステップは、
   前記唇を開いた間隔と前記唇の厚さとの比が第1のプリセット閾値以上である場合、顔画像は、口を開く動作を含むと決定するステップを含む請求項2に記載の顔画像処理方法。
4. 前記複数の唇特徴点は、上唇の下側エッジ中心と下唇の上側および下側エッジ中心とを含み、
   前記複数の唇特徴点の間の距離に従って唇が開いた間隔と唇の厚さとを計算する前記ステップは、
   前記上唇の前記下側エッジ中心と前記下唇の前記上側エッジ中心との間の距離を、前記唇を開いた間隔として計算するステップと、
   前記下唇の前記上側エッジ中心と前記下側エッジ中心との間の距離を、前記唇の厚さとして計算するステップとを含む請求項3に記載の顔画像処理方法。
5. 前記顔特徴点は、複数の唇特徴点を含み、
   前記顔器官に対応する複数の特徴点の間の距離に従って、異なる位置における前記顔器官のサイズを示す特徴パラメータを計算する前記ステップは、
   前記複数の唇特徴点の間の距離に従って口の厚さと口の幅とを計算するステップを含み、
   第1の特徴パラメータと第2の特徴パラメータとの比が、プリセット閾値以上である場合に、前記顔画像は前記顔器官によって形成される顔動作を含むと決定する前記ステップは、
   前記口の厚さと前記口の幅との比が第2のプリセット閾値以上である場合、前記顔画像は、キスをする動作を含むと決定するステップを含み、前記第2のプリセット閾値は1未満である請求項2に記載の顔画像処理方法。
6. 前記複数の唇特徴点は、左口角、右口角、上唇の上側エッジ中心、および下唇の下側エッジ中心を含み、
   前記複数の唇特徴点の間の距離に従って口の厚さと口の幅とを計算する前記ステップは、
   前記上唇の前記上側エッジ中心と前記下唇の前記下側エッジ中心との間の距離を、前記口の厚さとして計算するステップと、
   前記左口角と前記右口角との間の距離を、前記口の幅として計算するステップとを請求項5に記載の顔画像処理方法。
7. 顔画像から顔器官に対応する顔特徴点を抽出する前記ステップは、
   顔画像の複数のフレーム上で特徴抽出を別々に実行し、顔画像の各フレーム内の顔特徴に対応する複数の顔特徴点を取得するステップと、
   前記顔特徴点の間の前記距離に従って異なる位置の前記顔器官の特徴パラメータを計算するステップと、
   顔画像の各フレーム内の前記顔器官の複数の顔特徴点の間の距離に従って前記特徴パラメータを決定するステップであって、前記特徴パラメータは顔画像の前記複数のフレームの間に生じる前記顔器官の位置の変化を指示する、ステップとを含み、
   前記特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、前記顔器官が前記顔画像内に前記顔動作を形成すると決定するステップは、
   顔画像の前記複数のフレームの間に生じる前記顔器官の前記位置の前記変化が前記顔器官が顔動作を形成したときの変化に対するプリセット条件を満たしている場合に、前記顔器官は前記顔画像内で前記顔動作を形成すると決定するステップを含む請求項1に記載の顔画像処理方法。
8. 前記顔特徴点は、唇特徴点と目特徴点とを含み、
   顔画像の各フレーム内の前記顔器官の複数の顔特徴点の間の距離に従って前記特徴パラメータを決定する前記ステップは、
   顔画像の各フレーム内の眉特徴点と目特徴点との間の距離に従って、眉と目との間の間隔と、顔画像の前記複数のフレームの間の前記間隔の変化量とを計算するステップを含み、
   顔画像の前記複数のフレームの間に生じる前記距離の前記変化が前記顔器官が顔動作を形成したときの変化に対するプリセット条件を満たしている場合に、前記顔器官は顔画像の前記複数のフレーム内で前記顔動作を形成すると決定する前記ステップは、
   顔画像の前記複数のフレーム内の前記眉と前記目との間の前記間隔の前記変化量が第3のプリセット閾値を超えた場合に、顔画像の前記複数のフレームは眉をつり上げる動作を含むと決定するステップを含む請求項7に記載の顔画像処理方法。
9. 前記眉特徴点は眉尻を含み、前記目特徴点は前記眉尻の同じ側にある目の外側目尻および下側エッジ中心を含み、
   眉特徴点と目特徴点との間の距離に従って、眉と目との間の間隔を計算する前記ステップは、
   前記眉尻と同じ側の前記目の前記下側エッジ中心との間の第1の眉と目との間の間隔を計算するステップと、
   前記眉尻と前記同じ側の前記外側目尻との間の第2の眉と目との間の間隔を計算するステップとを含み、
   顔画像の前記複数のフレームの間に生じる前記距離の前記変化が前記顔器官が顔動作を形成したときの距離変化に対するプリセット条件を満たしている場合に、前記顔器官は前記顔画像内で前記顔動作を形成すると決定する前記ステップは、
   顔画像の前記複数のフレーム内の第1の眉と目との間の間隔と前記第2の眉と目との間の間隔との比の差が第3のプリセット閾値を超えた場合に、顔画像の前記複数のフレームは眉をつり上げる動作を含むと決定するステップを含む請求項8に記載の顔画像処理方法。
10. 前記顔特徴点は、目特徴点を含み、
    顔画像の各フレーム内の前記顔器官の複数の顔特徴点の間の距離に従って前記特徴パラメータを決定する前記ステップは、
    顔画像の各フレーム内の複数の目特徴点の間の距離に従って目を開いた間隔を計算し、前記目を開いた間隔に従って、前記顔画像が目を開けたまたは目を閉じた状態を含むと決定するステップを含み、
    前記特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、前記顔器官が前記顔画像内に前記顔動作を形成すると決定するステップは、
    代替的に目を開いたおよび目を閉じた状態を含む顔画像が顔画像の前記複数のフレーム内に存在する場合に、顔画像の前記複数のフレームは目を瞬きする動作を含むと決定するステップを含む請求項7に記載の顔画像処理方法。
11. 前記複数の目特徴点は、任意の同じ側にある目の上側および下側エッジ中心ならびに外側目尻を含み、
    複数の目特徴点の間の距離に従って目を開いた間隔を計算し、前記目を開いた間隔に従って、前記顔画像が目を開けたまたは目を閉じた状態を含むと決定する前記ステップは、
    前記目の前記上側および下側エッジ中心の間の距離を、前記目を開いた間隔として計算するステップと、
    前記目の前記下側エッジ中心と前記外側目尻との間の距離を、目の幅として計算するステップと、
    前記顔画像内の前記目を開いた間隔が前記目の幅の半分よりも大きい場合に、顔画像の前記複数のフレームが目を開いている状態を含むと決定し、
    そうでない場合に、顔画像の前記複数のフレームは目を閉じている状態を含むと決定するステップとを含む請求項10に記載の顔画像処理方法。
12. 前記顔特徴点は、鼻特徴点と顔エッジ特徴点とを含み、
    顔画像の各フレーム内の前記顔器官の複数の顔特徴点の間の距離に従って前記特徴パラメータを決定する前記ステップは、
    両側の前記鼻特徴点と前記顔エッジ特徴点との間の距離に従って左の顔の幅および右の顔の幅を計算するステップと、
    前記左の顔の幅および前記右の顔の幅に従って、前記顔画像は左の顔または右の顔を含むと決定するステップとを含み、
    顔画像の前記複数のフレームの間に生じる前記距離の前記変化が前記顔器官が顔動作を形成したときの変化に対するプリセット条件を満たしている場合に、前記顔器官は前記顔画像内で前記顔動作を形成すると決定する前記ステップは、
    前記左の顔を含む顔画像および前記右の顔を含む顔画像が顔画像の前記複数のフレーム内に存在する場合に、顔画像の前記複数のフレームは頭を振る動作を含むと決定するステップを含む請求項7に記載の顔画像処理方法。
13. 前記鼻特徴点は鼻尖を含み、前記顔エッジ特徴点は顔左外側エッジ中心と、顔右外側エッジ中心とを含み、
    両側の前記鼻特徴点と前記顔エッジ特徴点との間の距離に従って左の顔の幅および右の顔の幅を計算し、前記左の顔の幅および前記右の顔の幅に従って、前記顔画像は左の顔または右の顔を含むと決定するステップは、
    前記鼻尖と前記顔左外側エッジ中心との間の距離を前記左の顔の幅として計算するステップと、
    前記鼻尖と前記顔右外側エッジ中心との間の距離を前記右の顔の幅として計算するステップと、
    前記顔画像内の前記左の顔の幅と前記右の顔の幅との比が第4のプリセット閾値よりも小さい場合に、前記顔画像は前記右の顔を含むと決定し、前記比が前記第4のプリセット閾値よりも大きい場合、前記顔画像は前記左の顔を含み、第4のプリセット閾値は1未満である、と決定するステップとを含む請求項12に記載の顔画像処理方法。
14. 顔画像の前記複数のフレームは、指定された時間長で連続してキャプチャされた顔画像である請求項7に記載の顔画像処理方法。
15. 前記顔器官によって形成される顔動作に対応するマップを前記顔画像の上に配置されているマップ層に追加するステップ、および
    前記顔器官に対して対応する特殊効果変形処理を実行するステップのうちの少なくとも一方をさらに含む請求項1から14のいずれか一項に記載の顔画像処理方法。
16. 顔画像処理装置であって、
    顔画像から顔器官に対応する顔特徴点を抽出するように構成されている、顔特徴抽出モジュールと、
    前記顔器官に対応する前記顔特徴点の間の距離を計算するように構成されている、顔動作解析モジュールとを備え、
    前記顔動作解析モジュールは前記顔特徴点の間の前記距離に従って異なる位置の前記顔器官の特徴パラメータを計算するように構成され、
    前記顔動作解析モジュールは前記特徴パラメータが顔動作に対応するプリセット条件を満たす場合に前記顔器官が前記顔画像内に前記顔動作を形成すると決定するように構成される顔画像処理装置。
17. 前記顔動作解析モジュールは、前記顔器官に対応する複数の特徴点の間の距離に従って、異なる位置における前記顔器官のサイズを示す特徴パラメータを計算するように特に構成され、
    前記顔動作解析モジュールは、第1の特徴パラメータと第2の特徴パラメータとの比が、プリセット閾値以上である場合に、前記顔画像は前記顔器官によって形成される顔動作を含むと決定するように特に構成される請求項16に記載の顔画像処理装置。
18. 前記顔特徴点は、複数の唇特徴点を含み、
    前記顔動作解析モジュールは、
    前記複数の唇特徴点の間の距離に従って唇が開いた間隔と唇の厚さとを計算するように構成されている特徴データ計算ユニットと、
    動作解析ユニットは、前記唇を開いた間隔と前記唇の厚さとの比が第1のプリセット閾値以上である場合、前記顔画像は、口を開く動作を含むと決定するように構成されている請求項17に記載の顔画像処理装置。
19. 前記顔特徴点は、複数の唇特徴点を含み、
    前記顔動作解析モジュールは、
    前記複数の唇特徴点の間の距離に従って口の厚さと口の幅とを計算するように構成されている特徴データ計算ユニットと、
    前記口の厚さと前記口の幅との比が第2のプリセット閾値以上である場合、前記顔画像はキスをする動作を含み、前記第2のプリセット閾値は1未満である、と決定するように構成されている動作解析ユニットとを備える請求項18に記載の顔画像処理装置。
20. 前記顔特徴抽出モジュールは、
    顔画像の複数のフレーム上で特徴抽出を別々に実行し、顔画像の各フレーム内の顔特徴に対応する複数の顔特徴点を取得するように構成され、
    前記顔動作解析モジュールは、顔画像の各フレーム内の前記顔器官の複数の顔特徴点の間の距離に従って前記特徴パラメータを決定し、前記特徴パラメータは顔画像の前記複数のフレームの間に生じる前記顔器官の位置の変化を指示する、ように特に構成され、
    前記顔動作解析モジュールは、顔画像の前記複数のフレームの間に生じる前記顔器官の前記位置の前記変化が前記顔器官が顔動作を形成したときの変化に対するプリセット条件を満たしている場合に、前記顔器官は前記顔画像内で前記顔動作を形成すると決定するように特に構成される請求項17に記載の顔画像処理装置。
21. 前記複数の顔特徴点は、眉特徴点と目特徴点とを含み、
    前記顔動作解析モジュールは、
    眉特徴点と目特徴点との間の距離に従って、眉と目との間の間隔と、顔画像の前記複数のフレームの間の前記間隔の変化量とを計算するように構成されている特徴データ計算ユニットと、
    顔画像の前記複数のフレーム内の前記眉と前記目との間の前記間隔の前記変化量が第3のプリセット閾値を超えた場合に、顔画像の前記複数のフレームは眉をつり上げる動作を含むと決定するように構成されている動作解析ユニットとを備える請求項20に記載の顔画像処理装置。
22. 前記複数の顔特徴点は、目特徴点を含み、
    前記顔動作解析モジュールは、
    複数の目特徴点の間の距離に従って目を開いた間隔を計算するように構成されている特徴データ計算ユニットと、
    顔画像の各フレーム内の前記目を開いた間隔に従って、前記顔画像が目を開けたまたは目を閉じた状態を含むと決定し、代替的に目を開いたおよび目を閉じた状態を含む顔画像が顔画像の前記複数のフレーム内に存在する場合に、顔画像の前記複数のフレームは目を瞬きする動作を含むと決定するように構成されている動作解析ユニットとを備える請求項20に記載の顔画像処理装置。
23. 前記複数の顔特徴点は、鼻特徴点と顔エッジ特徴点とを含み、
    前記顔動作解析モジュールは、
    両側の前記鼻特徴点と前記顔エッジ特徴点との間の距離に従って左の顔の幅および右の顔の幅を別々に計算するように構成されている特徴データ計算ユニットと、
    前記左の顔の幅および前記右の顔の幅に従って、前記顔画像は左の顔または右の顔を含むと決定し、前記左の顔を含む顔画像および前記右の顔を含む顔画像が存在する場合に、顔画像の前記複数のフレームは頭を振る動作を含むと決定するように構成されている動作解析ユニットとを備える請求項20に記載の顔画像処理装置。
24. 画像処理モジュールであって、
    前記顔器官によって形成される顔動作に対応するマップを前記顔画像の上に配置されているマップ層に追加するステップ、および
    前記顔器官に対して対応する特殊効果変形処理を実行するステップのうちの少なくとも一方を実行するように構成されている画像処理モジュールをさらに備える請求項17から23のいずれか一項に記載の顔画像処理装置。
25. 顔画像処理装置であって、
    実行可能プログラムを記憶するように構成されているメモリと、
    前記メモリ内に記憶されている前記実行可能プログラムを実行することによって、
    顔画像から顔器官に対応する顔特徴点を抽出するオペレーションと、
    前記顔器官に対応する前記顔特徴点の間の距離を計算するオペレーションと、
    前記顔特徴点の間の前記距離に従って異なる位置の前記顔器官の特徴パラメータを計算するオペレーションと、
    前記特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、前記顔器官が前記顔画像内に前記顔動作を形成すると決定するオペレーションとを実装するように構成されているプロセッサとを備える顔画像処理装置。
26. 実行可能プログラムを記憶する記憶媒体であって、前記実行可能プログラムは、プロセッサによって実行されたときに、
    顔画像から顔器官に対応する顔特徴点を抽出するオペレーションと、
    前記顔器官に対応する前記顔特徴点の間の距離を計算するオペレーションと、
    前記顔特徴点の間の前記距離に従って異なる位置の前記顔器官の特徴パラメータを計算するオペレーションと、
    前記特徴パラメータが顔動作に対応するプリセット条件を満たす場合に、前記顔器官が前記顔画像内に前記顔動作を形成すると決定するオペレーションとを実装する記憶媒体。