JP2021531554A - 画像処理方法及び装置、電子機器並びに記憶媒体 - Google Patents

Abstract

本開示の実施例は、画像処理方法及び装置、電子機器並びに記憶媒体を開示する。前記方法は、画像フレームシーケンスを選別し、第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得することと、前記顔画像フレームシーケンスにおける各顔画像の第２顔パラメータを決定することと、前記顔画像フレームシーケンスにおける各顔画像の第１顔パラメータ及び第２顔パラメータに基づいて、前記顔画像フレームシーケンスにおける各顔画像の品質スコアを決定することと、顔画像フレームシーケンスにおける各顔画像の品質スコアに基づいて、顔認識のためのターゲット顔画像を得ることと、を含む。

Description

（関連出願の相互参照）
本開示は、２０１９年０６月２８日に提出された出願番号第２０１９１０５７５８４０．３号の中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本開示に組み込まれる。

本開示は、コンピュータビジョン技術分野に関し、特に、画像処理方法及び装置、電子機器並びに記憶媒体に関する。

電子技術の成長に伴い、顔認識技術は、日々成熟しつつあり、種々のシーンに広く適用されている。例えば、顔認識技術を利用した勤怠管理、顔認識によるスマートフォンのロック解除、電子パスポートの身分認識及びネットワーク支払等を行う。これは、人々の生活に利便性を与える。

現在、収集した画像フレームシーケンスに、顔ボケがあるか又は顔画像が存在しない画像フレームがある。これらの画像フレームに対して顔認識を行うと、大量の処理リソースの浪費を引き起こしてしまう。

本開示の実施例は、画像処理方法及び装置、電子機器並びに記憶媒体を提供する。

本開示の実施例の一態様によれば、画像処理方法が提供される。前記方法は、画像フレームシーケンスを選別し、第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得することと、前記顔画像フレームシーケンスにおける各顔画像の第２顔パラメータを決定することと、前記顔画像フレームシーケンスにおける各顔画像の第１顔パラメータ及び第２顔パラメータに基づいて、前記顔画像フレームシーケンスにおける各顔画像の品質スコアを決定することと、顔画像フレームシーケンスにおける各顔画像の品質スコアに基づいて、顔認識のためのターゲット顔画像を得ることと、を含む。

任意の可能な実施形態において、前記所定の要件は、第１顔パラメータが所定の基準パラメータ区間内にあることを含み、画像フレームシーケンスを選別し、第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得する前に、前記方法は、画像フレームシーケンスにおける各画像フレームの第１顔パラメータを取得することと、前記第１顔パラメータが前記基準パラメータ区間内にある場合、該画像フレームを、前記所定の要件に合致する顔画像フレームシーケンスに属するものと決定することと、を更に含む。

任意の可能な実施形態において、画像フレームシーケンスにおける各画像フレームの第１顔パラメータを取得することは、前記画像フレームシーケンスを収集するための画像収集装置の向き情報及び位置情報を取得することと、前記画像収集装置の向き情報及び位置情報に基づいて、前記画像フレームシーケンスにおける各画像フレームの顔向き情報を決定することと、前記顔向き情報に基づいて、各画像フレームの第１顔パラメータを取得することと、を含む。

任意の可能な実施形態において、前記第１顔パラメータは、顔画像座標を含み、前記第１顔パラメータが前記基準パラメータ区間内にある場合、該画像フレームを、前記所定の要件に合致する顔画像フレームシーケンスに属するものと決定することは、前記顔画像座標が前記基準座標区間内にある場合、該画像フレームを、前記所定の要件に合致する顔画像フレームシーケンスに属するものと決定することを含む。

任意の可能な実施形態において、前記第１顔パラメータは、顔画像幅、顔画像高さ、顔画像座標、顔画像整合度、顔画像姿勢角のうちの少なくとも１つを含む。

任意の可能な実施形態において、前記顔画像フレームシーケンスにおける各顔画像の第１顔パラメータ及び第２顔パラメータに基づいて、前記顔画像フレームシーケンスにおける各顔画像の品質スコアを決定することは、各顔画像の第１顔パラメータ及び第２顔パラメータに対して加重処理を行い、加重処理の結果に基づいて、前記顔画像の品質スコアを得ることを含む。

任意の可能な実施形態において、前記顔画像フレームシーケンスにおける各顔画像の第１顔パラメータ及び第２顔パラメータに基づいて、前記顔画像フレームシーケンスにおける各顔画像の品質スコアを決定することは、前記第１顔パラメータ及び第２顔パラメータのそれぞれと顔画像の認識率との間の相関性に基づいて、前記第１顔パラメータ及び前記第２顔パラメータにおける各顔パラメータに対応するパラメータスコアをそれぞれ決定することと、各顔パラメータに対応するパラメータスコアに基づいて、各顔画像の品質スコアを決定することと、を含む。

任意の可能な実施形態において、顔画像フレームシーケンスにおける各顔画像の品質スコアに基づいて、顔認識のためのターゲット顔画像を得ることは、前記品質スコアに基づいて、キャッシュキューに記憶される顔画像を決定することと、前記キャッシュキューにおける複数の顔画像を順序付け、順序付け結果を得ることと、前記順序付け結果に基づいて、顔認識のためのターゲット顔画像を得ることと、を含む。

任意の可能な実施形態において、前記品質スコアに基づいて、キャッシュキューに記憶される顔画像を決定することは、各顔画像の品質スコアと所定のスコア閾値を比較することと、前記顔画像の品質スコアが所定のスコア閾値より大きい場合、前記顔画像をキャッシュキューに記憶すると決定することと、を含む。

任意の可能な実施形態において、前記順序付け結果に基づいて、顔認識のためのターゲット顔画像を得ることは、前記順序付け結果に基づいて、前記キャッシュキューにおける品質スコアが最も高い顔画像を決定することと、前記キャッシュキューにおける品質スコアが最も高い顔画像を、顔認識のためのターゲット顔画像として決定することと、を含む。

任意の可能な実施形態において、前記第２顔パラメータは、顔画像鮮鋭度、顔画像輝度、顔画像画素点の数のうちの少なくとも１つを含む。

本開示の実施例のもう１つの態様によれば、画像処理装置が提供される。前記画像処理装置は、
画像フレームシーケンスを選別し、第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得するように構成される取得モジュールと、
前記顔画像フレームシーケンスにおける各顔画像の第２顔パラメータを決定するように構成される第１決定モジュールと、
前記顔画像フレームシーケンスにおける各顔画像の第１顔パラメータ及び第２顔パラメータに基づいて、前記顔画像フレームシーケンスにおける各顔画像の品質スコアを決定するように構成される第２決定モジュールと、
顔画像フレームシーケンスにおける各顔画像の品質スコアに基づいて、顔認識のためのターゲット顔画像を得るように構成される第３決定モジュールと、を備える。

任意の可能な実施形態において、前記所定の要件は、第１顔パラメータが所定の基準パラメータ区間内にあることを含み、前記装置は、前記取得モジュールにより画像フレームシーケンスを選別し、第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得する前に、画像フレームシーケンスにおける各画像フレームの第１顔パラメータを取得し、前記第１顔パラメータが前記基準パラメータ区間内にある場合、該画像フレームを、前記所定の要件に合致する顔画像フレームシーケンスに属するものと決定するように構成される判定モジュールを更に備える。

任意の可能な実施形態において、前記判定モジュールは、前記画像フレームシーケンスを収集するための画像収集装置の向き情報及び位置情報を取得し、前記画像収集装置の向き情報及び位置情報に基づいて、前記画像フレームシーケンスにおける各画像フレームの顔向き情報を決定し、前記顔向き情報に基づいて、各画像フレームの第１顔パラメータを取得するように構成される。

任意の可能な実施形態において、前記第１顔パラメータは、顔画像座標を含み、前記判定モジュールは、前記顔画像座標が前記基準座標区間内にある場合、該画像フレームを、前記所定の要件に合致する顔画像フレームシーケンスに属するものと決定するように構成される。

任意の可能な実施形態において、前記第１顔パラメータは、顔画像幅、顔画像高さ、顔画像座標、顔画像整合度、顔画像姿勢角のうちの少なくとも１つを含む。

任意の可能な実施形態において、前記第２決定モジュールは、各顔画像の第１顔パラメータ及び第２顔パラメータに対して加重処理を行い、加重処理の結果に基づいて、前記顔画像の品質スコアを得るように構成される。

任意の可能な実施形態において、前記第２決定モジュールは、前記第１顔パラメータ及び第２顔パラメータのそれぞれと顔画像の認識率との間の相関性に基づいて、前記第１顔パラメータ及び前記第２顔パラメータにおける各顔パラメータに対応するパラメータスコアをそれぞれ決定し、各顔パラメータに対応するパラメータスコアに基づいて、各顔画像の品質スコアを決定するように構成される。

任意の可能な実施形態において、前記第３決定モジュールは、前記品質スコアに基づいて、キャッシュキューに記憶される顔画像を決定し、前記キャッシュキューにおける複数の顔画像を順序付け、順序付け結果を得て、前記順序付け結果に基づいて、顔認識のためのターゲット顔画像を得るように構成される。

任意の可能な実施形態において、前記第３決定モジュールは、各顔画像の品質スコアと所定のスコア閾値を比較し、前記顔画像の品質スコアが所定のスコア閾値より大きい場合、前記顔画像をキャッシュキューに記憶すると決定するように構成される。

任意の可能な実施形態において、前記第３決定モジュールは、前記順序付け結果に基づいて、前記キャッシュキューにおける品質スコアが最も高い顔画像を決定し、前記キャッシュキューにおける品質スコアが最も高い顔画像を、顔認識のためのターゲット顔画像として決定するように構成される。

任意の可能な実施形態において、前記第２顔パラメータは、顔画像鮮鋭度、顔画像輝度、顔画像画素点の数のうちの少なくとも１つを含む。

本開示の実施例のまた１つの態様によれば、電子機器が提供される。前記電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、前記プロセッサは、上記画像処理方法を実行するように構成される。

本開示の実施例のもう１つの態様によれば、コンピュータ可読記憶媒体が提供される。前記コンピュータ可読記憶媒体には、コンピュータに、前記画像処理方法を実行させるためのコンピュータプログラムが記憶される。

本開示の実施例において、画像フレームシーケンスから、画像フレームシーケンスを選別し、第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得し、前記顔画像フレームシーケンスにおける各顔画像の第２顔パラメータを決定し、更に、前記顔画像フレームシーケンスにおける各顔画像の第１顔パラメータ及び第２顔パラメータに基づいて、前記顔画像フレームシーケンスにおける各顔画像の品質スコアを決定し、顔画像フレームシーケンスにおける各顔画像の品質スコアに基づいて、顔認識のためのターゲット顔画像を得ることができる。従って、顔認識を行う前に、まず、第１顔パラメータに基づいて、画像フレームシーケンスから顔画像フレームシーケンスを選別し、更に、顔画像フレームシーケンスにおける顔画像の品質スコアに基づいて、画像フレームシーケンスを再選別し、顔品質が高いターゲット顔画像を選別して後続の顔認識を行うことができる。これにより、顔認識過程における処理リソースの浪費を減少させ、顔認識の効率を向上させることができる。

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本開示を限定するものではないことが理解されるべきである。

本発明の他の特徴及び態様は、下記の図面に基づく例示的な実施例の詳細な説明を参照すれば明らかになる。

本開示の実施例による画像処理方法を示すフローチャートである。 本開示の実施例による顔画像フレームシーケンス決定の例を示すフローチャートである。 本開示の実施例による画像処理の一例を示すフローチャートである。 本開示の実施例による画像処理装置を示すブロック図である。 本開示の実施例による電子機器の一例を示すブロック図である。

ここで添付した図面は、明細書に引き入れて本明細書の一部分を構成し、本開示に適合する実施例を示し、かつ、明細書とともに本開示の技術的解決手段を解釈することに用いられる。

以下、図面を参照しながら本開示の種々の例示的な実施例、特徴及び態様を詳しく説明する。図面における同一の符号は、同一または類似する機能を有する要素を示す。図面は、実施例の種々の態様を示しているが、特別な説明がない限り、必ずしも比率どおりの図面ではない。

ここで使用した「例示的」という用語は「例、実施例として用いられるか、または説明のためのものである」ことを意味する。ここで、「例示的なもの」として説明される如何なる実施例も、他の実施例より好適または有利であると必ずしも解釈されるべきではない。

本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つの場合を表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。

なお、本開示をより良く説明するために、以下の具体的な実施形態において具体的な細部を多く記載した。当業者は、これら具体的な詳細に関わらず、本開示は同様に実施可能であると理解すべきである。本発明の主旨を明確にするために、一部の実例において、当業者に熟知されている方法、手段、素子及び回路については詳しく説明しないことにする。

本開示の実施例で提供される画像処理方法は、収集した画像フレームシーケンスを選別し、第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得することができる。これにより、第１顔パラメータにより、画像フレームシーケンスにおける画像フレームに対して一次選別を行い、顔画像フレームシーケンスを得ることができる。更に、顔画像フレームシーケンスにおける各顔画像の第２顔パラメータを決定し、顔画像フレームシーケンスにおける各顔画像の第１顔パラメータ及び第２顔パラメータに基づいて、各顔画像の品質スコアを得て、各顔画像の品質スコアに基づいて、顔認識のためのターゲット顔画像を決定する。これにより、画像フレームシーケンスを更に選別し、顔認識のためのターゲット顔画像を決定することができる。従って、顔認識を行う前に、画像フレームシーケンスにおける画像フレームを選別することができる。例えば、品質スコアが高い画像フレームをターゲット顔画像として選択し、後続の顔認識を行う。これにより、顔認識過程における認識回数を減少させ、顔画像の品質が低いか又は顔画像が存在しないことによる処理リソースの浪費を低減させ、顔認識の効率を向上させ、顔認識の正確度を向上させることができる。

画像フレームシーケンスにおける画像フレームに対して顔認識を行う過程において、顔認識プロセスは、消費が高い処理プロセスであるため、一般的には、画像収集装置により収集された各画像フレームを処理することなく、所定の処理周期に応じて顔認識される画像フレームを取得する。これにより、酷いフレームロス現象を引き起こしてしまう。捨てられた画像フレームの品質が高くて、顔認識に適合するが、取得した顔認識される画像フレームの品質が低いか又は取得した画像フレームに顔画像が存在しない可能性がある。これは、大量の有効な画像フレームの浪費を引き起こすだけでなく、顔認識の効率が低いという問題も引き起こしてしまう。

本開示の実施例で提供される画像処理方法は、顔認識を行う前に、画像フレームシーケンスにおける画像フレームを選別し、顔画像の品質が高い画像フレームを選択して顔認識を行うことができる。これにより、有効な画像フレームの浪費を減少させ、顔認識の速度を速くし、顔認識の正確度を向上させ、処理リソースの浪費を減少させることができる。

以下、実施例を参照しながら、本開示の実施例で提供される画像処理方法を説明する。

図１は、本開示の実施例による画像処理方法を示すフローチャートである。該処理方法は、端末装置、サーバ又は他の情報処理装置により実行されてもよい。ここで、端末装置は、ゲートデバイス、顔認識装置、ユーザ装置（Ｕｓｅｒ Ｅｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器などであってもよい。幾つかの任意の可能な実施形態において、該画像処理方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現することができる。以下、画像処理端末を実行主体として本開示の実施例の画像処理方法を説明する。

図１に示すように、前記画像処理方法は、下記ステップを含む。

ステップＳ１１において、画像フレームシーケンスを選別し、第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得する。

本開示の実施例において、画像処理端末は、画像フレームを連続的に収集することができる。連続的に収集した画像フレームは、画像フレームシーケンスを構成することができる。又は、画像処理端末は、画像収集装置を備える。画像処理端末は、画像収集装置により収集された画像フレームシーケンスを取得することができる。例えば、画像収集装置が１つの画像フレームを収集するたびに、画像処理端末は、画像収集装置により収集された１つの画像フレームを取得することができる。画像収集端末は、画像フレームシーケンスを取得した後、画像フレームシーケンスのいずれか１つの画像フレームに対して、該画像フレームの第１顔パラメータを取得し、画像フレームの第１顔パラメータを利用して画像フレームシーケンスを選別する。画像フレームシーケンスを選別する場合、各画像フレームの第１顔パラメータが所定の要件に合致するかどうかを判定することができる。各画像フレームについて、該画像フレームの第１顔パラメータが所定の要件に合致すれば、該画像フレームを顔画像フレームシーケンスの顔画像と決定することができる。該画像フレームの第１顔パラメータが所定の要件に合致しなければ、該画像フレームを捨て、次の画像フレームに対して引き続き選別を行う。

本実施例において、第１顔パラメータは、顔画像の認識率に関わるパラメータであってもよい。例えば、第１顔パラメータは、画像フレームにおける顔画像の完備性を表すパラメータであってもよい。例示的には、第１顔パラメータが大きいほど、画像の完備性が高くなり、つまり、顔画像の認識率が高くなることを表す。所定の要件は、画像フレームにおける顔画像が満たすべき基本要件であってもよい。例えば、所定の要件は、画像フレームに顔画像が存在することであってもよい。また例えば、所定の要件は、画像フレームにおける顔画像にターゲットキーポイントが存在することであってもよい。例えば、眼部キーポイント、口部キーポイントなどが存在する。また例えば、所定の要件は、画像フレームにおける顔画像の輪郭が連続したものであることであってもよい。画像フレームシーケンスにおける第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得することで、画像フレームシーケンスの画像フレームに対して一次選別を行い、画像フレームシーケンスにおける、顔画像が存在しない画像フレームを除去するか又は画像フレームシーケンスにおける、顔画像が完備ではない画像フレームを除去することができる。

任意の可能な実施形態において、上記第１顔パラメータは、顔画像幅、顔画像高さ、顔画像座標、顔画像整合度、顔画像姿勢角のうちの少なくとも１つを含む。

本実施例において、顔画像幅は、画像フレームにおける顔画像に対応する最大画像幅を表すことができる。顔画像高さは、画像フレームにおける顔画像に対応する最大画素幅を表すことができる。顔画像座標は、画像フレームにおける顔画像画素点の画像座標を表すことができる。例えば、画像フレームの中心点により、画像座標系を確立する。画像座標は、該画像座標系での、画素点の座標であってもよい。顔画像整合度は、顔画像のキーポイントと所定の顔テンプレートのキーポイントとのマッチング度を表すことができる。例えば、画像フレームにおける顔画像の口部キーポイントの画像座標がＡであり、所定の顔テンプレートにおける口部キーポイントの画像座標がＢであり、前記顔画像整合度は、画像座標Ａと画像座標Ｂとの距離を含んでもよい。ここで、画像座標Ａと画像座標Ｂとの距離が小さいほど、顔画像の口部キーポイントと所定の顔テンプレートの口部キーポイントとのマッチング度が高くなり、つまり、顔画像整合度が大きくなることを表す。画像座標Ａと画像座標Ｂとの距離が大きいほど、顔画像の口部キーポイントと所定の顔テンプレートの口部キーポイントとのマッチング度が低くなり、つまり、顔画像整合度が小さくなることを表す。顔画像姿勢角は、顔画像の姿勢を表すことができる。例示的に、顔画像姿勢角は、ヨー角、フリップ角及びピッチ角のうちの少なくとも１つを含んでもよい。例えば、画像フレームの顔画像を所定の顔テンプレートと比較し、所定の顔テンプレートの標準軸に対する、画像フレームの顔画像のヨー角、フリップ角及びピッチ角を決定することができる。

ステップＳ１２において、前記顔画像フレームシーケンスにおける各顔画像の第２顔パラメータを決定する。

本開示の実施例において、第２顔パラメータは、顔画像の認識率に関わるパラメータであってもよい。第２顔パラメータの数は、１つ又は複数であってもよい。第２顔パラメータの数が複数である場合、各第２顔パラメータは各々独立してもよく、且つ、各第２顔パラメータと各第１顔パラメータは、各々独立してもよい。これにより、第１顔パラメータ及び第２顔パラメータを利用して顔画像の認識可能性を評価することができる。

任意の可能な実施形態において、第２顔パラメータは、顔画像鮮鋭度、顔画像輝度、顔画像画素点の数のうちの少なくとも１つを含んでもよい。ここで、顔画像鮮鋭度は、顔画像の顔領域輪郭と輪郭付近画素点とのコントラストを表すことができる。顔画像鮮鋭度が高いほど、該画像フレームの顔画像が鮮明になることを表し、顔画像鮮鋭度が低いほど、該画像フレームにおける顔画像がぼやけることを表す。ここで、例示的に、本実施例における顔画像鮮鋭度は、顔画像の平均画像鮮鋭度であってもよい。顔画像輝度は、顔画像の顔領域に対応する画像輝度を表すことができる。例示的に、本実施例における顔画像輝度は、顔領域の平均画像輝度であってもよい。顔画像画素点の数は、顔画像における顔領域に含まれる画素点の数を表すことができる。顔画像鮮鋭度、顔画像輝度及び顔画像画素点の数は、顔画像の認識率に影響を与える重要なパラメータであってもよい。従って、画像フレームに対して顔認識を行う前に、顔画像フレームシーケンスにおける各顔画像の顔画像鮮鋭度、顔画像輝度及び顔画像画素点の数のうちの１つ又は複数の第２顔パラメータを決定する。

ステップＳ１３において、前記顔画像フレームシーケンスにおける各顔画像の第１顔パラメータ及び第２顔パラメータに基づいて、前記顔画像フレームシーケンスにおける各顔画像の品質スコアを決定する。

本開示の実施例において、第１顔パラメータと第２顔パラメータはいずれも、顔画像の顔品質を評価するためのものであってもよい。画像処理端末は各顔画像の第１顔パラメータと第２顔パラメータを組み合わせ、第１顔パラメータ及び第２顔パラメータを利用して各顔画像の顔品質を評価し、顔画像フレームシーケンスにおける各顔画像の品質スコアを得ることができる。品質スコアは、顔画像の顔品質を表すことができる。例えば、品質スコアが高いほど、顔画像の顔品質が高くなることを表す。品質スコアが低いほど、顔画像の顔品質が低くなることを表す。

任意の可能な実施形態において、上記ステップＳ１３は、各顔画像の第１顔パラメータ及び第２顔パラメータに対して加重処理を行い、加重処理の結果に基づいて、前記顔画像の品質スコアを得ることを含んでもよい。

該実現形態において、画像処理端末は、第１顔パラメータ及び第２顔パラメータに対して加重を行うことで、顔画像フレームシーケンスにおける各顔画像の品質スコアを得ることができる。第１顔パラメータ及び第２顔パラメータにおける各顔パラメータに対して、対応する重みを設定することができる。異なる顔パラメータに対応する重みは、異なってもよい。各顔パラメータに対応する重みは、該顔パラメータと顔画像の認識率との相関性に基づいて設定されてもよい。例えば、１つの顔パラメータが顔画像の認識率に与える影響が大きい場合、該顔パラメータに対して、大みな重みを設定することができる。１つの顔パラメータが顔画像の認識率に与える影響が小さい場合、該顔パラメータに対して、小さな重みを設定することができる。第１顔パラメータ及び第２顔パラメータに対応する重みを利用して顔パラメータに対して加重処理を行うことで、複数の顔パラメータが顔画像の認識率に与える影響を総合的に考慮して、品質スコアを利用して顔画像フレームシーケンスにおける各顔画像の品質を評価することができる。

もう１つの任意の可能な実施形態において、上記ステップＳ１３は、前記第１顔パラメータ及び第２顔パラメータのそれぞれと顔画像の認識率との間の相関性に基づいて、前記第１顔パラメータ及び前記第２顔パラメータにおける各顔パラメータに対応するパラメータスコアをそれぞれ決定することと、各顔パラメータに対応するパラメータスコアに基づいて、各顔画像の品質スコアを決定することと、を更に含んでもよい。

該実現形態において、画像処理端末は、顔画像フレームシーケンスにおける各顔画像に対して、該顔画像の第１顔パラメータ及び第２顔パラメータにおける各顔パラメータと顔画像の認識率との相関性に基づいて、第１顔パラメータ及び第２顔パラメータにおける各顔パラメータに対応するパラメータスコアを得ることができる。更に、得られた各顔パラメータのパラメータスコアを加算又は乗算し、該顔画像の品質スコアを得る。ここで、各顔パラメータのパラメータスコアの算出方式は、該顔パラメータと顔画像の認識率との相関性によって決まってもよい。例えば、１つの顔パラメータと顔画像の認識率が正に相関する場合、該顔パラメータにより、認識率に正に相関する算出方式を設定し、該顔パラメータのパラメータスコアを決定することができる。上記顔画像フレームシーケンスにおける各顔画像の品質スコアの決定方式により、様々な顔パラメータと顔画像の認識率との相関性に基づいて、様々な顔パラメータに対して、様々なパラメータスコアの演算方式を設定することで、得られた顔画像の品質スコアをより正確にすることができる。

ステップＳ１４において、顔画像フレームシーケンスにおける各顔画像の品質スコアに基づいて、顔認識のためのターゲット顔画像を得る。

本開示の実施例において、品質スコアは、顔画像の認識可能性を表すことができる。品質スコアが高いほど、顔画像の認識可能性が大きくなり、品質スコアが低いほど、顔画像の認識可能性が低くなると理解されてもよい。これにより、決定された顔画像フレームシーケンスにおける各顔画像の品質スコアに基づいて、顔画像フレームシーケンスから、後続で顔認識に用いられるターゲット顔画像を選別することができる。例えば、品質スコアが所定のスコア閾値より大きい顔画像を顔認識のためのターゲット顔画像として選択するか、又は、品質スコアが最も高い顔画像を顔認識のためのターゲット顔画像として選択することで、顔認識の効率及び正確性を向上させることができる。

任意の可能な実施形態において、上記ステップＳ１４において、顔画像フレームシーケンスにおける各顔画像の品質スコアに基づいて、顔認識のためのターゲット顔画像を得ることは、前記品質スコアに基づいて、キャッシュキューに記憶される顔画像を決定することと、前記キャッシュキューにおける複数の顔画像を順序付け、順序付け結果を得ることと、前記順序付け結果に基づいて、顔認識のためのターゲット顔画像を得ることと、を含んでもよい。

本実現形態において、顔画像フレームシーケンスにおける各顔画像の品質スコアに基づいて、顔画像フレームシーケンスを選別し、顔画像フレームシーケンスにおけるキャッシュキューに記憶される顔画像を決定することができる。更に、キャッシュキューにおける顔画像の品質スコアに基づいて、キャッシュキューに記憶される顔画像を順序付ける。例えば、顔画像の品質スコアの降順に応じて、キャッシュキューにおける顔画像を順序付け、順序付け結果を得る。更に、得られた順序付け結果に基づいて、キャッシュキューにおける顔認識のためのターゲット顔画像を決定することができる。これにより、顔画像フレームシーケンスにおける顔画像に対して複数回選別することで、最終的に顔認識に用いられるターゲット顔画像を決定し、構造の顔認識の効率及び正確性を向上させることができる。

一例において、前記品質スコアに基づいて、キャッシュキューに記憶される顔画像を決定することは、各顔画像の品質スコアと所定のスコア閾値を比較することと、前記顔画像の品質スコアが所定のスコア閾値より大きい場合、前記顔画像をキャッシュキューに記憶すると決定することと、を含んでもよい。

該例において、顔画像フレームシーケンスにおける各画像フレームについて、該顔画像の品質スコアと所定のスコア閾値を比較し、該顔画像の品質スコアがスコア閾値より大きいかどうかを判定することができる。該顔画像の品質スコアが所定のスコア閾値より大きい場合、該顔画像の顔品質が高いと認められる。該顔画像をキャッシュキューに記憶することができる。該顔画像の品質スコアが所定のスコア閾値以下である場合、該顔画像の顔品質が低いと認められる。該顔画像を破棄することができる。ここで、顔画像をキャッシュキューに記憶するかどうかを決定するステップは、別個のスレッドにより実行されてもよい。つまり、画像処理端末は、キャッシュキューに記憶される顔画像の決定ステップ及び前記キャッシュキューの複数の顔画像の順序付けステップを同時に実行することができる。これにより、画像フレーム処理の効率を向上させることができる。

一例において、前記順序付け結果に基づいて、顔認識のためのターゲット顔画像を得ることは、前記順序付け結果に基づいて、前記キャッシュキューにおける品質スコアが最も高い顔画像を決定することと、前記キャッシュキューにおける品質スコアが最も高い顔画像を、顔認識のためのターゲット顔画像として決定することと、を含んでもよい。

該例において、画像処理端末は、順序付け結果に基づいて、キャッシュキューから品質スコアが最も高い顔画像を選択し、品質スコアが最も高い顔画像を顔認識のためのターゲット顔画像とすることができる。これにより、顔認識に用いられるターゲット顔画像はいずれもキャッシュキューにおける品質スコアが最も顔画像である。品質スコアが高いほど、顔画像の認識可能性が高くなる。従って、品質スコアにより、顔認識のためのターゲット顔画像の顔品質を確保し、顔認識の効率及び正確性を向上させることができる。

ここで、顔画像フレームシーケンスにおける顔認識のためのターゲット顔画像を決定した後、決定されたターゲット顔画像に対して顔認識を行うことができる。ターゲット顔画像の顔品質が高いため、顔認識過程における比較回数を減少させ、処理リソース及び装置の電力消費を節約することができる。ターゲット顔画像を決定した後、キャッシュキューにおけるターゲット顔画像の顔とマッチングした顔画像を削除することもできる。つまり、同一の顔を有する顔画像を削除する。これにより、キャッシュキューにキャッシュされた顔画像を減少させ、記憶スペースを節約することができる。

図２は、本開示の実施例による顔画像フレームシーケンスの決定の例を示すフローチャートである。

任意の可能な実施形態において、上記所定の要件は、第１顔パラメータが所定の基準パラメータ区間内にあることを含み、上記ステップＳ１１で画像フレームシーケンスを選別し、第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得する前に、下記ステップを更に含んでもよい。

ステップＳ０１において、画像フレームシーケンスにおける各画像フレームの第１顔パラメータを取得する。

本実現形態において、画像処理端末は、まず、各画像フレームにおける顔画像を検出し、各画像フレームの顔領域を位置決めし、更に位置決めされた顔領域に基づいて、画像フレームシーケンスにおける各画像フレームの第１顔パラメータを決定することができる。例えば、顔領域の顔画像座標、顔画像高さなどの第１顔パラメータを決定する。

一例において、画像フレームシーケンスにおける各画像フレームの第１顔パラメータを取得することは、前記画像フレームシーケンスを収集するための画像収集装置の向き情報及び位置情報を取得することと、前記画像収集装置の向き情報及び位置情報に基づいて、前記画像フレームシーケンスにおける各画像フレームの顔向き情報を決定することと、前記顔向き情報に基づいて、各画像フレームの第１顔パラメータを取得することと、を含んでもよい。

該例において、画像収集装置は、画像フレームシーケンスを収集するための装置であってもよい。画像処理端末は、画像収集装置を備えてもよい。画像収集装置により収集された画像フレームにおいて、顔の大まかな向き及び角度は、撮影過程における画像収集装置の向き及び位置によって決まってもよい。従って、画像フレームシーケンスにおける各画像フレームの第１顔パラメータを決定する前に、まず画像収集装置の向き情報及び位置情報を取得し、画像収集装置の向き情報及び位置情報に基づいて、画像フレームの顔向き情報を決定することができる。該顔向き情報により、画像フレームにおける顔の向きを大まかに推定することができる。例えば、画像フレームにおける顔が左向き又は右向きである。該顔向き情報に基づいて、各画像フレームの顔領域を迅速に位置決めし、顔領域の画像位置を決定し、更に、各画像フレームの第１顔パラメータを取得することができる。

ステップＳ０２において、前記画像フレームシーケンスにおける各画像フレームに対して、前記第１顔パラメータが前記基準パラメータ区間内にあるかどうかを判定する。

本実施例において、画像フレームシーケンスにおける各画像フレームに対して、画像処理端末は、該画像フレームの１つ又は複数の第１顔パラメータと対応する基準パラメータ区間を比較し、該画像フレームの１つ又は複数の第１顔パラメータが対応する基準パラメータ区間内にあるかどうかを判定する。例えば、該画像フレームの第１顔パラメータが基準パラメータ区間内にあれば、ステップＳ０３を実行する。そうでなければ、ステップＳ０４を実行する。従って、第１顔パラメータが前記基準パラメータ区間内にあるかどうかを判定することで、画像フレームシーケンスの画像フレームに対して一次選別を行うことができる。

ステップＳ０３において、前記第１顔パラメータが前記基準パラメータ区間内にある場合、該画像フレームを、前記所定の要件に合致する顔画像フレームシーケンスに属するものと決定する。

ここで、第１パラメータが所定の基準パラメータ区間にあれば、該画像フレームに顔が存在すると決定することができる。又は、該画像フレームにおける顔領域が比較的完備なものであり、該画像フレームが顔画像フレームシーケンスにおける顔画像であり、保留すると決定することができる。

一例において、第１顔パラメータは、顔画像座標を含む。前記第１顔パラメータが前記基準パラメータ区間内にある場合、該画像フレームを、前記所定の要件に合致する顔画像フレームシーケンスに属するものと決定することは、前記画像座標が前記基準座標区間内にある場合、該画像フレームを、前記所定の要件に合致する顔画像フレームシーケンスに属するものと決定する。

該例において、第１顔パラメータが顔画像座標である場合、画像フレームシーケンスの現在の画像フレームについて、現在の画像フレームの顔画像座標と所定の要件の基準画像座標区間を比較することができる。現在の画像フレームの顔画像座標を（ｘ１，ｙ１）と仮定すると、ｘ１が、基準画像座標区間における横座標に対応する区間［ｌｅｆｔ，ｒｉｇｈｔ］にあるかどうか、ｙ１が、基準画像座標区間における縦座標に対応する区間［ｂｏｔｔｏｎ，ｔｏｐ］にあるかどうかを判定する。ｘ１が［ｌｅｆｔ，ｒｉｇｈｔ］区間内にあり、且つｙ１が［ｂｏｔｔｏｎ，ｔｏｐ］区間内にある場合、現在の画像フレームは、所定の要件に合致する顔画像フレームシーケンスである。

ステップＳ０４において、前記第１顔パラメータが前記基準パラメータ区間内にない場合、該画像フレームを破棄する。

該実現形態において、該画像フレームの第１パラメータが所定の基準パラメータ区間内に存在しなければ、該画像フレームに顔が存在しないか又は該画像フレームの顔領域が不完備であると認められる。該画像フレームを捨て、引き続き、次の画像フレームを検出する。画像フレームに顔画像が存在しない画像フレームについて、第１顔パラメータは０であってもよい。これにより、画像フレームシーケンスに対して一次選別を行う場合、第１顔パラメータにより選別を行い、画像フレームシーケンスにおける顔画像が存在しない画像フレーム又は第１顔パラメータが合格しない画像フレームを削除することができる。

図３は、本開示の実施例による画像処理の一例を示すフローチャートである。該例において、画像処理プロセスは、下記ステップを含んでもよい。

ステップＳ３０１において、画像フレームシーケンスの現在の画像フレームを取得する。

ステップＳ３０２において、現在の画像フレームの顔領域を位置決めし、現在の画像フレームの第１顔パラメータを取得する。

ここで、第１顔パラメータは、顔画像幅、顔画像高さ、顔画像座標、顔画像整合度、顔画像姿勢角のうちの１つ又は複数を含んでもよい。

ステップＳ３０３において、現在の画像フレームの第１顔パラメータが所定の要件に合致するかどうかを判定する。

ここで、所定の要件は、第１顔パラメータが所定の基準パラメータ区間内にあることを含んでもよい。これにより、各第１顔パラメータが該第１顔パラメータの基準パラメータ区間にあるかどうかを判定することができる。各第１顔パラメータがいずれも該第１顔パラメータの基準パラメータ区間内にあれば、現在の画像フレームが完備な顔画像を有すると決定し、ステップＳ３０４を実行する。そうでなければ、現在の画像フレームに顔が存在しないか又は顔が完備ではないと決定し、画像フレームを再取得し、つまり、Ｓ３０１を再実行する。

ステップＳ３０４において、第１顔パラメータが所定の要件に合致する場合、現在の画像フレームの第２顔パラメータを決定し、現在の画像フレームの第１顔パラメータ及び第２顔パラメータに基づいて、現在の画像フレームの品質スコアを決定する。

ここで、第２顔パラメータは、顔画像鮮鋭度、顔画像輝度、顔画像画素点の数のうちの少なくとも１つを含んでもよい。

ステップＳ３０５において、現在の画像フレームの品質スコアが所定のスコア閾値より大きいかどうかを判定する。

ここで、現在の画像フレームの品質スコアが所定のスコア閾値より大きいと、現在の画像フレームの顔品質が高いと認められ、Ｓ３０６を実行する。品質スコアが所定のスコア閾値以下であると、現在の画像フレームの顔品質が低いと認められ、Ｓ３０３を再実行する。

ステップＳ３０６において、現在の画像フレームに対して顔認識を行う。

本開示の実施例で提供される画像処理方法は、顔認識を行う前に、画像フレームシーケンスにおける画像フレームを選別し、顔画像の品質が高い画像フレームを選択して顔認識を行うことができる。これにより、有効な画像フレームの浪費を減少させ、顔認識の速度を速くし、顔認識の正確度を向上させ、処理リソースの浪費を減少させることができる。

本開示に言及した上記各方法の実施例は、原理や論理から逸脱しない限り、互いに組み合わせることで組み合わせた実施例を構成することができ、紙数に限りがあるため、本開示において逐一説明しないことが理解されるべきである。

なお、本開示は、画像処理装置、電子機器、コンピュータ可読記憶媒体、プログラムを更に提供する。上記はいずれも、本開示で提供されるいずれか１つのビデオ処理方法を実現させるためのものである。対応する技術的解決手段及び説明は、方法に関連する記述を参照されたい。ここで、詳細な説明を省略する。

具体的な実施形態の上記方法において、各ステップの記述順番は、厳密な実行順番として実施過程を限定するものではなく、各ステップの具体的な実行順番はその機能及び考えられる内在的論理により決まることは、当業者であれば理解すべきである。

図４は、本開示の実施例による画像処理装置を示すブロック図である。図４に示すように、前記画像処理装置は、
画像フレームシーケンスを選別し、第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得するように構成される取得モジュール４１と、
前記顔画像フレームシーケンスにおける各顔画像の第２顔パラメータを決定するように構成される第１決定モジュール４２と、
前記顔画像フレームシーケンスにおける各顔画像の第１顔パラメータ及び第２顔パラメータに基づいて、前記顔画像フレームシーケンスにおける各顔画像の品質スコアを決定するように構成される第２決定モジュール４３と、
顔画像フレームシーケンスにおける各顔画像の品質スコアに基づいて、顔認識のためのターゲット顔画像を得るように構成される第３決定モジュール４４と、を備える。

任意の可能な実施形態において、前記所定の要件は、第１顔パラメータが所定の基準パラメータ区間内にあることを含み、前記装置は、
前記取得モジュール４１により画像フレームシーケンスを選別し、第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得する前に、画像フレームシーケンスにおける各画像フレームの第１顔パラメータを取得し、前記第１顔パラメータが前記基準パラメータ区間内にある場合、該画像フレームを、前記所定の要件に合致する顔画像フレームシーケンスに属するものと決定するように構成される判定モジュールを更に備える。

任意の可能な実施形態において、前記判定モジュールは、前記画像フレームシーケンスを収集するための画像収集装置の向き情報及び位置情報を取得し、前記画像収集装置の向き情報及び位置情報に基づいて、前記画像フレームシーケンスにおける各画像フレームの顔向き情報を決定し、前記顔向き情報に基づいて、各画像フレームの第１顔パラメータを取得するように構成される。

任意の可能な実施形態において、前記第１顔パラメータは、顔画像座標を含み、
前記判定モジュールは、前記顔画像座標が前記基準座標区間内にある場合、該画像フレームを、前記所定の要件に合致する顔画像フレームシーケンスに属するものと決定するように構成される。

任意の可能な実施形態において、前記第１顔パラメータは、顔画像幅、顔画像高さ、顔画像座標、顔画像整合度、顔画像姿勢角のうちの少なくとも１つを含む。

任意の可能な実施形態において、前記第２決定モジュール４３は、各顔画像の第１顔パラメータ及び第２顔パラメータに対して加重処理を行い、加重処理の結果に基づいて、前記顔画像の品質スコアを得るように構成される。

任意の可能な実施形態において、前記第２決定モジュール４３は、前記第１顔パラメータ及び第２顔パラメータのそれぞれと顔画像の認識率との間の相関性に基づいて、前記第１顔パラメータ及び前記第２顔パラメータにおける各顔パラメータに対応するパラメータスコアをそれぞれ決定し、各顔パラメータに対応するパラメータスコアに基づいて、各顔画像の品質スコアを決定するように構成される。

任意の可能な実施形態において、前記第３決定モジュール４４は、前記品質スコアに基づいて、キャッシュキューに記憶される顔画像を決定し、前記キャッシュキューにおける複数の顔画像を順序付け、順序付け結果を得て、前記順序付け結果に基づいて、顔認識のためのターゲット顔画像を得るように構成される。

任意の可能な実施形態において、前記第３決定モジュール４４は、各顔画像の品質スコアと所定のスコア閾値を比較し、前記顔画像の品質スコアが所定のスコア閾値より大きい場合、前記顔画像をキャッシュキューに記憶すると決定するように構成される。

任意の可能な実施形態において、前記第３決定モジュール４４は、前記順序付け結果に基づいて、前記キャッシュキューにおける品質スコアが最も高い顔画像を決定し、前記キャッシュキューにおける品質スコアが最も高い顔画像を、顔認識のためのターゲット顔画像として決定するように構成される。

任意の可能な実施形態において、前記第２顔パラメータは、顔画像鮮鋭度、顔画像輝度、顔画像画素点の数のうちの少なくとも１つを含む。

幾つかの実施例において、本開示の実施例で提供される装置における機能及びモジュールは、上記方法実施例に記載の方法を実行するために用いられ、具体的な実現形態は上記方法実施例の説明を参照されたい。簡潔化のために、ここで詳細な説明を省略する。

本開示の実施例はコンピュータ可読記憶媒体を更に提供する。該コンピュータ可読記憶媒体にはコンピュータプログラム命令が記憶されており、前記コンピュータプログラム命令がプロセッサにより実行される時、上記方法を実現させる。コンピュータ可読記憶媒体は不揮発性コンピュータ可読記憶媒体であってもよい。

本開示の実施例は電子機器を更に提供する。該電子機器は、プロセッサと、プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、プロセッサは、上記方法を実行するように構成される。

例示的に、電子機器は、端末、サーバ又は他の形態の機器として提供されてもよい。

図５は本開示の実施例による電子機器を示すブロック図である。例えば、電子機器は、携帯電話、コンピュータ、デジタル放送端末、メッセージング装置、ゲームコンソール、タブレットデバイス、医療機器、フィットネス機器、パーソナルデジタルアシスタントなどの端末であってもよい。

図５を参照すると、電子機器８００は、処理コンポーネント８０２、メモリ８０４、電源コンポーネント８０６、マルチメディアコンポーネント８０８、オーディオコンポーネント８１０、入力／出力（Ｉ／Ｏ）インタフェース８１２、センサコンポーネント８１４及び通信コンポーネント８１６のうちの１つ又は複数を備えてもよい。

処理コンポーネント８０２は一般的には、電子機器８００の全体操作を制御する。例えば、表示、通話呼、データ通信、カメラ操作及び記録操作に関連する操作を制御する。処理コンポーネント８０２は、指令を実行するための１つ又は複数のプロセッサ８２０を備えてもよい。それにより上記方法の全て又は一部のステップを実行する。なお、処理コンポーネント８０２は、他のユニットとのインタラクションのために、１つ又は複数のモジュールを備えてもよい。例えば、処理コンポーネント８０２はマルチメディアモジュールを備えることで、マルチメディアコンポーネント８０８と処理コンポーネント８０２とのインタラクションに寄与する。

メモリ８０４は、各種のデータを記憶することで電子機器８００における操作をサポートするように構成される。これらのデータの例として、電子機器８００上で操作される如何なるアプリケーション又は方法の命令、連絡先データ、電話帳データ、メッセージ、イメージ、ビデオ等を含む。メモリ８０４は任意のタイプの揮発性または不揮発性記憶装置、あるいはこれらの組み合わせにより実現される。例えば、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＳＲＡＭ）、電気的消去可能なプログラマブル読み出し専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＥＰＲＯＭ）、電気的に消去可能なプログラマブル読出し専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ）、プログラマブル読出し専用メモリ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：ＰＲＯＭ）、読出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気もしくは光ディスクを含む。

電源コンポーネント８０６は電子機器８００の様々なユニットに電力を提供する。電源コンポーネント８０６は、電源管理システム、１つ又は複数の電源、及び電子機器８００のための電力生成、管理、分配に関連する他のユニットを備えてもよい。

マルチメディアコンポーネント８０８は、上記電子機器８００とユーザとの間に出力インタフェースを提供するためのスクリーンを備える。幾つかの実施例において、スクリーンは、液晶ディスプレイ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：ＬＣＤ）及びタッチパネル（Ｔｏｕｃｈ Ｐａｎｅｌ：ＴＰ）を含む。スクリーンは、タッチパネルを含むと、タッチパネルとして実現され、ユーザからの入力信号を受信する。タッチパネルは、タッチ、スライド及びパネル上のジェスチャを感知する１つ又は複数のタッチセンサを備える。上記タッチセンサは、タッチ又はスライド動作の境界を感知するだけでなく、上記タッチ又はスライド操作に関連する持続時間及び圧力を検出することもできる。幾つかの実施例において、マルチメディアコンポーネント８０８は、フロントカメラ及び／又はリアカメラを備える。電子機器８００が、撮影モード又はビデオモードのような操作モードであれば、フロントカメラ及び／又はリアカメラは外部からのマルチメディアデータを受信することができる。各フロントカメラ及びリアカメラは固定した光学レンズシステム又は焦点及び光学ズーム能力を持つものであってもよい。

オーディオコンポーネント８１０は、オーディオ信号を出力及び／又は入力するように構成される。例えば、オーディオコンポーネント８１０は、マイクロホン（Ｍｉｃｒｏｐｈｏｎｅ：ＭＩＣ）を備える。電子機器８００が、通話モード、記録モード及び音声識別モードのような操作モードであれば、マイクロホンは、外部からのオーディオ信号を受信するように構成される。受信したオーディオ信号を更にメモリ８０４に記憶するか、又は通信コンポーネント８１６を経由して送信することができる。幾つかの実施例において、オーディオコンポーネント８１０は、オーディオ信号を出力するように構成されるスピーカーを更に備える。

Ｉ／Ｏインタフェース８１２は、処理コンポーネント８０２と周辺インタフェースモジュールとの間のインタフェースを提供する。上記周辺インタフェースモジュールは、キーボード、クリックホイール、ボタン等であってもよい。これらのボタンは、ホームボダン、ボリュームボタン、スタートボタン及びロックボタンを含むが、これらに限定されない。

センサコンポーネント８１４は、１つ又は複数のセンサを備え、電子機器８００のために様々な状態の評価を行うように構成される。例えば、センサコンポーネント８１４は、電子機器８００のオン／オフ状態、ユニットの相対的な位置決めを検出することができる。例えば、上記ユニットが電子機器８００のディスプレイ及びキーパッドである。センサコンポーネント８１４は電子機器８００又は電子機器８００における１つのユニットの位置の変化、ユーザと電子機器８００との接触の有無、電子機器８００の方位又は加速／減速及び電子機器８００の温度の変動を検出することもできる。センサコンポーネント８１４は近接センサを備えてもよく、いかなる物理的接触もない場合に周囲の物体の存在を検出するように構成される。センサコンポーネント８１４は、金属酸化膜半導体素子（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ：ＣＭＯＳ）又は電荷結合素子（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：ＣＣＤ）画像センサのような光センサを備えてもよく、結像に適用されるように構成される。幾つかの実施例において、該センサコンポーネント８１４は、加速度センサ、ジャイロセンサ、磁気センサ、圧力センサ又は温度センサを備えてもよい。

通信コンポーネント８１６は、電子機器８００と他の機器との有線又は無線方式の通信に寄与するように構成される。電子機器８００は、ＷｉＦｉ、２Ｇ又は３Ｇ、又はそれらの組み合わせのような通信規格に基づいた無線ネットワークにアクセスできる。一例示的な実施例において、通信コンポーネント８１６は放送チャネルを経由して外部放送チャネル管理システムからの放送信号又は放送関連する情報を受信する。一例示的な実施例において、上記通信コンポーネント８１６は、近接場通信（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ：ＮＦＣ）モジュールを更に備えることで近距離通信を促進する。例えば、ＮＦＣモジュールは、無線周波数識別（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ：ＲＦＩＤ）技術、赤外線データ協会（Ｉｎｆｒａｒｅｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ：ＩｒＤＡ）技術、超広帯域（Ｕｌｔｒａ ＷｉｄｅＢａｎｄ：ＵＷＢ）技術、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ：ＢＴ）技術及び他の技術に基づいて実現される。

例示的な実施例において、電子機器８００は、１つ又は複数の特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、デジタル信号処理機器（ＤＳＰＤ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ：ＦＰＧＡ）、コントローラ、マイクロコントローラ、マイクロプロセッサ又は他の電子素子により実現され、上記方法を実行するように構成されてもよい。

例示的な実施例において、コンピュータプログラム命令を記憶したメモリ８０４のような不揮発性コンピュータ可読記憶媒体を更に提供する。上記コンピュータプログラム命令は、電子機器８００のプロセッサ８２０により実行され上記方法を完了する。

本開示の実施例は、システム、方法及び／又はコンピュータプログラム製品であってもよい。コンピュータプログラム製品は、コンピュータ可読記憶媒体を備えてもよく、プロセッサに本開示の各態様を実現させるためのコンピュータ可読プログラム命令がそれに記憶されている。

コンピュータ可読記憶媒体は、命令実行装置に用いられる命令を保持又は記憶することができる有形装置であってもよい。コンピュータ可読記憶媒体は、例えば、電気記憶装置、磁気記憶装置、光記憶装置、電磁記憶装置、半導体記憶装置又は上記の任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例（非網羅的なリスト）は、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、読み出し専用メモリ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、消去可能なプログラマブル読み出し専用メモリ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ又はフラッシュ）、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：ＣＤ−ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、フレキシブルディスク、命令が記憶されているパンチカード又は凹溝内における突起構造のような機械的符号化装置、及び上記任意の適切な組み合わせを含む。ここで用いられるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、または、電線を通して伝送される電気信号などの、一時的な信号それ自体であると解釈されるべきではない。

ここで説明されるコンピュータ可読プログラム命令を、コンピュータ可読記憶媒体から各コンピューティング／処理装置にダウンロードすることができるか、又は、インターネット、ローカルエリアネットワーク、ワイドエリアネットワーク及び／又は無線ネットワークのようなネットワークを経由して外部コンピュータ又は外部記憶装置にダウンロードすることができる。ネットワークは、伝送用銅線ケーブル、光ファイバー伝送、無線伝送、ルータ、ファイアウォール、交換機、ゲートウェイコンピュータ及び／又はエッジサーバを含んでもよい。各コンピューティング／処理装置におけるネットワークインターフェースカード又はネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、該コンピュータ可読プログラム命令を転送し、各コンピューティング／処理装置におけるコンピュータ可読記憶媒体に記憶する。

本開示の操作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は１つ又は複数のプログラミング言語で記述されたソースコード又はターゲットコードであってもよい。前記プログラミング言語は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのようなオブジェクト指向プログラミング言語と、「Ｃ」プログラミング言語又は類似したプログラミング言語などの従来の手続型プログラミング言語とを含む。コンピュータ可読プログラム命令は、ユーザコンピュータ上で完全に実行してもよいし、ユーザコンピュータ上で部分的に実行してもよいし、独立したソフトウェアパッケージとして実行してもよいし、ユーザコンピュータ上で部分的に実行してリモートコンピュータ上で部分的に実行してもよいし、又はリモートコンピュータ又はサーバ上で完全に実行してもよい。リモートコンピュータの場合に、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）やワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続するか、または、外部のコンピュータに接続することができる（例えばインターネットサービスプロバイダを用いてインターネットを通じて接続する）。幾つかの実施例において、コンピュータ可読プログラム命令の状態情報を利用して、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）又はプログラマブル論理アレイ（ＰＬＡ）のような電子回路をカスタマイズする。該電子回路は、コンピュータ可読プログラム命令を実行することで、本開示の各態様を実現させることができる。

ここで、本開示の実施例の方法、装置（システム）及びコンピュータプログラム製品のフローチャート及び／又はブロック図を参照しながら、本開示の各態様を説明する。フローチャート及び／又はブロック図の各ブロック及びフローチャート及び／又はブロック図における各ブロックの組み合わせは、いずれもコンピュータ可読プログラム命令により実現できる。

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、専用コンピュータまたはその他プログラマブルデータ処理装置のプロセッサに提供でき、それによって機器を生み出し、これら命令はコンピュータまたはその他プログラマブルデータ処理装置のプロセッサにより実行される時、フローチャート及び/又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現する装置を生み出した。これらのコンピュータ可読プログラム命令をコンピュータ可読記憶媒体に記憶してもよい。これらの命令によれば、コンピュータ、プログラマブルデータ処理装置及び／又は他の装置は特定の方式で動作する。従って、命令が記憶されているコンピュータ可読記憶媒体は、フローチャート及び／又はブロック図おける１つ又は複数のブロック中で規定している機能/操作を実現する各態様の命令を含む製品を備える。

コンピュータ可読プログラム命令をコンピュータ、他のプログラマブルデータ処理装置又は他の装置にロードしてもよい。これにより、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で一連の操作の工程を実行して、コンピュータで実施されるプロセスを生成する。従って、コンピュータ、他のプログラマブルデータ処理装置又は他の装置で実行される命令により、フローチャート及び／又はブロック図における１つ又は複数のブロック中で規定している機能/操作を実現させる。

図面におけるフローチャート及びブロック図は、本開示の複数の実施例によるシステム、方法及びコンピュータプログラム製品の実現可能なアーキテクチャ、機能および操作を例示するものである。この点で、フローチャート又はブロック図における各ブロックは、１つのモジュール、プログラムセグメント又は命令の一部を表すことができる。前記モジュール、プログラムセグメント又は命令の一部は、１つまたは複数の所定の論理機能を実現するための実行可能な命令を含む。いくつかの取り替えとしての実現中に、ブロックに表記される機能は図面中に表記される順序と異なる順序で発生することができる。例えば、二つの連続するブロックは実際には基本的に並行して実行でき、場合によっては反対の順序で実行することもでき、これは関係する機能から確定する。ブロック図及び／又はフローチャートにおける各ブロック、及びブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行するための専用ハードウェアベースシステムにより実現するか、又は専用ハードウェアとコンピュータ命令の組み合わせにより実現することができることにも留意されたい。

以上、本発明の各実施例を説明したが、前記説明は例示的なものであり、網羅するものではなく、且つ開示した各実施例に限定されない。説明した各実施例の範囲と趣旨から逸脱しない場合、当業者にとって、多くの修正及び変更は容易に想到しえるものである。本明細書に用いられる用語の選択は、各実施例の原理、実際の応用、或いは市場における技術への改善を最もよく解釈すること、或いは他の当業者が本明細書に開示された各実施例を理解できることを目的とする。

４１ 取得モジュール
４２ 第１決定モジュール
４３ 第２決定モジュール
４４ 第３決定モジュール
８００ 電子機器
８０２ 処理コンポーネント
８０４ メモリ
８０６ 電源コンポーネント
８０８ マルチメディアコンポーネント
８１０ オーディオコンポーネント
８１２ 入力／出力インタフェース
８１４ センサコンポーネント
８１６ 通信コンポーネント
８２０ プロセッサ

Claims (24)

1. 画像処理方法であって、
   画像フレームシーケンスを選別し、第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得することと、
   前記顔画像フレームシーケンスにおける各顔画像の第２顔パラメータを決定することと、
   前記顔画像フレームシーケンスにおける各顔画像の第１顔パラメータ及び第２顔パラメータに基づいて、前記顔画像フレームシーケンスにおける各顔画像の品質スコアを決定することと、
   顔画像フレームシーケンスにおける各顔画像の品質スコアに基づいて、顔認識のためのターゲット顔画像を得ることと、を含む方法。
2. 前記所定の要件は、第１顔パラメータが所定の基準パラメータ区間内にあることを含み、前記画像フレームシーケンスを選別し、第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得する前に、前記方法は、
   画像フレームシーケンスにおける各画像フレームの第１顔パラメータを取得することと、
   前記第１顔パラメータが前記基準パラメータ区間内にある場合、該画像フレームを、前記所定の要件に合致する顔画像フレームシーケンスに属するものと決定することと、を更に含むことを特徴とする
   請求項１に記載の方法。
3. 前記画像フレームシーケンスにおける各画像フレームの第１顔パラメータを取得することは、
   前記画像フレームシーケンスを収集するための画像収集装置の向き情報及び位置情報を取得することと、
   前記画像収集装置の向き情報及び位置情報に基づいて、前記画像フレームシーケンスにおける各画像フレームの顔向き情報を決定することと、
   前記顔向き情報に基づいて、各画像フレームの第１顔パラメータを取得することと、を含むことを特徴とする
   請求項２に記載の方法。
4. 前記第１顔パラメータは、顔画像座標を含み、前記第１顔パラメータが前記基準パラメータ区間内にある場合、該画像フレームを、前記所定の要件に合致する顔画像フレームシーケンスに属するものと決定することは、
   前記顔画像座標が基準座標区間内にある場合、該画像フレームを、前記所定の要件に合致する顔画像フレームシーケンスに属するものと決定することを含むことを特徴とする
   請求項２に記載の方法。
5. 前記第１顔パラメータは、顔画像幅、顔画像高さ、顔画像座標、顔画像整合度、顔画像姿勢角のうちの少なくとも１つを含むことを特徴とする
   請求項１から４のうちいずれか一項に記載の方法。
6. 前記顔画像フレームシーケンスにおける各顔画像の第１顔パラメータ及び第２顔パラメータに基づいて、前記顔画像フレームシーケンスにおける各顔画像の品質スコアを決定することは、
   各顔画像の第１顔パラメータ及び第２顔パラメータに対して加重処理を行い、加重処理の結果に基づいて、前記顔画像の品質スコアを得ることを含むことを特徴とする
   請求項１から５のうちいずれか一項に記載の方法。
7. 前記顔画像フレームシーケンスにおける各顔画像の第１顔パラメータ及び第２顔パラメータに基づいて、前記顔画像フレームシーケンスにおける各顔画像の品質スコアを決定することは、
   前記第１顔パラメータ及び第２顔パラメータのそれぞれと顔画像の認識率との間の相関性に基づいて、前記第１顔パラメータ及び前記第２顔パラメータにおける各顔パラメータに対応するパラメータスコアをそれぞれ決定することと、
   各顔パラメータに対応するパラメータスコアに基づいて、各顔画像の品質スコアを決定することと、を含むことを特徴とする
   請求項１から５のうちいずれか一項に記載の方法。
8. 前記顔画像フレームシーケンスにおける各顔画像の品質スコアに基づいて、顔認識のためのターゲット顔画像を得ることは、
   前記品質スコアに基づいて、キャッシュキューに記憶される顔画像を決定することと、
   前記キャッシュキューにおける複数の顔画像を順序付け、順序付け結果を得ることと、
   前記順序付け結果に基づいて、顔認識のためのターゲット顔画像を得ることと、を含むことを特徴とする
   請求項１から７のうちいずれか一項に記載の方法。
9. 前記品質スコアに基づいて、キャッシュキューに記憶される顔画像を決定することは、
   各顔画像の品質スコアと所定のスコア閾値を比較することと、
   前記顔画像の品質スコアが所定のスコア閾値より大きい場合、前記顔画像をキャッシュキューに記憶すると決定することと、を含むことを特徴とする
   請求項８に記載の方法。
10. 前記順序付け結果に基づいて、顔認識のためのターゲット顔画像を得ることは、
    前記順序付け結果に基づいて、前記キャッシュキューにおける品質スコアが最も高い顔画像を決定することと、
    前記キャッシュキューにおける品質スコアが最も高い顔画像を、顔認識のためのターゲット顔画像として決定することと、を含むことを特徴とする
    請求項８に記載の方法。
11. 前記第２顔パラメータは、顔画像鮮鋭度、顔画像輝度、顔画像画素点の数のうちの少なくとも１つを含むことを特徴とする
    請求項１から１０のうちいずれか一項に記載の方法。
12. 画像処理装置であって、
    画像フレームシーケンスを選別し、第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得するように構成される取得モジュールと、
    前記顔画像フレームシーケンスにおける各顔画像の第２顔パラメータを決定するように構成される第１決定モジュールと、
    前記顔画像フレームシーケンスにおける各顔画像の第１顔パラメータ及び第２顔パラメータに基づいて、前記顔画像フレームシーケンスにおける各顔画像の品質スコアを決定するように構成される第２決定モジュールと、
    顔画像フレームシーケンスにおける各顔画像の品質スコアに基づいて、顔認識のためのターゲット顔画像を得るように構成される第３決定モジュールと、を備える装置。
13. 前記所定の要件は、第１顔パラメータが所定の基準パラメータ区間内にあることを含み、前記装置は、
    前記取得モジュールにより画像フレームシーケンスを選別し、第１顔パラメータが所定の要件に合致する顔画像フレームシーケンスを取得する前に、画像フレームシーケンスにおける各画像フレームの第１顔パラメータを取得し、前記第１顔パラメータが前記基準パラメータ区間内にある場合、該画像フレームを、前記所定の要件に合致する顔画像フレームシーケンスに属するものと決定するように構成される判定モジュールを更に備えることを特徴とする
    請求項１２に記載の装置。
14. 前記判定モジュールは、前記画像フレームシーケンスを収集するための画像収集装置の向き情報及び位置情報を取得し、前記画像収集装置の向き情報及び位置情報に基づいて、前記画像フレームシーケンスにおける各画像フレームの顔向き情報を決定し、前記顔向き情報に基づいて、各画像フレームの第１顔パラメータを取得するように構成されることを特徴とする
    請求項１３に記載の装置。
15. 前記第１顔パラメータは、顔画像座標を含み、前記判定モジュールは、前記顔画像座標が基準座標区間内にある場合、該画像フレームを、前記所定の要件に合致する顔画像フレームシーケンスに属するものと決定するように構成されることを特徴とする
    請求項１３に記載の装置。
16. 前記第１顔パラメータは、顔画像幅、顔画像高さ、顔画像座標、顔画像整合度、顔画像姿勢角のうちの少なくとも１つを含むことを特徴とする
    請求項１２から１５のうちいずれか一項に記載の装置。
17. 前記第２決定モジュールは、各顔画像の第１顔パラメータ及び第２顔パラメータに対して加重処理を行い、加重処理の結果に基づいて、前記顔画像の品質スコアを得るように構成されることを特徴とする
    請求項１２から１６のうちいずれか一項に記載の装置。
18. 前記第２決定モジュールは、前記第１顔パラメータ及び第２顔パラメータのそれぞれと顔画像の認識率との間の相関性に基づいて、前記第１顔パラメータ及び前記第２顔パラメータにおける各顔パラメータに対応するパラメータスコアをそれぞれ決定し、各顔パラメータに対応するパラメータスコアに基づいて、各顔画像の品質スコアを決定するように構成されることを特徴とする
    請求項１２から１６のうちいずれか一項に記載の装置。
19. 前記第３決定モジュールは、前記品質スコアに基づいて、キャッシュキューに記憶される顔画像を決定し、前記キャッシュキューにおける複数の顔画像を順序付け、順序付け結果を得て、前記順序付け結果に基づいて、顔認識のためのターゲット顔画像を得るように構成されることを特徴とする
    請求項１２から１８のうちいずれか一項に記載の装置。
20. 前記第３決定モジュールは、各顔画像の品質スコアと所定のスコア閾値を比較し、前記顔画像の品質スコアが所定のスコア閾値より大きい場合、前記顔画像をキャッシュキューに記憶すると決定するように構成されることを特徴とする
    請求項１９に記載の装置。
21. 前記第３決定モジュールは、前記順序付け結果に基づいて、前記キャッシュキューにおける品質スコアが最も高い顔画像を決定し、前記キャッシュキューにおける品質スコアが最も高い顔画像を、顔認識のためのターゲット顔画像として決定するように構成されることを特徴とする
    請求項１９に記載の装置。
22. 前記第２顔パラメータは、顔画像鮮鋭度、顔画像輝度、顔画像画素点の数のうちの少なくとも１つを含むことを特徴とする
    請求項１２から２１のうちいずれか一項に記載の装置。
23. プロセッサと、
    プロセッサによる実行可能な命令を記憶するためのメモリと、を備え、
    前記プロセッサは、前記メモリに記憶されている命令を呼び出して、請求項１から１１のうちいずれか一項に記載の方法を実行するように構成される、電子機器。
24. コンピュータに請求項１から１１のうちいずれか一項に記載の方法を実行させるためのコンピュータプログラムを記憶した、コンピュータ可読記憶媒体。

Images