JP2020517027A - 顔画像品質を決定する方法および装置、電子機器ならびにコンピュータ記憶媒体 - Google Patents

顔画像品質を決定する方法および装置、電子機器ならびにコンピュータ記憶媒体 Download PDF

Info

Publication number
JP2020517027A
JP2020517027A JP2019556650A JP2019556650A JP2020517027A JP 2020517027 A JP2020517027 A JP 2020517027A JP 2019556650 A JP2019556650 A JP 2019556650A JP 2019556650 A JP2019556650 A JP 2019556650A JP 2020517027 A JP2020517027 A JP 2020517027A
Authority
JP
Japan
Prior art keywords
face
score
image
size
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019556650A
Other languages
English (en)
Other versions
JP6871416B2 (ja
Inventor
リーフェイ シュー
リーフェイ シュー
チェンディー ユー
チェンディー ユー
ウェンジー リウ
ウェンジー リウ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Publication of JP2020517027A publication Critical patent/JP2020517027A/ja
Application granted granted Critical
Publication of JP6871416B2 publication Critical patent/JP6871416B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993—Evaluation of the quality of the acquired pattern
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本願の実施例は顔画像品質を決定する方法および装置、電子機器ならびにコンピュータ記憶媒体を開示し、前記方法は、画像における顔の姿勢角情報および大きさ情報を取得することと、前記顔の姿勢角情報および大きさ情報に基づいて画像における顔の品質情報を取得することと、を含む。【選択図】図１

Description

本願は２０１７年５月３１日に中国特許局に提出された、出願番号２０１７１０４０５２３２．９、発明名称「顔画像品質を決定する方法および装置、電子機器ならびにコンピュータ記憶媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本願に組み込まれる。
本願はコンピュータビジョン技術に関し、特に顔画像品質を決定する方法および装置、電子機器ならびにコンピュータ記憶媒体に関する。
コンピュータビジョン技術の進歩に伴い、顔認識技術は近年、性能的に大きく向上し、非極端なシーンでの顔認識は人による認識結果に近いレベルに達することができ、顔認識技術は生活中の様々なシーンにも益々広く応用されている。
本願の実施例は顔画像品質を決定するための技術的解決手段を提供する。
本願の実施例の一態様によれば、
画像における顔の姿勢角情報および／または大きさ情報を取得することと、
前記顔の姿勢角情報および／または大きさ情報に基づき、画像における顔の品質情報を取得することと、を含む顔画像品質を決定する方法が提供される。
本願の実施例の他の態様によれば、
画像における顔の姿勢角情報および／または大きさ情報を取得するための第一取得モジュールと、
前記顔の姿勢角情報および／または大きさ情報に基づき、画像における顔の品質情報を取得するための第二取得モジュールと、を含む顔画像品質を決定する装置が提供される。
本願の実施例のさらに他の態様によれば、本願の上記いずれか一項に記載の顔画像品質を決定する装置を含む電子機器が提供される。
本願の実施例のさらに別の一態様によれば、
実行可能命令を記憶するためのメモリ、および
前記メモリと通信して前記実行可能命令を実行することで本願の上記いずれか一項に記載の顔画像品質を決定する方法の動作を完了するためのプロセッサを含む他の電子機器が提供される。
本願の実施例のさらに他の態様によれば、コンピュータ読み取り可能な命令を記憶するためのコンピュータ記憶媒体であって、前記命令は実行される時に本願の上記いずれか一項に記載の顔画像品質を決定する方法の動作を実現するコンピュータ記憶媒体が提供される。
本願の上記実施例が提供する顔画像品質を決定する方法および装置、電子機器ならびにコンピュータ記憶媒体に基づき、画像における顔の姿勢角情報および／または大きさ情報を取得し、顔の姿勢角情報および／または顔の大きさの情報に基づき、画像における顔の品質を取得する。
本開示の実施例が提供する技術的解決手段は以下の有益な効果を含むことができる。
顔認識結果に影響する重要な要因（顔の解像度、顔の大きさ、顔が正面であるかどうか）に基づいて顔画像品質を評価する方法によって、顔認識結果に影響する重要な要因を評価する指標、即ち顔が正面であるかどうかを反映するための顔の姿勢角、および顔の解像度および顔の大きさを反映するための顔の大きさを取得し、かつ顔の姿勢角情報および顔の大きさ情報に基づいて顔画像品質を評価する方法によって、本願の実施例に係る顔画像品質を決定する技術的解決手段は、顔画像品質を客観的に評価可能であり、顔画像品質の評価結果の正確率が高く、また、本願の実施例は画像における顔の解像度をそのまま取得するのではなく、顔の大きさ情報を取得することで顔認識結果に影響する顔解像度を反映し、画像における顔の解像度をそのまま取得することに比べ、演算効率の向上に寄与し、それにより顔品質評価のリアルタイム性に寄与する。
なお、以上の概略的な説明および以下の詳細な説明は例示的および説明的なものに過ぎず、本願を限定するものではないことを理解すべきである。以下に図面および実施例により、本願の技術的解決手段をさらに詳細に説明する。
明細書の一部となる図面は本願の実施例を説明するものであり、かつその説明と共に本願の原理を解釈するために用いられる。
図面と関連付けて、以下の詳細な説明によれば、本願をより明確に理解できる。そのうち、
本願の顔画像品質を決定する方法の一実施例のフローチャートである。 本願の顔画像品質を決定する方法の他の実施例のフローチャートである。 本願の顔画像品質を決定する方法のさらに他の実施例のフローチャートである。 本願の顔画像品質を決定する方法の具体的な一適用例のフローチャートである。 本願の顔画像品質を決定する装置の一実施例の構成模式図である。 本願の顔画像品質を決定する装置の他の実施例の構成模式図である。 本願の顔画像品質を決定する装置のさらに他の実施例の構成模式図である。 本願の電子機器の一実施例の構成模式図である。
ここで、図面を参照しながら本願の様々な例示的実施例を詳細に説明する。なお、特に断らない限り、これらの実施例において記述した部材およびステップの相対的配置、数式および数値は本願の範囲を限定するものではないことに注意すべきである。
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
以下の少なくとも一つの例示的実施例に対する説明は実際に説明的なものに過ぎず、本願およびその適用または使用へのなんらの制限にもならない。
関連分野の当業者に既知の技術、方法および機器については、詳細に説明しないが、場合によって、前記技術、方法および機器は明細書の一部と見なすべきである。
なお、類似する符号および英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
本願の実施例は端末機器、コンピュータシステム／サーバなどの電子機器に適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。端末機器、コンピュータシステム／サーバなどの電子機器との併用に適する公知の端末機器、計算システム、環境および／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、小型コンピュータシステム、大型コンピュータシステムおよび上記あらゆるシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
端末機器、コンピュータシステム／サーバなどの電子機器はコンピュータシステムにより実行されるコンピュータシステム実行可能命令（例えばプログラムモジュール）の一般的なコンテキストにおいて説明できる。通常、プログラムモジュールは、特定のタスクを実行するかまたは特定の抽象データ型を実現するルーチン、プログラム、目標プログラム、コンポーネント、ロジック、データ構造などを含むことができる。コンピュータシステム／サーバは、タスクが通信ネットワークにわたって接続された遠隔処理機器により実行される分散型クラウドコンピューティング環境において実施できる。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してもよい。
図１は本願の顔画像品質を決定する方法の一実施例のフローチャートである。図１に示すように、該実施例の顔画像品質を決定する方法は以下のステップを含む。
１０２において、画像における顔の姿勢角情報および／または大きさ情報を取得する。
ここで、顔の姿勢角は人の頭の姿勢角であり、頭の正規化球面座標（即ち画像取得座標系）における顔の、水平方向での顔の振り角を表すためのヨー角、および垂直方向での顔の下げまたは上げ角を表すためのピッチ角を含む。顔の大きさが一定である場合、ヨー角、ピッチ角が小さければ小さいほど、顔の位置が正しくなり、顔が認識されやすくなり、顔認識の正確率が高くなり、ヨー角もピッチ角も０である場合、顔の位置が最も正しくなり、顔認識の正確率が最も高い。
ここの顔の大きさは顔の画素数の多少であり、顔が大きければ大きいほど、解像度が高くなり、顔が認識されやすくなり、顔認識の正確率が高くなる。
１０４において、顔の姿勢角情報および／または大きさ情報に基づき、画像における顔の品質情報を取得する。
ここで、画像における顔の品質が高ければ高いほど、画像における顔の品質が良くなることを示し、逆に、画像における顔の品質が低ければ低いほど、画像における顔の品質が悪くなることを示す。
現在、顔認識プロセスでは誤認識が発生しやすい。誤認識率は認識アルゴリズムモデルに関連する以外に、顔画像の品質にも関連する。顔画像品質が悪い場合、例えば顔振り角が大きくなりすぎ、顔の画素数が少なくなりすぎるなどの場合において、顔認識の正確率は通常著しく低下し、誤認識率が高い。実際のシーンでは、大部分の誤認識および認識漏れは低い顔画像品質により引き起こされる。従って、顔画像品質を決定する方法は顔認識率の向上に役立ちかつ非常に重要である。
従来の画像品質評価方法は主に、主観評価方法および客観評価方法という二つの種類に分けられる。自動化度の向上に伴い、多くの分野では、人の関与が必要な主観評価方法は様々な不便が存在し、コストが高く、周期が長いため、客観評価方法は段々台頭してきた。現在の顔画像品質を決定する方法はまだ十分に重要視されておらず、顔画像品質に対する客観評価方法は未熟であり、顔画像品質の評価結果は十分に正確とは言えない。
顔画像品質を評価するために、顔画像品質評価指標を確立する必要があり、定義されておいた顔画像品質評価標準も必要である。顔認識率を向上させるために、定義されておいた顔画像品質評価標準は、例えば解像度が高く、顔が大きく、顔の位置が正しいなどの条件を満たさなければならない場合、顔を認識しやすくするように、顔を認識しやすくしなければならない。実際の適用シーンでは、顔画像の解像度は、カメラが取得した画像そのものがぼやけること、および顔画像自体が小さすぎることという二つの点から影響を受けている。顔画像を認識する前にまず顔画像の大きさを標準的な大きさに統一して拡縮しなければならないため、小さな顔画像が標準的な大きさに拡大されると、画素補間によるぼかしが発生する。一般的には、適用シーンに応じて適切なカメラを選択すると、それが取得した画像そのものは明瞭であるから、カメラが取得した画像が明瞭ではないという状況を考慮することなく、顔画像の解像度と顔の大きさとは正に相関するようになり、顔が大きければ大きいほどその解像度が高くなり、顔の大きさによって顔の解像度を評価可能である。
本願の実施例の顔画像品質を決定する方法は、顔認識を容易にする点から、顔認識結果に影響する重要な要因（例えば、顔の解像度、顔の大きさ、顔が正面であるかどうか）に基づいて顔画像品質を評価し、顔認識結果に影響する重要な要因を評価するための指標、即ち顔の姿勢角および顔の大きさを取得し、なかでも、顔の姿勢角によって顔が正面である程度を特定し、顔の大きさによって顔の解像度を特定し、そして顔の姿勢角情報および顔の大きさ情報に基づいて顔画像品質を評価し、本願の実施例の顔画像品質を決定する技術的解決手段は、顔画像品質を客観的に評価可能であり、顔画像品質の評価結果の正確率が高く、また、本願の実施例は画像における顔の解像度をそのまま取得するのではなく、顔の大きさ情報を取得することで顔認識結果に影響する顔解像度を反映し、画像における顔の解像度をそのまま取得することに比べ、演算効率を向上させ、顔品質評価のリアルタイム性を向上させる。
本願の顔画像品質を決定する方法の実施例の任意選択的な一例では、動作１０２で、画像における顔の姿勢角情報を取得することは具体的に、
例えば画像の顔検出を行い、顔検出ボックスを得て、および顔検出ボックスにおける顔のキーポイント（例えば、目元、口元など）を位置特定し、顔のキーポイント座標を得るように、画像における顔検出ボックスおよび前記顔検出ボックスに基づいて決定された顔のキーポイント座標を取得し、そして上記顔のキーポイント座標に基づいて顔のヨー角およびピッチ角を含む顔の姿勢角情報を取得するように、実現してもよい。
任意選択的な別の例では、動作１０２で、画像における顔の大きさ情報を取得することは、顔検出ボックスの長さおよび／または幅を含む顔検出ボックスの大きさに基づいて顔の大きさ情報を取得するように実現してもよい。
任意選択的なさらに別の例では、動作１０４は、顔の姿勢角情報に基づいて顔姿勢角のスコアを取得することと、顔の大きさ情報に基づいて顔大きさのスコアを取得することと、顔姿勢角のスコアおよび前記顔大きさのスコアに基づき、画像における顔の品質スコアを取得することと、を含んでもよい。
図２は本願の顔画像品質を決定する方法の他の実施例のフローチャートである。図２に示すように、該実施例の顔画像品質を決定する方法は以下のステップを含む。
２０２において、画像における顔検出ボックスおよび該顔検出ボックスに基づいて決定された顔のキーポイント座標を取得する。
ここで、顔検出ボックスは画像から検出した顔画像を含む。
例えば、顔検出アルゴリズムによって、画像の顔検出を行い、顔検出ボックスを得ることができる。
例えば、キーポイント検出アルゴリズムによって、顔検出ボックスにおける顔のキーポイント位置特定を行い、顔のキーポイント座標を取得することができる。
２０４において、顔のキーポイント座標に基づいて顔の姿勢角情報を取得し、および顔検出ボックスの大きさに基づいて顔の大きさ情報を取得する。
ここで、顔検出ボックスの大きさは顔検出ボックスの長さおよび／または幅を含む。一具体例では、顔検出ボックスの大きさは顔の大きさである。そのうち、顔の姿勢角は人の頭の姿勢角であり、頭の正規化球面座標（即ち画像取得座標系）における顔の、水平方向での顔の振り角を表すためのヨー角、および垂直方向での顔の下げまたは上げ角を表すためのピッチ角を含む。顔の大きさが一定である場合、ヨー角、ピッチ角が小さければ小さいほど、顔の位置が正しくなり、通常顔が認識されやすくなり、顔認識の正確率が通常高くなり、ヨー角もピッチ角も０である場合、顔の位置が最も正しくなり、顔認識の正確率が通常最も高い。
ここの顔の大きさは顔の画像数の多少であり、顔が大きければ大きいほど、解像度が高くなり、通常顔が認識されやすくなり、顔認識の正確率が通常高くなる。
２０６において、顔の姿勢角情報に基づいて顔姿勢角のスコアを取得し、および顔の大きさ情報に基づいて顔大きさのスコアを取得する。
任意選択的な一例では、顔のヨー角およびピッチ角に基づき、
によって顔のヨー角
のスコア
を計算して得て、
によって顔のピッチ角
のスコア
を計算して得るように、顔姿勢角のスコアを取得してもよい。
任意選択的な別の例では、顔検出ボックスの長さ、幅および顔検出ボックスの長さと幅を乗算した面積の少なくとも一つに基づいて顔大きさのスコアを取得するように、顔大きさのスコアを取得してもよい。顔検出ボックスの長さ、幅、面積は顔画像の大きさに対応し、これにより、顔検出ボックスの長さ、幅および面積の少なくとも一つによって顔大きさのスコアを特定可能である。
さらに例示的に、例えば顔検出ボックスの長さおよび幅のうちの小値ｍｉｎを選択し、そして長さおよび幅のうちの小値ｍｉｎに基づき、
によって顔大きさのスコア
を計算して得るように、顔検出ボックスの長さ、幅および面積の少なくとも一つに基づいて顔大きさのスコアを取得してもよい。
顔検出ボックスの長さおよび幅のうちの小値によって、顔の大きさをより効果的に特定可能であり、それにより顔検出ボックスの長さおよび幅のうちの小値に基づいて顔大きさのスコアを計算して得て、顔の大きさをより客観的に反映可能である。
２０８において、顔姿勢角のスコアおよび顔大きさのスコアに基づいて上記画像における顔の品質スコアを取得する。
ここで、画像における顔の品質スコアが高ければ高いほど、画像における顔の品質が良くなることを示し、逆に、画像における顔の品質スコアが低ければ低いほど、画像における顔の品質が悪くなることを示す。
任意選択的なさらに別の例では、該動作２０８は、
ヨー角のスコアおよびその重み、ピッチ角のスコアおよびその重み、および顔大きさのスコアおよびその重みに基づき、画像における顔の品質スコアを計算して得るように、実現してもよい。
ここで、ヨー角のスコアの重み、ピッチ角のスコアの重み、顔大きさのスコアの重みは予め設定してもよく、かつ実際の要求に応じて調整してもよい。通常、ヨー角は顔認識結果の正確性に与える影響が最も大きく、具体的な応用では、ヨー角のスコアの重みをピッチ角のスコアの重みおよび顔大きさのスコアの重みよりも大きくなるように設定し、それにより得られた画像における顔の品質スコアを画像における顔の品質の高低をより正確に、客観的に反映可能にするようにしてもよい。
本願の実施例の顔画像品質を決定する方法は、顔認識を容易にする点から、顔認識結果に影響する重要な要因（顔の解像度、顔の大きさ、顔が正面であるかどうか）に基づいて顔画像品質を評価し、顔認識結果に影響する重要な要因を評価するための指標、即ち顔の姿勢角および顔の大きさを取得し、なかでも、顔の姿勢角によって顔が正面である程度を特定し、顔の大きさによって顔の解像度を特定し、さらに顔姿勢角のスコアおよび顔大きさのスコアを取得し、顔姿勢角のスコアおよび顔大きさのスコアに基づいて画像における顔の品質スコアを特定し、それにより画像における顔の品質をより正確に、客観的に評価可能であり、顔画像品質の評価結果の正確率が高く、また、本願の実施例は画像における顔の解像度をそのまま取得するのではなく、顔の大きさ情報を取得することで顔認識結果に影響する顔解像度を反映し、画像における顔の解像度をそのまま取得することに比べ、演算効率を向上させ、顔品質評価のリアルタイム性を向上させる。
図３は本願の顔画像品質を決定する方法のさらに他の実施例のフローチャートである。図３に示すように、該実施例の顔画像品質を決定する方法は以下のステップを含む。
３０２において、画像における顔検出ボックス、該顔検出ボックスに基づいて決定された顔のキーポイント座標およびキーポイント座標の信頼度を取得する。
ここで、キーポイント座標の信頼度は顔のキーポイント座標の正確率を示すためのものであり、信頼度の値が大きければ大きいほど、顔のキーポイント座標が正確になることを示す。
任意選択的に、該動作３０２は予め訓練された第一ニューラルネットワークによって実現してもよく、該第一ニューラルネットワークは入力された画像を受信すると、該画像の顔検出およびキーポイント検出を行うことで、顔検出ボックス、該顔検出ボックスに基づいて決定された顔のキーポイント座標およびキーポイント座標の信頼度を出力することができ、キーポイント座標の信頼度は予め設定されたように、第一ニューラルネットワークによって該第一ニューラルネットワークの性能および顔検出ボックスの大きさなどの条件に応じて特定することができ、第一ニューラルネットワークの性能が高ければ高いほど、顔検出ボックスの大きさが大きい（つまり、顔画像が大きく、顔が明瞭である）場合、特定した顔のキーポイント座標の正確率が高くなる。
３０４において、顔のキーポイント座標に基づいて顔のヨー角およびピッチ角を含む顔の姿勢角情報を取得し、および顔検出ボックスの大きさに基づいて顔の大きさ情報を取得する。
３０６において、顔の姿勢角情報に基づいて顔姿勢角のスコアを取得し、および顔の大きさ情報に基づいて顔大きさのスコアを取得する。
任意選択的な一例では、
顔のヨー角およびピッチ角に基づき、
によって顔のヨー角
のスコア
を計算して得て、
によって顔のピッチ角
のスコア
を計算して得るように、顔姿勢角のスコアを取得してもよい。
任意選択的な別の例では、顔検出ボックスの長さ、幅および顔検出ボックスの長さと幅を乗算した面積の少なくとも一つに基づいて顔大きさのスコアを取得するように、顔大きさのスコアを取得してもよい。
顔検出ボックスの長さ、幅、面積は顔画像の大きさに対応し、これにより、顔検出ボックスの長さ、幅および面積の少なくとも一つによって顔大きさのスコアを特定可能である。
さらに例示的に、例えば顔検出ボックスの長さおよび幅のうちの小値ｍｉｎを選択し、長さおよび幅のうちの小値ｍｉｎに基づき、
によって顔大きさのスコア
を計算して得るように、顔検出ボックスの長さ、幅および面積の少なくとも一つに基づいて顔大きさのスコアを取得してもよい。
顔検出ボックスの長さおよび幅のうちの小値は、顔の大きさをより効果的に特定可能であり、それにより顔検出ボックスの長さおよび幅のうちの小値に基づいて顔大きさのスコアを計算して得て、顔の大きさをより客観的に反映可能である。
３０８において、キーポイント座標の信頼度により顔の姿勢角のスコアを補正する。
例示的に、キーポイント座標の信頼度により、それぞれ
および
によって、補正後のヨー角のスコア
および補正後のピッチ角のスコア
を計算して得るようにしてもよく、ここで、
であり、
はキーポイント座標の信頼度を表す。任意選択的に、該動作３０８は顔大きさのスコアを取得する動作と同時に実行してもよいし、顔大きさのスコアを取得する動作の前またはその後に実行してもよく、両者の間には実行時間上の制限がない。
３１０において、補正後の顔の姿勢角のスコアおよび顔大きさのスコアに基づいて画像における顔の品質スコアを取得する。
顔のキーポイント座標が不正確である場合、該キーポイント座標から取得した顔の姿勢角情報も不正確になり、キーポイント座標の不正確による顔の姿勢角情報推定の不正確という問題を解決するために、本願の実施例では、該顔のキーポイント座標の信頼度の大きさに基づき、計算して得られた対応する顔姿勢角のスコアを補正し、それによりキーポイント座標の不正確による顔の姿勢角情報推定の不正確、およびそれが顔画像品質の最終的判定結果に与える影響を解消し、顔画像品質の判定結果の正確性および信頼性を向上させる。
図４は本願の顔画像品質を決定する方法の具体的な一適用例のフローチャートである。図４に示すように、該実施例の顔画像品質を決定する方法は以下のステップを含む。
４０２において、画像の顔検出を行い、顔検出ボックスを得る。
４０４において、顔検出ボックスにおける顔のキーポイント位置特定を行い、顔のキーポイント座標および顔のキーポイント座標の正確率を示すためのキーポイント座標の信頼度を得る。
任意選択的に、動作４０２〜４０４は予め訓練された第一ニューラルネットワークによって実現してもよく、該第一ニューラルネットワークは入力された画像を受信すると、該画像の顔検出およびキーポイント検出を行うことで、顔検出ボックス、顔のキーポイント座標およびキーポイント座標の信頼度を出力することができ、キーポイント座標の信頼度は予め設定されたように、第一ニューラルネットワークによって該第一ニューラルネットワークの性能および顔検出ボックスの大きさなどの条件に応じて特定することができ、第一ニューラルネットワークの性能が高ければ高いほど、顔検出ボックスの大きさが大きい（つまり、顔画像が大きく、顔が明瞭である）場合、特定した顔のキーポイント座標の正確率が高くなる。
その後、動作４０６および４０６’をそれぞれ実行する。
４０６において、顔のキーポイント座標に基づいて顔のヨー角およびピッチ角を含む顔の姿勢角情報を取得する。任意選択的に、該動作４０６は予め訓練された第二ニューラルネットワークによって実現してもよく、該第二ニューラルネットワークは顔のキーポイント座標を受信すると、該顔のキーポイント座標を計算することで、顔のヨー角およびピッチ角を出力することができる。
４０８において、顔のヨー角およびピッチ角に基づき、
によって顔のヨー角
のスコア
を計算して得て、
によって顔のピッチ角
のスコア
を計算して得る。
４１０において、キーポイント座標の信頼度により顔姿勢角のスコアを補正する。
例示的に、キーポイント座標の信頼度により、それぞれ
および
によって、補正後のヨー角のスコア
および補正後のピッチ角のスコア
を計算して得て、ここで、
であり、
はキーポイント座標の信頼度を表す。
その後、動作４１２を実行する。
４０６’において、顔検出ボックスの長さおよび幅を含む顔検出ボックスの大きさを取得する。
４０８’において、顔検出ボックスの長さおよび幅のうちの小値ｍｉｎを選択する。
４１０’において、長さおよび幅のうちの小値ｍｉｎに基づき、
によって顔大きさのスコア
を計算して得る。
そのうち、動作４０６〜４１０と動作４０６’〜４１０’とは実行時間や順序上の制限関係を有さず、両者は任意の時間および順序に従って実行してもよい。
４１２において、補正後のヨー角のスコアおよびその重み、補正後のピッチ角のスコアおよびその重み、および顔大きさのスコアおよびその重みに基づき、画像における顔の品質を計算して得る。
例えば、Ｑ＝ｗ１＊Ｑｙａｗ＋ｗ２＊Ｑｐｉｔｃｈ＋ｗ３＊Ｑｒｅｃｔによって、画像における顔の品質を計算して得ることができる。
ここで、
は画像における顔の品質であり、
は補正後のヨー角
のスコアを表し、
は補正後のピッチ角
のスコアを表し、
は顔大きさのスコアを表す。ｗ１、ｗ２、ｗ３はそれぞれヨー角のスコアの重み、ピッチ角のスコアの重みおよび顔大きさのスコアの重みを表す。通常、ヨー角は顔認識結果の正確性に与える影響が最も大きく、ｗ１の値は０．６に設定してもよく、ピッチ角のスコアの重みｗ２および顔大きさのスコアの重みｗ３はいずれも０．２に設定してもよいし、実際の状況に応じて調整してもよい。
さらに、それぞれ同一顔の複数の画像のうちのいずれかの画像に対して、本願の顔画像品質を決定する方法の上記各実施例を実行し、それにより複数の画像における顔の品質スコアを取得するようにしてもよい。本願の顔画像品質を決定する方法のさらに他の実施例では、また上記複数の画像における顔の品質情報に基づき、顔の品質が高い少なくとも一つ画像を選択して顔検出を行ってもよい。
該実施例に基づき、顔の品質が悪い画像を除去し、顔の品質が高い画像を選択して顔検出および認識を行うことができ、選択した顔の品質が高い画像の顔認識率が高いため、顔認識の正確率の向上に寄与し、かつ顔認識の演算データ量の低減に寄与し、有効画像に対する顔認識速度の向上に寄与する。
図５は本願の顔画像品質を決定する装置の一実施例の構成模式図である。該実施例の顔画像品質を決定する装置は本願の顔画像品質を決定する方法の上記各実施例を実現するために用いることができる。図５に示すように、該実施例の顔画像品質を決定する装置は、画像における顔の姿勢角情報および大きさ情報を取得するための第一取得モジュール５０２、および顔の姿勢角情報および大きさ情報に基づいて画像における顔の品質情報を取得するための第二取得モジュール５０４を含む。
本願の上記実施例が提供する顔画像品質を決定する装置に基づき、顔認識結果に影響する重要な要因（例えば、顔の解像度、顔の大きさ、顔が正面であるかどうか）に基づいて顔画像品質を評価し、顔認識結果に影響する重要な要因を評価するための指標、即ち顔の姿勢角および顔の大きさを取得し、顔の姿勢角および顔の大きさに基づき、画像における顔の品質を判定し、本願の実施例に係る顔画像品質を決定する技術的解決手段は、顔画像品質を客観的に評価可能であり、顔画像品質の評価結果の正確率が高く、また、本願の実施例は画像における顔の解像度をそのまま取得するのではなく、顔の大きさ情報を取得することで顔認識結果に影響する顔解像度を反映し、画像における顔の解像度をそのまま取得することに比べ、演算効率の向上に寄与し、それにより顔品質評価のリアルタイム性の向上に寄与する。
図６は本願の顔画像品質を決定する装置の他の実施例の構成模式図である。図６に示すように、該実施例では、第一取得モジュール５０２は具体的に、顔検出サブモジュール６０２、キーポイント検出サブモジュール６０４および第一取得サブモジュール６０６を含む。
顔検出サブモジュール６０２は、画像における顔を特定するための画像における顔検出ボックスを取得するために用いられる。任意選択的に、顔検出サブモジュール６０２は画像の顔検出を行い、顔検出ボックスを得るために用いてもよい。
キーポイント検出サブモジュール６０４は、顔検出ボックスに基づいて決定された顔のキーポイント座標を取得するために用いられる。任意選択的に、キーポイント検出サブモジュール６０４は顔検出ボックスによって特定した顔画像のキーポイント位置特定を行い、顔のキーポイント座標を得るために用いてもよい。
第一取得サブモジュール６０６は、顔のキーポイント座標に基づいて顔のヨー角およびピッチ角を含む顔の姿勢角情報を取得し、および顔検出ボックスの長さおよび／または幅を含む顔検出ボックスの大きさに基づいて顔の大きさ情報を取得するために用いられる。
また、該顔画像品質を決定する装置の実施例では、顔検出サブモジュール６０２は、画像の顔検出を行い、顔画像と呼ばれる顔の画像を含む顔検出ボックスを得るために用いられる。それに対して、キーポイント検出サブモジュール６０４は、顔検出ボックスによって特定した顔画像のキーポイント位置特定を行い、顔のキーポイント座標を得るために用いられる。
また、再び図６を参照すると、本願の顔画像品質を決定する装置の他の実施例では、第二取得モジュール５０４は、第二取得サブモジュール６０８、第三取得サブモジュール６１０および第四取得サブモジュール６１２を含んでもよい。
第二取得サブモジュール６０８は、顔の姿勢角情報に基づいて顔姿勢角のスコアを取得するために用いられる。
任意選択的な一例では、第二取得サブモジュール６０８は顔のヨー角およびピッチ角に基づき、
によって顔のヨー角
のスコア
を計算して得て、
によって顔のピッチ角
のスコア
を計算して得るために用いられる。
さらに例示的に、第二取得モジュール６０８は顔検出ボックスの長さおよび幅のうちの小値ｍｉｎを選択し、そして長さおよび幅のうちの小値ｍｉｎに基づき、
によって顔大きさのスコア
を計算して得るように、顔検出ボックスの長さ、幅および面積の少なくとも一つに基づいて顔大きさのスコアを取得してもよい。
第三取得サブモジュール６１０は、顔の大きさ情報に基づいて顔大きさのスコアを取得するために用いられる。
任意選択的な一例では、第三取得サブモジュール６１０は顔検出ボックスの長さ、幅および顔検出ボックスの長さと幅を乗算した面積の少なくとも一つに基づいて顔大きさのスコアを取得するために用いられる。
第四取得サブモジュール６１２は、顔姿勢角のスコアおよび顔大きさのスコアに基づいて画像における顔の品質スコアを取得するために用いられる。任意選択的な一例では、第四取得サブモジュール６１２はヨー角のスコアおよびその重み、ピッチ角のスコアおよびその重み、および顔大きさのスコアおよびその重みに基づき、画像における顔の品質を計算して得るために用いられる。実際の応用では、顔のヨー角は顔認識結果の正確性に与える影響が最も大きく、ヨー角のスコアの重みをピッチ角のスコアの重みおよび顔大きさのスコアの重みよりも大きくなるように設定してもよい。
図７は本願の顔画像品質を決定する装置の他の実施例の構成模式図である。図７に示すように、本願の上記各実施例に係る顔画像品質を決定する装置に比べ、該実施例では、顔画像品質を決定する装置はさらに、第四取得モジュール５０６および補正モジュール５０８を含む。
そのうち、第四取得モジュール５０６は、顔のキーポイント座標の正確率を示すためのキーポイント座標の信頼度を取得するために用いられる。
例示的に、該第四取得モジュール５０６はキーポイント検出サブモジュール６０４と一体に設置してもよく、両者は一つのニューラルネットワークによって実現可能である。
補正モジュール５０８は、キーポイント座標の信頼度により第二取得サブモジュール６０８が得た顔姿勢角のスコアを補正するために用いられる。
任意選択的な一例では、補正モジュール５０８は、キーポイント座標の信頼度により、それぞれ
および
によって、補正後のヨー角のスコア
および補正後のピッチ角のスコア
を計算して得るために用いられ、ここで、

であり、
はキーポイント座標の信頼度を表す。
それに対して、該実施例では、第四取得サブモジュール６１２は、補正後の顔姿勢角のスコアおよび顔大きさのスコアに基づいて画像における顔の品質を取得するために用いられる。
本願の実施例はさらに、本願の上記いずれか一つの実施例の顔画像品質を決定する装置を含む電子機器を提供する。顔認識結果に影響する重要な要因を評価するための指標、即ち顔の姿勢角および顔の大きさを取得し、顔の姿勢角情報および顔の大きさ情報に基づいて顔画像品質を評価することで、顔画像品質を客観的に評価可能であり、顔画像品質の評価結果の正確率が高く、また、本願の実施例は画像における顔の解像度をそのまま取得するのではなく、顔の大きさ情報を取得することで顔認識結果に影響する顔解像度を反映し、画像における顔の解像度をそのまま取得することに比べ、演算効率の向上に寄与し、顔品質評価のリアルタイム性の向上に寄与する。
さらに、上記電子機器の実施例にはさらに、顔画像品質を決定する装置が出力した複数の画像における顔の品質情報に基づき、顔の品質が高い少なくとも一つの画像を選択するための選択モジュール、および選択した少なくとも一つの画像の顔検出を行うための顔検出モジュールが含まれてもよい。
該実施例に基づき、顔の品質が悪い画像を除去し、顔の品質が高い画像を選択して顔検出および認識を行うことができ、選択した顔の品質が高い画像の顔認識率が高いため、顔認識の正確率の向上に寄与し、顔認識の演算データ量の低減に寄与し、それにより有効画像に対する顔認識速度の向上に寄与する。
本願の実施例はさらに、実行可能命令を記憶するためのメモリ、およびメモリと通信して実行可能命令を実行し、それにより本願の上記いずれか一つの実施例の顔画像品質を決定する方法の動作を完了するためのプロセッサを含む他の電子機器を提供する。
本願の上述各実施例の電子機器は、例えば移動端末、パーソナルコンピュータ（ＰＣ）、タブレット、サーバなどであってもよい。
本願の実施例はさらに、コンピュータ読み取り可能な命令を記憶するためのコンピュータ記憶媒体であって、該命令は実行される時、本願の上記いずれか一つの実施例の顔画像品質を決定する方法の動作を実現するコンピュータ記憶媒体を提供する。
図８は本願の電子機器の一実施例の構成模式図である。以下に図８を参照すると、本願の実施例の端末機器またはサーバの実現に適する電子機器の構成模式図が示される。図８に示すように、該電子機器は一つ以上のプロセッサ、通信部などを含み、前記一つ以上のプロセッサは例えば、一つ以上の中央処理装置（ＣＰＵ）８０１、および／または一つ以上の画像処理装置（ＧＰＵ）８１３などであり、プロセッサは読み取り専用メモリ（ＲＯＭ）８０２に記憶されている実行可能命令または記憶部分８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされた実行可能命令に従って様々な適当の動作および処理を実行できる。通信部８１２はネットワークカードを含むことができるが、これに限定されず、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含むことができるが、これに限定されず、
プロセッサは読み取り専用メモリ８０２および／またはランダムアクセスメモリ８０３と通信して実行可能命令を実行し、バス８０４を介して通信部８１２と接続し、通信部８１２によって他の目標機器と通信し、それにより本願の実施例が提供するいずれか一項の方法に対応する動作、例えば、画像における顔の姿勢角情報および大きさ情報を取得することと、前記顔の姿勢角情報および大きさ情報に基づいて画像における顔の品質情報を取得することと、を完了することができる。
また、ＲＡＭ８０３には、装置の動作に必要な種々のプログラムおよびデータを記憶することができる。ＣＰＵ８０１、ＲＯＭ８０２およびＲＡＭ８０３はバス８０４を介して互いに接続される。ＲＡＭ８０３が存在する場合、ＲＯＭ８０２は任意選択的なモジュールとなる。ＲＡＭ８０３は実行可能命令を記憶するか、または動作時にＲＯＭ８０２へ実行可能命令を書き込み、実行可能命令によって中央処理装置（ＣＰＵ）８０１は上記通信方法に対応する動作を実行する。入力／出力（Ｉ／Ｏ）インタフェース８０５もバス８０４に接続される。通信部８１２は統合設置してもよいし、また複数のサブモジュール（例えば複数のＩＢネットワークカード）を有するように設置してもよく、かつバスリンクに存在する。
キーボード、マウスなどを含む入力部分８０６、陰極線管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）などおよびスピーカーなどを含む出力部分８０７、ハードディスクなどを含む記憶部分８０８、およびＬＡＮカード、モデムのネットワークインタフェースカードなどを含む通信部分８０９といった部品は、Ｉ／Ｏインタフェース８０５に接続される。通信部分８０９はインターネットなどのネットワークによって通信処理を実行する。ドライバ８１０も必要に応じてＩ／Ｏインタフェース８０５に接続される。取り外し可能な媒体８１１、例えば磁気ディスク、光ディスク、磁気光ディスク、半導体メモリなどは、必要に応じてドライバ８１０に取り付けられ、それによってそこから読み出されたコンピュータプログラムが必要に応じて記憶部分８０８にインストールされる。
説明すべきは、図８に示すアーキテクチャは任意選択的な一実施形態に過ぎず、具体的な実践では、実際の必要に応じて上記図８の部品数およびタイプを選択、減少、増加または交換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えばＧＰＵ８１３とＣＰＵ８０１は分離設置するかまたはＧＰＵ８１３をＣＰＵ８０１に統合するようにしてもよく、通信部は分離設置してもよいし、またＣＰＵ８０１またはＧＰＵ８１３に統合してもよいなどである。これらの置換可能な実施形態はいずれも本願に開示された保護範囲に属する。
特に、本開示の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現可能である。例えば、本開示の実施例はコンピュータプログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータプログラムを含み、プログラムコードは本願の実施例により提供される方法を実行するステップに対応する命令、例えば、画像における顔の姿勢角情報および大きさ情報を取得する命令と、前記顔の姿勢角情報および大きさ情報に基づいて画像における顔の品質情報を取得する命令と、を含むことができる。このような実施例では、該コンピュータプログラムは通信部分８０９によってネットワークからダウンロードおよびインストールでき、および／または取り外し可能な媒体８１１からインストールできる。該コンピュータプログラムは中央処理装置（ＣＰＵ）８０１に実行される時、本願の方法に限定された上記機能を実行する。
本願の実施例は任意選択的に、居住区監視またはセキュリティ監視分野、スナップ撮影装置または顔認識に関連する製品に用いることができ、それはカメラが取得した画像（即ち本願の実施例における画像）の顔検出を行い、顔画像を認識し、そして顔認識の正確率を向上させ、誤認識率および認識漏れ率を低下させ、および不要な認識を回避するために、まず画像の顔画像品質を決定する装置または機器に供給し、画像をスクリーニングし、それによって品質が高い顔画像を選別する必要がある。顔画像品質を評価することで、顔振り角が大きいまたは頭の下げ角が大きいまたは顔の画素数が少なすぎる（つまり、顔の大きさが小さすぎる）画像は、正確に認識されにくいため除去される。本願の実施例の顔画像品質を決定する方法、装置または機器によって、各画像における顔の品質を取得し、画像における顔の品質が低く、顔認識に適しない上記画像を効果的にフィルタして除去し、それにより顔認識の回数を低下させ、顔認識効率を向上させることができ、本願の実施例は組み込み機器において顔を認識するために時間がかかるシーンに用いる場合、効果が一層著しくなる。
本願の実施例は少なくとも以下の有益な技術的効果を有する。即ち、本願の実施例は顔認識が容易な顔画像が求められているというニーズを十分に考慮し、顔姿勢角を推定して顔の大きさと組み合わせて評価指標を設計し、顔ヨー角およびピッチ角、ならびに顔の大きさを組み合わせて顔画像品質を総合的に評価し、発生し得る不正確な顔姿勢角推定を補正し、リアルタイム性が高く、応用しやすいのみならず、評価方法の正確性および信頼性を保証することもでき、画像における顔の解像度をそのまま取得するのではなく、顔の大きさ情報を取得することで顔認識結果に影響する顔解像度を反映し、画像における顔の解像度をそのまま取得することに比べ、演算効率の向上に寄与し、それにより顔品質評価のリアルタイム性の向上に寄与し、顔の品質が悪い画像を除去し、顔の品質が高い画像を選択して顔検出および認識を行うことで、顔認識の正確率の向上に寄与し、顔認識の演算データ量の低減に寄与し、それにより有効画像に対する顔認識速度の向上に寄与する。
当業者であれば、上記各方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出して完了させることができることを理解すべきであり、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどプログラムコードを記憶可能である様々な媒体を含むコンピュータ読み取り可能記憶媒体に記憶可能であり、該プログラムは実行時、上記各方法の実施例のステップを実行する。
本明細書における各実施例は漸進の方式を採用して記述し、各実施例では他の実施例との相違点を重点に説明し、各実施例間の同じまたは類似部分は互いに参照すればよい。システムの実施例は、方法の実施例に基本的に対応するため、記述したものが比較的簡単で、その関連部分は方法の実施例の一部の説明を参照すればよい。
本願の方法および装置は様々な方式で実現し得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組み合わせで本願の方法および装置を実現できる。前記方法のステップに付けられる上記順序は説明するためのものに過ぎず、本願の方法のステップは、特に断らない限り、以上に具体的に記述した順序に限定されない。また、いくつかの実施例では、本願を記録媒体に記録されたプログラムとして実施してもよく、これらのプログラムは本願に係る方法を実現するための機械可読指令を含む。従って、本願は本願に係る方法を実行するためのプログラムを記憶する記録媒体をも包含する。
本願の記述は例示および説明のためのもので、漏れがないものまたは開示した形式に本願を限定するものではない。様々な修正および変更は、当業者にとって自明である。選択および記述した実施例は、本願の原理および実際の適用をより効果的に説明し、かつ当業者に本願を理解させて特定の用途に適する様々な修正付きの様々な実施例を設計するためのものである。

Claims (29)

  1. 画像における顔の姿勢角情報および／または大きさ情報を取得することと、
    前記顔の姿勢角情報および／または大きさ情報に基づき、前記画像における顔の品質情報を取得することと、を含むことを特徴とする顔画像品質を決定する方法。
  2. 画像における顔の姿勢角情報を取得することは、
    前記画像における顔検出ボックスおよび前記顔検出ボックスに基づいて決定された前記顔のキーポイント座標を取得することと、前記顔のキーポイント座標に基づいて前記顔のヨー角およびピッチ角を含む前記顔の姿勢角情報を取得することと、を含むことを特徴とする請求項１に記載の方法。
  3. 前記画像における顔検出ボックスおよび前記顔検出ボックスに基づいて決定された前記顔のキーポイント座標を取得することは、
    前記画像の顔検出を行い、前記顔検出ボックスを得ることと、
    前記顔検出ボックスにおける顔のキーポイント位置特定を行い、前記顔のキーポイント座標を得ることと、を含むことを特徴とする請求項２に記載の方法。
  4. 前記画像における顔の大きさ情報を取得することは、前記顔検出ボックスの長さおよび／または幅を含む前記顔検出ボックスの大きさに基づいて前記顔の大きさ情報を取得すること、を含むことを特徴とする請求項２から３のいずれか一項に記載の方法。
  5. 前記顔の姿勢角情報および／または大きさ情報に基づき、前記画像における顔の品質情報を取得することは、
    前記顔の姿勢角情報に基づいて顔姿勢角のスコアを取得することと、前記顔の大きさ情報に基づいて顔大きさのスコアを取得することと、前記顔姿勢角のスコアおよび前記顔大きさのスコアに基づき、前記画像における顔の品質スコアを取得することと、を含むことを特徴とする請求項１から４のいずれか一項に記載の方法。
  6. 前記顔の姿勢角情報に基づいて顔姿勢角のスコアを取得することは、前記顔のヨー角およびピッチ角に基づいて前記顔のヨー角
    のスコア
    、および前記顔のピッチ角
    のスコア
    を計算して得ること、を含むことを特徴とする請求項５に記載の方法。
  7. 前記顔の大きさ情報に基づいて顔大きさのスコアを取得することは、前記顔検出ボックスの長さ、幅、および前記顔検出ボックスの長さと幅を乗算した面積の少なくとも一つに基づいて前記顔大きさのスコアを取得すること、を含むことを特徴とする請求項５から６のいずれか一項に記載の方法。
  8. 前記顔検出ボックスの長さ、幅および面積の少なくとも一つに基づいて前記顔大きさのスコアを取得することは、
    前記顔検出ボックスの長さおよび幅のうちの小値ｍｉｎを選択することと、
    前記小値ｍｉｎに基づき、前記顔大きさのスコアＱｒｅｃｔを計算して得ることと、を含むことを特徴とする請求項７に記載の方法。
  9. 前記顔姿勢角のスコアおよび前記顔大きさのスコアに基づき、前記画像における顔の品質スコアを取得することは、
    前記ヨー角のスコアおよびその重み、前記ピッチ角のスコアおよびその重み、および前記顔大きさのスコアおよびその重みに基づき、前記画像における顔の品質スコアを計算して得ること、を含むことを特徴とする請求項５から８のいずれか一項に記載の方法。
  10. 前記ヨー角のスコアの重みは前記ピッチ角のスコアの重みおよび前記顔大きさのスコアの重みよりも大きいことを特徴とする請求項９に記載の方法。
  11. 前記方法はさらに、
    前記顔のキーポイント座標の正確率を示すための前記キーポイント座標の信頼度を取得することを含み、
    前記顔姿勢角のスコアを取得した後に、前記方法はさらに、
    前記キーポイント座標の信頼度により前記顔姿勢角のスコアを補正することを含み、
    前記顔姿勢角のスコアおよび前記顔大きさのスコアに基づき、画像における顔の品質スコアを取得するステップは、補正後の顔姿勢角のスコアおよび前記顔大きさのスコアに基づき、画像における顔の品質スコアを取得することを含むことを特徴とする請求項５から１０のいずれか一項に記載の方法。
  12. 前記キーポイント座標の信頼度により前記顔姿勢角のスコアを補正することは、
    前記キーポイント座標の信頼度により前記顔のヨー角
    のスコア
    および前記顔のピッチ角
    のスコア
    の補正パラメータａを決定し、補正パラメータａのそれぞれ前記
    および
    との積を、補正後のヨー角のスコアおよび補正後のピッチ角のスコアとして計算することを含み、
    ここで、キーポイント座標の信頼度が所定値よりも小さい場合、ａの値は第一値とし、キーポイント座標の信頼度が所定値以上である場合、ａの値は第二値とし、前記第一値は第二値よりも小さいことを特徴とする請求項１１に記載の方法。
  13. それぞれ複数の画像における少なくとも一つの画像に対して、前記画像における顔の姿勢角情報および／または大きさ情報を取得する動作、および前記顔の姿勢角情報および／または大きさ情報に基づいて画像における顔の品質情報を取得する動作を実行し、
    前記方法はさらに、
    前記複数の画像における顔の品質情報に基づき、顔の品質が高い少なくとも一つの画像を選択して顔検出を行うことを含むことを特徴とする請求項１から１２のいずれか一項に記載の方法。
  14. 画像における顔の姿勢角情報および／または大きさ情報を取得するための第一取得モジュールと、
    前記顔の姿勢角情報および／または大きさ情報に基づき、画像における顔の品質情報を取得するための第二取得モジュールと、を含むことを特徴とする顔画像品質を決定する装置。
  15. 前記第一取得モジュールは、
    前記画像における顔検出ボックスを取得するための顔検出サブモジュールと、
    前記顔検出ボックスに基づいて決定された前記顔のキーポイント座標を取得するためのキーポイント検出サブモジュールと、
    前記顔のキーポイント座標に基づいて前記顔のヨー角およびピッチ角を含む前記顔の姿勢角情報を取得し、および前記顔検出ボックスの長さおよび幅を含む前記顔検出ボックスの大きさに基づいて前記顔の大きさ情報を取得するための第一取得サブモジュールと、を含むことを特徴とする請求項１４に記載の装置。
  16. 前記顔検出サブモジュールはさらに、前記画像の顔検出を行い、前記顔検出ボックスを得るために用いられ、
    前記キーポイント検出サブモジュールはさらに、前記顔検出ボックスにおける顔のキーポイント位置特定を行い、前記顔のキーポイント座標を得るために用いられることを特徴とする請求項１５に記載の装置。
  17. 前記第二取得モジュールは、
    前記顔の姿勢角情報に基づいて顔姿勢角のスコアを取得するための第二取得サブモジュールと、
    前記顔の大きさ情報に基づいて顔大きさのスコアを取得するための第三取得サブモジュールと、
    前記顔姿勢角のスコアおよび前記顔大きさのスコアに基づき、前記画像における顔の品質スコアを取得するための第四取得サブモジュールと、を含むことを特徴とする請求項１５から１６のいずれか一項に記載の装置。
  18. 前記第二取得サブモジュールはさらに、前記顔のヨー角およびピッチ角に基づき、前記顔のヨー角
    のスコア
    および前記顔のピッチ角
    のスコア
    を計算して得るために用いられることを特徴とする請求項１７に記載の装置。
  19. 前記第三取得サブモジュールはさらに、前記顔検出ボックスの長さ、幅、および前記顔検出ボックスの長さと幅を乗算した面積の少なくとも一つに基づいて前記顔大きさのスコアを取得するために用いられることを特徴とする請求項１７から１８のいずれか一項に記載の装置。
  20. 前記第三取得サブモジュールはさらに、
    前記顔検出ボックスの長さおよび幅のうちの小値ｍｉｎを選択し、そして
    前記小値ｍｉｎに基づき、顔大きさのスコアＱｒｅｃｔを計算して得るために用いられることを特徴とする請求項１９に記載の装置。
  21. 前記第四取得サブモジュールはさらに、前記ヨー角のスコアおよびその重み、前記ピッチ角のスコアおよびその重み、および前記顔大きさのスコアおよびその重みに基づき、前記画像における顔の品質スコアを計算して得るために用いられることを特徴とする請求項１７から２０のいずれか一項に記載の装置。
  22. 前記ヨー角のスコアの重みは前記ピッチ角のスコアの重みおよび前記顔大きさのスコアの重みよりも大きいことを特徴とする請求項２１に記載の装置。
  23. 前記装置はさらに、
    前記顔のキーポイント座標の正確率を示すための前記キーポイント座標の信頼度を取得するための第三取得モジュールと、
    前記キーポイント座標の信頼度により前記顔姿勢角のスコアを補正するための補正モジュールと、を含み、
    前記第四取得サブモジュールはさらに、補正後の顔姿勢角のスコアおよび前記顔大きさのスコアに基づき、前記画像における顔の品質スコアを取得するために用いられることを特徴とする請求項１７から２２のいずれか一項に記載の装置。
  24. 前記補正モジュールはさらに、
    前記キーポイント座標の信頼度により、前記顔のヨー角
    のスコア
    および前記顔のピッチ角
    のスコア
    の補正パラメータａを決定し、補正パラメータａのそれぞれ前記
    および
    との積を、補正後のヨー角のスコアおよび補正後のピッチ角のスコアとして計算するために用いられ、ここで、前記キーポイント座標の信頼度が所定値よりも小さい場合、ａの値は第一値とし、キーポイント座標の信頼度が所定値以上である場合、ａの値は第二値とし、前記第一値は第二値よりも小さいことを特徴とする請求項２３に記載の装置。
  25. 請求項１４から２４のいずれか一項に記載の顔画像品質を決定する装置を含むことを特徴とする電子機器。
  26. 前記電子機器はさらに、
    前記顔画像品質を決定する装置が出力した複数の画像における顔の品質情報に基づき、顔の品質が高い少なくとも一つの画像を選択するための選択モジュールと、
    選択した少なくとも一つの画像の顔検出を行うための顔検出モジュールと、を含むことを特徴とする請求項２５に記載の電子機器。
  27. 実行可能命令を記憶するためのメモリ、および前記メモリと通信して前記実行可能命令を実行することで請求項１から１３のいずれか一項に記載の方法の動作を完了するためのプロセッサを含むことを特徴とする電子機器。
  28. コンピュータ読み取り可能な命令を記憶するためのコンピュータ記憶媒体であって、前記命令は実行される時に請求項１から１３のいずれか一項に記載の方法の動作を実現することを特徴とするコンピュータ記憶媒体。
  29. コンピュータ命令を含むコンピュータプログラムであって、前記コンピュータ命令が機器のプロセッサにおいて運用される時、前記プロセッサは請求項１から１３のいずれか一項に記載の方法を実現するための動作を実行するコンピュータプログラム。
JP2019556650A 2017-05-31 2018-05-22 顔画像品質を決定する方法および装置、電子機器ならびにコンピュータ記憶媒体 Active JP6871416B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710405232.9 2017-05-31
CN201710405232.9A CN108230293A (zh) 2017-05-31 2017-05-31 确定人脸图像质量的方法和装置、电子设备和计算机存储介质
PCT/CN2018/087915 WO2018219180A1 (zh) 2017-05-31 2018-05-22 确定人脸图像质量的方法和装置、电子设备和计算机存储介质

Publications (2)

Publication Number Publication Date
JP2020517027A true JP2020517027A (ja) 2020-06-11
JP6871416B2 JP6871416B2 (ja) 2021-05-12

Family

ID=62656626

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019556650A Active JP6871416B2 (ja) 2017-05-31 2018-05-22 顔画像品質を決定する方法および装置、電子機器ならびにコンピュータ記憶媒体

Country Status (6)

Country Link
US (2) US11182589B2 (ja)
JP (1) JP6871416B2 (ja)
KR (1) KR102320649B1 (ja)
CN (1) CN108230293A (ja)
SG (1) SG11201909737VA (ja)
WO (1) WO2018219180A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110837750B (zh) * 2018-08-15 2023-11-03 华为技术有限公司 一种人脸质量评价方法与装置
CN109101646B (zh) * 2018-08-21 2020-12-18 北京深瞐科技有限公司 数据处理方法、装置、系统及计算机可读介质
CN110909568A (zh) * 2018-09-17 2020-03-24 北京京东尚科信息技术有限公司 用于面部识别的图像检测方法、装置、电子设备及介质
CN111199165B (zh) * 2018-10-31 2024-02-06 浙江宇视科技有限公司 图像处理方法及装置
CN109409962A (zh) * 2018-11-08 2019-03-01 北京旷视科技有限公司 图像处理方法、装置、电子设备、计算机可读存储介质
CN109376684B (zh) * 2018-11-13 2021-04-06 广州市百果园信息技术有限公司 一种人脸关键点检测方法、装置、计算机设备和存储介质
CN109614910B (zh) * 2018-12-04 2020-11-20 青岛小鸟看看科技有限公司 一种人脸识别方法和装置
CN109753886B (zh) * 2018-12-17 2024-03-08 北京爱奇艺科技有限公司 一种人脸图像的评价方法、装置及设备
CN109816628B (zh) * 2018-12-20 2021-09-14 深圳云天励飞技术有限公司 人脸评价方法及相关产品
CN109754461A (zh) * 2018-12-29 2019-05-14 深圳云天励飞技术有限公司 图像处理方法及相关产品
CN111739084B (zh) * 2019-03-25 2023-12-05 上海幻电信息科技有限公司 图片处理方法、图集处理方法、计算机设备和存储介质
CN110147744B (zh) * 2019-05-09 2024-05-14 腾讯科技（深圳）有限公司 一种人脸图像质量评估方法、装置及终端
CN110796108B (zh) * 2019-11-04 2022-05-17 北京锐安科技有限公司 一种人脸质量检测的方法、装置、设备及存储介质
CN111028216A (zh) * 2019-12-09 2020-04-17 Oppo广东移动通信有限公司 图像评分方法、装置、存储介质及电子设备
CN111104909A (zh) * 2019-12-20 2020-05-05 深圳市商汤科技有限公司 图像处理方法、装置、计算机设备及存储介质
KR20210153826A (ko) * 2020-06-11 2021-12-20 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN112307900A (zh) * 2020-09-27 2021-02-02 北京迈格威科技有限公司 面部图像质量的评估方法、装置和电子设备
CN112200804A (zh) * 2020-11-09 2021-01-08 北京地平线信息技术有限公司 图像检测方法、装置、计算机可读存储介质及电子设备
CN112651321A (zh) * 2020-12-21 2021-04-13 浙江商汤科技开发有限公司 档案处理方法、装置及服务器
CN113297423A (zh) * 2021-05-24 2021-08-24 深圳市优必选科技股份有限公司 一种推送方法、推送装置及电子设备
CN113409287A (zh) * 2021-06-28 2021-09-17 北大方正集团有限公司 人脸图像质量的评估方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004362569A (ja) * 2003-05-30 2004-12-24 Microsoft Corp 頭部姿勢の査定方法およびシステム
JP2007028555A (ja) * 2005-07-21 2007-02-01 Sony Corp カメラシステム，情報処理装置，情報処理方法，およびコンピュータプログラム
JP2007206898A (ja) * 2006-01-31 2007-08-16 Toshiba Corp 顔認証装置および入退場管理装置
JP2009237993A (ja) * 2008-03-27 2009-10-15 Secom Co Ltd 画像監視装置
JP2011221108A (ja) * 2010-04-06 2011-11-04 Canon Inc 撮像装置及び撮像装置の制御方法
JP2013065119A (ja) * 2011-09-15 2013-04-11 Toshiba Corp 顔認証装置及び顔認証方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6937745B2 (en) * 2001-12-31 2005-08-30 Microsoft Corporation Machine vision system and method for estimating and tracking facial pose
US7747040B2 (en) * 2005-04-16 2010-06-29 Microsoft Corporation Machine vision system and method for estimating and tracking facial pose
US7916897B2 (en) * 2006-08-11 2011-03-29 Tessera Technologies Ireland Limited Face tracking for controlling imaging parameters
EP2097854A4 (en) 2006-11-08 2013-03-27 Nextgenid Inc SYSTEM AND METHOD FOR PARALLEL IMAGE PROCESSING
US10169646B2 (en) * 2007-12-31 2019-01-01 Applied Recognition Inc. Face authentication to mitigate spoofing
TWI439951B (zh) * 2010-11-08 2014-06-01 Inst Information Industry 人臉影像性別辨識系統及其辨識方法及其電腦程式產品
US8687880B2 (en) * 2012-03-20 2014-04-01 Microsoft Corporation Real time head pose estimation
US8254647B1 (en) * 2012-04-16 2012-08-28 Google Inc. Facial image quality assessment
CN102799877A (zh) * 2012-09-11 2012-11-28 上海中原电子技术工程有限公司 人脸图像筛选方法及系统
US9552374B2 (en) * 2013-08-19 2017-01-24 Kodak Alaris, Inc. Imaging workflow using facial and non-facial features
GB2516512B (en) * 2013-10-23 2015-10-14 Imagination Tech Ltd Face detection
CN110263642B (zh) * 2013-10-28 2022-04-19 谷歌有限责任公司 用于替换图像的部分的图像缓存
CN103824068B (zh) * 2014-03-19 2018-06-01 上海看看智能科技有限公司 人脸支付认证系统及方法
CN105046227B (zh) * 2015-07-24 2018-07-31 上海依图网络科技有限公司 一种针对人像视频系统的关键帧获取方法
CN105631439B (zh) * 2016-02-18 2019-11-08 北京旷视科技有限公司 人脸图像处理方法和装置
CN106295585B (zh) * 2016-08-16 2019-01-11 深圳云天励飞技术有限公司 一种兼顾实时性及人脸质量的过滤选择方法及系统
CN106446851A (zh) * 2016-09-30 2017-02-22 厦门大图智能科技有限公司 一种基于可见光的人脸优选方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004362569A (ja) * 2003-05-30 2004-12-24 Microsoft Corp 頭部姿勢の査定方法およびシステム
JP2007028555A (ja) * 2005-07-21 2007-02-01 Sony Corp カメラシステム，情報処理装置，情報処理方法，およびコンピュータプログラム
JP2007206898A (ja) * 2006-01-31 2007-08-16 Toshiba Corp 顔認証装置および入退場管理装置
JP2009237993A (ja) * 2008-03-27 2009-10-15 Secom Co Ltd 画像監視装置
JP2011221108A (ja) * 2010-04-06 2011-11-04 Canon Inc 撮像装置及び撮像装置の制御方法
JP2013065119A (ja) * 2011-09-15 2013-04-11 Toshiba Corp 顔認証装置及び顔認証方法

Also Published As

Publication number Publication date
KR102320649B1 (ko) 2021-11-03
WO2018219180A1 (zh) 2018-12-06
SG11201909737VA (en) 2019-11-28
JP6871416B2 (ja) 2021-05-12
US20220044005A1 (en) 2022-02-10
US11182589B2 (en) 2021-11-23
CN108230293A (zh) 2018-06-29
KR20190129947A (ko) 2019-11-20
US20200050835A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
JP2020517027A (ja) 顔画像品質を決定する方法および装置、電子機器ならびにコンピュータ記憶媒体
CN110866496B (zh) 基于深度图像的机器人定位与建图方法和装置
KR102148502B1 (ko) 자동화된 3차원 모델 생성
US9886622B2 (en) Adaptive facial expression calibration
JP7151488B2 (ja) 移動物体検出装置、移動物体検出方法及びプログラム
CN107920257B (zh) 视频关键点实时处理方法、装置及计算设备
US9721387B2 (en) Systems and methods for implementing augmented reality
EP3016071A1 (en) Estimating device and estimation method
US9940542B2 (en) Managing feature data for environment mapping on an electronic device
CN110866497B (zh) 基于点线特征融合的机器人定位与建图方法和装置
CN113936324A (zh) 注视检测方法、电子设备的控制方法及相关设备
US9619707B2 (en) Gaze position estimation system, control method for gaze position estimation system, gaze position estimation device, control method for gaze position estimation device, program, and information storage medium
JP6885474B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP7195238B2 (ja) 拡張現実アプリケーションに関するシステム及び方法
US20240029295A1 (en) Method and apparatus for determining pose of tracked object in image tracking process
US9041689B1 (en) Estimating fingertip position using image analysis
JP2016021096A (ja) 画像処理装置、画像処理方法、およびプログラム
JP6305856B2 (ja) 画像処理装置、画像処理方法、およびプログラム
CN111192308B (zh) 图像处理方法及装置、电子设备和计算机存储介质
CN115937950A (zh) 一种多角度人脸数据采集方法、装置、设备及存储介质
CN114066980A (zh) 对象检测方法、装置、电子设备及自动驾驶车辆
CN111199179B (zh) 目标对象的跟踪方法、终端设备及介质
NL2004878C2 (en) System and method for detecting a person's direction of interest, such as a person's gaze direction.
CN112114659A (zh) 用于确定用户的精细的注视点的方法和系统
CN115348438B (zh) 三维显示设备控制方法及相关装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191017

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210415

R150 Certificate of patent or registration of utility model

Ref document number: 6871416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250