JP2019075118A - 顔画像中の照明条件を評価する方法及び装置 - Google Patents

顔画像中の照明条件を評価する方法及び装置 Download PDF

Info

Publication number
JP2019075118A
JP2019075118A JP2018193664A JP2018193664A JP2019075118A JP 2019075118 A JP2019075118 A JP 2019075118A JP 2018193664 A JP2018193664 A JP 2018193664A JP 2018193664 A JP2018193664 A JP 2018193664A JP 2019075118 A JP2019075118 A JP 2019075118A
Authority
JP
Japan
Prior art keywords
feature
illumination
face image
component
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018193664A
Other languages
English (en)
Other versions
JP7196519B2 (ja
Inventor
ルゥ・ピンピン
Pinping Lu
リィウ・ルゥジエ
Rujie Liu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2019075118A publication Critical patent/JP2019075118A/ja
Application granted granted Critical
Publication of JP7196519B2 publication Critical patent/JP7196519B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships

Abstract

【課題】本発明は、顔画像中の照明条件を評価する方法及び装置を提供する。【解決手段】かかる方法は、顔画像を照明特徴成分と顔特徴成分に分解し；顔画像中の所定領域を抽出し；所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算し；及び最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価するステップを含む。【選択図】図１

Description

本発明は、画像処理技術に関し、特に、顔画像中の照明条件（lighting condition）を効率よく評価し得る方法及び装置に関する。
近年、情報技術の進歩に伴い、顔認識に基づく応用が増えている。顔認識システムについて言えば、照明条件は、顔の検出、アラインメント、検証などのモジュールに大きく影響することがある。例えば、異なる照明条件、例えば、光源、照明方向、照明輝度の違いにより、顔認識に異なる程度の影響を与え得る。特に低輝度や高輝度、側光（サイドライト）条件は、顔認識システムのパフォーマンスにシビアなダメージを与えることができる。
上述のような問題を解決するために、サンプルの数を増やし、例えば、同じ人物から異なる照明条件下での多くの顔画像を取得することにより、異なる照明環境中での顔認識のロバストネスを向上させる技術が提案されている。しかし、このような方法は、データ量がかなり増え、データの収集がより難しくなるだけでなく、検証モジュールの収斂（収束）が難しいため、検証モジュールをトレーニングする困難さも増してしまう。また、関心のない照明成分（component）を除去することにより、顔画像をより規則的にする新しい照明正規化方法も開発されている。しかし、このような方法は、より多くの計算量を要するので、システムの即時性が低下してしまうと共に、関連モデルを、新しい照明正規化方法による顔画像の新しい特性に適応するために再びトレーニングする必要もある。
上述のような問題を解決するとともに、従来技術の欠点を回避し、照明条件が良くない顔画像の顔認識システムへの影響を簡単且つ有効に避けるために、顔画像中の照明条件を評価し、将評価結果をユーザにフィードバックし、又は、照明条件が理想でない顔画像を直接除去することができる。このようにして、顔認識システムの認識率を上げ、ユーザとのインタラクションにより、顔認識システムのユーザーフレンドリーを向上させることができる。
本発明の目的は、顔画像中の照明条件を効率よく評価することができる方法及び装置を提供することにある。
上述の目的を達成するために、本発明の一側面によれば、顔画像中の照明条件を評価する方法が提供され、該方法は、顔画像を照明特徴成分と顔特徴成分に分解し；顔画像中の所定領域を抽出し；所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算し；及び、最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価することを含む。
本発明の他の側面によれば、顔画像中の照明条件を評価する装置が提供され、該装置は、顔画像を照明特徴成分と顔特徴成分に分解する分解手段；顔画像中の所定領域を抽出する抽出手段；所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算する計算手段；及び最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価する評価手段を含む。
本発明の他の側面によれば、記憶媒体が提供される。前記記憶媒体には、マシン（コンピュータ）可読プログラムが含まれており、情報処理装置（コンピュータ）上で前記プログラムを行う時に、前記プログラムは、前記情報処理装置に、本発明の上述のような方法を実行させることができる。
また、本発明の他の側面によれば、コンピュータプログラムが提供される。前記プログラムには、マシン（コンピュータ）実行可能な指令が含まれており、情報処理装置（コンピュータ）上で前記指令を行う時に、前記指令は、前記情報処理装置に、本発明の上述のような方法を実行させることができる。
本発明の実施例による顔画像中の照明条件を評価する方法のフローチャートである。 グレースケール顔画像の一例を示す図である。 図2から分解された照明特徴成分を示す図である。 図2から分解された顔特徴成分を示す図である。 所定領域の一例を示す図である。 図1中のステップS3の処理プロセスを示す図である。 本発明の実施例による顔画像中の照明条件を評価する装置の構成図である。 本発明の実施例に用いられ得るコンピュータの構成図である。
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳しく説明する。なお、本発明の実施例では、評価ターゲットとしての照明条件は、主に、照明の量（quantity of illumination／light（照明量／光量とも言う））及び照明する方向（照明方向とも言う）を含む。
以下、図1をもとに、本発明の実施例による顔画像中の照明条件を評価する方法の処理フローを説明する。
図1は、本発明の実施例による顔画像中の照明条件を評価する方法のフローチャートである。図1に示すように、該方法は、次のようなステップを含み、即ち、顔画像を照明特徴成分と顔特徴成分に分解し（ステップS1）；顔画像中の所定領域を抽出し（ステップS2）；所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算し（ステップS3）；及び、最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価する（ステップS4）。
ステップS1では、顔画像を照明特徴成分と顔特徴成分に分解する。
入力画像がグレースケール画像の場合、直接、顔画像とすることができる。入力画像がカラー画像の場合、グレースケール画像に変換してから顔画像とする必要があり、例えば、RGB画像ならグレースケール画像に変換し、HSV画像ならVチャネル成分を抽出する。
顔画像中の各画素点の照明特徴成分は、該画素点の照明強度を表す。各画素点の「照明特徴成分」×（乗算）「反射率」は、該画素点のグレースケール値に等しい。照明特徴成分は、外部照明及び物体の陰影を反映する。
顔特徴成分が表すのは、顔画像中の顔に関する特徴であり、その中には、照明に関する特徴が一切含まれない。
顔画像は、照明特徴成分と顔特徴成分の２つの成分のみに分解する。言い換えると、この２つの成分は、完全な顔画像を構成する。
従来の全変動（TV／Total Variation）モデル、対数全変動（LTV）モデル、及びSQI（Self Quotient Image／SQI）モデルのうちの１つのモデルを用いて、ステップS1の分解を実現することができる。
具体的には、上述のモデルのうちの１つを直接利用することで、顔画像を初期（initial）照明特徴成分と初期顔特徴成分に分解して、照明特徴成分と顔特徴成分とすることができる。
他の実施例では、TVモデル、LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像を初期照明特徴成分と初期顔特徴成分にし、その後、「初期照明特徴成分」×「初期顔特徴成分の平均値」を照明特徴成分とし、また、「初期顔特徴成分」／（除算）「初期顔特徴成分の平均値」を顔特徴成分とすることができる。
「初期顔特徴成分」／「初期顔特徴成分の平均値」は、本質的には、顔特徴成分を正規化することである。上述のように、顔画像を２つの成分のみに分解し、その２つの成分は、完全な顔画像を構成する。よって、顔特徴成分正規化後、それ相応に、「初期照明特徴成分」×「初期顔特徴成分の平均値」で、照明特徴成分を得ることができる。このようにして、異なる顔画像を比較する時に、１つの成分としての顔特徴成分がすべて正規化され、これにより、もう１つの成分としての照明特徴成分がより良い比較可能性を有し、照明特徴成分の比較を行いやすい。
図2は、グレースケール顔画像の一例を示している。図3は、図2から分解された照明特徴成分を示している。図4は、図2から分解された顔特徴成分を示している。
ステップS2では、顔画像中の所定領域を抽出する。
顔認識システムの関心領域が顔画像全体でなく、目や鼻、口をコアとする中心領域であるため、前段（preceding stage）としての照明条件の評価も、このような中心領域に集中する。
ステップS2中の所定領域は、目（２つ）、鼻、及び口を覆う（カバーする）４つの領域を含む。図5は、所定領域の一例を示している。なお、図5に示す４つの領域は、例示に過ぎずない。所定領域が目、鼻、及び口をカバーすることができれば良く、また、領域の個数が４つであることも、例示に過ぎない。上下左右で計４つの領域が存在する時に、後続の照明方向特徴の検出に有利である。何故なら、顔が平らであるとするため、隣接する領域の相違（差）を用いて照明方向を判断できるからである。
従来の画像処理方法及びCNNに基づく技術は、上述の所定領域を検出することができる。例えば、先ず、２つの目の２つの中心点及び口角を表す２つの特徴点を検出し、そして、この４つのポイント（特徴点）を用いて図5に示すような４つの領域を形成する。以下、所定領域内の照明特徴成分に基づいて、顔画像の照明条件を評価する。具体的には、図5に示す４つの所定領域を例として説明を行う。
ステップS3では、所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算。
図6は、ステップS3の詳しいプロセスを示している。
図6に示すように、ステップS61では、所定領域内の各領域中の平均照明特徴成分l1〜l4を計算する。
ステップS62では、上述の平均照明特徴成分l1〜l4のうちの最大値lmax、最小値lmin、及び平均値
（外1）

を最大輝度特徴、最小輝度特徴、及び全体の平均値（全体平均値とも言う）として計算する。
ステップS63では、上述の平均照明特徴成分l1〜l4及び全体平均値に基づいて、所定領域内の隣接領域のグレースケール偏差l’1〜l’4を計算する。
そして、次のような行列Aを形成することができる。
そのうち、

であり、i＝1，2，3，4である。
ステップS64では、グレースケール偏差l’1〜l’4に基づいて、照明方向特徴la、leを計算する。
平面の方程式（Plane Equation）Ax＝0の場合、そのうち、x＝[a，b，c]であり、

を満足する必要がある。ｘの値を求めば、a、b、cの値を得ることができる。

とすれば、d＜0の場合、la＝a且つle＝-bであり、d＞0の場合、la＝-a且つle＝bである。
ステップS4では、最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価する。
評価の基準は、次の通りであり、即ち、
最大輝度特徴lmaxが低輝度閾値THlよりも小さい場合、低輝度条件と評価し；
最小輝度特徴lminが高輝度閾値THhよりも大きい場合、高輝度条件と評価し；及び
照明方向特徴laの絶対値及びleの絶対値のうちの少なくとも１つがその対応する照明方向閾値THa又はTHeよりも大きい場合、側光（サイドライト（side light））条件と評価する。
閾値の例は、例えば、THl＝0.2、THh＝0.8、THa＝0.2、THe＝0.2である。
顔が円柱状であるとする場合、他の方法を用いて、グレースケール偏差に基づいて、照明方向特徴を計算することもできる。なお、関連する計算は、当業者にとって既知である。
１つの実施例では、評価結果をユーザにフィードバックする。ユーザは、例えば、再び顔画像を撮影により取得することができる。
１つの実施例では、照明条件が所定条件を満足しない顔画像を除去する。所定条件は、輝度均一、直射光、又は乱反射を含む。高輝度条件、低輝度条件、及び側光条件と評価された顔画像は、すべて、所定条件を満足しない顔画像である。
以下、図7に基づいて、本発明の実施例による顔画像中の照明条件を評価する装置を説明する。
図7は、本発明の実施例における顔画像中の照明条件を評価する装置の構成図である。図7に示すように、本実施例による顔画像中の照明条件を評価する装置700は、分解手段71であって、顔画像を照明特徴成分と顔特徴成分に分解するように構成されるもの；抽出手段72であって、顔画像中の所定領域を抽出するように構成されるもの；計算手段73であって、所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算するように構成されるもの；及び評価手段74であって、最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価するように構成させるものを含む。
１つの実施例では、分解手段71は、さらに、全変動TVモデル、対数全変動LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像を初期照明特徴成分と初期顔特徴成分に分解して、前記照明特徴成分と前記顔特徴成分とするように構成される。
１つの実施例では、分解手段71は、さらに、TVモデル、LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像を初期照明特徴成分と初期顔特徴成分に分解し；そして、「初期照明特徴成分」×「初期顔特徴成分の平均値」で前記照明特徴成分を取得し、また、「初期顔特徴成分」／「初期顔特徴成分の平均値」で前記顔特徴成分を取得するように構成される。
１つの実施例では、所定領域は、目（２つ）、鼻、及び口をカバーする４つの領域を含む。
１つの実施例では、計算手段73は、さらに、所定領域内の各領域中の平均照明特徴成分を計算し；これらの平均照明特徴成分のうちの最大値、最小値、及び平均値を、前記最大輝度特徴、前記最小輝度特徴、及び全体平均値として計算し；これらの平均照明特徴成分及び全体平均値に基づいて、所定領域内の隣接領域のグレースケール偏差を計算し；そして、グレースケール偏差に基づいて、照明方向特徴を計算するように構成される。
１つの実施例では、評価手段74は、さらに、最大輝度特徴が低輝度閾値よりも小さい場合、低輝度条件と評価し；最小輝度特徴が高輝度閾値よりも大きい場合、高輝度条件と評価し；及び、照明方向特徴の絶対値が照明方向閾値よりも大きい場合、側光条件と評価するように構成される。
１つの実施例では、装置700は、フィードバック手段であって、評価結果をユーザにフィードバックするように構成されるものをさらに含む。
１つの実施例では、装置700は、除去手段であって、照明条件が所定条件を満足しない顔画像を除去するように構成されるものをさらに含む。
１つの実施例では、所定条件は、輝度均一、直射光、又は乱反射を含む。
本実施例による装置700に含まれる各手段の処理は、上述の方法に含まれる各ステップの処理と同様であるので、便宜のため、ここでは、これらの処理の詳細な説明を省略する。
なお、上述の装置中の各手段は、ソフトウェア、ファームウェア、ハードウェア、又はその組み合わせの方式で構成されても良い。構成に当たって使用可能な具体的な手段又は方法は、当業にとって既知であるため、ここでは、その詳しい説明を省略する。ソフトウェア又はファームウェアにより実現される場合、記憶媒体又はネットワークから専用ハードウェア構造を有するコンピュータ（例えば、図8に示す汎用コンピュータ800）に該ソフトウェアを構成するプログラムをインストールし、該コンピュータは、各種のプログラムがインストールされている時に、上述のような各種の機能を実行することができる。
図8は、本発明の実施例に用いられ得るコンピュータ800の構成図である。
図8では、中央処理装置（CPU）801は、ROM 802に記憶されているプログラム、又は、記憶部808からRAM 803にロードされているプログラムに基づいて、各種の処理を行う。RAM 803には、必要に応じて、CPU 801が各種の処理を実行する時に必要なデータを記憶しても良い。なお、CPU 801、ROM 802及びRAM 803は、バス804を経由して接続される。入力／出力インターフェース805も、バス804に接続される。
また、次のような部品は、入力／出力インターフェース805に接続され、即ち、入力部806（キーボード、マウスなどを含む）、出力部807（表示器、例えば、CRT、LCDなど、及びスピーカーなどを含む）、記憶部808（ハードディスクなどを含む）、及び通信部809（ネットワーク・インターフェース・カード、例えば、LANカード、モデムなどを含む）というような部品である。通信部809は、ネットワーク、例えば、インターネットを経由して通信処理を行う。なお、必要に応じて、ドライブ810を入力／出力インターフェース805に接続させても良い。取り外し可能な媒体811、例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体記憶器などは、必要に応じて、ドライブ810にセットされ、その中から読み出されたコンピュータプログラムが必要に応じて記憶部808にインスタールされるようにさせることができる。
ソフトウェアにより上述の一連の処理を実現する場合、ネットワーク、例えば、インターネット、又は記憶媒体、例えば、取り外し可能な媒体811から、ソフトウェアを構成するプログラムをインストールすることができる。
なお、当業者が理解すべきは、このような記憶媒体は、図8に示すような取り外し可能な811に限定されない。取り外し可能な媒体811は、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、ディスク（CD-ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶器を含む。或いは、記憶媒体は、ROM 802、記憶部分808中のハードディスクなどであっても良い。
本発明は、さらに、マシン可読指令コードを含むプログラムプロダクト（プログラム）に関する。指令コードは、マシン（例えば、コンピュータ）により読み出されて実行される時に、前述の実施例における方法を実行することができる。
それ相応に、前述のようなマシン可読取指令コードを含むプログラムプロダクトを記憶した記憶媒体も本発明の開示に含まれる。該記憶媒体は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカードなどを含むが、これらに限定されない。
また、以上の実施例などに関し、さらに次のような付記を開示する。
（付記1）
顔画像中の照明条件を評価の方法であって、
顔画像を照明特徴成分と顔特徴成分に分解し；
顔画像中の所定領域を抽出し；
所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算し；及び
最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価するステップを含む、方法。
（付記2）
付記1に記載の方法であって、
前記分解ステップは、
全変動TVモデル、対数全変動LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像を初期照明特徴成分と初期顔特徴成分に分解して、前記照明特徴成分と前記顔特徴成分とすることを含む、方法。
（付記3）
付記1に記載の方法であって、
前記分解ステップは、
全変動TVモデル、対数全変動LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像を初期照明特徴成分と初期顔特徴成分に分解し；
初期照明特徴成分に初期顔特徴成分の平均値をかけて、前記照明特徴成分を取得し；
初期顔特徴成分を初期顔特徴成分の平均値で割って、前記顔特徴成分を取得することを含む、方法。
（付記4）
付記1に記載の方法であって、
前記所定領域は、２つの目、鼻、及び口を覆う４つの領域を含む、方法。
（付記5）
付記1に記載の方法であって、
前記計算ステップは、
所定領域内の各領域中の平均照明特徴成分を計算し；
前記平均照明特徴成分のうちの最大値、最小値、及び平均値を、前記最大輝度特徴、前記最小輝度特徴、及び前記全体平均値として計算し；
前記平均照明特徴成分及び前記全体平均値に基づいて、所定領域内の隣接領域のグレースケール偏差を計算し；及び
前記グレースケール偏差に基づいて、照明方向特徴を計算することを含む、方法。
（付記6）
付記1に記載の方法であって、
前記評価ステップは、
最大輝度特徴が低輝度閾値よりも小さい場合、低輝度条件と評価し；
最小輝度特徴が高輝度閾値よりも大きい場合、高輝度条件と評価し；及び
照明方向特徴の絶対値が照明方向閾値よりも大きい場合、側光条件と評価することを含む、方法。
（付記7）
付記1に記載の方法であって、
評価結果をユーザにフィードバックするステップをさらに含む、方法。
（付記8）
付記1に記載の方法であって、
照明条件が所定条件を満足しない顔画像を除去するステップをさらに含む、方法。
（付記9）
付記8に記載の方法であって、
所定条件は、輝度均一、直射光、又は乱反射を含む、方法。
（付記10）
顔画像中の照明条件を評価する装置であって、
顔画像を照明特徴成分と顔特徴成分に分解する分解手段；
顔画像中の所定領域を抽出する抽出手段；
所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算する計算手段；及び
最大輝度特徴、最小輝度特徴、及び照明方向特徴に基づいて、顔画像中の照明条件を評価する評価手段を含む、装置。
（付記11）
付記10に記載の装置であって、
前記分解手段は、さらに、
全変動TVモデル、対数全変動LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像分解を初期照明特徴成分と初期顔特徴成分に分解して、前記照明特徴成分と顔特徴成分とするように構成される、装置。
（付記12）
付記10に記載の装置であって、
前記分解手段は、さらに、
TVモデル、LTVモデル、及びSQIモデルのうちの１つを用いて、顔画像を初期照明特徴成分と初期顔特徴成分に分解し；
初期照明特徴成分に初期顔特徴成分の平均値をかけて、前記照明特徴成分を取得し；及び
初期顔特徴成分を初期顔特徴成分の平均値で割って、前記顔特徴成分を取得するように構成される、装置。
（付記13）
付記10に記載の装置であって、
前記所定領域は、２つの目、鼻、及び口を覆う４つの領域を含む、装置。
（付記14）
付記10に記載の装置であって、
前記計算手段は、さらに、
所定領域内の各領域中の平均照明特徴成分を計算し；
前記平均照明特徴成分のうちの最大値、最小値、及び平均値を、前記最大輝度特徴、前記最小輝度特徴、及び全体平均値として計算し；及び
前記平均照明特徴成分及び前記全体平均値に基づいて、前記所定領域内の隣接領域のグレースケール偏差を計算し；及び
前記グレースケール偏差に基づいて、照明方向特徴を計算するように構成される、装置。
（付記15）
付記10に記載の装置であって、
前記評価手段は、さらに、
最大輝度特徴が低輝度閾値よりも小さい場合、低輝度条件と評価し；
最小輝度特徴が高輝度閾値よりも大きい場合、高輝度条件と評価し；及び
照明方向特徴の絶対値が方向閾値よりも大きい場合、側光条件と評価するように構成される、装置。
（付記16）
付記10に記載の装置であって、
評価結果をユーザにフィードバックするフィードバック手段をさらに含む、装置。
（付記17）
付記10に記載の装置であって、
照明条件が所定条件を満足しない顔画像を除去する除去手段をさらに含む、装置。
（付記18）
付記17に記載の装置であって、
所定条件は、輝度均一、直射光、又は乱反射を含む、装置。
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (10)

  1. 顔画像中の照明条件を評価する方法であって、
    前記顔画像を照明特徴成分と顔特徴成分に分解し；
    前記顔画像中の所定領域を抽出し；
    前記所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算し；及び
    前記最大輝度特徴、前記最小輝度特徴、及び前記照明方向特徴に基づいて、前記顔画像中の照明条件を評価するステップを含む、方法。
  2. 請求項1に記載の方法であって、
    前記分解ステップは、
    全変動TV（Total Variation）モデル、対数全変動LTV（Logarithm Total Variation）モデル、及びSQI（Self Quotient Image）モデルのうちの１つを用いて、前記顔画像を初期照明特徴成分と初期顔特徴成分に分解して、前記照明特徴成分と前記顔特徴成分とすることを含む、方法。
  3. 請求項1に記載の方法であって、
    前記分解ステップは、
    全変動TVモデル、対数全変動LTVモデル、及びSQIモデルのうちの１つを用いて、前記顔画像を初期照明特徴成分と初期顔特徴成分に分解し；
    前記初期照明特徴成分に前記初期顔特徴成分の平均値をかけて、前記照明特徴成分を取得し；
    前記初期顔特徴成分を前記初期顔特徴成分の平均値で割って、前記顔特徴成分を取得することを含む、方法。
  4. 請求項1に記載の方法であって、
    前記所定領域は、２つの目、鼻、及び口を覆う４つの領域を含む、方法。
  5. 請求項1に記載の方法であって、
    前記計算ステップは、
    前記所定領域内の各領域中の平均照明特徴成分を計算し；
    前記平均照明特徴成分のうちの最大値、最小値、及び平均値を、前記最大輝度特徴、前記最小輝度特徴、及び全体平均値として計算し；
    前記平均照明特徴成分及び前記全体平均値に基づいて、前記所定領域内の隣接する領域のグレースケール偏差を計算し；及び
    前記グレースケール偏差に基づいて、前記照明方向特徴を計算することを含む、方法。
  6. 請求項1に記載の方法であって、
    前記評価ステップは、
    前記最大輝度特徴が低輝度閾値よりも小さい場合、低輝度条件と評価し；
    前記最小輝度特徴が高輝度閾値よりも大きい場合、高輝度条件と評価し；及び
    前記照明方向特徴の絶対値が照明方向閾値よりも大きい場合、側光条件と評価することを含む、方法。
  7. 請求項1に記載の方法であって、
    評価結果をユーザにフィードバックするステップをさらに含む、方法。
  8. 請求項1に記載の方法であって、
    前記照明条件が所定条件を満足しない顔画像を除去するステップをさらに含む、方法。
  9. 請求項8に記載の方法であって、
    前記所定条件は、輝度均一、直射光、又は乱反射を含む、方法。
  10. 顔画像中の照明条件を評価する装置であって、
    前記顔画像を照明特徴成分と顔特徴成分に分解する分解手段；
    前記顔画像中の所定領域を抽出する抽出手段；
    前記所定領域内の照明特徴成分に基づいて、最大輝度特徴、最小輝度特徴、及び照明方向特徴を計算する計算手段；及び
    前記最大輝度特徴、前記最小輝度特徴、及び前記照明方向特徴に基づいて、前記顔画像中の照明条件を評価する評価手段を含む、装置。
JP2018193664A 2017-10-16 2018-10-12 顔画像中の照明条件を評価する方法及び装置 Active JP7196519B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710970321.8A CN109670389B (zh) 2017-10-16 2017-10-16 评价人脸图像中的光照条件的方法和设备
CN201710970321.8 2017-10-16

Publications (2)

Publication Number Publication Date
JP2019075118A true JP2019075118A (ja) 2019-05-16
JP7196519B2 JP7196519B2 (ja) 2022-12-27

Family

ID=63840689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018193664A Active JP7196519B2 (ja) 2017-10-16 2018-10-12 顔画像中の照明条件を評価する方法及び装置

Country Status (4)

Country Link
US (1) US10885308B2 (ja)
EP (1) EP3471018B1 (ja)
JP (1) JP7196519B2 (ja)
CN (1) CN109670389B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020085493A1 (ja) 2018-10-26 2020-04-30 大鵬薬品工業株式会社 新規なインダゾール化合物又はその塩

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112700396A (zh) * 2019-10-17 2021-04-23 中国移动通信集团浙江有限公司 一种人脸图片光照评价方法、装置、计算设备和存储介质
CN111274952B (zh) * 2020-01-20 2021-02-05 新疆爱华盈通信息技术有限公司 背光人脸图像处理方法、人脸识别方法
CN116071807B (zh) * 2023-03-06 2023-06-16 深圳市网联天下科技有限公司 基于视频监控的校园一卡通智能预警方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004021373A (ja) * 2002-06-13 2004-01-22 Matsushita Electric Ind Co Ltd 物体及び光源情報推定方法並びに物体及び光源情報推定装置
JP2017147658A (ja) * 2016-02-18 2017-08-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3928704B2 (ja) * 2002-02-26 2007-06-13 セイコーエプソン株式会社 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体および画像処理プログラム
JP2006285064A (ja) * 2005-04-04 2006-10-19 Matsushita Electric Ind Co Ltd 画像表示装置
JP2006325015A (ja) * 2005-05-19 2006-11-30 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置、撮像装置及び画像処理プログラム
US8090160B2 (en) * 2007-10-12 2012-01-03 The University Of Houston System Automated method for human face modeling and relighting with application to face recognition
JP5390943B2 (ja) 2008-07-16 2014-01-15 キヤノン株式会社 画像処理装置及び画像処理方法
EP2473834B1 (en) * 2009-09-03 2021-09-08 National ICT Australia Limited Illumination spectrum recovery
US8483480B2 (en) * 2009-12-18 2013-07-09 Tandent Vision Science, Inc. Method and system for factoring an illumination image
EP2584525B1 (en) * 2010-06-17 2015-04-01 Panasonic Intellectual Property Corporation of America Determining ambient light reflection
CN102385753B (zh) * 2011-11-17 2013-10-23 江苏大学 一种基于光照分类的自适应图像分割方法
JP6273640B2 (ja) * 2013-10-23 2018-02-07 パナソニックＩｐマネジメント株式会社 撮影画像表示装置
JP2015115041A (ja) * 2013-12-16 2015-06-22 ソニー株式会社 画像処理装置と画像処理方法
JP6442209B2 (ja) * 2014-09-26 2018-12-19 キヤノン株式会社 画像処理装置およびその制御方法
CN105046250B (zh) * 2015-09-06 2018-04-20 广州广电运通金融电子股份有限公司 人脸识别的眼镜消除方法
JP6641181B2 (ja) * 2016-01-06 2020-02-05 キヤノン株式会社 画像処理装置および撮像装置、それらの制御方法ならびにプログラム
WO2017149687A1 (ja) * 2016-03-02 2017-09-08 株式会社日立製作所 撮像装置
JP6696800B2 (ja) * 2016-03-07 2020-05-20 パナソニック株式会社 画像評価方法、画像評価プログラム、及び画像評価装置
JP6662745B2 (ja) * 2016-10-04 2020-03-11 株式会社ソニー・インタラクティブエンタテインメント 撮影装置、情報処理システム、および偏光画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004021373A (ja) * 2002-06-13 2004-01-22 Matsushita Electric Ind Co Ltd 物体及び光源情報推定方法並びに物体及び光源情報推定装置
JP2017147658A (ja) * 2016-02-18 2017-08-24 キヤノン株式会社 画像処理装置、撮像装置、制御方法及びプログラム

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
TERRENCE CHEN ET AL.: "Total Variation Models for Variable Lighting Face Recognition", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, VOL. 28, NO. 9, JPN6022027726, 30 September 2006 (2006-09-30), ISSN: 0004817228 *
XIAOHUA XIE ET AL.: "Normalization of Face Illumination Based on Large-and Small-Scale Features", IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 20, NO. 7, JPN6022027728, 31 July 2011 (2011-07-31), ISSN: 0004817227 *
島野 美保子 外4名: "任意照明下顔認識のための顔表面の位置相関を考慮したＭＡＰ推定", 情報処理学会論文誌，VOL. 47，NO. SIG 10（CVIM15）, JPN6022027729, 15 July 2006 (2006-07-15), ISSN: 0004817226 *
西山 正志，山口 修: "物体表面の見え属性分類に基づく Self Quotient Image を用いた顔認識", 電子情報通信学会技術研究報告 VOL. 105，NO. 374, JPN6022027723, 20 October 2005 (2005-10-20), ISSN: 0004817229 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020085493A1 (ja) 2018-10-26 2020-04-30 大鵬薬品工業株式会社 新規なインダゾール化合物又はその塩

Also Published As

Publication number Publication date
US20190114468A1 (en) 2019-04-18
CN109670389B (zh) 2023-04-07
EP3471018B1 (en) 2023-10-11
CN109670389A (zh) 2019-04-23
EP3471018A1 (en) 2019-04-17
US10885308B2 (en) 2021-01-05
JP7196519B2 (ja) 2022-12-27

Similar Documents

Publication Publication Date Title
JP2019075118A (ja) 顔画像中の照明条件を評価する方法及び装置
JP5552519B2 (ja) 顔特徴ベクトルの構築
AU2014218444B2 (en) Dynamic feature selection for joint probabilistic recognition
WO2017185630A1 (zh) 基于情绪识别的信息推荐方法、装置和电子设备
WO2022042135A1 (zh) 人脸图像的选择方法、装置、设备及存储介质
CN112308095A (zh) 图片预处理及模型训练方法、装置、服务器及存储介质
JP6550723B2 (ja) 画像処理装置、文字認識装置、画像処理方法、およびプログラム
KR20200109239A (ko) 이미지를 처리하는 방법, 장치, 서버 및 저장 매체
JP2010262601A (ja) パターン認識システム及びパターン認識方法
WO2014074959A1 (en) Real-time face detection using pixel pairs
JP2007025900A (ja) 画像処理装置、画像処理方法
JP2007025902A (ja) 画像処理装置、画像処理方法
JP2010204947A (ja) オブジェクト検出装置、オブジェクト検出方法、及び、プログラム
TWI425429B (zh) 影像紋理信號的萃取方法、影像識別方法與影像識別系統
WO2022267327A1 (zh) 一种色斑预测方法、装置、设备及存储介质
US20220222967A1 (en) Retrieval device, control method, and non-transitory storage medium
RU2490710C1 (ru) Способ распознавания изображений лиц и система для его осуществления
Yuan A system of clothes matching for visually impaired persons
Khairina et al. Preserving Cultural Heritage Through AI: Developing LeNet Architecture for Wayang Image Classification
JP2007025901A (ja) 画像処理装置、画像処理方法
CN111832433B (zh) 一种由图像提取物体特性的装置及其工作方法
AU2020103067A4 (en) Computer Vision IoT-Facial Expression/Human Action Recognition
US11195043B2 (en) System and method for determining common patterns in multimedia content elements based on key points
CN109711328B (zh) 一种人脸识别方法、装置及电子设备
Ma et al. Deep learning with accelerated execution: A real-time license plate localisation system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220624

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220829

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221115

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221128

R150 Certificate of patent or registration of utility model

Ref document number: 7196519

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150