JP2021114313A - 顔合成画像検出方法、顔合成画像検出装置、電子機器、記憶媒体及びコンピュータプログラム - Google Patents

顔合成画像検出方法、顔合成画像検出装置、電子機器、記憶媒体及びコンピュータプログラム Download PDF

Info

Publication number
JP2021114313A
JP2021114313A JP2021068318A JP2021068318A JP2021114313A JP 2021114313 A JP2021114313 A JP 2021114313A JP 2021068318 A JP2021068318 A JP 2021068318A JP 2021068318 A JP2021068318 A JP 2021068318A JP 2021114313 A JP2021114313 A JP 2021114313A
Authority
JP
Japan
Prior art keywords
face
image
face image
detected
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021068318A
Other languages
English (en)
Other versions
JP7126586B2 (ja
Inventor
ケヤオ ワン,
Keyao Wang
ケヤオ ワン,
ハオチェン フェン,
Haocheng Feng
ハオチェン フェン,
ハイシャオ ユー,
Haixiao Yue
ハイシャオ ユー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021114313A publication Critical patent/JP2021114313A/ja
Application granted granted Critical
Publication of JP7126586B2 publication Critical patent/JP7126586B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/165Detection; Localisation; Normalisation using facial parts and geometric relationships
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/40Spoof detection, e.g. liveness detection
    • G06V40/45Detection of the body part being alive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20132Image cropping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】顔合成画像検出の過剰適合状況を緩和し、顔合成画像検出の汎化性と正確さを向上させ、未知の合成サンプルに対する検出効果を向上させる顔合成画像検出方法、顔合成画像検出装置、電子機器、非一時的なコンピュータ読み取り可能な記憶媒体及びコンピュータプログラムを提供する。【解決手段】顔合成画像検出方法は、検出対象の顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力して、検出対象の顔画像の元画像特徴を取得し、検出対象の顔画像の元画像特徴を夫々第1の完全接続層及び第2の完全接続層に入力して、検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルと検出対象の顔画像に対応する第2の特徴ベクトルとを取得し、第1の特徴ベクトルと第2の特徴ベクトルとを組み合わせて、組み合わせられた特徴ベクトルを取得し、該特徴ベクトルを第3の完全接続層に入力して、検出対象の顔画像の検出結果を取得する。【選択図】図1

Description

本出願は、コンピュータ技術の分野に関し、さらに、人工知能、深層学習及び画像認識分野に関し、特に顔合成画像検出方法、顔合成画像検出装置、電子機器、記憶媒体及びコンピュータプログラムに関する。
顔合成画像検出とは、1枚の画像中の顔が合成された顔であるか否かを区別することであり、顔合成画像検出を実現するモジュールは、顔認識システムの安全性を保証するための顔認識システムの基本構成モジュールである。深層学習技術に基づく顔合成画像検出アルゴリズムは、現在該分野の主流の方法である。現在の顔合成画像検出アルゴリズムは、主にニューラルネットワークの深層学習方法を使用している。深層学習を用いた顔合成画像検出の主要な方法として、畳み込みニューラルネットワークの合成画像判別方法、長短期記憶ネットワーク(Long Short−Term Memory、LSTMと略称する)に基づく合成画像判別方法などがある。
従来技術では、顔合成画像検出モデルは、合成画像と原図との判別性のある特徴を学習することが困難であり、しかも小範囲のトレーニングサンプルに過剰適合しやすく、未知の合成サンプルに対する汎化性が有限である。また、単一の畳み込みニューラルネットワークのみを用いて、実シーンにおける顔姿勢が大きすぎる或いは照明の差が大きい場合にはロバスト性が悪いため、認識結果が好ましくない。
本出願は、顔合成画像検出方法、顔合成画像検出装置、電子機器、記憶媒体及びコンピュータプログラムを提供し、顔合成画像検出の過剰適合状況を緩和し、顔合成画像検出の汎化性と正確さを向上させ、未知の合成サンプルに対する検出効果を向上させることができる。
本願の第1の態様において、検出対象の顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力し、該畳み込みニューラルネットワークにより前記検出対象の顔画像に対して特徴抽出を行って、前記検出対象の顔画像の元画像特徴を取得するステップと、前記検出対象の顔画像の前記元画像特徴を第1の完全接続層に入力し、該第1の完全接続層により前記検出対象の顔画像の前記元画像特徴を計算して、前記検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルを取得し、前記検出対象の顔画像の前記元画像特徴を第2の完全接続層に入力し、該第2の完全接続層により前記検出対象の顔画像の前記元画像特徴を計算して、前記検出対象の顔画像に対応する第2の特徴ベクトルを取得するステップと、前記第1の特徴ベクトルと前記第2の特徴ベクトルとを組み合わせて、組み合わせられた特徴ベクトルを取得するステップと、前記組み合わせられた特徴ベクトルを第3の完全接続層に入力し、該第3の完全接続層により前記組み合わせられた特徴ベクトルを計算して、前記検出対象の顔画像の検出結果を取得するステップであって、前記検出結果は、前記検出対象の顔画像が合成画像であるまたは非合成画像であることを含むステップとを含む顔合成画像検出方法を提供する。
本願の第2の態様において、特徴抽出モジュールと、ベクトル計算モジュールと、ベクトル組み合わせモジュールと、結果計算モジュールとを備え、前記特徴抽出モジュールは、検出対象の顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力し、該畳み込みニューラルネットワークにより前記検出対象の顔画像に対して特徴抽出を行って、前記検出対象の顔画像の元画像特徴を取得し、前記ベクトル計算モジュールは、前記検出対象の顔画像の前記元画像特徴を第1の完全接続層に入力し、該第1の完全接続層により前記検出対象の顔画像の前記元画像特徴を計算して、前記検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルを取得し、前記検出対象の顔画像の前記元画像特徴を第2の完全接続層に入力し、該第2の完全接続層により前記検出対象の顔画像の前記元画像特徴を計算して、前記検出対象の顔画像に対応する第2の特徴ベクトルを取得し、前記ベクトル組み合わせモジュールは、前記第1の特徴ベクトルと前記第2の特徴ベクトルとを組み合わせて、組み合わせられた特徴ベクトルを取得し、前記結果計算モジュールは、前記組み合わせられた特徴ベクトルを第3の完全接続層に入力し、該第3の完全接続層により前記組み合わせられた特徴ベクトルを計算して、前記検出対象の顔画像の検出結果を取得し、前記検出結果は、前記検出対象の顔画像が合成画像であるまたは非合成画像であることを含む顔合成画像検出装置を提供する。
本願の第3の態様において、少なくとも1つのプロセッサと、少なくとも1つのプログラムを記憶するメモリとを備え、少なくとも1つの前記プログラムが少なくとも1つの前記プロセッサによって実行される場合、少なくとも1つの前記プロセッサが、上記の顔合成画像検出方法を実現する電子機器を提供する。
本願の第4の態様において、コンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータプログラムがプロセッサによって実行される場合、上記の顔合成画像検出方法が実現される記憶媒体を提供する。
本願の第5の態様において、コンピュータに上記の顔合成画像検出方法を実行させるコンピュータプログラムを提供する。
本出願の技術によれば、従来技術では顔合成画像検出モデルが合成画像と原図との判別性のある特徴を学習することが困難であり、しかも小範囲のトレーニングサンプルに過剰適合しやすく、未知の合成サンプルに対する汎化性が有限である。また、単一の畳み込みニューラルネットワークのみを用いて、実シーンにおける顔姿勢が大きすぎる或いは照明の差が大きい場合にはロバスト性が悪いため、認識結果が好ましくないという問題を解決する。本出願により提供される技術案は、顔合成画像検出の過剰適合状況を緩和し、顔合成画像検出の汎化性と正確さを向上させ、未知の合成サンプルに対する検出効果を向上させることができる。
なお、本部分に記載された内容は、本開示の実施例の肝心又は重要な特徴を識別することを意図しておらず、本開示の範囲を限定することも意図していない。本開示の他の特徴は、以下の説明により理解されやすくなる。
図面は、本出願の技術案がよりよく理解されるためのものであり、本出願を限定するものではない。
本出願の実施例1により提供される顔合成画像検出方法の概略フローチャートである。 本出願の実施例2により提供される顔合成画像検出方法の概略フローチャートである。 本出願の実施例3により提供される顔合成画像検出方法の概略フローチャートである。 本出願の実施例3により提供される顔合成画像検出システムの概略構成図である。 本出願の実施例4により提供される顔合成画像検出装置の第1の概略構成図である。 本出願の実施例4により提供される顔合成画像検出装置の第2の概略構成図である。 本出願の実施例の顔合成画像検出方法を実現するための電子機器のブロック図である。
以下、本出願の例示的な実施例について図面を参照して説明する。理解を容易にするためにその中には本出願の実施例の様々な詳細を含んでおり、それらは単なる例示するものと見なされるべきである。したがって、当業者は、本出願の範囲及び趣旨から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを理解すべきである。同様に、明確及び簡潔するために、以下の説明では、周知の機能及び構成の説明を省略する。
実施例1
図1は、本出願の実施例1により提供される顔合成画像検出方法の概略フローチャートである。顔合成画像検出方法は、顔合成画像検出装置又は電子機器によって実行でき、顔合成画像検出装置又は電子機器は、ソフトウェア及び/又はハードウェアによって実現できる。顔合成画像検出装置又は電子機器は、ネットワーク通信機能を有する任意のスマートデバイスに統合できる。図1に示されるように、顔合成画像検出方法は、以下のステップ101〜ステップ104を含むことができる。
ステップ101において、検出対象の顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力し、畳み込みニューラルネットワークにより検出対象の顔画像に対して特徴抽出を行って、検出対象の顔画像の元画像特徴を取得する。
本出願の具体的な実施例では、電子機器は、検出対象の顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力し、畳み込みニューラルネットワークにより検出対象の顔画像に対して特徴抽出を行って、検出対象の顔画像の元画像特徴を取得することができる。本出願の実施例は、畳み込みニューラルネットワークとしてResnetネットワークを採用し、Resnetは、building blockまたはbottleneckからなる。building blockの構造は、1つの残差分岐と、short−cut分岐とを含み、残差分岐には、1つのidentity mapping(恒等写像)を追加し、現在の出力を次の階層のネットワークに直接伝送するとともに、後方伝播の過程においても、次の階層のネットワークの勾配を上階層のネットワークに直接伝送し、このようにすることで、深層ネットワークの勾配消失の問題を解決する。従来の画像特徴抽出器VGGNetやGoogleNetに比べて、Resnetはより深いネットワーク層数を有し、さらに画像特徴の説明にはより多くのパラメータが使用されており、特有の残差ネットワーク構造を介してネットワーク層数の重畳による悪影響(例えば、トレーニング過程での勾配消失)を減少させることができる。したがって、Resnetは、より優れた特徴抽出機能を有する。具体的には、本出願の実施例では、畳み込みニューラルネットワークとしてResnet18を採用してもよい。
ステップ102において、検出対象の顔画像の元画像特徴をそれぞれ第1の完全接続層及び第2の完全接続層に入力し、第1の完全接続層により検出対象の顔画像の元画像特徴を計算して、検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルを取得し、第2の完全接続層により検出対象の顔画像の元画像特徴を計算して、検出対象の顔画像に対応する第2の特徴ベクトルを取得する。
本出願の具体的な実施例では、電子機器は、検出対象の顔画像の元画像特徴をそれぞれ第1の完全接続層及び第2の完全接続層に入力し、第1の完全接続層により検出対象の顔画像の元画像特徴を計算して、検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルを取得し、第2の完全接続層により検出対象の顔画像の元画像特徴を計算して、検出対象の顔画像に対応する第2の特徴ベクトルを取得することができる。一実施例では、電子機器は、第1の完全接続層により検出対象の顔画像の元画像特徴を計算する際に、まず、検出対象の顔画像の元画像特徴に基づいて、第1の完全接続層により検出対象の顔画像の顔のキーポイント及び各顔のキーポイントの画像特徴を抽出し、次いで、検出対象の顔画像の顔のキーポイント及び各顔のキーポイントの画像特徴に基づいて、検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルを取得することができ、ここで、顔のキーポイントは72個であり、第1の特徴ベクトルは144次元ベクトルである。具体的には、顔のキーポイントはそれぞれ(x1、y1)、(x2、y2)、…、(x72、y72)である。一実施例では、電子機器は、第2の完全接続層により検出対象の顔画像の元画像特徴を計算する際に、まず、検出対象の顔画像の元画像特徴に基づいて、第2の完全接続層により検出対象の顔画像のキー画像特徴を抽出し、次いで、検出対象の顔のキー画像特徴に基づいて、検出対象の顔画像に対応する第2の特徴ベクトルを取得することができ、ここで、第2の特徴ベクトルは144次元ベクトルである。
ステップ103において、第1の特徴ベクトルと第2の特徴ベクトルとを組み合わせて、組み合わせられた特徴ベクトルを取得する。
本出願の具体的な実施例では、電子機器は、第1の特徴ベクトルと第2の特徴ベクトルとを組み合わせて、組み合わせられた特徴ベクトルを取得することができる。一実施例では、電子機器は、第1の特徴ベクトルと第2の特徴ベクトルとを重ね合わせることにより、組み合わせられた特徴ベクトルとして288次元ベクトルを構成することができる。
ステップ104において、組み合わせられた特徴ベクトルを第3の完全接続層に入力し、第3の完全接続層により組み合わせられた特徴ベクトルを計算して、検出対象の顔画像の検出結果を取得し、ここで、検出結果は、検出対象の顔画像が合成画像であるまたは非合成画像であることを含む。
本出願の具体的な実施例では、電子機器は、組み合わせられた特徴ベクトルを第3の完全接続層に入力し、第3の完全接続層により組み合わせられた特徴ベクトルを計算して、検出対象の顔画像の検出結果を取得することができ、ここで、検出結果は、検出対象の顔画像が合成画像であるまたは非合成画像であることを含む。一実施例では、電子機器は、第3の完全接続層により2次元ベクトルを取得し、2次元ベクトルにより、検出対象の顔画像が合成画像であるまたは非合成画像であることを判断することができる。
本出願の実施例により提供される顔合成画像検出方法は、まず、検出対象の顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力し、畳み込みニューラルネットワークにより検出対象の顔画像の元画像特徴を取得する。さらに検出対象の顔画像の元画像特徴をそれぞれ第1の完全接続層及び第2の完全接続層に入力し、第1の完全接続層及び第2の完全接続層により検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルと検出対象の顔画像に対応する第2の特徴ベクトルとをそれぞれ取得する。次いで、第1の特徴ベクトルと第2の特徴ベクトルとを組み合わせて、組み合わせられた特徴ベクトルを取得し、最後に組み合わせられた特徴ベクトルを第3の完全接続層に入力し、第3の完全接続層により検出対象の顔画像の検出結果を取得する。すなわち、本出願は、第1の完全接続層及び第2の完全接続層により検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルと検出対象の顔画像に対応する第2の特徴ベクトルとをそれぞれ取得し、次いで、第3の完全接続層により検出対象の顔画像の検出結果を取得することができる。従来の顔合成画像検出方法では、主にニューラルネットワークの深層学習方法を用いており、当該方法では合成画像と原図との判別性のある特徴を学習することが困難であり、しかも小範囲のトレーニングサンプルに過剰適合しやすく、未知の合成サンプルに対する汎化性が有限であり、また、単一の畳み込みニューラルネットワークのみを用いて、実シーンにおける顔姿勢が大きすぎる或いは照明の差が大きい場合にはロバスト性が悪いため、認識結果が好ましくない。本出願は、顔のキーポイントと合成画像とを連携して検出する技術的手段を採用することで、従来技術における顔合成画像検出モデルが合成画像と原図との判別性のある特徴を学習することが困難であり、しかも小範囲のトレーニングサンプルに過剰適合しやすく、未知の合成サンプルに対する汎化性が有限であり、また、単一の畳み込みニューラルネットワークのみを用いて、実シーンにおける顔姿勢が大きすぎる或いは照明の差が大きい場合にはロバスト性が悪いため、認識結果が好ましくないという問題を克服する。本出願により提供される技術案は、顔合成画像検出の過剰適合状況を緩和し、顔合成画像検出の汎化性と正確さを向上させ、未知の合成サンプルに対する検出効果を向上させることができ、また、本出願の実施例の技術案は簡単で便利であり、普及しやすく、適用範囲が広い。
実施例2
図2は、本出願の実施例2により提供される顔合成画像検出方法の概略フローチャートである。図2に示されるように、顔合成画像検出方法は、以下のステップ201〜ステップ207を含むことができる。
ステップ201において、検出対象の顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力し、畳み込みニューラルネットワークにより検出対象の顔画像に対して特徴抽出を行って、検出対象の顔画像の元画像特徴を取得する。
ステップ202において、検出対象の顔画像の元画像特徴を第1の完全接続層に入力し、検出対象の顔画像の元画像特徴に基づいて、第1の完全接続層により検出対象の顔画像の顔のキーポイント及び各顔のキーポイントの画像特徴を抽出する。
本出願の具体的な実施例では、電子機器は、検出対象の顔画像の元画像特徴を第1の完全接続層に入力し、検出対象の顔画像の元画像特徴に基づいて、第1の完全接続層により検出対象の顔画像の顔のキーポイント及び各顔のキーポイントの画像特徴を抽出することができる。ここで、顔のキーポイントは72個であり、具体的には、顔のキーポイントはそれぞれ(x1、y1)、(x2、y2)、…、(x72、y72)である。
ステップ203において、検出対象の顔画像の顔のキーポイント及び各顔のキーポイントの画像特徴に基づいて、検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルを取得し、ここで、第1の特徴ベクトルは144次元ベクトルである。
本出願の具体的な実施例では、電子機器は、検出対象の顔画像の顔のキーポイント及び各顔のキーポイントの画像特徴に基づいて、検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルを取得することができ、ここで、第1の特徴ベクトルは144次元ベクトルである。具体的には、各顔のキーポイントは、1つの2次元画像特徴に対応しているので、72個の顔のキーポイントの画像特徴に基づいて144次元ベクトルを取得することができる。
ステップ204において、検出対象の顔画像の元画像特徴を第2の完全接続層に入力し、検出対象の顔画像の元画像特徴に基づいて、第2の完全接続層により検出対象の顔画像のキー画像特徴を抽出する。
本出願の具体的な実施例では、電子機器は、検出対象の顔画像の元画像特徴を第2の完全接続層に入力し、検出対象の顔画像の元画像特徴に基づいて、第2の完全接続層により検出対象の顔画像のキー画像特徴を抽出することができる。具体的には、検出対象の顔画像の元画像特徴を512次元ベクトルとすると、本ステップにおいて、電子機器は、そのベクトルに基づいて、検出対象の顔画像のキー画像特徴として144次元ベクトルを生成することができる。
ステップ205において、検出対象の顔画像のキー画像特徴に基づいて、検出対象の顔画像に対応する第2の特徴ベクトルを取得し、ここで、第2の特徴ベクトルは144次元ベクトルである。
本出願の具体的な実施例では、電子機器は、検出対象の顔画像のキー画像特徴に基づいて、検出対象の顔画像に対応する第2の特徴ベクトルを取得することができ、ここで、第2の特徴ベクトルは144次元ベクトルである。具体的には、検出対象の顔画像のキー画像特徴を144次元ベクトルとすると、本ステップにおいて、電子機器は、このベクトルを検出対象の顔画像に対応する第2の特徴ベクトルとして決定することができる。
ステップ206において、第1の特徴ベクトルと第2の特徴ベクトルとを組み合わせて、組み合わせられた特徴ベクトルを取得する。
ステップ207において、組み合わせられた特徴ベクトルを第3の完全接続層に入力し、第3の完全接続層により組み合わせられた特徴ベクトルを計算して、検出対象の顔画像の検出結果を取得し、ここで、検出結果は、検出対象の顔画像が合成画像であるまたは非合成画像であることを含む。
本出願の実施例により提供される顔合成画像検出方法は、まず、検出対象の顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力し、畳み込みニューラルネットワークにより検出対象の顔画像の元画像特徴を取得する。さらに検出対象の顔画像の元画像特徴をそれぞれ第1の完全接続層及び第2の完全接続層に入力し、第1の完全接続層及び第2の完全接続層により検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルと検出対象の顔画像に対応する第2の特徴ベクトルとをそれぞれ取得する。次いで、第1の特徴ベクトルと第2の特徴ベクトルとを組み合わせて、組み合わせられた特徴ベクトルを取得し、最後に組み合わせられた特徴ベクトルを第3の完全接続層に入力し、第3の完全接続層により検出対象の顔画像の検出結果を取得する。すなわち、本出願は、第1の完全接続層及び第2の完全接続層により検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルと検出対象の顔画像に対応する第2の特徴ベクトルとをそれぞれ取得し、次いで、第3の完全接続層により検出対象の顔画像の検出結果を取得することができる。従来の顔合成画像検出方法では、主にニューラルネットワークの深層学習方法を用いており、当該方法は合成画像と原図との判別性のある特徴を学習することが困難であり、しかも小範囲のトレーニングサンプルに過剰適合しやすく、未知の合成サンプルに対する汎化性が有限であり、また、単一の畳み込みニューラルネットワークのみを用いて、実シーンにおける顔姿勢が大きすぎる或いは照明の差が大きい場合にはロバスト性が悪いため、認識結果が好ましくない。本出願は、顔のキーポイントと合成画像とを連携して検出する技術的手段を採用することで、従来技術における顔合成画像検出モデルが合成画像と原図との判別性のある特徴を学習することが困難であり、しかも小範囲のトレーニングサンプルに過剰適合しやすく、未知の合成サンプルに対する汎化性が有限であり、また、単一の畳み込みニューラルネットワークのみを用いて、実シーンにおける顔姿勢が大きすぎる或いは照明の差が大きい場合にはロバスト性が悪いため、認識結果が好ましくないという問題を克服する。本出願により提供される技術案は、顔合成画像検出の過剰適合状況を緩和し、顔合成画像検出の汎化性と正確さを向上させ、未知の合成サンプルに対する検出効果を向上させることができ、また、本出願の実施例の技術案は簡単で便利であり、普及しやすく、適用範囲が広い。
実施例3
図3は、本出願の実施例3により提供される顔合成画像検出方法の概略フローチャートである。図3に示されるように、顔合成画像検出方法は、以下のステップ301〜ステップ308を含むことができる。
ステップ301において、検出対象の顔画像を予めトレーニングされた顔検出モデルに入力し、顔検出モデルにより検出対象の顔画像を認識して、検出対象の顔画像の顔検出枠を取得する。
本出願の具体的な実施例では、電子機器は、検出対象の顔画像を予めトレーニングされた顔検出モデルに入力し、顔検出モデルにより検出対象の顔画像を認識して、検出対象の顔画像の顔検出枠を取得することができる。具体的には、電子機器は、まず、顔を含む赤緑青(RGB)画像を取得し、RGB画像を予めトレーニングされた顔検出モデルに入力し、予めトレーニングされた顔検出モデルによりRGB画像を認識して、RGB画像の顔検出枠を取得することができる。本実施例における顔検出モデルは、顔の位置を検出できる既存の顔検出モデルであってもよい。
ステップ302において、検出対象の顔画像の顔検出枠を予め設定された倍数に拡大して、拡大された顔検出枠を取得し、拡大された顔検出枠で検出対象の顔画像中の顔を切り取って、切り取られた顔画像を取得し、切り取られた顔画像を所定のサイズに調整して、調整された顔画像を取得する。
本出願の具体的な実施例では、電子機器は、検出対象の顔画像の顔検出枠を予め設定された倍数に拡大して、拡大された顔検出枠を取得し、拡大された顔検出枠で検出対象の顔画像中の顔を切り取って、切り取られた顔画像を取得し、切り取られた顔画像を所定のサイズに調整して、調整された顔画像を取得することができる。具体的には、電子機器は、検出対象の顔画像の顔検出枠を1.5倍に拡大し、検出対象の顔画像中の顔を切り取り、切り取られた顔画像を同じサイズの224×224に調整することができる。
ステップ303において、調整された顔画像に基づいて各画素点の画素値を算出する。
本出願の具体的な実施例では、電子機器は、調整された顔画像に基づいて各画素点の画素値を算出することができる。具体的には、電子機器は、調整された顔画像を画素計算モデルに入力し、画素計算モデルにより各画素点の画素値を算出することができる。
ステップ304において、各画素点の画素値を所定の方法で正規化処理して、正規化処理された顔画像を取得し、正規化処理された顔画像における各画素点の画素値が所定の範囲内にあるようにする。
本出願の具体的な実施例では、電子機器は、各画素点の画素値を所定の方法で正規化処理して、正規化処理された顔画像を取得し、正規化処理された顔画像における各画素点の画素値が所定の範囲内にあるようにすることができる。具体的には、電子機器は、各画素点の画素値から128を減算し、256で除算し、各画素点の画素値が(−0.5、0.5)の間にあるようにすることができる。好ましくは、電子機器は、正規化処理された顔画像をランダムデータ強調処理することもできる。
ステップ305において、正規化処理された顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力し、畳み込みニューラルネットワークにより正規化された顔画像に対して特徴抽出を行って、正規化された顔画像の元画像特徴を取得する。
ステップ306において、正規化された顔画像の元画像特徴をそれぞれ第1の完全接続層及び第2の完全接続層に入力し、第1の完全接続層により正規化された顔画像の元画像特徴を計算して、正規化された顔画像の顔のキーポイントに対応する第1の特徴ベクトルを取得し、第2の完全接続層により正規化された顔画像の元画像特徴を計算して、正規化された顔画像に対応する第2の特徴ベクトルを取得する。
ステップ307において、第1の特徴ベクトルと第2の特徴ベクトルとを組み合わせて、組み合わせられた特徴ベクトルを取得する。
ステップ308において、組み合わせられた特徴ベクトルを第3の完全接続層に入力し、第3の完全接続層により組み合わせられた特徴ベクトルを計算して、検出対象の顔画像の検出結果を取得し、ここで、検出結果は、検出対象の顔画像が合成画像であるまたは非合成画像であることを含む。
なお、本実施例におけるステップ305〜308の正規化された顔画像に対する処理プロセスは、実施例1におけるステップ101〜104の検出対象の顔画像に対する処理プロセスと同様であるので、ここでは具体的な説明を省略する。
好ましくは、本出願の具体的な実施例では、検出対象の顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力する前に、第1の完全接続層をトレーニングしてもよい。具体的には、電子機器は、予め取得された最初の顔画像の元画像特徴を現在の元画像特徴とし、第1の完全接続層がそれに対応する収束条件を満たさない場合、現在の元画像特徴を第1の完全接続層に入力し、現在の元画像特徴を用いて第1の完全接続層をトレーニングし、現在の顔画像の次の顔画像を現在の顔画像とし、第1の完全接続層がそれに対応する収束条件を満たすまで、上記操作を繰り返して実行することができる。
好ましくは、本出願の具体的な実施例では、検出対象の顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力する前に、第3の完全接続層をトレーニングしてもよい。具体的には、電子機器は、予め取得された最初の顔画像の組み合わせられた特徴ベクトルを現在の特徴ベクトルとし、第3の完全接続層がそれに対応する収束条件を満たさない場合、現在の特徴ベクトルを第3の完全接続層に入力し、現在の特徴ベクトルを用いて第3の完全接続層をトレーニングし、現在の顔画像の次の顔画像を現在の顔画像とし、第3の完全接続層がそれに対応する収束条件を満たすまで、上記操作を繰り返して実行することができる。
図4は、本出願の実施例3により提供される顔合成画像検出システムの概略構成図である。図4に示されるように、顔合成画像検出システムは、顔検出モジュールと、画像前処理モジュールと、畳み込みニューラルネットワークと、第1の完全接続層と、第2の完全接続層と、第3の完全接続層とを備える。ここで、顔検出モジュールは、検出対象の顔画像中の顔を検出し、検出対象の顔画像中の顔検出枠を取得する。ここで、検出モデルは、顔の位置を検出できる既存の顔検出モデルである。画像前処理モジュールは、検出対象の顔画像中の顔検出枠を前処理する。具体的には、顔検出枠を1.5倍に拡大した後、拡大された顔検出枠で検出対象の顔画像中の顔を切り取って、切り取られた顔画像を取得し、切り取られた顔画像を同じサイズの224×224に調整して、調整された顔画像を取得する。さらに、電子機器は、調整された顔画像に対して正規化処理を行うこともできる。具体的には、電子機器は、調整された顔画像中の各画素値から128を減算し、256で除算し、各画素点の画素値が(−0.5、0.5)の間にあるようにすることができる。好ましくは、電子機器は、画像前処理モジュールにより正規化処理された顔画像をランダムデータ強調処理することもできる。畳み込みニューラルネットワークは、ResNet18ネットワークを用いて検出対象の顔画像に対して特徴抽出を行い、最後の階層の特徴マップ上でグローバル平均プーリング操作を行った後に、2つの分岐の完全接続層の計算を行い、1つの完全接続層Fc1(第1の完全接続層)により顔の72個のキーポイントに対応する144次元ベクトルを取得し、もう1つの完全接続層Fc2(第2の完全接続層)により検出対象の顔画像に対応する144次元ベクトルを取得し、Fc1及びFc2から出力された2つの144次元ベクトルを組み合わせて288次元ベクトルを取得し、最後に、完全接続層Fc3(第3の完全接続層)を接続して2次元ベクトルを取得し、検出対象の顔画像が合成顔画像であるか非合成顔画像であるかを判断する。
顔合成画像検出は、顔関連分野の基礎技術の1つであり、安全防備、出勤、金融、出入管理などの多くのシーンに応用されている。現在の多くの業務にも広く応用されており、本出願により提供される技術案を採用して、顔合成画像が主にキーポイントに基づいてマップされるという事前情報によって、キーポイントと合成画像検出とを共同にトレーニングする。これにより、合成画像検出へより多くの監視情報をもたらすことができ、合成画像検出の過剰適合状況を緩和できるとともに、モデルに顔合成画像のキーポイント領域のフィットトレースにもっと注意させることができ、原図と合成画像の中のより判別性のある特徴を抽出して分類できる。したがって、本出願は、顔生体検出技術の性能を向上させ、顔生体検出技術に基づく多くの応用の効果アップ及びユーザ体験改善をサポートすることができ、業務項目のさらなる推進に有利である。
本出願の実施例により提供される顔合成画像検出方法は、まず、検出対象の顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力し、畳み込みニューラルネットワークにより検出対象の顔画像の元画像特徴を取得する。さらに検出対象の顔画像の元画像特徴をそれぞれ第1の完全接続層及び第2の完全接続層に入力し、第1の完全接続層及び第2の完全接続層により検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルと検出対象の顔画像に対応する第2の特徴ベクトルとをそれぞれ取得する。次いで、第1の特徴ベクトルと第2の特徴ベクトルとを組み合わせて、組み合わせられた特徴ベクトルを取得し、最後に組み合わせられた特徴ベクトルを第3の完全接続層に入力し、第3の完全接続層により検出対象の顔画像の検出結果を取得する。すなわち、本出願は、第1の完全接続層及び第2の完全接続層により検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルと検出対象の顔画像に対応する第2の特徴ベクトルとをそれぞれ取得し、次いで、第3の完全接続層により検出対象の顔画像の検出結果を取得することができる。従来の顔合成画像検出方法では、主にニューラルネットワークの深層学習方法を用いており、当該方法は合成画像と原図との判別性のある特徴を学習することが困難であり、しかも小範囲のトレーニングサンプルに過剰適合しやすく、未知の合成サンプルに対する汎化性が有限であり、また、単一の畳み込みニューラルネットワークのみを用いて、実シーンにおける顔姿勢が大きすぎる或いは照明の差が大きい場合にはロバスト性が悪いため、認識結果が好ましくない。本出願は、顔のキーポイントと合成画像とを連携して検出する技術的手段を採用することで、従来技術における顔合成画像検出モデルが合成画像と原図との判別性のある特徴を学習することが困難であり、しかも小範囲のトレーニングサンプルに過剰適合しやすく、未知の合成サンプルに対する汎化性が有限である。また、単一の畳み込みニューラルネットワークのみを用いて、実シーンにおける顔姿勢が大きすぎる或いは光照明の差が大きい場合にはロバスト性が悪いため、認識結果が好ましくないという問題を克服する。本出願により提供される技術案は、顔合成画像検出の過剰適合状況を緩和し、顔合成画像検出の汎化性と正確さを向上させ、未知の合成サンプルに対する検出効果を向上させることができ、また、本出願の実施例の技術案は簡単で便利であり、普及しやすく、適用範囲が広い。
実施例4
図5は、本出願の実施例4により提供される顔合成画像検出装置の第1の概略構成図である。図5に示されるように、前記装置500は、特徴抽出モジュール501と、ベクトル計算モジュール502と、ベクトル組み合わせモジュール503と、結果計算モジュール504とを備える。
ここで、特徴抽出モジュール501は、検出対象の顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力し、畳み込みニューラルネットワークにより検出対象の顔画像に対して特徴抽出を行って、検出対象の顔画像の元画像特徴を取得する。
ベクトル計算モジュール502は、検出対象の顔画像の元画像特徴を第1の完全接続層に入力し、第1の完全接続層により検出対象の顔画像の元画像特徴を計算して、検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルを取得し、検出対象の顔画像の元画像特徴を第2の完全接続層に入力し、第2の完全接続層により検出対象の顔画像の元画像特徴を計算して、検出対象の顔画像に対応する第2の特徴ベクトルを取得する。
ベクトル組み合わせモジュール503は、第1の特徴ベクトルと第2の特徴ベクトルとを組み合わせて、組み合わせられた特徴ベクトルを取得する。
結果計算モジュール504は、組み合わせられた特徴ベクトルを第3の完全接続層に入力し、第3の完全接続層により組み合わせられた特徴ベクトルを計算して、検出対象の顔画像の検出結果を取得する。ここで、検出結果は、検出対象の顔画像が合成画像であるまたは非合成画像であることを含む。
さらに、ベクトル計算モジュール502は、具体的には、検出対象の顔画像の元画像特徴に基づいて、第1の完全接続層により検出対象の顔画像の顔のキーポイント及び各顔のキーポイントの画像特徴を抽出し、検出対象の顔画像の顔のキーポイント及び各顔のキーポイントの画像特徴に基づいて、検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルを取得する。ここで、第1の特徴ベクトルは144次元ベクトルである。
さらに、ベクトル計算モジュール502は、具体的には、検出対象の顔画像の元画像特徴に基づいて、第2の完全接続層により検出対象の顔画像のキー画像特徴を抽出し、検出対象の顔のキー画像特徴に基づいて、検出対象の顔画像に対応する第2の特徴ベクトルを取得する。ここで、第2の特徴ベクトルは144次元ベクトルである。
図6は、本出願の実施例4により提供される顔合成画像検出装置の第2の概略構成図である。図6に示されるように、顔合成画像検出装置500は、検出対象の顔画像を予めトレーニングされた顔検出モデルに入力し、顔検出モデルにより検出対象の顔画像を認識して、検出対象の顔画像の顔検出枠を取得し、検出対象の顔画像の顔検出枠を予め設定された倍数に拡大して、拡大された顔検出枠を取得し、拡大された顔検出枠で検出対象の顔画像中の顔を切り取って、切り取られた顔画像を取得し、切り取られた顔画像を所定のサイズに調整して、調整された顔画像を取得し、調整された顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力する操作を実行する画像前処理モジュール505をさらに備える。
さらに、画像前処理モジュール505は、さらに、調整された顔画像に基づいて各画素点の画素値を算出し、各画素点の画素値を所定の方法で正規化処理して、正規化処理された顔画像を取得し、正規化処理された顔画像における各画素点の画素値が所定の範囲内にあるようにし、正規化処理された顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力する操作を実行する。
さらに、顔合成画像検出装置は、予め取得された最初の顔画像の元画像特徴を現在の元画像特徴とし、第1の完全接続層がそれに対応する収束条件を満たさない場合、現在の元画像特徴を第1の完全接続層に入力し、現在の元画像特徴を用いて第1の完全接続層をトレーニングし、現在の顔画像の次の顔画像を現在の顔画像とし、第1の完全接続層がそれに対応する収束条件を満たすまで、上記操作を繰り返して実行する第1のトレーニングモジュール506(図示しない)をさらに備えていてもよい。
さらに、顔合成画像検出装置は、予め取得された第1の顔画像の組み合わせられた特徴ベクトルを現在の特徴ベクトルとし、第3の完全接続層がそれに対応する収束条件を満たさない場合、現在の特徴ベクトルを第3の完全接続層に入力し、現在の特徴ベクトルを用いて第3の完全接続層をトレーニングし、現在の顔画像の次の顔画像を現在の顔画像とし、第3の完全接続層がそれに対応する収束条件を満たすまで、上記操作を繰り返して実行する第2のトレーニングモジュール507(図示しない)をさらに備えていてもよい。
上記顔合成画像検出装置は、本出願の任意の実施例により提供される方法を実行することができ、方法に対応する機能モジュールと有益な効果とを有する。本実施例では詳細に説明されていない技術詳細について、本出願の任意の実施例により提供される顔合成画像検出方法を参照することができる。
実施例5
本出願の実施例によれば、本出願は、電子機器、読み取り可能な記憶媒体及びコンピュータプログラムを提供する。
コンピュータプログラムは、コンピュータに本出願によって提供される顔合成画像検出方法を実行させる。
図7は、本出願の実施例に係る顔合成画像検出方法の電子機器のブロック図である。
電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び/又は要求される本出願の実現を制限することを意図したものではない。
図7に示されるように、電子機器は、少なくとも1つのプロセッサ701と、メモリ702と、高速インターフェース及び低速インターフェースを含む各コンポーネントを接続するインターフェースとを備える。
各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、外部入力/出力装置(インターフェースに結合されたディスプレイデバイスなど)にGUIの図形情報をディスプレイするためにメモリ内又はメモリに記憶されている命令を含む、電子機器内に実行される命令を処理することができる。他の実施形態では、必要であれば、複数のプロセッサ及び/又は複数のバスを、複数のメモリとともに使用することができる。同様に、複数の電子機器を接続することができ、各機器は、部分的な必要な操作(例えば、サーバアレイ、ブレードサーバ、又はマルチプロセッサシステムとする)を提供する。図7では、単一のプロセッサ701を用いる一例とする。
メモリ702は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。
ここで、メモリ702には、少なくとも1つのプロセッサによって実行される命令が記憶され、少なくとも1つのプロセッサが本出願により提供される顔合成画像検出方法を実行するようにする。
本出願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本出願により提供される顔合成画像検出方法を実行させるためのコンピュータ命令が記憶されている。
メモリ702は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例に係る顔合成画像検出方法に対応するプログラム命令/モジュール(例えば、図5に示す特徴抽出モジュール501、ベクトル計算モジュール502、ベクトル組み合わせモジュール503及び結果計算モジュール504)のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶する。
プロセッサ701は、メモリ702に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記の顔合成画像検出方法を実現する。
メモリ702は、ストレージプログラム領域とストレージデータ領域とを含むことができ、ここで、ストレージプログラム領域は、オペレーティングシステム、少なくとも1つの機能に必要なアプリケーションプログラムを記憶することができ、ストレージデータ領域は、顔合成画像検出方法の電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ702は、高速ランダムアクセスメモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも1つのディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ702は、プロセッサ701に対して遠隔に設置されたメモリを選択的に含むことができ、これらの遠隔メモリは、ネットワークを介して顔合成画像検出方法の電子機器に接続することができる。上記のネットワークの例としては、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。
顔合成画像検出方法の電子機器は、入力装置703と出力装置704とをさらに備えていてもよい。
プロセッサ701、メモリ702、入力装置703、及び出力装置704は、バス又は他の方式を介して接続することができ、図7では、バスを介して接続することを一例としている。
入力装置703は、入力された数字又はキャラクタ情報を受信し、顔合成画像検出方法の電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケータースティック、少なくとも1つのマウスボタン、トラックボール、ジョイスティックなどの入力装置である。
出力装置704は、ディスプレイデバイス、補助照明デバイス(例えば、LED)、及び触覚フィードバックデバイス(例えば、振動モータ)などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態では、ディスプレイデバイスは、タッチスクリーンであってもよい。
本明細書で説明されるシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、少なくとも1つのコンピュータプログラムで実施され、少なくとも1つのコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び/又は解釈されることができ、プログラマブルプロセッサは、特定用途向け又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、データ及び命令をストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置に伝送することができる。
これらのコンピューティングプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる)は、プログラマブルプロセッサの機械命令を含み、高レベルのプロセス及び/又はオブジェクト指向プログラミング言語、及び/又はアセンブリ/機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書に使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、機器、及び/又は装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD))を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。
ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されているシステム及び技術を実施することができ、コンピュータは、ユーザに情報を表示するためのディスプレイ装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを有し、ユーザは、キーボード及びポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置は、ユーザとのインタラクションを提供することもでき、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形態(音響入力と、音声入力と、触覚入力とを含む)でユーザからの入力を受信することができる。
ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、グラフィカルユーザインタフェース又はウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションする)、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互に接続されてもいい。通信ネットワークの例としては、ローカルエリアネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットとを含む。
コンピュータシステムは、クライアント側とサーバとを含むことができる。クライアント側とサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント−サーバ関係を有するコンピュータプログラムによってクライアント側とサーバとの関係が生成される。サーバは、クラウドサーバ(クラウドコンピューティングサーバ又はクラウドサーバとも呼ばれる)であってもよく、クラウドコンピューティングサービス体系中の1つのサーバ製品として、伝統的な物理サーバとVPSサービスに存在する管理難度が大きく、業務拡張性が弱いという欠陥を解決した。
本出願の実施例の技術案によれば、まず、検出対象の顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力し、畳み込みニューラルネットワークにより検出対象の顔画像の元画像特徴を取得する。さらに検出対象の顔画像の元画像特徴をそれぞれ第1の完全接続層及び第2の完全接続層に入力し、第1の完全接続層及び第2の完全接続層により検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルと検出対象の顔画像に対応する第2の特徴ベクトルとをそれぞれ取得する。次いで、第1の特徴ベクトルと第2の特徴ベクトルとを組み合わせて、組み合わせられた特徴ベクトルを取得し、最後に組み合わせられた特徴ベクトルを第3の完全接続層に入力し、第3の完全接続層により検出対象の顔画像の検出結果を取得する。すなわち、本出願では、第1の完全接続層及び第2の完全接続層により検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルと検出対象の顔画像に対応する第2の特徴ベクトルとをそれぞれ取得する。次いで、第3の完全接続層により検出対象の顔画像の検出結果を取得することができる。従来の顔合成画像検出方法では、主にニューラルネットワークの深層学習方法を用いており、当該方法は合成画像と原図との判別性のある特徴を学習することが困難であり、しかも小範囲のトレーニングサンプルに過剰適合しやすく、未知の合成サンプルに対する汎化性が有限である。また、単一の畳み込みニューラルネットワークのみを用いて、実シーンにおける顔姿勢が大きすぎる或いは照明の差が大きい場合にはロバスト性が悪いため、認識結果が好ましくない。本出願は、顔のキーポイントと合成画像とを連携して検出する技術的手段を採用することで、従来技術における顔合成画像検出モデルが合成画像と原図との判別性のある特徴を学習することが困難であり、しかも小範囲のトレーニングサンプルに過剰適合しやすく、未知の合成サンプルに対する汎化性が有限である。また、単一の畳み込みニューラルネットワークのみを用いて、実シーンにおける顔姿勢が大きすぎる或いは照明の差が大きい場合にはロバスト性が悪いため、認識結果が好ましくないという問題を克服する。本出願により提供される技術案は、顔合成画像検出の過剰適合状況を緩和し、顔合成画像検出の汎化性と正確さを向上させ、未知の合成サンプルに対する検出効果を向上させることができ、また、本出願の実施例の技術案は簡単で便利であり、普及しやすく、適用範囲が広い。
なお、上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。
上記の具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者は、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び置換を行うことができる。任意の本出願の精神と原則内で行われる修正、同等の置換、及び改良などは、いずれも本出願の保護範囲内に含まれるべきである。


Claims (17)

  1. 検出対象の顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力し、該畳み込みニューラルネットワークにより前記検出対象の顔画像に対して特徴抽出を行って、前記検出対象の顔画像の元画像特徴を取得するステップと、
    前記検出対象の顔画像の前記元画像特徴を第1の完全接続層に入力し、該第1の完全接続層により前記検出対象の顔画像の前記元画像特徴を計算して、前記検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルを取得し、前記検出対象の顔画像の前記元画像特徴を第2の完全接続層に入力し、該第2の完全接続層により前記検出対象の顔画像の前記元画像特徴を計算して、前記検出対象の顔画像に対応する第2の特徴ベクトルを取得するステップと、
    前記第1の特徴ベクトルと前記第2の特徴ベクトルとを組み合わせて、組み合わせられた特徴ベクトルを取得するステップと、
    前記組み合わせられた特徴ベクトルを第3の完全接続層に入力し、該第3の完全接続層により前記組み合わせられた特徴ベクトルを計算して、前記検出対象の顔画像の検出結果を取得するステップであって、前記検出結果は、前記検出対象の顔画像が合成画像であるまたは非合成画像であることを含むステップとを含む顔合成画像検出方法。
  2. 前記第1の完全接続層により前記検出対象の顔画像の前記元画像特徴を計算して、前記検出対象の顔画像の前記顔のキーポイントに対応する前記第1の特徴ベクトルを取得するステップは、
    前記検出対象の顔画像の前記元画像特徴に基づいて、前記第1の完全接続層により前記検出対象の顔画像の前記顔のキーポイント及び各前記顔のキーポイントの画像特徴を抽出するステップと、
    前記検出対象の顔画像の前記顔のキーポイント及び各前記顔のキーポイントの前記画像特徴に基づいて、前記検出対象の顔画像の前記顔のキーポイントに対応する前記第1の特徴ベクトルを取得するステップであって、前記第1の特徴ベクトルが144次元ベクトルであるステップとを含む請求項1に記載の顔合成画像検出方法。
  3. 前記第2の完全接続層により前記検出対象の顔画像の前記元画像特徴を計算して、前記検出対象の顔画像に対応する前記第2の特徴ベクトルを取得するステップは、
    前記検出対象の顔画像の前記元画像特徴に基づいて、前記第2の完全接続層により前記検出対象の顔画像のキー画像特徴を抽出するステップと、
    前記検出対象の顔画像の前記キー画像特徴に基づいて、前記検出対象の顔画像に対応する前記第2の特徴ベクトルを取得するステップであって、前記第2の特徴ベクトルが144次元ベクトルであるステップとを含む請求項1に記載の顔合成画像検出方法。
  4. 前記検出対象の顔画像を予めトレーニングされた前記畳み込みニューラルネットワークに入力するステップの前に、
    前記検出対象の顔画像を予めトレーニングされた顔検出モデルに入力し、前記顔検出モデルにより前記検出対象の顔画像を認識して前記検出対象の顔画像の顔検出枠を取得するステップと、
    前記検出対象の顔画像の前記顔検出枠を予め設定された倍数に拡大して拡大された顔検出枠を取得し、該拡大された顔検出枠で前記検出対象の顔画像中の顔を切り取って切り取られた顔画像を取得し、該切り取られた顔画像を所定のサイズに調整して調整された顔画像を取得し、該調整された顔画像を予めトレーニングされた前記畳み込みニューラルネットワークに入力する操作を実行するステップとをさらに含む請求項1に記載の顔合成画像検出方法。
  5. 前記調整された顔画像を予めトレーニングされた前記畳み込みニューラルネットワークに入力する操作を実行するステップの前に、
    前記調整された顔画像に基づいて各画素点の画素値を算出するステップと、
    各前記画素点の画素値を所定の方法で正規化処理して正規化処理された顔画像を取得し、前記正規化処理された顔画像における各前記画素点の前記画素値が所定の範囲内にあるようにし、前記正規化処理された顔画像を予めトレーニングされた前記畳み込みニューラルネットワークに入力する操作を実行するステップとをさらに含む請求項4に記載の顔合成画像検出方法。
  6. 前記検出対象の顔画像を予めトレーニングされた前記畳み込みニューラルネットワークに入力するステップの前に、
    予め取得された最初の顔画像の元画像特徴を現在の元画像特徴とするステップと、
    前記第1の完全接続層がそれに対応する収束条件を満たさない場合、前記現在の元画像特徴を前記第1の完全接続層に入力し、前記現在の元画像特徴を用いて前記第1の完全接続層をトレーニングし、前記現在の顔画像の次の顔画像を前記現在の顔画像とし、前記第1の完全接続層がそれに対応する収束条件を満たすまで、上記操作を繰り返して実行するステップとをさらに含む請求項1に記載の顔合成画像検出方法。
  7. 前記検出対象の顔画像を予めトレーニングされた前記畳み込みニューラルネットワークに入力するステップの前に、
    予め取得された最初の顔画像の組み合わせられた特徴ベクトルを現在の特徴ベクトルとするステップと、
    前記第3の完全接続層がそれに対応する収束条件を満たさない場合、前記現在の特徴ベクトルを前記第3の完全接続層に入力し、前記現在の特徴ベクトルを用いて前記第3の完全接続層をトレーニングし、前記現在の顔画像の次の顔画像を前記現在の顔画像とし、前記第3の完全接続層がそれに対応する収束条件を満たすまで、上記操作を繰り返して実行するステップとをさらに含む請求項1に記載の顔合成画像検出方法。
  8. 特徴抽出モジュールと、ベクトル計算モジュールと、ベクトル組み合わせモジュールと、結果計算モジュールとを備え、
    前記特徴抽出モジュールは、検出対象の顔画像を予めトレーニングされた畳み込みニューラルネットワークに入力し、該畳み込みニューラルネットワークにより前記検出対象の顔画像に対して特徴抽出を行って、前記検出対象の顔画像の元画像特徴を取得し、
    前記ベクトル計算モジュールは、前記検出対象の顔画像の前記元画像特徴を第1の完全接続層に入力し、該第1の完全接続層により前記検出対象の顔画像の前記元画像特徴を計算して、前記検出対象の顔画像の顔のキーポイントに対応する第1の特徴ベクトルを取得し、前記検出対象の顔画像の前記元画像特徴を第2の完全接続層に入力し、該第2の完全接続層により前記検出対象の顔画像の前記元画像特徴を計算して、前記検出対象の顔画像に対応する第2の特徴ベクトルを取得し、
    前記ベクトル組み合わせモジュールは、前記第1の特徴ベクトルと前記第2の特徴ベクトルとを組み合わせて、組み合わせられた特徴ベクトルを取得し、
    前記結果計算モジュールは、前記組み合わせられた特徴ベクトルを第3の完全接続層に入力し、該第3の完全接続層により前記組み合わせられた特徴ベクトルを計算して、前記検出対象の顔画像の検出結果を取得し、前記検出結果は、前記検出対象の顔画像が合成画像であるまたは非合成画像であることを含む顔合成画像検出装置。
  9. 前記ベクトル計算モジュールは、具体的には、前記検出対象の顔画像の前記元画像特徴に基づいて、前記第1の完全接続層により前記検出対象の顔画像の前記顔のキーポイント及び各前記顔のキーポイントの画像特徴を抽出し、前記検出対象の顔画像の前記顔のキーポイント及び各前記顔のキーポイントの前記画像特徴に基づいて、前記検出対象の顔画像の前記顔のキーポイントに対応する前記第1の特徴ベクトルを取得し、該第1の特徴ベクトルが144次元ベクトルである請求項8に記載の顔合成画像検出装置。
  10. 前記ベクトル計算モジュールは、具体的には、前記検出対象の顔画像の前記元画像特徴に基づいて、前記第2の完全接続層により前記検出対象の顔画像のキー画像特徴を抽出し、前記検出対象の顔画像の前記キー画像特徴に基づいて、前記検出対象の顔画像に対応する前記第2の特徴ベクトルを取得し、該第2の特徴ベクトルが144次元ベクトルである請求項8に記載の顔合成画像検出装置。
  11. 画像前処理モジュールをさらに備え、
    該画像前処理モジュールは、前記検出対象の顔画像を予めトレーニングされた顔検出モデルに入力し、該顔検出モデルにより前記検出対象の顔画像を認識して前記検出対象の顔画像の顔検出枠を取得し、前記検出対象の顔画像の前記顔検出枠を予め設定された倍数に拡大して拡大された顔検出枠を取得し、該拡大された顔検出枠で前記検出対象の顔画像中の顔を切り取って切り取られた顔画像を取得し、該切り取られた顔画像を所定のサイズに調整して調整された顔画像を取得し、該調整された顔画像を予めトレーニングされた前記畳み込みニューラルネットワークに入力する操作を実行する請求項8に記載の顔合成画像検出装置。
  12. 前記画像前処理モジュールは、さらに、前記調整された顔画像に基づいて各画素点の画素値を算出し、各前記画素点の前記画素値を所定の方法で正規化処理して正規化処理された顔画像を取得し、前記正規化処理された顔画像における各前記画素点の前記画素値が所定の範囲内にあるようにし、前記正規化処理された顔画像を予めトレーニングされた前記畳み込みニューラルネットワークに入力する操作を実行する請求項11に記載の顔合成画像検出装置。
  13. 第1のトレーニングモジュールをさらに備え、
    該第1のトレーニングモジュールは、予め取得された最初の顔画像の元画像特徴を現在の元画像特徴とし、前記第1の完全接続層がそれに対応する収束条件を満たさない場合、前記現在の元画像特徴を前記第1の完全接続層に入力し、前記現在の元画像特徴を用いて前記第1の完全接続層をトレーニングし、前記現在の顔画像の次の顔画像を前記現在の顔画像とし、前記第1の完全接続層がそれに対応する収束条件を満たすまで、上記操作を繰り返して実行する請求項8に記載の顔合成画像検出装置。
  14. 第2のトレーニングモジュールをさらに備え、
    該第2のトレーニングモジュールは、予め取得された最初の顔画像の組み合わせられた特徴ベクトルを現在の特徴ベクトルとし、前記第3の完全接続層がそれに対応する収束条件を満たさない場合、前記現在の特徴ベクトルを前記第3の完全接続層に入力し、前記現在の特徴ベクトルを用いて前記第3の完全接続層をトレーニングし、前記現在の顔画像の次の顔画像を前記現在の顔画像とし、前記第3の完全接続層がそれに対応する収束条件を満たすまで、上記操作を繰り返して実行する請求項8に記載の顔合成画像検出装置。
  15. 少なくとも1つのプロセッサと、
    少なくとも1つの該プロセッサに通信可能に接続されるメモリとを備え、
    該メモリには、少なくとも1つの前記プロセッサによって実行可能な命令が記憶され、該命令は、少なくとも1つの前記プロセッサが請求項1から請求項7のいずれかに記載の顔合成画像検出方法を実行できるように、少なくとも1つの前記プロセッサによって実行される電子機器。
  16. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項1から請求項7のいずれかに記載の顔合成画像検出方法を実行させる非一時的なコンピュータ読み取り可能な記憶媒体。
  17. コンピュータに請求項1から請求項7のいずれかに記載の顔合成画像検出方法を実行させるコンピュータプログラム。
JP2021068318A 2020-07-15 2021-04-14 顔合成画像検出方法、顔合成画像検出装置、電子機器、記憶媒体及びコンピュータプログラム Active JP7126586B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010681942.6 2020-07-15
CN202010681942.6A CN111862030B (zh) 2020-07-15 2020-07-15 一种人脸合成图检测方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
JP2021114313A true JP2021114313A (ja) 2021-08-05
JP7126586B2 JP7126586B2 (ja) 2022-08-26

Family

ID=72984126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021068318A Active JP7126586B2 (ja) 2020-07-15 2021-04-14 顔合成画像検出方法、顔合成画像検出装置、電子機器、記憶媒体及びコンピュータプログラム

Country Status (5)

Country Link
US (1) US11881050B2 (ja)
EP (1) EP3940587A1 (ja)
JP (1) JP7126586B2 (ja)
KR (1) KR102612354B1 (ja)
CN (1) CN111862030B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023027782A (ja) * 2021-12-09 2023-03-02 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 画像遷移方法及び画像遷移モデルの訓練方法、装置、電子機器、記憶媒体及びコンピュータプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257645B (zh) * 2020-11-02 2023-09-01 浙江大华技术股份有限公司 人脸的关键点定位方法和装置、存储介质及电子装置
CN113989908A (zh) * 2021-11-29 2022-01-28 北京百度网讯科技有限公司 鉴别人脸图像的方法、装置、电子设备及存储介质
CN117975579A (zh) * 2024-03-18 2024-05-03 北京远鉴信息技术有限公司 合成人脸图像的鉴别方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009107237A1 (ja) * 2008-02-29 2009-09-03 グローリー株式会社 生体認証装置
CN108229363A (zh) * 2017-12-27 2018-06-29 北京市商汤科技开发有限公司 关键帧调度方法和装置、电子设备、程序和介质
CN110321845A (zh) * 2019-07-04 2019-10-11 北京奇艺世纪科技有限公司 一种从视频中提取表情包的方法、装置及电子设备
US20200175290A1 (en) * 2017-06-30 2020-06-04 Norwegian University Of Science And Technology Detection of manipulated images

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745235B (zh) * 2013-12-18 2017-07-04 小米科技有限责任公司 人脸识别方法、装置及终端设备
US10360494B2 (en) * 2016-11-30 2019-07-23 Altumview Systems Inc. Convolutional neural network (CNN) system based on resolution-limited small-scale CNN modules
CN108345818B (zh) 2017-01-23 2021-08-31 北京中科奥森数据科技有限公司 一种人脸活体检测方法及装置
CN108701216B (zh) * 2017-11-13 2021-12-03 深圳和而泰智能控制股份有限公司 一种人脸脸型识别方法、装置和智能终端
CN108446674A (zh) * 2018-04-28 2018-08-24 平安科技(深圳)有限公司 电子装置、基于人脸图像与声纹信息的身份识别方法及存储介质
CN109684911B (zh) * 2018-10-30 2021-05-11 百度在线网络技术(北京)有限公司 表情识别方法、装置、电子设备及存储介质
CN110930547A (zh) * 2019-02-28 2020-03-27 上海商汤临港智能科技有限公司 车门解锁方法及装置、系统、车、电子设备和存储介质
CN110046551B (zh) * 2019-03-18 2021-04-20 中国科学院深圳先进技术研究院 一种人脸识别模型的生成方法及设备
CN110210393A (zh) * 2019-05-31 2019-09-06 百度在线网络技术(北京)有限公司 人脸图像的检测方法和装置
CN110211563B (zh) * 2019-06-19 2024-05-24 平安科技(深圳)有限公司 面向情景及情感的中文语音合成方法、装置及存储介质
CN110659582A (zh) * 2019-08-29 2020-01-07 深圳云天励飞技术有限公司 图像转换模型训练方法、异质人脸识别方法、装置及设备
CN111222434A (zh) * 2019-12-30 2020-06-02 深圳市爱协生科技有限公司 基于局部二值模式和深度学习的合成人脸图像取证方法
CN111339832B (zh) * 2020-02-03 2023-09-12 中国人民解放军国防科技大学 人脸合成图像的检测方法及装置
CN111274987B (zh) * 2020-02-10 2023-10-20 广东九联科技股份有限公司 人脸表情识别方法及人脸表情识别装置
CN111368666B (zh) 2020-02-25 2023-08-18 上海蠡图信息科技有限公司 一种基于新型池化及注意力机制双流网络的活体检测方法
CN111325190B (zh) * 2020-04-01 2023-06-30 京东方科技集团股份有限公司 一种表情识别方法、装置、计算机设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009107237A1 (ja) * 2008-02-29 2009-09-03 グローリー株式会社 生体認証装置
US20200175290A1 (en) * 2017-06-30 2020-06-04 Norwegian University Of Science And Technology Detection of manipulated images
CN108229363A (zh) * 2017-12-27 2018-06-29 北京市商汤科技开发有限公司 关键帧调度方法和装置、电子设备、程序和介质
CN110321845A (zh) * 2019-07-04 2019-10-11 北京奇艺世纪科技有限公司 一种从视频中提取表情包的方法、装置及电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
伊藤 康一 ほか: "畳み込みニューラルネットワークを用いた生体検知手法", 電子情報通信学会論文誌A, vol. 第J100-A巻, 第12号, JPN6021020625, 1 December 2017 (2017-12-01), JP, pages 455 - 464, ISSN: 0004846166 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023027782A (ja) * 2021-12-09 2023-03-02 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド 画像遷移方法及び画像遷移モデルの訓練方法、装置、電子機器、記憶媒体及びコンピュータプログラム

Also Published As

Publication number Publication date
KR20210095817A (ko) 2021-08-03
US11881050B2 (en) 2024-01-23
CN111862030A (zh) 2020-10-30
EP3940587A1 (en) 2022-01-19
KR102612354B1 (ko) 2023-12-11
US20210312162A1 (en) 2021-10-07
JP7126586B2 (ja) 2022-08-26
CN111862030B (zh) 2024-02-09

Similar Documents

Publication Publication Date Title
US11783496B2 (en) Scalable real-time hand tracking
US10354362B2 (en) Methods and software for detecting objects in images using a multiscale fast region-based convolutional neural network
US20210397876A1 (en) Similarity propagation for one-shot and few-shot image segmentation
JP2021114313A (ja) 顔合成画像検出方法、顔合成画像検出装置、電子機器、記憶媒体及びコンピュータプログラム
JP2021163456A (ja) クロスモーダル処理方法、装置、電子機器及びコンピュータ記憶媒体
US11842514B1 (en) Determining a pose of an object from rgb-d images
CN111860167B (zh) 人脸融合模型获取及人脸融合方法、装置及存储介质
WO2023020005A1 (zh) 神经网络模型的训练方法、图像检索方法、设备和介质
CN111783620A (zh) 表情识别方法、装置、设备及存储介质
CN113591918B (zh) 图像处理模型的训练方法、图像处理方法、装置和设备
CN112507090B (zh) 用于输出信息的方法、装置、设备和存储介质
CN111598149B (zh) 一种基于注意力机制的回环检测方法
CA3185810A1 (en) Systems and methods for augmented or mixed reality writing
JP2023527615A (ja) 目標対象検出モデルのトレーニング方法、目標対象検出方法、機器、電子機器、記憶媒体及びコンピュータプログラム
CN111862031B (zh) 一种人脸合成图检测方法、装置、电子设备及存储介质
Jin et al. Depth-aware gaze-following via auxiliary networks for robotics
JP2022020588A (ja) アクティブインタラクションの方法、装置、電子デバイス及び可読記憶媒体
CN114550313B (zh) 图像处理方法、神经网络及其训练方法、设备和介质
CN112200169B (zh) 用于训练模型的方法、装置、设备以及存储介质
WO2021104274A1 (zh) 图文联合表征的搜索方法、系统、服务器和存储介质
CN110738261B (zh) 图像分类和模型训练方法、装置、电子设备及存储介质
KR102510047B1 (ko) 관절 가동 각도 범위를 이용한 동작 인식의 노이즈를 필터링하는 전자 장치의 제어 방법
CN118365509B (zh) 一种面部图像生成方法和相关装置
CN113538537B (zh) 图像配准、模型训练方法、装置、设备、服务器及介质
CN113378773B (zh) 手势识别方法、装置、设备、存储介质以及程序产品

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210414

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220406

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220816

R150 Certificate of patent or registration of utility model

Ref document number: 7126586

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150