JP2018200690A - 情報処理方法及び情報処理装置 - Google Patents

情報処理方法及び情報処理装置 Download PDF

Info

Publication number
JP2018200690A
JP2018200690A JP2018098477A JP2018098477A JP2018200690A JP 2018200690 A JP2018200690 A JP 2018200690A JP 2018098477 A JP2018098477 A JP 2018098477A JP 2018098477 A JP2018098477 A JP 2018098477A JP 2018200690 A JP2018200690 A JP 2018200690A
Authority
JP
Japan
Prior art keywords
facial
model
information processing
dimensional
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2018098477A
Other languages
English (en)
Inventor
ミアオ・チエヌウエヌ
Qianwen Miao
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JP2018200690A publication Critical patent/JP2018200690A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】本発明は、情報処理方法及び情報処理装置を提供する。【解決手段】該情報処理方法は、人物の顔面を含む２次元画像中の第一組特徴点及び平均顔面３次元モデル中の第二組特徴点間の対応関係に基づいて、形状パラメータ及び表情パラメータのうちの少なくとも１つを計算し；及び、前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを用いて顔面形状変化モデルを構成し、前記２次元画像中の顔面に対応する特定３次元モデルを得ることを含む。【選択図】図３

Description

本発明は、情報処理技術に関し、具体的には、人物顔画像を処理する方法及び装置に関する。
今のところ、人物顔画像処理技術、例えば、人物顔認識、人物顔画像エンハンスメント（enhancement）などが幅広く応用されている。画像中の人物顔が人物の容貌に関係するだけでなく、他の要因、例えば、人物の表情や姿態にも関係するので、人物顔画像から顔面表情又は顔面姿態を抽出することは、人物顔画像エンハンスメントにとって非常に有用である。
よって、人物の表情又は姿態を用いた人物顔画像処理技術が望ましい。
本発明の目的は、人物顔画像を処理するための方法及び装置を提供することにある。
本発明の一側面によれば、情報処理方法が提供され、それは、人物の顔面を含む２次元画像中の第一組特徴点及び平均顔面３次元モデル中の第二組特徴点間の対応関係に基づいて、形状パラメータ及び表情パラメータのうちの少なくとも１つを計算し；及び、前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを用いて顔面形状変化モデルを構成し、前記２次元画像中の顔面に対応する特定３次元モデルを得ることを含む。
本発明の他の側面によれば、情報処理方法が提供され、それは、中性表情を有する複数の第一顔面モデルに基づいて、平均顔面モデル及び形状特徴を計算し；前記複数の第一顔面モデルと、非中性表情を有する複数の第二顔面モデルとの差に基づいて、表情特徴を計算し；及び、前記平均顔面モデル、前記形状特徴及び前記表情特徴を用いて、顔面形状変化モデルを構成することを含む。
本発明の他の側面によれば、情報処理装置が提供され、それは、処理回路を含み、前記処理回路は、上述の情報処理方法を実行するように構成される。
顔面形状変化モデルを得るための処理を示す図である。 顔面形状変化モデルを得るための処理のフローチャートである。 人物顔２次元画像に基づいて人物顔３次元モデルを形成するための処理のフローチャートである。 人物顔３次元モデルを用いて人物顔２次元画像に対してエンハンスメントを行う一例のフローチャートである。 人物顔３次元モデルを用いて人物顔２次元画像に対してエンハンスメントを行う他の例のフローチャートである。 コンピュータハードウェアの構成図である。
以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本発明を限定するものでない。
図1は、顔面形状変化モデルを得るための処理を示す図である。データベースに、中性表情を有する複数の人物顔３次元モデルSid及び非中性表情を有する複数の人物顔３次元モデルSexpを含む複数の人物顔３次元（3D）モデルが予め記憶されているとする。非中性表情は、中性表情以外の全ての表情を含む。また、任意の１つの非中性表情の人物顔３次元モデルSexpは、それに対応する中性表情３次元モデルSidを有する。ここで言う“対応する”とは、両者が同一人物の顔の３次元モデルであるが、表情が異なることを指す。
顔面形状変化モデルを得る処理では、まず、データベースに記憶の複数の中性表情の人物顔３次元モデルSidに基づいて、平均人物顔モデルSaを計算し、その後、算出された平均人物顔モデルSa及び該複数の中性表情の人物顔３次元モデルSidを用いて、中性表情特徴空間の特徴ベクトルAidを取得する。中性表情特徴空間の特徴ベクトルAidは、中性表情を有する人物顔３次元モデルに対応する。
また、データベースに記憶の複数の中性表情３次元モデルSid及び複数の非中性表情３次元モデルSexpに基づいて、非中性表情特徴空間の特徴ベクトルAexpを取得する。非中性表情特徴空間の特徴ベクトルAexpは、非中性表情を有する人物顔３次元モデルに対応する。
その後、得られた特徴ベクトルAid及びAexpを用いて、顔面形状変化モデルを形成することができる。顔面形状変化モデルは、基礎モデルであり、該モデルを調整することで、異なる人物顔３次元モデルを得ることができる。以下、図2に基づいて、顔面形状変化モデルを得るための処理を詳しく説明する。
図2に示すように、まず、ステップS201において、以下の公式（1）により、データベースに記憶の複数の中性表情３次元モデルSid（サンプル集とも言う）に基づいて、平均人物顔モデルSaを計算する。
Figure 2018200690
ここで、Sid,iは、第i個目の中性表情３次元モデルSid、即ち、第i個目のサンプルを表し、且つi=1,2,…,mであり、αiは、第i個目の中性表情３次元モデルのための加重係数（weighting coefficient）を表し、例えば、αiは、1/mであっても良い。
ステップS202において、PCA（Principal Component Analysis）により、算出された平均人物顔モデルSa及び複数の中性表情３次元モデルSidに基づいて、中性表情特徴空間の特徴ベクトルAidを計算する。PCAの原理は、１つの特徴ベクトル行列を用いて、１つの高次元ベクトルを１つの低次元のベクトル空間に投影し、１つの低次元のベクトルとして表し、且つ僅かな副次的な情報を失うということである。言い換えると、低次元ベクトル及び特徴ベクトル行列を用いることで、オリジナルな高次元ベクトルを再構成することができる。なお、PCAは、当業者に既知であるため、その詳しい説明は、省略される。人物顔画像処理では、特徴ベクトル行列は特徴空間とも称される。
上述のように、公式（1）により平均人物顔モデルSaを得ているため、次に、以下の公式（2）により、サンプル集の共分散行列（covariance matrix）を計算する。
Figure 2018200690
その後、共分散行列の特徴ベクトル及び対応する特徴値を計算する。これらの特徴ベクトルからなる特徴ベクトル行列は、人物顔空間の直交基底（orthonormal basis）であり、それらの線形組み合わせを用いて、サンプル集の中の任意の中性表情３次元モデルを再構成することができる。
その後、算出された特徴値を降順で並べ替え、前の所定数の特徴値に対応する特徴ベクトルにより主成分を形成し、そして、主成分により次元削減（dimensionality reduction）の特徴サブ空間を形成し、これにより、任意の人物顔画像（高次元ベクトル）は、該特徴サブ空間に投影して低次元ベクトルを得ることができる。このような方式で得られた主成分は、中性表情特徴空間の特徴ベクトルAidである。
同様に、ステップS203において、PCAにより）、非中性表情３次元モデルSexp及びそれに対応する中性表情３次元モデルSidに基づいて、非中性表情特徴空間の特徴ベクトルAexpを計算することができる。
その後、ステップS204において、算出された特徴ベクトルAid及びAexpを用いて、顔面形状変化モデルSbを形成することができる。具体的には、以下の公式（3）に示す通りである。
Figure 2018200690
顔面形状変化モデルSbは、基礎モデルであり、それに特定人物顔のユニークな特徴を適用することで、例えば、特定の人物顔の特徴を用いて公式（3）中の特徴ベクトルAid及びAexpに対して加重を行うことで、該特定人物顔に対応する人物顔３次元モデルを生成することができる。
以下、図3を用いて、人物顔２次元画像に基づいて人物顔３次元モデルを形成する処理を説明する。図3に示すように、まず、ステップS301において、人物顔上の一組の検出位置に基づいて、それぞれ、人物顔２次元画像及び上述のように得られた平均人物顔モデルSaの中で、各自の一組の特徴点を検出する。なお、人物顔の特徴点検出は、当業者に既知の任意の技術を採用しても良く、本発明は、これについて限定しない。
ステップS302において、それぞれ検出された２組の特徴点を用いてフィッティング（あてはめ）を行う。例えば、２組の特徴点間の対応関係に基づいて、第一組特徴点のうちの各特徴点と、第二組特徴点のうちの対応する特徴点との間の距離が最小であるようにさせる方式で、形状加重パラメータαid、表情加重パラメータαexp、及びカメラ較正（calibration）パラメータを、以下の公式（4）のように計算することができる。本文では、対応する特徴点とは、人物顔上の同一検出位置（例えば、左眼、鼻など）について、人物顔２次元画像及び平均人物顔モデルSa中でそれぞれ検出された２つの特徴点を指す。
Figure 2018200690
公式（4）では、tは、変換ベクトルであり、f及びRは、カメラ較正パラメータを示し、P2Dは、人物顔２次元画像上で検出された特徴点であり、P2Dtは、次のような２次元画像上でのP2Dに対応する特徴点であり、即ち、平均人物顔モデルSaにカメラ較正パラメータを適用した後にそれを２次元空間にマッピングすることで得られた２次元画像である。
カメラ較正パラメータは、縮拡（縮小・拡大）係数f及び回転行列R(α,β,γ)を含み、ここで言う縮拡係数fは、人物顔３次元モデルのサイズを調整するために用いられ、α,β,γは、それぞれ、人物顔３次元モデルのピッチ角、ヨー角及びロール角を表す。よって、カメラ較正パラメータは、人物顔３次元モデルの縮拡比率及び姿態を限定することで、再構成された人物顔３次元モデルと２次元画像中の人物顔がサイズ及び姿態の面でマッチングするようにさせることができる。
公式（4）により計算された形状加重パラメータαid及び表情加重パラメータαexpは、２次元画像中の人物顔の、平均人物顔に対してのユニークな特徴を表し、相貌の面でのユニークな特徴（αid）及び表情の面でのユニークな特徴（αexp）を含む。
その後、ステップS303において、算出された形状加重パラメータαid及び表情加重パラメータαexpを用いて、図2中の処理により得られた顔面形状変化モデルSbを構成する。具体的に言えば、それぞれ、形状加重パラメータαid及び表情加重パラメータαexpを用いて、中性表情特徴空間の特徴ベクトルAid及び非中性表情特徴空間の特徴ベクトルAexpに対して加重を行い、これにより、２次元画像中の人物顔に対応する３次元モデルSを、以下の公式（5）に示すように得ることができる。
Figure 2018200690
得られた３次元モデルSは、２次元画像中の人物顔と同じ相貌及び表情を有する。このときに、形成された３次元モデルSに対してステップS302で得られたカメラ較正パラメータをさらに適用することで、該３次元モデルが相貌及び表情の面において２次元画像中の人物顔にマッチングし、且つ、サイズ及び姿態の面においても２次元画像中の人物顔にマッチングするようにさせることができる。
なお、先にカメラ較正パラメータを用いて顔面形状変化モデルSbの縮拡比率及び姿態を調整し、その後に形状加重パラメータαid及び表情加重パラメータαexpを用いて、カメラ較正を受けた顔面形状変化モデルSbを構成しても良い。このような処理による結果は、上述のステップS303による結果と同じである。
これにより、人物顔を含む２次元画像に基づいて、該人物顔に対応する人物顔３次元モデルを再形成することができる。
図4は、人物顔３次元モデルを用いて人物顔２次元画像に対してエンハンスメント（拡張）を行う一例を示す。図4に示すように、ステップS401において、一組の検出位置に基づいて、それぞれ、特定人物顔を含む２次元画像及び平均人物顔モデルSaのうちから特徴点を検出する。ステップS402において、それぞれ検出された２組の特徴点を用いて特徴点フィッティングを行い、これにより、形状加重パラメータαid、表情加重パラメータαexp、及びカメラ較正パラメータを計算する。その後、ステップS403において、得られた形状加重パラメータαid及び表情加重パラメータαexpを用いて、それぞれ、中性表情特徴空間の特徴ベクトルAid及び非中性表情特徴空間の特徴ベクトルAexpに対して加重を行い、且つカメラ較正パラメータを用いて縮拡比率及び姿態を調整し、これにより、２次元画像中の人物顔に対応する３次元モデルSを取得する。ステップS401〜S403は、図3中のステップS301〜S303と同じであるから、ここでは、その詳しい説明を省略する。
その後、ステップS404において、表情加重パラメータαexpを修正し、そして、修正後の表情加重パラメータを用いて顔面形状変化モデルSbを構成し、これにより、修正後の人物顔３次元モデルを取得する。該修正後の人物顔３次元モデルは、オリジナルな表情と異なる表情を有するが、人物顔の相貌が変わらない。α′expで修正後の表情加重パラメータを示すとすると、修正後の人物顔３次元モデルS′は、以下の公式（6）により表すことができる。
Figure 2018200690
特に、他の人物の２次元画像のうちから抽出された表情特徴に基づいて、表情加重パラメータαexpを修正し、これにより、修正後の人物顔３次元モデルS′に該他の人物の表情を持たせることができる。言い換えると、他の人物の表情を用いて該人物顔３次元モデルを駆動することができる（他の人物の表情を該人物顔３次元モデルに適用することができる）。
その後、ステップS405において、修正後の３次元モデルS′を２次元画像にマッピングし、これにより、新しい人物顔２次元画像を取得し、新しい２次元画像に含まれる人物顔は、オリジナルな２次元画像中の人物表情と異なる表情を有する。修正後の３次元モデルS′を用いて新しい人物顔２次元画像I2Dを得る処理は、以下の公式（7）で表すことができる。
Figure 2018200690
ここで、Pは、投影行列であり、tは、変換ベクトルである。なお、人物顔３次元モデルを２次元画像にマッピングする処理は、当業者に既知の任意の方法を採用しても良く、本発明は、これについて限定しない。
上述のように、本例では、オリジナルな人物顔２次元画像に基づいて、３次元モデルを形成することで、より多くの異なる表情を有する人物顔画像を生成し、これにより、オリジナルな人物顔画像に対して拡張を行うことができる。
以下、図5をもとに、人物顔３次元モデルを用いて人物顔２次元画像に対してエンハンスメント（拡張）を行う他の例を示す。図5に示すように、ステップS501において、一組の検出位置に基づいて、それぞれ、特定人物顔を含む２次元画像及び上述のように得られた平均人物顔モデルSaの中で特徴点を検出する。その後、ステップS502において、それぞれ検出された２組の特徴点を基づいて、フィッティングにより、形状加重パラメータαid、表情加重パラメータαexp、及びカメラ較正パラメータを取得する。その後、ステップS503において、得られた形状加重パラメータαid及び表情加重パラメータαexpを用いて、２次元画像中の人物顔に対応する３次元モデルを、上述の公式（5）に示すように形成する。なお、ステップS503で形成された人物顔３次元モデルは、カメラ較正を受けた３次元モデルであっても良い。ステップS501〜S503は、図3中のステップS301〜S303と同じであるため、ここでは、その詳しい説明を省略する。
ステップS504において、表情加重パラメータαexpを修正し、これにより、新しい表情を有する修正後の人物顔３次元モデルS′を、上述の公式（6）に示すように取得する。
続いて、ステップS505において、さらにカメラ較正パラメータに対して修正を行っても良く、例えば、縮拡係数及び回転行列のうちの１つ、又は２つすべてを修正しても良い。回転行列については、例えば、ピッチ角、ヨー角及びロール角（α,β,γ）のうちの１つ又は複数を修正しても良い。以下、f′で修正後の縮拡係数を示し、R′（α,β,γ）で修正後の回転行列を示すとする。
ステップS506において、修正後のカメラ較正パラメータを用いて修正後の人物顔３次元モデルS′を構成し、そして、３次元モデルを２次元画像にマッピングする。得られた２次元画像I2Dは、以下の公式（8）に示す通りである。
Figure 2018200690
ここで、Pは、投影行列であり、tは、変換ベクトルである。公式（8）に基づいて生成された人物顔２次元画像I2Dは、オリジナルな２次元画像中の人物顔と異なる表情、サイズ及び姿態を有しても良い。
なお、図5のステップS504及びS505においてこの順で表情加重パラメータ及びカメラ較正パラメータを修正したが、この２つのステップの実行順序は、図示と異なっても良い。例えば、先にカメラ較正パラメータを修正し、それから表情加重パラメータを修正しても良い。また、本例では、ステップS504は、オプションであり、即ち、表情加重パラメータを修正する処理ステップを省略しても良い。このような場合、生成された新しい人物顔２次元画像は、オリジナルな２次元画像中の人物と異なるサイズ又は姿態のみを有する。
上述のように、本例では、人物顔３次元モデルを形成することで、異なるサイズ又は姿態又は表情を有する２次元画像を生成し、これにより、オリジナルな人物顔２次元画像に対しての拡張を実現することができる。
本発明は、人物顔２次元画像に基づいて人物顔３次元モデルを形成する方法、及び、形成された３次元モデルを用いて新しい表情及び／又は姿態を有する人物顔２次元画像を生成することでオリジナルな２次元画像に対してエンハンスメント（又は、拡張）を行う方法を提供する。初期設定完成後に、このような方法は、完全に自動で実行することができ、即ち、手動操作が不要である。よって、本発明は、自動で大量の人物顔画像を生成する必要がある応用シナリオに適用することができる。例えば、本発明は、畳み込みニューラルネットワーク（CNN）の訓練（トレーニング）のために、異なる表情及び姿態を有する大量の訓練画像を自動で生成することができ。このような訓練により得られたCNNは、人物顔表情及び姿態の変化に非常に強い（より高いロバスト性を有する）。
上述の実施例に説明した各種の処理は、ソフトウェア、ハードウェア、又はソフトウェアとハードウェアとの組み合わせにより実現することができる。ソフトウェアに関連するプログラムは、予め装置の内部又は外部に設置された記憶媒体に記憶することができる。一例として、実行するときに、これらのプログラムは、RAMに記憶されて処理器（例えば、CPU）により実行されることにより、上述の実施例に説明した方法及び処理を実現することができる。本発明は、このようなプログラムコード、プログラムプロダクト、及び該プログラムコードを記憶したコンピュータ可読記憶媒体も含む。
図6は、プログラムに基づいて本発明の方法を実行し得るコンピュータハードウェアの構成例を示す。
コンピュータ600では、CPU 601、ROM 602、及びRAM 603がバス604により接続される。
I／Oインターフェース605がさらにバス604に接続される。I／Oインターフェース605には、次のようなものが接続され、即ち、キーボード、マウス、マイクなどにより形成された入力ユニット606、表示器、スピーカーなどにより形成された出力ユニット607、ハードディスク、不揮発性記憶器などにより形成された記憶ユニット608、ネットワークインターフェースカード（例えば、LANカード、モデムなど）により形成された通信ユニット609、取り外し可能な媒体611を駆動するドライブ610であり、また、該取り外し可能な媒体611は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体記憶器である。
上述のような構成を有するコンピュータでは、CPU 601は、記憶ユニット608に記憶のプログラムをI／Oインターフェース605及びバス604を経由してRAM 603にロードし、且つ該プログラムを実行することにより、上述の処理を行うことができる。
コンピュータ（CPU 601）により実行されるプログラムは、パッケージメディアとしての取り外し可能な媒体611に記憶することができ、該パッケージメディアは、例えば、磁気ディスク（フロッピーディスクを含む）、光ディスク（CD-ROM、DVDなどを含む）、光磁気ディスク、又は半導体記憶器により形成することができる。また、コンピュータ（CPU 601）により実行されるプログラムは、例えば、LAN、インターネット、又は、他の有線又は無線ネットワークから提供されても良い。
取り外し可能な媒体611がドライブ610にセットされているときに、I／Oインターフェース605を経由して記憶ユニット608にプログラムをインストールすることができる。また、有線又は無線ネットワークを経由して通信ユニット609によりプログラムを受信し、そして、該プログラムを記憶ユニット608にインストールすることができる。或いは、プログラムを予めROM 602又は記憶ユニット608に記憶することができる。
また、コンピュータにより実行されるプログラムは、本明細書に説明の順序で処理を実行するプログラムであっても良く、又は、処理を並列に実行するプログラムであっても良い、又は、必要に応じて（例えば、コールされるときに）処理を実行するプログラムであっても良い。
また、上述の各実施例に関し、さらに次のような付記を開示する。
（付記1）
情報処理方法であって、
人物の顔面を含む２次元画像中の第一組特徴点及び平均顔面３次元モデル中の第二組特徴点間の対応関係に基づいて、形状パラメータ及び表情パラメータのうちの少なくとも１つを計算し；及び
前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを用いて顔面形状変化モデルを構成し、前記２次元画像中の顔面に対応する特定３次元モデルを得ることを含む、方法。
（付記2）
付記1に記載の情報処理方法であって、
修正された表情パラメータを用いて前記顔面形状変化モデルを構成し、もう１つの表情を有する特定３次元モデルを得ることをさらに含む、方法。
（付記3）
付記1に記載の情報処理方法であって、
前記第一組特徴点及び前記第二組特徴点間の対応関係に基づいて、前記第一組特徴点のうちの各特徴点と前記第二組特徴点のうちの対応する特徴点との間の距離が最小であるように前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを計算することをさらに含む、方法。
（付記4）
付記1に記載の情報処理方法であって、
前記顔面形状変化モデルは、形状特徴及び表情特徴を含み、
前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを用いて顔面形状変化モデルを構成することは、
前記形状パラメータを用いて前記顔面形状変化モデルの形状特徴に対して加重を行い；及び／又は
前記表情パラメータを用いて前記顔面形状変化モデルの表情特徴に対して加重を行うことを含む、方法。
（付記5）
付記1に記載の情報処理方法であって、
前記第一組特徴点及び前記第二組特徴点間の対応関係に基づいて、カメラ較正パラメータを計算することをさらに含む、方法。
（付記6）
付記5に記載の情報処理方法であて、
前記第一組特徴点及び前記第二組特徴点間の対応関係に基づいて、前記第一組特徴点のうちの各特徴点と前記第二組特徴点のうちの対応する特徴点との間の距離が最小であるように前記カメラ較正パラメータを計算することをさらに含む、方法。
（付記7）
付記5に記載の情報処理方法であって、
前記カメラ較正パラメータを用いて、前記特定３次元モデルの姿態及び縮拡比率のうちの少なくとも１つを構成し、前記特定３次元モデルが前記２次元画像中の顔面に対応するようにさせることをさらに含む、方法。
（付記8）
付記7に記載の情報処理方法であって、
修正されたカメラ較正パラメータを用いて前記特定３次元モデルを構成し、もう１つの姿態又は縮拡比率を有する特定３次元モデルを得ることをさらに含む、方法。
（付記9）
情報処理方法であって、
中性表情を有する複数の第一顔面モデルに基づいて、平均顔面モデル及び形状特徴を計算し；
前記複数の第一顔面モデル、及び非中性表情を有する複数の第二顔面モデルに基づいて、表情特徴を計算し；及び
前記平均顔面モデル、前記形状特徴及び前記表情特徴を用いて、顔面形状変化モデルを形成することを含む、方法。
（付記10）
情報処理装置であって、
処理回路を含み、
前記処理回路は、付記1〜9のうちの任意の１項に記載の方法を実行するように構成される、装置。
（付記11）
プログラムを記憶したコンピュータ可読記憶媒体であって、
前記プログラムは、実行されるときに、コンピュータに、付記1〜9のうちの任意の１項に記載の方法を実行させる、記憶媒体。
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の技術的範囲に属する。

Claims (10)

  1. 情報処理方法であって、
    人物の顔面を含む２次元画像中の第一組特徴点と、平均顔面３次元モデル中の第二組特徴点との間の対応関係に基づいて、形状パラメータ及び表情パラメータのうちの少なくとも１つを計算し；及び
    前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを用いて顔面形状変化モデルを構成し、前記２次元画像中の顔面に対応する特定３次元モデルを得ることを含む、方法。
  2. 請求項1に記載の情報処理方法であって、
    修正された表情パラメータを用いて前記顔面形状変化モデルを構成し、もう１つの表情を有する特定３次元モデルを得ることをさらに含む、方法。
  3. 請求項1に記載の情報処理方法であって、
    前記第一組特徴点と前記第二組特徴点との間の対応関係に基づいて、前記第一組特徴点のうちの各特徴点と、前記第二組特徴点のうちの対応する特徴点との間の距離が最小であるように前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを計算することをさらに含む、方法。
  4. 請求項1に記載の情報処理方法であって、
    前記顔面形状変化モデルは、形状特徴及び表情特徴を含み、
    前記形状パラメータ及び前記表情パラメータのうちの少なくとも１つを用いて顔面形状変化モデルを構成することは、
    前記形状パラメータを用いて前記顔面形状変化モデルの形状特徴に対して加重を行い；及び／又は
    前記表情パラメータを用いて前記顔面形状変化モデルの表情特徴に対して加重を行うことを含む、方法。
  5. 請求項1に記載の情報処理方法であって、
    前記第一組特徴点と前記第二組特徴点との間の対応関係に基づいて、カメラ較正パラメータを計算することをさらに含む、方法。
  6. 請求項5に記載の情報処理方法であて、
    前記第一組特徴点と前記第二組特徴点との間の対応関係に基づいて、前記第一組特徴点のうちの各特徴点と、前記第二組特徴点のうちの対応する特徴点との間の距離が最小であるように前記カメラ較正パラメータを計算することをさらに含む、方法。
  7. 請求項5に記載の情報処理方法であって、
    前記カメラ較正パラメータを用いて、前記特定３次元モデルの姿態及び縮拡比率のうちの少なくとも１つを構成し、前記特定３次元モデルが前記２次元画像中の顔面に対応するようにさせることをさらに含む、方法。
  8. 請求項7に記載の情報処理方法であって、
    修正されたカメラ較正パラメータを用いて前記特定３次元モデルを構成し、もう１つの姿態又は縮拡比率を有する特定３次元モデルを得ることをさらに含む、方法。
  9. 情報処理方法であって、
    中性表情を有する複数の第一顔面モデルに基づいて、平均顔面モデル及び形状特徴を計算し；
    前記複数の第一顔面モデル、及び非中性表情を有する複数の第二顔面モデルに基づいて、表情特徴を計算し；及び
    前記平均顔面モデル、前記形状特徴及び前記表情特徴を用いて、顔面形状変化モデルを形成することを含む、方法。
  10. 情報処理装置であって、
    処理回路を含み、
    前記処理回路は、請求項1〜9のうちの任意の１項に記載の方法を実行するように構成される、装置。
JP2018098477A 2017-05-27 2018-05-23 情報処理方法及び情報処理装置 Withdrawn JP2018200690A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710390426.6 2017-05-27
CN201710390426.6A CN108960020A (zh) 2017-05-27 2017-05-27 信息处理方法和信息处理设备

Publications (1)

Publication Number Publication Date
JP2018200690A true JP2018200690A (ja) 2018-12-20

Family

ID=64401657

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018098477A Withdrawn JP2018200690A (ja) 2017-05-27 2018-05-23 情報処理方法及び情報処理装置

Country Status (3)

Country Link
US (1) US10672195B2 (ja)
JP (1) JP2018200690A (ja)
CN (1) CN108960020A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210047920A (ko) * 2019-05-15 2021-04-30 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 얼굴 모델의 생성
KR20210085174A (ko) * 2019-12-30 2021-07-08 주식회사 하이퍼커넥트 랜드마크 데이터 분리 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR20210086905A (ko) * 2019-12-31 2021-07-09 주식회사 하이퍼커넥트 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체
WO2021166010A1 (ja) * 2020-02-17 2021-08-26 三菱電機株式会社 頭部姿勢推定装置および頭部姿勢推定方法

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10643063B2 (en) * 2018-04-09 2020-05-05 Qualcomm Incorporated Feature matching with a subspace spanned by multiple representative feature vectors
WO2020042975A1 (zh) * 2018-08-27 2020-03-05 阿里巴巴集团控股有限公司 人脸姿态估计/三维人脸重构方法、装置及电子设备
US11151362B2 (en) * 2018-08-30 2021-10-19 FaceValue B.V. System and method for first impression analysis and face morphing by adjusting facial landmarks using faces scored for plural perceptive traits
US10783704B2 (en) * 2018-09-27 2020-09-22 Disney Enterprises, Inc. Dense reconstruction for narrow baseline motion observations
CN111340932A (zh) * 2018-12-18 2020-06-26 富士通株式会社 图像处理方法以及信息处理设备
CN109978996B (zh) * 2019-03-28 2021-06-11 北京达佳互联信息技术有限公司 生成表情三维模型的方法、装置、终端及存储介质
CN110232715B (zh) * 2019-05-08 2021-11-19 奥比中光科技集团股份有限公司 一种多深度相机自校准的方法、装置及系统
CN110177205A (zh) * 2019-05-20 2019-08-27 深圳壹账通智能科技有限公司 终端设备、基于微表情的拍照方法及计算机可读存储介质
CN110310318B (zh) * 2019-07-03 2022-10-04 北京字节跳动网络技术有限公司 一种特效处理方法及装置、存储介质与终端
CN110399825B (zh) * 2019-07-22 2020-09-29 广州华多网络科技有限公司 面部表情迁移方法、装置、存储介质及计算机设备
CN110458223B (zh) * 2019-08-06 2023-03-17 湖南省华芯医疗器械有限公司 一种内镜下支气管肿瘤自动检测方法及检测系统
CN110659565B (zh) * 2019-08-15 2021-12-03 电子科技大学 一种基于带孔卷积的3d多人人体姿态估计方法
EP4072403A1 (en) 2019-12-11 2022-10-19 QuantiFace GmbH Method and system to provide a computer-modified visualization of the desired face of a person
WO2021115797A1 (en) 2019-12-11 2021-06-17 QuantiFace GmbH Generating videos, which include modified facial images
CN112308957B (zh) * 2020-08-14 2022-04-26 浙江大学 一种基于深度学习的最佳胖瘦人脸肖像图像自动生成方法
US11461970B1 (en) * 2021-03-15 2022-10-04 Tencent America LLC Methods and systems for extracting color from facial image

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201023092A (en) * 2008-12-02 2010-06-16 Nat Univ Tsing Hua 3D face model construction method
US8204301B2 (en) * 2009-02-25 2012-06-19 Seiko Epson Corporation Iterative data reweighting for balanced model learning
US8478077B2 (en) * 2011-03-20 2013-07-02 General Electric Company Optimal gradient pursuit for image alignment
US20120321134A1 (en) * 2011-06-15 2012-12-20 Samsung Electornics Co., Ltd Face tracking method and device
US9123144B2 (en) * 2011-11-11 2015-09-01 Microsoft Technology Licensing, Llc Computing 3D shape parameters for face animation
US9881203B2 (en) * 2013-08-29 2018-01-30 Nec Corporation Image processing device, image processing method, and program
US9317954B2 (en) * 2013-09-23 2016-04-19 Lucasfilm Entertainment Company Ltd. Real-time performance capture with on-the-fly correctives
US20160070952A1 (en) * 2014-09-05 2016-03-10 Samsung Electronics Co., Ltd. Method and apparatus for facial recognition
KR101997500B1 (ko) * 2014-11-25 2019-07-08 삼성전자주식회사 개인화된 3d 얼굴 모델 생성 방법 및 장치
US20170069124A1 (en) * 2015-04-07 2017-03-09 Intel Corporation Avatar generation and animations
JP6754619B2 (ja) * 2015-06-24 2020-09-16 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 顔認識方法及び装置
KR102285376B1 (ko) * 2015-12-01 2021-08-03 삼성전자주식회사 3d 얼굴 모델링 방법 및 3d 얼굴 모델링 장치

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210047920A (ko) * 2019-05-15 2021-04-30 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 얼굴 모델의 생성
KR102523512B1 (ko) 2019-05-15 2023-04-18 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드 얼굴 모델의 생성
US11836943B2 (en) 2019-05-15 2023-12-05 Beijing Sensetime Technology Development Co., Ltd. Virtual face model creation based on key point
KR20210085174A (ko) * 2019-12-30 2021-07-08 주식회사 하이퍼커넥트 랜드마크 데이터 분리 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR102422778B1 (ko) 2019-12-30 2022-07-20 주식회사 하이퍼커넥트 랜드마크 데이터 분리 장치, 방법 및 컴퓨터 판독 가능한 기록 매체
KR20210086905A (ko) * 2019-12-31 2021-07-09 주식회사 하이퍼커넥트 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체
KR102422779B1 (ko) * 2019-12-31 2022-07-21 주식회사 하이퍼커넥트 랜드마크 분리 장치, 방법 및 컴퓨터 판독 가능한 기록매체
WO2021166010A1 (ja) * 2020-02-17 2021-08-26 三菱電機株式会社 頭部姿勢推定装置および頭部姿勢推定方法
JPWO2021166010A1 (ja) * 2020-02-17 2021-08-26
JP7254238B2 (ja) 2020-02-17 2023-04-07 三菱電機株式会社 頭部姿勢推定装置および頭部姿勢推定方法

Also Published As

Publication number Publication date
US10672195B2 (en) 2020-06-02
CN108960020A (zh) 2018-12-07
US20180342110A1 (en) 2018-11-29

Similar Documents

Publication Publication Date Title
JP2018200690A (ja) 情報処理方法及び情報処理装置
JP7198332B2 (ja) 画像正則化及びリターゲティングシステム
US20220392491A1 (en) Real time video processing for changing proportions of an object in the video
JP6584629B2 (ja) 顔の位置合わせのための方法
JP5406705B2 (ja) データ補正装置及び方法
US9443325B2 (en) Image processing apparatus, image processing method, and computer program
JP2021535499A (ja) 顔姿勢推定／３次元顔再構築方法、装置、及び電子デバイス
CN104123749A (zh) 一种图像处理方法及系统
JP2009020761A (ja) 画像処理装置及びその方法
US20230169727A1 (en) Generative Nonlinear Human Shape Models
JP6387831B2 (ja) 特徴点位置検出装置、特徴点位置検出方法および特徴点位置検出プログラム
WO2020019915A1 (zh) 一种图像处理方法、装置和计算机存储介质
WO2015029287A1 (ja) 特徴点位置推定装置、特徴点位置推定方法および特徴点位置推定プログラム
US11769310B2 (en) Combining three-dimensional morphable models
JP2019197311A (ja) 学習方法、学習プログラム、および学習装置
US11176422B2 (en) Apparatus and system for unsupervised disentangled representation learning with a residual variational autoencoder
CN106558042A (zh) 一种对图像进行关键点定位的方法和装置
WO2015176502A1 (zh) 一种图像特征的估计方法和设备
CN109087240B (zh) 图像处理方法、图像处理装置及存储介质
US11893671B2 (en) Image regularization and retargeting system
US11893681B2 (en) Method for processing two-dimensional image and device for executing method
US20240013357A1 (en) Recognition system, recognition method, program, learning method, trained model, distillation model and training data set generation method
JP7161111B2 (ja) 重みマスク生成装置、重みマスク生成方法及びプログラム
CN113056744A (zh) 数据扩充
US20230057235A1 (en) Computer-readable recording medium storing determination program, determination device, and determination method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210210

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20211004