JP2015522200A - 人顔特徴点の位置決め方法、装置及び記憶媒体 - Google Patents
人顔特徴点の位置決め方法、装置及び記憶媒体 Download PDFInfo
- Publication number
- JP2015522200A JP2015522200A JP2015521969A JP2015521969A JP2015522200A JP 2015522200 A JP2015522200 A JP 2015522200A JP 2015521969 A JP2015521969 A JP 2015521969A JP 2015521969 A JP2015521969 A JP 2015521969A JP 2015522200 A JP2015522200 A JP 2015522200A
- Authority
- JP
- Japan
- Prior art keywords
- human face
- human
- positioning
- fitting
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2431—Multiple classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Ophthalmology & Optometry (AREA)
- Image Analysis (AREA)
Abstract
本発明は人顔特徴点の位置決め方法、装置及び記憶媒体に関する。本発明による人顔特徴点の位置決め方法は、人顔検出と人眼のマッチングを組み合わせて人顔位置を予備位置決めし、且つ予備位置決め情報を取得することと、予備位置決め情報に基づいて人顔特徴点のフィッティングを行うことと、フィッティング結果に基づいて人顔特徴点の位置決めを完成することと、を含む。本発明の有益な効果は、人顔検出と人眼のマッチングを同時に使用し、且つ予備位置決め情報に基づいてアピアランスモデルの少なくとも１つの特徴を組み合わせて、人顔の位置情報をより精確に位置決め、人顔特徴点の精確な位置決めを完成することにある。【選択図】図１
Description
本発明はインターネット技術分野に属し、特に人顔特徴点の位置決め方法、装置及び記憶媒体に関する。
人顔面部の特徴点の位置決めは人顔認識研究における鍵となる問題であり、グラフィックスとコンピュータビジョン分野における基本的な問題でもある。人顔特徴点の位置決めは、デジタル画像処理とパタン認識等の技術を用いて１つのビデオストリームに人顔検出を行い、且つ人顔のキーポイントを精確に位置決めして追跡する技術であり、目的は位置決めした人顔の特徴点によって口などの主要器官の形状情報を確定・研究することにある。
従来の技術では人顔検出技術によって位置決めを行うが、人顔検出結果によって位置決めされる人顔の初期位置の精度が低いため、人顔のキーポイントの位置決めが精確ではないことをもたらし、人顔のキーポイントフィッティングの失敗を引き起こしやすくなる。また、従来の技術が人顔特徴点のフィッティングアルゴリズムはＡＳＭ手法を用い、ＡＳＭ手法は形状情報のみを配慮するものであるため、正確率が高くない。
本発明は人顔特徴点の位置決め方法、装置及び記憶媒体を提供し、従来の技術において人顔のキーポイントの位置決めの不精確による人顔のキーポイントのフィッティング失敗且つフィッティング正確率が高くない問題を解決することを目的とする。
本発明は下記の通り実現される。人顔特徴点の位置決め方法であって、
人顔検出と人眼のマッチングを組み合わせて人顔位置の予備位置決めをし、且つ予備位置決め情報を取得するステップと、
予備位置決め情報に基づいて人顔特徴点のフィッティングを行うステップと、
フィッティング結果に基づいて人顔特徴点の位置決めを完成するステップと、を含む人顔特徴点の位置決め方法。
人顔検出と人眼のマッチングを組み合わせて人顔位置の予備位置決めをし、且つ予備位置決め情報を取得するステップと、
予備位置決め情報に基づいて人顔特徴点のフィッティングを行うステップと、
フィッティング結果に基づいて人顔特徴点の位置決めを完成するステップと、を含む人顔特徴点の位置決め方法。
本発明のもう一つの実施形態の技術方案は、下記の通りである。人顔特徴点の位置決め装置であって、人顔検出モジュール、特徴点フィッティングモジュール及び特徴点位置決めモジュールを備え、前記人顔検出モジュールが人顔検出技術と人眼のマッチング技術によって人顔位置を予備位置決めすることに用いられ、前記特徴点フィッティングモジュールが予備位置決め情報に基づいて人顔特徴点のフィッティングを行うことに用いられ、前記特徴点位置決めモジュールがフィッティング結果に基づいて人顔特徴点の位置決めを完成させる。
なお、本発明はコンピュータ実行可能な指令を含む記憶媒体をさらに提供し、該コンピュータ実行可能な指令は人顔特徴点の位置決め方法を実行することに用いられ、該人顔特徴点の位置決め方法は、
人顔検出と人眼のマッチングを組み合わせて人顔位置を予備位置決めし、且つ予備位置決め情報を取得するステップと、
予備位置決め情報に基づいて人顔特徴点のフィッティングを行うステップと、
フィッティング結果に基づいて人顔特徴点の位置決めを完成するステップと、を含む。
人顔検出と人眼のマッチングを組み合わせて人顔位置を予備位置決めし、且つ予備位置決め情報を取得するステップと、
予備位置決め情報に基づいて人顔特徴点のフィッティングを行うステップと、
フィッティング結果に基づいて人顔特徴点の位置決めを完成するステップと、を含む。
本発明の技術方案は下記の利点又は有益な効果を有する。本発明実施形態による人顔特徴点の位置決め方法、装置及び記憶媒体は、人顔検出技術と人眼のマッチング技術を組み合わせて人顔位置の予備位置決めをするため、人顔検出のみを用いる方法より人顔の位置情報をより精確に位置決めすることができ、予備位置決め情報に基づいて、グレイスケール、勾配、エッジ及び角点特徴を組み合わせてＩｎｖｅｒｓｅ Ｃｏｍｐｏｓｉｔｉｏｎａｌ法で人顔特徴点のフィッティングを行って人顔特徴点の精確な位置決めを完成させる。ＡＡＭモデルにおいて、ｘ、ｙ軸方向の勾配値及びエッジ、角点特徴等のアピアランスモデルを増加することにより、人顔特徴点のフィッティングをより精確にし、且つ既存のＡＡＭモデルフィッティング中で局所最小化になりやすく、及び耐干渉能力が悪い問題を有効に減らせる。
本発明の目的、技術方案及び利点を明らかに示すため、以下、図面及び実施形態を組み合わせて、本発明を更に詳しく説明する。理解すべきは、ここで述べた具体的な実施形態は本発明を説明するためのものだけであり、本発明は上記実施形態に限定されるものではない。
図１は、本発明第１実施形態による人顔特徴点の位置決め方法のフローチャートである。本発明第１実施形態による人顔特徴点の位置決め方法は下記ステップＳ１００〜Ｓ１２０を含み、
Ｓ１００は人顔検出と人眼のマッチングを組み合わせて人顔位置を予備位置決めするステップであり、
Ｓ１００において、本発明実施形態はカスケード型Ｈａｒｒ特徴分類器を用いて人顔を検出し、人顔の初期位置情報と初期の人顔の大きさの情報ｓを取得すると共に、人眼のマッチングアルゴリズムを用いて双眼の位置情報をマッチングするため、人顔検出方法のみを使用するのよりも位置決めがより精確である。
Ｓ１００は人顔検出と人眼のマッチングを組み合わせて人顔位置を予備位置決めするステップであり、
Ｓ１００において、本発明実施形態はカスケード型Ｈａｒｒ特徴分類器を用いて人顔を検出し、人顔の初期位置情報と初期の人顔の大きさの情報ｓを取得すると共に、人眼のマッチングアルゴリズムを用いて双眼の位置情報をマッチングするため、人顔検出方法のみを使用するのよりも位置決めがより精確である。
Ｓ１１０は予備位置決め情報及びＡＡＭ（アクティブアピアランスモデル）の少なくとも１つの特徴に基づいて人顔特徴点のフィッティングを行うステップであり、
Ｓ１１０において、ＡＡＭ（アクティブアピアランスモデル）の特徴がグレイスケール、勾配、エッジ及び角点等の特徴を含み、本発明実施形態はＡＡＭ手法と、グレイスケール値、ｘ、ｙ軸方向の勾配値、エッジ及び角点等の複数の特徴とを組み合わせて、ＡＡＭモデルのアピアランスモデルとすることにより、人顔特徴点のフィッティング位置をより精確にし、本発明実施形態において、Ｉｎｖｅｒｓｅ Ｃｏｍｐｏｓｉｔｉｏｎａｌ（逆合成）アルゴリズムを使用して人顔特徴点のフィッティングを行う。
Ｓ１１０において、ＡＡＭ（アクティブアピアランスモデル）の特徴がグレイスケール、勾配、エッジ及び角点等の特徴を含み、本発明実施形態はＡＡＭ手法と、グレイスケール値、ｘ、ｙ軸方向の勾配値、エッジ及び角点等の複数の特徴とを組み合わせて、ＡＡＭモデルのアピアランスモデルとすることにより、人顔特徴点のフィッティング位置をより精確にし、本発明実施形態において、Ｉｎｖｅｒｓｅ Ｃｏｍｐｏｓｉｔｉｏｎａｌ（逆合成）アルゴリズムを使用して人顔特徴点のフィッティングを行う。
Ｓ１２０はフィッティング結果に基づいて人顔特徴点の位置決めを完成するステップである。
Ｓ１２０において、人顔特徴点が位置決めされた後、人顔特徴点の位置に基づいて双眼の画像が得られ、次フレームの画像において、１つ後のフレーム画像内人眼探索ＲＯＩ領域（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔの略、画像処理用語の「注目領域」である）を確定し、且つＲＯＩ領域内において１つ前のフレーム画像中の人眼画像をテンプレートとし、画像マッチングアルゴリズムを使用して、現フレームにおける双眼の位置が得られ、ＲＯＩ領域の確定方法としては、ＲＯＩ領域の中心と人眼の中心が重なり、ｅｙｅ＿ｈｅｉｇｈｔ、ｅｙｅ＿ｗｉｄｔｈがそれぞれ人眼の高さと幅であり、ｒｏｉ＿ｈｅｉｇｈｔ、ｒｏｉ＿ｗｉｄｔｈがそれぞれ人眼探索ＲＯＩ領域の高さと幅であり、その中に、
ｒｏｉ＿ｈｅｉｇｈｔ＝α・ｅｙｅ＿ｈｅｉｇｈｔ、
ｒｏｉ＿ｗｉｄｔｈ＝β・ｅｙｅ＿ｗｉｄｔｈ、
α、βがＲＯＩ領域の大きさ制御係数であり、本技術方案ではα＝３、β＝２である。
ｒｏｉ＿ｈｅｉｇｈｔ＝α・ｅｙｅ＿ｈｅｉｇｈｔ、
ｒｏｉ＿ｗｉｄｔｈ＝β・ｅｙｅ＿ｗｉｄｔｈ、
α、βがＲＯＩ領域の大きさ制御係数であり、本技術方案ではα＝３、β＝２である。
本発明実施形態による人顔特徴点の位置決め方法は人顔検出技術と人眼のマッチング技術を組み合わせて人顔位置の予備位置決めをし、人顔検出のみを用いる方法より、人顔位置情報をより精確に位置決めすることができる。
図２は、本発明第２実施形態による人顔特徴点の位置決め方法のフローチャートである。本発明第２実施形態による人顔特徴点の位置決め方法は下記ステップＳ２００〜Ｓ２７０を含み、
Ｓ２００はビデオを入力し、前記ビデオにおいて対応する人顔画像情報を取得するステップであり、
Ｓ２１０は、１つ前のフレーム画像において人眼を検出したか否かを判断し、ＹＥＳであれば、Ｓ２２０を実行し、ＮＯであれば、Ｓ２４０を実行するステップであり、
Ｓ２１０において、本発明実施形態が人顔検出すると共に、人眼のマッチングアルゴリズムを使用して人眼のマッチングを行い、人顔検出方法のみを使用するよりも位置決めがより精確である。
Ｓ２００はビデオを入力し、前記ビデオにおいて対応する人顔画像情報を取得するステップであり、
Ｓ２１０は、１つ前のフレーム画像において人眼を検出したか否かを判断し、ＹＥＳであれば、Ｓ２２０を実行し、ＮＯであれば、Ｓ２４０を実行するステップであり、
Ｓ２１０において、本発明実施形態が人顔検出すると共に、人眼のマッチングアルゴリズムを使用して人眼のマッチングを行い、人顔検出方法のみを使用するよりも位置決めがより精確である。
Ｓ２２０は人眼ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔの略、画像処理用語の「注目領域」である）領域内で探索を行って、人眼の初期位置情報をマッチングするステップであり、
Ｓ２２０において、ＲＯＩ領域の確定方法としては、ＲＯＩ領域の中心と人眼の中心が重なり、ｅｙｅ＿ｈｅｉｇｈｔ、ｅｙｅ＿ｗｉｄｔｈがそれぞれ人眼の高さと幅であり、ｒｏｉ＿ｈｅｉｇｈｔ、ｒｏｉ＿ｗｉｄｔｈがそれぞれ人眼探索ＲＯＩ領域の高さと幅であり、詳細は図３を併せて参照し、図３は本発明の人眼探索ＲＯＩ領域の模式図である。中間にある比較的小さなフレーム内が左眼のピクチャであり、外部の比較的大きなフレーム内が左眼探索ＲＯＩ領域であり、その中で、
ｒｏｉ＿ｈｅｉｇｈｔ＝α・ｅｙｅ＿ｈｅｉｇｈｔ、
ｒｏｉ＿ｗｉｄｔｈ＝β・ｅｙｅ＿ｗｉｄｔｈ、
α、βはＲＯＩ領域の大きさ制御係数であり、本発明実施形態ではα＝３、β＝２であり、人眼のマッチングアルゴリズムは具体的に、下記の通りであり、Ｔ（ｘ,ｙ）を人眼画像とし、Ｉ（ｘ,ｙ）を探索ＲＯＩ領域とし、Ｒ（ｘ,ｙ）をマッチング結果画像とし、
であり、
その中で、マッチング結果画像Ｒ（ｘ,ｙ）は、最大値である時、ＲＯＩ領域Ｉ（ｘ,ｙ）と人眼画像Ｔ（ｘ,ｙ）においてベストマッチを取った位置である。
Ｓ２２０において、ＲＯＩ領域の確定方法としては、ＲＯＩ領域の中心と人眼の中心が重なり、ｅｙｅ＿ｈｅｉｇｈｔ、ｅｙｅ＿ｗｉｄｔｈがそれぞれ人眼の高さと幅であり、ｒｏｉ＿ｈｅｉｇｈｔ、ｒｏｉ＿ｗｉｄｔｈがそれぞれ人眼探索ＲＯＩ領域の高さと幅であり、詳細は図３を併せて参照し、図３は本発明の人眼探索ＲＯＩ領域の模式図である。中間にある比較的小さなフレーム内が左眼のピクチャであり、外部の比較的大きなフレーム内が左眼探索ＲＯＩ領域であり、その中で、
ｒｏｉ＿ｈｅｉｇｈｔ＝α・ｅｙｅ＿ｈｅｉｇｈｔ、
ｒｏｉ＿ｗｉｄｔｈ＝β・ｅｙｅ＿ｗｉｄｔｈ、
α、βはＲＯＩ領域の大きさ制御係数であり、本発明実施形態ではα＝３、β＝２であり、人眼のマッチングアルゴリズムは具体的に、下記の通りであり、Ｔ（ｘ,ｙ）を人眼画像とし、Ｉ（ｘ,ｙ）を探索ＲＯＩ領域とし、Ｒ（ｘ,ｙ）をマッチング結果画像とし、
であり、
その中で、マッチング結果画像Ｒ（ｘ,ｙ）は、最大値である時、ＲＯＩ領域Ｉ（ｘ,ｙ）と人眼画像Ｔ（ｘ,ｙ）においてベストマッチを取った位置である。
Ｓ２３０は人眼の初期位置情報に基づいてΑΑΜ人顔特徴点のフィッティングを行い、且つＳ２６０を実行するステップであり、
Ｓ２４０は人顔検出を行い、且つ人顔を検出したか否かを判断し、ＹＥＳであれば、Ｓ２５０を実行し、ＮＯであれば、改めてＳ２００を実行するステップであり、
Ｓ２４０において、本発明実施形態はカスケード型Ｈａｒｒ特徴分類器を使用して人顔を検出し、人顔の初期位置情報と初期の人顔の大きさの情報を取得する。
Ｓ２４０は人顔検出を行い、且つ人顔を検出したか否かを判断し、ＹＥＳであれば、Ｓ２５０を実行し、ＮＯであれば、改めてＳ２００を実行するステップであり、
Ｓ２４０において、本発明実施形態はカスケード型Ｈａｒｒ特徴分類器を使用して人顔を検出し、人顔の初期位置情報と初期の人顔の大きさの情報を取得する。
Ｓ２５０は人顔の初期位置情報（ｘ,ｙ）と初期の人顔の大きさの情報ｓを取得し、且つ人顔の初期位置と大きさの情報に基づいてグレイスケール値、人顔の初期位置ｘ、ｙ軸方向の勾配値、エッジ及び角点等の特徴を組み合わせてＡＡＭ人顔特徴点のフィッティングを行うステップであり、
Ｓ２５０において、初期位置と大きさの情報を取得した後、グレイスケール値、人顔の初期位置ｘ、ｙ軸方向の勾配値、エッジ及び角点等の特徴を組み合わせてＡＡＭのアピアランスモデルとし、人顔特徴点をフィッティングし、人顔特徴点のフィッティング位置をもっと精確的にする。アピアランスモデルはパラメータ化されたモデルであり、主成分分析により可変性対象の形状とテクスチャに統一モデリングを行い、且つ２ノルム最小化戦略を使用して未知対象をマッチングする。その中、人顔特徴点のＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ、動的形状モデル）がベクトルＳ＝｛ｘ１,ｙ１…ｘｎ,ｙｎ｝によって表示されることができ、ｘｉ、ｙｉが第ｉ個の点の位置座標であり、本発明実施形態において、８２個の人顔ラベルポイントを用い、詳細は図４を参照し、図４は本発明の人顔特徴点のラベルポイントの模式図である。ＡＡＭモデルをトレーニングして、一定量の人顔の表情画像を収集し、図４に示すように８２個の人顔の特徴点の位置座標を手動的にラベルして、人顔特徴点の座標ベクトルＳ＝（ｘ１,ｙ１,ｘ２,ｙ２…ｘ８２,ｙ８２）を得て、人顔特徴点の座標ベクトルにプロクラステス・アルゴリズムに基づいて幾何アライメントを行い、次にトレーニングデータにＰＣＡ（ｐｒｉｎｃｉｐｌｅ ｃｏｍｐｏｎｅｎｔｓ ａｎａｌｙｓｉｓ、主成分分析）学習を行って、
を得て、
その中で、Ｓ０は平均形状であり、Ｓｉは形状のＰＣＡベースであり、ｐｉはＰＣＡベースの係数であり、フィッティング過程で異なったｐｉが計算されると相応なＡＳＭ形状モデルのベクトルＳを得ることができる。、詳細は図５を併せて参照。図５は本発明の人顔特徴点形状モデルのモデリング方法のフローチャートである。本発明の人顔特徴点形状モデルのモデリング方法は下記ステップＳ２５１〜Ｓ２５８を含み、
Ｓ２５１において、すべての人顔特徴点の座標ベクトルに対し、平均値を除去し、重心座標系に移し、
Ｓ２５２において、１つのサンプルを初期の平均形状として選定し、且つ寸法を
であるように校正し、
Ｓ２５３において、初期推定の平均形状を
と表記し、且つこれを参照座標系とし、
Ｓ２５４において、すべてのトレーニングサンプルの特徴点座標ベクトルをアフィン変換によってカレントの平均形状に校正し、
Ｓ２５５において、校正されたすべてのサンプルに対して平均形状を改めて計算し、
Ｓ２５６において、カレントの平均形状を
に校正し、且つ
であるようにさせ、
Ｓ２５７において、校正した後の平均形状が所定閾値より大きいか否かを判断し、ＹＥＳであれば、改めてＳ２５４を実行し、ＮＯであれば、Ｓ２５８を実行し、
Ｓ２５８において、ＰＣＡ方法によって位置を合わせたサンプルに対し、統計形状モデリングを行って、
を得て、
ＡＳＭ形状モデルが囲む領域内の点を平均形状にマッピングし、ＡＡＭアピアランスモデルＡを得、マッピングアルゴリズムは区分的アフィンマッピングアルゴリズムを用いてもよい。同様に、ＡＡＭアピアランスモデルにＰＣＡ学習を行って、
を得ることができ、
その中で、Ａ０は平均アピアランスであり、ＡｉはＡＡＭアピアランスモデルのＰＣＡベースであり、λｉはＰＣＡベースの係数である。
Ｓ２５０において、初期位置と大きさの情報を取得した後、グレイスケール値、人顔の初期位置ｘ、ｙ軸方向の勾配値、エッジ及び角点等の特徴を組み合わせてＡＡＭのアピアランスモデルとし、人顔特徴点をフィッティングし、人顔特徴点のフィッティング位置をもっと精確的にする。アピアランスモデルはパラメータ化されたモデルであり、主成分分析により可変性対象の形状とテクスチャに統一モデリングを行い、且つ２ノルム最小化戦略を使用して未知対象をマッチングする。その中、人顔特徴点のＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ、動的形状モデル）がベクトルＳ＝｛ｘ１,ｙ１…ｘｎ,ｙｎ｝によって表示されることができ、ｘｉ、ｙｉが第ｉ個の点の位置座標であり、本発明実施形態において、８２個の人顔ラベルポイントを用い、詳細は図４を参照し、図４は本発明の人顔特徴点のラベルポイントの模式図である。ＡＡＭモデルをトレーニングして、一定量の人顔の表情画像を収集し、図４に示すように８２個の人顔の特徴点の位置座標を手動的にラベルして、人顔特徴点の座標ベクトルＳ＝（ｘ１,ｙ１,ｘ２,ｙ２…ｘ８２,ｙ８２）を得て、人顔特徴点の座標ベクトルにプロクラステス・アルゴリズムに基づいて幾何アライメントを行い、次にトレーニングデータにＰＣＡ（ｐｒｉｎｃｉｐｌｅ ｃｏｍｐｏｎｅｎｔｓ ａｎａｌｙｓｉｓ、主成分分析）学習を行って、
を得て、
その中で、Ｓ０は平均形状であり、Ｓｉは形状のＰＣＡベースであり、ｐｉはＰＣＡベースの係数であり、フィッティング過程で異なったｐｉが計算されると相応なＡＳＭ形状モデルのベクトルＳを得ることができる。、詳細は図５を併せて参照。図５は本発明の人顔特徴点形状モデルのモデリング方法のフローチャートである。本発明の人顔特徴点形状モデルのモデリング方法は下記ステップＳ２５１〜Ｓ２５８を含み、
Ｓ２５１において、すべての人顔特徴点の座標ベクトルに対し、平均値を除去し、重心座標系に移し、
Ｓ２５２において、１つのサンプルを初期の平均形状として選定し、且つ寸法を
であるように校正し、
Ｓ２５３において、初期推定の平均形状を
と表記し、且つこれを参照座標系とし、
Ｓ２５４において、すべてのトレーニングサンプルの特徴点座標ベクトルをアフィン変換によってカレントの平均形状に校正し、
Ｓ２５５において、校正されたすべてのサンプルに対して平均形状を改めて計算し、
Ｓ２５６において、カレントの平均形状を
に校正し、且つ
であるようにさせ、
Ｓ２５７において、校正した後の平均形状が所定閾値より大きいか否かを判断し、ＹＥＳであれば、改めてＳ２５４を実行し、ＮＯであれば、Ｓ２５８を実行し、
Ｓ２５８において、ＰＣＡ方法によって位置を合わせたサンプルに対し、統計形状モデリングを行って、
を得て、
ＡＳＭ形状モデルが囲む領域内の点を平均形状にマッピングし、ＡＡＭアピアランスモデルＡを得、マッピングアルゴリズムは区分的アフィンマッピングアルゴリズムを用いてもよい。同様に、ＡＡＭアピアランスモデルにＰＣＡ学習を行って、
を得ることができ、
その中で、Ａ０は平均アピアランスであり、ＡｉはＡＡＭアピアランスモデルのＰＣＡベースであり、λｉはＰＣＡベースの係数である。
ＡＡＭアピアランスモデルのモデリング方法は具体的に下記の通りであり、各トレーニングサンプルを平均形状にマッピングし、次にそれぞれグレイスケール値、ｘ軸ｙ軸の勾配値、エッジ及び角点特徴値という３種類の特徴を計算してアピアランスモデルとし、その中で、グレイスケール値Ａｇｒａｙの計算方法は、Ｉ（ｘ,ｙ）が各サンプルを平均形状内にマッピングしたグレイスケール画像であると、グレイスケールアピアランスモデル値が、
Ａｇｒａｙ（ｘ,ｙ）＝Ｉ（ｘ,ｙ）であることであり、
ｘ軸ｙ軸勾配値の計算方法は、ｓｏｂｅｌ演算子（Ｓｏｂｅｌ ｏｐｅｒａｔｏｒ／ソーベル演算子、画像処理中の演算子の１種であり、主にエッジ検出に用いられる）を使用してｘ軸ｙ軸勾配値を計算することであり、
ｘ軸ｙ軸勾配値のアピアランスモデル値Ａｄｘ及びＡｄｙは以下の公式で取得され、
Ａｄｘ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）２、
Ａｄｙ（ｘ,ｙ）＝Ｇｙ（ｘ,ｙ）２、
エッジ角点特徴Ａｅｄｇｅ＿ａｎｄ＿ｃｏｒｎｅｒの計算方法は、ｘ軸ｙ軸方向の勾配値を得た後、
Ｅｄｇｅｘｘ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）・Ｇｘ（ｘ,ｙ）、
Ｅｄｇｅｙｙ（ｘ,ｙ）＝Ｇｙ（ｘ,ｙ）・Ｇｙ（ｘ,ｙ）、
Ｅｄｇｅｘｙ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）・Ｇｙ（ｘ,ｙ）とし、
次に３ｘ３のガウシアン窓を用いてそれぞれＥｄｇｅｘｘ（ｘ,ｙ）、Ｅｄｇｅｙｙ（ｘ,ｙ） 、Ｅｄｇｅｘｙ（ｘ,ｙ）にフィルタリングを行って、
を得て、
以下の公式によってエッジと角点特徴を算出することができる、
グレイスケール値、ｘ軸ｙ軸方向の勾配値、エッジ及び角点等の特徴は同一スケールで表すものではないため、計算された３種の特徴値を同一スケールに正規化する必要があり、本発明の実施形態において、シグモイド方法を用いて特徴値正規化を行い、具体的には、
であり、
正規化した後、３種類の特徴がすべて同一スケールにあり、各トレーニングサンプルが３種類の特徴及び４つの特徴値に対応し、４つの特徴値のＡＡＭアピアランスモデルを得た後、ＰＣＡによって学習し、
を得て、
本発明の実施形態において、Ｉｎｖｅｒｓｅ Ｃｏｍｐｏｓｉｔｉｏｎａｌ（逆合成アルゴリズム、本分野において常用されるアルゴリズムである）アルゴリズムを使用して人顔の特徴点にフィッティングを行い、具体的には、人顔検出又は人眼のマッチングアルゴリズムに基づいて得られた初期の４つのグローバルアフィン変換パラメータｑを得て、入力画像Ｉ（ｘ,ｙ）を変換し、Ｉ（Ｎ（Ｗ（ｘ｜ｐ）｜ｑ））を得、Ｗは基本形状Ｓ０からカレント形状Ｓまでの区分的アフィンマッピングと定義され、Ｎは２次元相似変換であり、ｑは相似変換パラメータであり、そうすると、
となり、その中、ｑ＝（ａ,ｂ,ｔｘ,ｔｙ）は、人眼のマッチングアルゴリズムによって算出されることができ、変換された後の画像に３種類の特徴アピアランスモデルを計算してＡ（Ｉ（Ｎ（Ｗ（ｘ｜ｐ））｜ｑ））を得て、アピアランスモデル差値Ａ（Ｉ（Ｎ（Ｗ（ｘ｜ｐ））｜ｑ））−Ａ０（ｘ））を計算し、
を計算し、
その中で、ＨはＨｅｓｓｉａｎ行列（ヘッセ行列は、自変数がベクトルである実数値関数の二階偏導関数からなる正方行列である）であり、ＳＤは最急降下図であり、モデルをトレーニングした時予め計算されており、以下の公式によって算出するものであり、
形状パラメータである
を
になるまで更新することを含む。
Ａｇｒａｙ（ｘ,ｙ）＝Ｉ（ｘ,ｙ）であることであり、
ｘ軸ｙ軸勾配値の計算方法は、ｓｏｂｅｌ演算子（Ｓｏｂｅｌ ｏｐｅｒａｔｏｒ／ソーベル演算子、画像処理中の演算子の１種であり、主にエッジ検出に用いられる）を使用してｘ軸ｙ軸勾配値を計算することであり、
ｘ軸ｙ軸勾配値のアピアランスモデル値Ａｄｘ及びＡｄｙは以下の公式で取得され、
Ａｄｘ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）２、
Ａｄｙ（ｘ,ｙ）＝Ｇｙ（ｘ,ｙ）２、
エッジ角点特徴Ａｅｄｇｅ＿ａｎｄ＿ｃｏｒｎｅｒの計算方法は、ｘ軸ｙ軸方向の勾配値を得た後、
Ｅｄｇｅｘｘ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）・Ｇｘ（ｘ,ｙ）、
Ｅｄｇｅｙｙ（ｘ,ｙ）＝Ｇｙ（ｘ,ｙ）・Ｇｙ（ｘ,ｙ）、
Ｅｄｇｅｘｙ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）・Ｇｙ（ｘ,ｙ）とし、
次に３ｘ３のガウシアン窓を用いてそれぞれＥｄｇｅｘｘ（ｘ,ｙ）、Ｅｄｇｅｙｙ（ｘ,ｙ） 、Ｅｄｇｅｘｙ（ｘ,ｙ）にフィルタリングを行って、
を得て、
以下の公式によってエッジと角点特徴を算出することができる、
グレイスケール値、ｘ軸ｙ軸方向の勾配値、エッジ及び角点等の特徴は同一スケールで表すものではないため、計算された３種の特徴値を同一スケールに正規化する必要があり、本発明の実施形態において、シグモイド方法を用いて特徴値正規化を行い、具体的には、
であり、
正規化した後、３種類の特徴がすべて同一スケールにあり、各トレーニングサンプルが３種類の特徴及び４つの特徴値に対応し、４つの特徴値のＡＡＭアピアランスモデルを得た後、ＰＣＡによって学習し、
を得て、
本発明の実施形態において、Ｉｎｖｅｒｓｅ Ｃｏｍｐｏｓｉｔｉｏｎａｌ（逆合成アルゴリズム、本分野において常用されるアルゴリズムである）アルゴリズムを使用して人顔の特徴点にフィッティングを行い、具体的には、人顔検出又は人眼のマッチングアルゴリズムに基づいて得られた初期の４つのグローバルアフィン変換パラメータｑを得て、入力画像Ｉ（ｘ,ｙ）を変換し、Ｉ（Ｎ（Ｗ（ｘ｜ｐ）｜ｑ））を得、Ｗは基本形状Ｓ０からカレント形状Ｓまでの区分的アフィンマッピングと定義され、Ｎは２次元相似変換であり、ｑは相似変換パラメータであり、そうすると、
となり、その中、ｑ＝（ａ,ｂ,ｔｘ,ｔｙ）は、人眼のマッチングアルゴリズムによって算出されることができ、変換された後の画像に３種類の特徴アピアランスモデルを計算してＡ（Ｉ（Ｎ（Ｗ（ｘ｜ｐ））｜ｑ））を得て、アピアランスモデル差値Ａ（Ｉ（Ｎ（Ｗ（ｘ｜ｐ））｜ｑ））−Ａ０（ｘ））を計算し、
を計算し、
その中で、ＨはＨｅｓｓｉａｎ行列（ヘッセ行列は、自変数がベクトルである実数値関数の二階偏導関数からなる正方行列である）であり、ＳＤは最急降下図であり、モデルをトレーニングした時予め計算されており、以下の公式によって算出するものであり、
形状パラメータである
を
になるまで更新することを含む。
Ｓ２６０において、人顔特徴点のフィッティングが成功したか否かを判断し、ＹＥＳであれば、Ｓ２７０を実行し、ＮＯであれば、改めてＳ２００を実行し、
Ｓ２７０において、フィッティング結果に基づいて人顔特徴点の位置決めを完成させ、且つ人顔特徴点に基づいて人眼画像を取得し、１つ前のフレーム画像内の人眼画像をテンプレートとして人眼ＲＯＩ領域内で１つ後のフレーム画像内の双眼の位置をマッチングする。
Ｓ２７０において、フィッティング結果に基づいて人顔特徴点の位置決めを完成させ、且つ人顔特徴点に基づいて人眼画像を取得し、１つ前のフレーム画像内の人眼画像をテンプレートとして人眼ＲＯＩ領域内で１つ後のフレーム画像内の双眼の位置をマッチングする。
Ｓ２７０において、人顔特徴点の位置に基づいて双眼画像が得られ、１つ後のフレーム画像において１つ後のフレーム画像の人眼探索ＲＯＩ領域を確定し、且つＲＯＩ領域内で、１つ前のフレーム画像内の人眼画像をテンプレートとして、画像マッチングアルゴリズムを使用して、現フレーム内の双眼の位置を改めてマッチングする。
本発明実施形態の人顔特徴点の位置決め方法は予備位置決め情報に基づいて、グレイスケール、勾配、エッジ及び角点特徴を組み合わせてＩｎｖｅｒｓｅ Ｃｏｍｐｏｓｉｔｉｏｎａｌアルゴリズムを使用して人顔特徴点のフィッティングを行って、人顔特徴点の精確な位置決めを完成する。ＡＡＭモデルにおいて、ｘ、ｙ軸方向の勾配値及びエッジ角点特徴等のアピアランスモデルを増加させ、人顔特徴点のフィッティングをより精確にし、且つ既存のＡＡＭモデルのフィッティング過程で局所最小化になりやすいこと、及び耐干渉能力が悪い問題を効果的に減らせる。
図６は、本発明による人顔特徴点の位置決め装置の構造模式図である。本発明の人顔特徴点の位置決め装置は人顔検出モジュール、特徴点フィッティングモジュール及び特徴点位置決めモジュールを備え、人顔検出モジュールは人顔検出と人眼のマッチングを組み合わせて人顔位置を予備位置決めすることに用いられ、人顔検出モジュールはカスケード型Ｈａｒｒ特徴分類器を用いて人顔を検出し、人顔の初期位置情報（ｘ,ｙ）と初期の人顔の大きさの情報ｓを取得すると共に、人眼のマッチングアルゴリズムを用いて双眼の位置情報をマッチングし、人顔検出方法のみを使用するよりも位置決めがより精確であり、特徴点フィッティングモジュールは予備位置決め情報に基づいてＡＡＭアピアランスモデルを組み合わせて人顔特徴点のフィッティングを行うことに用いられ、ＡＡＭアピアランスモデルはグレイスケール、勾配、エッジ及び角点等の特徴を備え、特徴点位置決めモジュールはフィッティング結果に基づいて人顔特徴点の位置決めを完成させる。
人顔検出モジュールは人眼検出ユニットと人顔検出ユニットとを備え、
人眼検出ユニットは１つ前のフレーム画像が人眼を検出したか否かを判断することに用いられ、ＹＥＳであれば、人眼ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔの略、画像処理用語の「注目領域」である）領域内で探索を行って人眼の位置情報をマッチングし、ＮＯであれば、人顔検出ユニットによって人顔検出を行い、本発明実施形態において人顔検出すると共に、人眼のマッチングアルゴリズムを使用して人眼のマッチングを行い、人顔検出方法のみを使用するよりも位置決めがより精確であり、ＲＯＩ領域確定方法としては、ＲＯＩ領域の中心と人眼の中心が重なり、ｅｙｅ＿ｈｅｉｇｈｔ、ｅｙｅ＿ｗｉｄｔｈがそれぞれ人眼の高さと幅であり、ｒｏｉ＿ｈｅｉｇｈｔ、ｒｏｉ＿ｗｉｄｔｈがそれぞれ人眼探索ＲＯＩ領域の高さと幅であり、詳細は図３を併せて参照し、図３は本発明の人眼探索ＲＯＩ領域の模式図である。中間にある比較的小さなフレーム内が左眼のピクチャであり、外部の比較的大きなフレーム内が左眼探索ＲＯＩ領域であり、そのうち、
ｒｏｉ＿ｈｅｉｇｈｔ＝α・ｅｙｅ＿ｈｅｉｇｈｔ、
ｒｏｉ＿ｗｉｄｔｈ＝β・ｅｙｅ＿ｗｉｄｔｈ、
α、βはＲＯＩ領域の大きさ制御係数であり、本発明の実施形態ではα＝３、β＝２であり、人眼のマッチングアルゴリズムは具体的に下記の通りであり、Ｔ（ｘ,ｙ）を人眼画像とし、Ｉ（ｘ,ｙ）を探索ＲＯＩ領域とし、Ｒ（ｘ,ｙ）をマッチング結果画像とし、
であり、
その中で、マッチング結果画像Ｒ（ｘ,ｙ）は、最大値である時、ＲＯＩ領域Ｉ（ｘ,ｙ）と人眼画像Ｔ（ｘ,ｙ）が最もマッチングする位置である。
人眼検出ユニットは１つ前のフレーム画像が人眼を検出したか否かを判断することに用いられ、ＹＥＳであれば、人眼ＲＯＩ（Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔの略、画像処理用語の「注目領域」である）領域内で探索を行って人眼の位置情報をマッチングし、ＮＯであれば、人顔検出ユニットによって人顔検出を行い、本発明実施形態において人顔検出すると共に、人眼のマッチングアルゴリズムを使用して人眼のマッチングを行い、人顔検出方法のみを使用するよりも位置決めがより精確であり、ＲＯＩ領域確定方法としては、ＲＯＩ領域の中心と人眼の中心が重なり、ｅｙｅ＿ｈｅｉｇｈｔ、ｅｙｅ＿ｗｉｄｔｈがそれぞれ人眼の高さと幅であり、ｒｏｉ＿ｈｅｉｇｈｔ、ｒｏｉ＿ｗｉｄｔｈがそれぞれ人眼探索ＲＯＩ領域の高さと幅であり、詳細は図３を併せて参照し、図３は本発明の人眼探索ＲＯＩ領域の模式図である。中間にある比較的小さなフレーム内が左眼のピクチャであり、外部の比較的大きなフレーム内が左眼探索ＲＯＩ領域であり、そのうち、
ｒｏｉ＿ｈｅｉｇｈｔ＝α・ｅｙｅ＿ｈｅｉｇｈｔ、
ｒｏｉ＿ｗｉｄｔｈ＝β・ｅｙｅ＿ｗｉｄｔｈ、
α、βはＲＯＩ領域の大きさ制御係数であり、本発明の実施形態ではα＝３、β＝２であり、人眼のマッチングアルゴリズムは具体的に下記の通りであり、Ｔ（ｘ,ｙ）を人眼画像とし、Ｉ（ｘ,ｙ）を探索ＲＯＩ領域とし、Ｒ（ｘ,ｙ）をマッチング結果画像とし、
であり、
その中で、マッチング結果画像Ｒ（ｘ,ｙ）は、最大値である時、ＲＯＩ領域Ｉ（ｘ,ｙ）と人眼画像Ｔ（ｘ,ｙ）が最もマッチングする位置である。
人顔検出ユニットは人顔検出を行い、且つ人顔を検出したか否かを判断することに用いられ、ＹＥＳであれば、人顔の初期位置情報（ｘ,ｙ）と初期の人顔の大きさの情報ｓを取得し、ＮＯであれば、ビデオを改めて入力し、そのうち、本発明実施形態はカスケード型Ｈａｒｒ特徴分類器を使用して人顔を検出し、人顔の初期位置と初期の人顔の大きさの情報を取得する。
特徴点フィッティングモジュールは人眼フィッティングユニット、人顔フィッティングユニット及びフィッティング判断ユニットを備え、その中で、
人眼フィッティングユニットは人眼の初期位置情報に基づいてＡＡＭ人顔特徴点のフィッティングを行い、且つフィッティング判断ユニットによってフィッティングが成功したか否かを判断することに用いられ、
人顔フィッティングユニットは人顔の初期位置と大きさの情報に基づいてグレイスケール値、人顔の初期位置ｘ、ｙ軸方向の勾配値、エッジ及び角点等の特徴を組み合わせてＡＡＭ人顔特徴点のフィッティングを行い、且つフィッティング判断ユニットによってフィッティングが成功したか否かを判断することに用いられ、その中で、初期位置と大きさの情報を取得した後、グレイスケール値、人顔の初期位置ｘ、ｙ軸方向の勾配値、エッジ及び角点等の特徴を組み合わせてＡＡＭのアピアランスモデルとし、人顔特徴点をフィッティングし、人顔特徴点のフィッティング位置をさらに精確にする。その中で、人顔特徴点のＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ、動的形状モデル）はベクトルＳ＝｛ｘ１,ｙ１…ｘｎ,ｙｎ｝によって表示されることができ、ｘｉ、ｙｉは第ｉ個の点の位置座標であり、本発明実施形態において、８２個の人顔のラベルポイントを用いる。詳細は図４を参照ください。図４は本発明の人顔特徴点のラベルポイントの模式図である。ΑΑΜモデルをトレーニングして、一定量の人顔の表情画像を収集し、図４に示すように８２個の人顔特徴点の位置座標を手動でラベルして、人顔特徴点の座標ベクトルＳ＝（ｘ１,ｙ１,ｘ２,ｙ２…ｘ８２,ｙ８２）を得て、人顔特徴点の座標ベクトルにプロクラステスアルゴリズムを行って幾何アライメントし、次にトレーニングデータにＰＣＡ（ｐｒｉｎｃｉｐｌｅ ｃｏｍｐｏｎｅｎｔｓ ａｎａｌｙｓｉｓ、主成分分析）学習を行い、
を得て、
その中で、Ｓ０は平均形状であり、Ｓｉは形状のＰＣＡベースであり、ｐｉはＰＣＡベースの係数であり、フィッティング過程において、異なったｐｉが算出されると相応な形状モデルのベクトルＳが得られ、本発明の人顔特徴点形状モデルのモデリングは具体的に、すべての人顔特徴点の座標ベクトルに対し、平均値を除去し、重心座標系下に移すことと、１つのサンプルを初期の平均形状として選択し、且つ寸法を
であるように校正することと、初期推定の平均形状を
と表記し、且つそれを参照座標系とすることと、すべてのトレーニングサンプルの特徴点座標ベクトルをアフィン変換によってカレントの平均形状に校正することと、校正されたすべてのサンプルに対して平均形状を改めて計算することと、カレントの平均形状を
に校正し、且つ
であるようにさせることと、校正した後の平均形状が所定閾値より大きいか否かを判断し、ＹＥＳであれば、すべてのトレーニングサンプルの特徴点座標ベクトルを改めて変換校正し、ＮＯであれば、ＰＣＡ方法によってアライメントした後のサンプルに統計形状モデリングを行って、
を得て、
形状モデルが囲む領域内の点を平均形状にマッピングし、アピアランスモデルＡを得、その中、マッピングアルゴリズムは区分的アフィンマッピングアルゴリズムを用いてもよいことと、同様に、アピアランスモデルにＰＣＡ学習を行うことができ、
を得て、
その中、Ａ０は平均アピアランスであり、ＡｉはアピアランスモデルのＰＣＡベースであり、λｉはＰＣＡベースの係数であることとを含む。
人眼フィッティングユニットは人眼の初期位置情報に基づいてＡＡＭ人顔特徴点のフィッティングを行い、且つフィッティング判断ユニットによってフィッティングが成功したか否かを判断することに用いられ、
人顔フィッティングユニットは人顔の初期位置と大きさの情報に基づいてグレイスケール値、人顔の初期位置ｘ、ｙ軸方向の勾配値、エッジ及び角点等の特徴を組み合わせてＡＡＭ人顔特徴点のフィッティングを行い、且つフィッティング判断ユニットによってフィッティングが成功したか否かを判断することに用いられ、その中で、初期位置と大きさの情報を取得した後、グレイスケール値、人顔の初期位置ｘ、ｙ軸方向の勾配値、エッジ及び角点等の特徴を組み合わせてＡＡＭのアピアランスモデルとし、人顔特徴点をフィッティングし、人顔特徴点のフィッティング位置をさらに精確にする。その中で、人顔特徴点のＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ、動的形状モデル）はベクトルＳ＝｛ｘ１,ｙ１…ｘｎ,ｙｎ｝によって表示されることができ、ｘｉ、ｙｉは第ｉ個の点の位置座標であり、本発明実施形態において、８２個の人顔のラベルポイントを用いる。詳細は図４を参照ください。図４は本発明の人顔特徴点のラベルポイントの模式図である。ΑΑΜモデルをトレーニングして、一定量の人顔の表情画像を収集し、図４に示すように８２個の人顔特徴点の位置座標を手動でラベルして、人顔特徴点の座標ベクトルＳ＝（ｘ１,ｙ１,ｘ２,ｙ２…ｘ８２,ｙ８２）を得て、人顔特徴点の座標ベクトルにプロクラステスアルゴリズムを行って幾何アライメントし、次にトレーニングデータにＰＣＡ（ｐｒｉｎｃｉｐｌｅ ｃｏｍｐｏｎｅｎｔｓ ａｎａｌｙｓｉｓ、主成分分析）学習を行い、
を得て、
その中で、Ｓ０は平均形状であり、Ｓｉは形状のＰＣＡベースであり、ｐｉはＰＣＡベースの係数であり、フィッティング過程において、異なったｐｉが算出されると相応な形状モデルのベクトルＳが得られ、本発明の人顔特徴点形状モデルのモデリングは具体的に、すべての人顔特徴点の座標ベクトルに対し、平均値を除去し、重心座標系下に移すことと、１つのサンプルを初期の平均形状として選択し、且つ寸法を
であるように校正することと、初期推定の平均形状を
と表記し、且つそれを参照座標系とすることと、すべてのトレーニングサンプルの特徴点座標ベクトルをアフィン変換によってカレントの平均形状に校正することと、校正されたすべてのサンプルに対して平均形状を改めて計算することと、カレントの平均形状を
に校正し、且つ
であるようにさせることと、校正した後の平均形状が所定閾値より大きいか否かを判断し、ＹＥＳであれば、すべてのトレーニングサンプルの特徴点座標ベクトルを改めて変換校正し、ＮＯであれば、ＰＣＡ方法によってアライメントした後のサンプルに統計形状モデリングを行って、
を得て、
形状モデルが囲む領域内の点を平均形状にマッピングし、アピアランスモデルＡを得、その中、マッピングアルゴリズムは区分的アフィンマッピングアルゴリズムを用いてもよいことと、同様に、アピアランスモデルにＰＣＡ学習を行うことができ、
を得て、
その中、Ａ０は平均アピアランスであり、ＡｉはアピアランスモデルのＰＣＡベースであり、λｉはＰＣＡベースの係数であることとを含む。
アピアランスモデルのモデリング方法は具体的に下記の通りであり、各トレーニングサンプルを平均形状にマッピングし、次にそれぞれグレイスケール値、ｘ軸ｙ軸の勾配値、エッジ及び角点特徴値という３種類の特徴を計算してアピアランスモデルとし、その中で、グレイスケール値Ａｇｒａｙの計算方法は、Ｉ（ｘ,ｙ）が各サンプルの平均形状内にマッピングしたグレイスケール画像であり、グレイスケールアピアランスモデル値が、
Ａｇｒａｙ（ｘ,ｙ）＝Ｉ（ｘ,ｙ）であることであり、
ｘ軸ｙ軸勾配値の計算方法としては、ｓｏｂｅｌ演算子（Ｓｏｂｅｌ ｏｐｅｒａｔｏｒ／ソーベル演算子、画像処理中の演算子の１種であり、主にエッジ検出に用いられる）を使用してｘ軸ｙ軸勾配値を計算することであり、
ｘ軸ｙ軸勾配値のアピアランスモデル値Ａｄｘ及びＡｄｙは以下の公式で取得され、
Ａｄｘ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）２、
Ａｄｙ（ｘ,ｙ）＝Ｇｙ（ｘ,ｙ）２、
エッジ角点特徴Ａｅｄｇｅ_ａｎｄ_ｃｏｒｎｅｒの計算方法としては、ｘ軸ｙ軸方向の勾配値を得た後、
Ｅｄｇｅｘｘ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）・Ｇｘ（ｘ,ｙ）
Ｅｄｇｅｙｙ（ｘ,ｙ）＝Ｇｙ（ｘ,ｙ）・Ｇｙ（ｘ,ｙ）、
Ｅｄｇｅｘｙ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）・Ｇｙ（ｘ,ｙ）と設置し、
次に３ｘ３のガウシアン窓を用いてそれぞれＥｄｇｅｘｘ（ｘ,ｙ）、Ｅｄｇｅｙｙ（ｘ,ｙ）、Ｅｄｇｅｘｙ（ｘ,ｙ）にフィルタリングを行って、
を得て、
以下の公式によってエッジと角点特徴を算出し、
グレイスケール値、ｘ軸ｙ軸方向の勾配値、エッジ及び角点等の特徴が同一スケールでないため、計算された後、３つの特徴値を同一スケールに正規化する必要があり、本発明実施形態において、シグモイド方法を用いて特徴値正規化を行い、具体的には、
であり、
正規化された後、３種類の特徴がすべて同一スケールにあり、各トレーニングサンプルは３種類の特徴及び４つの特徴値に対応し、４つの特徴値のアピアランスモデルを得た後、ＰＣＡによって学習し、
を得、
本発明実施形態において、Ｉｎｖｅｒｓｅ Ｃｏｍｐｏｓｉｔｉｏｎａｌ（すなわち逆合成アルゴリズム、本分野において多用されるアルゴリズムである）アルゴリズムを使用して人顔特徴点にフィッティングを行い、具体的には、人顔検出又は人眼のマッチングアルゴリズムに基づいて初期の４つのグローバルアフィン変換パラメータｑが得られ、入力画像Ｉ（ｘ,ｙ）を変換し、Ｉ（Ｎ（Ｗ（ｘ｜ｐ）｜ｑ））を得て、Ｗは基本形状Ｓ０からカレント形状Ｓまでの区分的アフィンマッピングと定義され、Ｎは２次元相似変換であり、ｑは相似変換パラメータであり、
であり、その中、ｑ＝（ａ,ｂ,ｔｘ,ｔｙ）は人眼のマッチングアルゴリズムによって算出されることができ、変換された後の画像に３種類の特徴アピアランスモデルを計算してＡ（Ｉ（Ｎ（Ｗ（ｘ｜ｐ））｜ｑ））を得て、アピアランスモデル差値Ａ（Ｉ（Ｎ（Ｗ（ｘ｜ｐ））｜ｑ））−Ａ０（ｘ）を計算し、
を計算し、その中で、ＨはＨｅｓｓｉａｎ行列（ヘッセ行列は、自変数がベクトルである実数値関数の二階偏導関数からなる正方行列である）、ＳＤは最急降下図であり、モデルをトレーニングした時予め計算されており、以下の公式によって算出し、
形状パラメータの
を
になるまで更新することを含む。
Ａｇｒａｙ（ｘ,ｙ）＝Ｉ（ｘ,ｙ）であることであり、
ｘ軸ｙ軸勾配値の計算方法としては、ｓｏｂｅｌ演算子（Ｓｏｂｅｌ ｏｐｅｒａｔｏｒ／ソーベル演算子、画像処理中の演算子の１種であり、主にエッジ検出に用いられる）を使用してｘ軸ｙ軸勾配値を計算することであり、
ｘ軸ｙ軸勾配値のアピアランスモデル値Ａｄｘ及びＡｄｙは以下の公式で取得され、
Ａｄｘ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）２、
Ａｄｙ（ｘ,ｙ）＝Ｇｙ（ｘ,ｙ）２、
エッジ角点特徴Ａｅｄｇｅ_ａｎｄ_ｃｏｒｎｅｒの計算方法としては、ｘ軸ｙ軸方向の勾配値を得た後、
Ｅｄｇｅｘｘ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）・Ｇｘ（ｘ,ｙ）
Ｅｄｇｅｙｙ（ｘ,ｙ）＝Ｇｙ（ｘ,ｙ）・Ｇｙ（ｘ,ｙ）、
Ｅｄｇｅｘｙ（ｘ,ｙ）＝Ｇｘ（ｘ,ｙ）・Ｇｙ（ｘ,ｙ）と設置し、
次に３ｘ３のガウシアン窓を用いてそれぞれＥｄｇｅｘｘ（ｘ,ｙ）、Ｅｄｇｅｙｙ（ｘ,ｙ）、Ｅｄｇｅｘｙ（ｘ,ｙ）にフィルタリングを行って、
を得て、
以下の公式によってエッジと角点特徴を算出し、
グレイスケール値、ｘ軸ｙ軸方向の勾配値、エッジ及び角点等の特徴が同一スケールでないため、計算された後、３つの特徴値を同一スケールに正規化する必要があり、本発明実施形態において、シグモイド方法を用いて特徴値正規化を行い、具体的には、
であり、
正規化された後、３種類の特徴がすべて同一スケールにあり、各トレーニングサンプルは３種類の特徴及び４つの特徴値に対応し、４つの特徴値のアピアランスモデルを得た後、ＰＣＡによって学習し、
を得、
本発明実施形態において、Ｉｎｖｅｒｓｅ Ｃｏｍｐｏｓｉｔｉｏｎａｌ（すなわち逆合成アルゴリズム、本分野において多用されるアルゴリズムである）アルゴリズムを使用して人顔特徴点にフィッティングを行い、具体的には、人顔検出又は人眼のマッチングアルゴリズムに基づいて初期の４つのグローバルアフィン変換パラメータｑが得られ、入力画像Ｉ（ｘ,ｙ）を変換し、Ｉ（Ｎ（Ｗ（ｘ｜ｐ）｜ｑ））を得て、Ｗは基本形状Ｓ０からカレント形状Ｓまでの区分的アフィンマッピングと定義され、Ｎは２次元相似変換であり、ｑは相似変換パラメータであり、
であり、その中、ｑ＝（ａ,ｂ,ｔｘ,ｔｙ）は人眼のマッチングアルゴリズムによって算出されることができ、変換された後の画像に３種類の特徴アピアランスモデルを計算してＡ（Ｉ（Ｎ（Ｗ（ｘ｜ｐ））｜ｑ））を得て、アピアランスモデル差値Ａ（Ｉ（Ｎ（Ｗ（ｘ｜ｐ））｜ｑ））−Ａ０（ｘ）を計算し、
を計算し、その中で、ＨはＨｅｓｓｉａｎ行列（ヘッセ行列は、自変数がベクトルである実数値関数の二階偏導関数からなる正方行列である）、ＳＤは最急降下図であり、モデルをトレーニングした時予め計算されており、以下の公式によって算出し、
形状パラメータの
を
になるまで更新することを含む。
フィッティング判断ユニットは人顔特徴点のフィッティングが成功したか否かを判断することに用いられ、ＹＥＳであれば、特徴点位置決めモジュールによって人顔特徴点を位置決めし、ＮＯであれば、ビデオを改めて入力し、
特徴点位置決めモジュールはフィッティング結果に基づいて人顔特徴点の位置決めを完成させ、且つ人顔特徴点に基づいて人眼画像を取得し、人眼検出ユニットによって１つ前のフレーム画像内の人眼画像をテンプレートとして人眼ＲＯＩ領域内で１つ後のフレーム画像中の双眼の位置をマッチングすることに用いられ、その中、人顔特徴点の位置に基づいて双眼の画像を得ることができ、１つ後のフレーム画像において、１つ後のフレーム画像の人眼探索ＲＯＩ領域を確定し、且つＲＯＩ領域内で１つ前のフレーム画像内の人眼画像をテンプレートとして、画像マッチングアルゴリズムを使用して、現フレーム中の双眼の位置を得る。
特徴点位置決めモジュールはフィッティング結果に基づいて人顔特徴点の位置決めを完成させ、且つ人顔特徴点に基づいて人眼画像を取得し、人眼検出ユニットによって１つ前のフレーム画像内の人眼画像をテンプレートとして人眼ＲＯＩ領域内で１つ後のフレーム画像中の双眼の位置をマッチングすることに用いられ、その中、人顔特徴点の位置に基づいて双眼の画像を得ることができ、１つ後のフレーム画像において、１つ後のフレーム画像の人眼探索ＲＯＩ領域を確定し、且つＲＯＩ領域内で１つ前のフレーム画像内の人眼画像をテンプレートとして、画像マッチングアルゴリズムを使用して、現フレーム中の双眼の位置を得る。
当業者は、上記実施形態の全部又は一部のステップの実現は、ハードウェアによって完成することができ、プログラムによって関連のハードウェアに指示を出して完成することもでき、前記プログラムはコンピュータ可読記憶媒体に記憶されることができ、且つ図１、図２及び図５に記載の方法フローを達成するように少なくとも１つのプロセッサによって実行される、ということを理解することができる。前記記憶媒体は読出し専用メモリ、磁気ディスク又は光ディスク等であってもよい。
本発明実施形態の人顔特徴点の位置決め方法、装置及び記憶媒体は人顔検出技術と人眼のマッチング技術を組み合わせて人顔位置を予備位置決めし、人顔検出のみを使用するよりも人顔位置情報をより精確に位置決めすることができ、予備位置決め情報に基づいてグレイスケール、勾配、エッジ及び角点特徴を組み合わせてＩｎｖｅｒｓｅ Ｃｏｍｐｏｓｉｔｉｏｎａｌアルゴリズムを使用して人顔特徴点のフィッティングを行って、人顔特徴点の精確な位置決めを完成させる。ＡＡＭモデルにおいて、ｘ、ｙ軸方向の勾配値及びエッジ角点特徴等のアピアランスモデルを増加し、人顔特徴点のフィッティングをより精確にし、且つ既存のＡＡＭモデルがフィッティング過程で局所最小化になりやすいこと、及び耐干渉能力が悪い問題を効果的に減らせる。
上記は本発明の好ましい実施形態にすぎず、本発明を限定するためのものではなく、本発明の精神と原則内で行われる種々の修正、均等置換及び改善などは、すべて本発明の保護範囲内に含まれるべきである。
Claims (14)
- 人顔特徴点の位置決め方法であって、
人顔検出と人眼のマッチングを組み合わせて人顔の位置の予備位置決めをし、且つ予備位置決め情報を取得するステップと、
予備位置決め情報に基づいて人顔特徴点のフィッティングを行うステップと、
フィッティング結果に基づいて人顔特徴点の位置決めを完成するステップと、を含むことを特徴とする人顔特徴点の位置決め方法。 - 人顔検出と人眼のマッチングを組み合わせて人顔の位置の予備位置決めをし、且つ予備位置決め情報を取得するステップは具体的に、カスケード型特徴分類器によって人顔を検出し、人顔の初期位置情報と初期の人顔の大きさの情報を取得することであることを特徴とする請求項１に記載の人顔特徴点の位置決め方法。
- 人顔検出技術と人眼のマッチング技術を組み合わせて人顔の位置を予備位置決めをし、且つ予備位置決め情報を取得する前記ステップの前に、ビデオを入力し、前記ビデオにおける対応の人顔画像情報を取得することをさらに含み、前記予備位置決めは双眼の初期位置、人顔の初期位置及び人顔の初期大きさを取得することを含むことを特徴とする請求項１又は２に記載の人顔特徴点の位置決め方法。
- 前記の人顔検出と人眼のマッチングを組み合わせて人顔の位置を位置決めすることは、１つ前のフレーム画像で人眼を検出したか否かを判断し、ＹＥＳであれば、人眼のマッチング技術によって予備位置決めを行い、ＮＯであれば、人顔検出位置決めを行うことを含むことを特徴とする請求項１に記載の人顔特徴点の位置決め方法。
- 前記の人眼のマッチングによって人顔の位置の予備位置決めをすることは、人眼の注目領域ＲＯＩ内で探索し、人眼の初期位置情報をマッチングし、人眼の初期位置情報に基づいて人顔特徴点のフィッティングを行うことを含むことを特徴とする請求項１又は４に記載の人顔特徴点の位置決め方法。
- 前記の人顔検出位置決めを行うことは、人顔検出を行い、且つ人顔を検出したか否かを判断し、ＹＥＳであれば、人顔の初期位置情報と初期の人顔の大きさの情報を取得し、且つ人顔の初期位置情報と大きさの情報に基づいてグレイスケール値、人顔の初期位置ｘ、ｙ軸方向の勾配値、エッジ及び角点特徴を組み合わせて人顔特徴点のフィッティングを行い、ＮＯであれば、ビデオを改めて入力することを含むことを特徴とする請求項４に記載の人顔特徴点の位置決め方法。
- 前記人顔特徴点のフィッティングを行った後で、人顔特徴点のフィッティングが成功したか否かを判断し、ＹＥＳであれば、フィッティング結果に基づいて人顔特徴点の位置決めを完成し、且つ人顔特徴点に基づいて人眼画像を取得し、１つ前のフレーム画像内の人眼画像をテンプレートとして人眼の注目領域内で１つ後のフレーム画像内の双眼の位置をマッチングし、ＮＯであれば、ビデオを改めて入力することをさらに含むことを特徴とする請求項３に記載の人顔特徴点の位置決め方法。
- 人顔特徴点の位置決め装置であって、人顔検出モジュール、特徴点フィッティングモジュール及び特徴点位置決めモジュールを備え、前記人顔検出モジュールは人顔検出技術と人眼のマッチング技術によって人顔位置を予備位置決めすることに用いられ、前記特徴点フィッティングモジュールは予備位置決め情報に基づいて人顔特徴点のフィッティングを行うことに用いられ、前記特徴点位置決めモジュールはフィッティング結果に基づいて人顔特徴点の位置決めを完成することを特徴とする人顔特徴点の位置決め装置。
- 前記人顔検出モジュールが人顔検出技術によって人顔位置を予備位置決めすることは、カスケード型特徴分類器によって人顔を検出し、人顔の初期位置情報と初期の人顔の大きさの情報を取得することであることを特徴とする請求項８に記載の人顔特徴点の位置決め装置。
- 前記人顔検出モジュールは人眼検出ユニットと人顔検出ユニットを備え、
前記人眼検出ユニットは１つ前のフレーム画像で人眼を検出したか否かを判断することに用いられ、ＹＥＳであれば、人眼の注目領域内で探索を行って、人眼の位置情報をマッチングし、ＮＯであれば、人顔検出ユニットによって人顔検出を行い、
前記人顔検出ユニットは人顔検出を行い、且つ人顔を検出したか否かを判断することに用いられ、ＹＥＳであれば、人顔の初期位置情報と初期の人顔の大きさの情報を取得し、ＮＯであれば、ビデオを改めて入力することを特徴とする請求項８又は９に記載の人顔特徴点の位置決め装置。 - 前記特徴点フィッティングモジュールは人眼フィッティングユニット及び人顔フィッティングユニットを備え、
前記人眼フィッティングユニットは人眼の初期位置情報に基づいて人顔特徴点のフィッティングを行い、且つフィッティング判断ユニットによってフィッティングが成功したか否かを判断することに用いられ、
前記人顔フィッティングユニットは人顔の初期位置と大きさの情報に基づいてグレイスケール値、人顔の初期位置ｘ、ｙ軸方向の勾配値、エッジ及び角点特徴を組み合わせて人顔特徴点のフィッティングを行い、且つフィッティング判断ユニットによってフィッティングが成功したか否かを判断することに用いられることを特徴とする請求項８又は９に記載の人顔特徴点の位置決め装置。 - 前記特徴点フィッティングモジュールは、フィッティング判断ユニットをさらに備え、
前記フィッティング判断ユニットは人顔特徴点のフィッティングが成功したか否かを判断することに用いられ、ＹＥＳであれば、特徴点位置決めモジュールによって人顔特徴点を位置決めし、ＮＯであれば、ビデオを改めて入力することを特徴とする請求項１１に記載の人顔特徴点の位置決め装置。 - 前記特徴点位置決めモジュールはフィッティング結果に基づいて人顔特徴点の位置決めを完成させ、且つ人顔特徴点に基づいて人眼画像を取得し、人眼検出ユニットによって１つ前のフレーム画像中の人眼画像をテンプレートとして人眼の注目領域内で１つ後のフレーム画像中の双眼の位置をマッチングすることに用いられることを特徴とする請求項１１に記載の人顔特徴点の位置決め装置。
- 人顔特徴点の位置決め方法を実行することに用いられるコンピュータ実行可能な指令を含む１つ又は複数個の記憶媒体であって、該人顔特徴点の位置決め方法は、
人顔検出と人眼のマッチングを組み合わせて人顔位置を予備位置決めし、且つ予備位置決め情報を取得するステップと、
予備位置決め情報に基づいて人顔特徴点のフィッティングを行うステップと、
フィッティング結果に基づいて人顔特徴点の位置決めを完成するステップと、を含むことを特徴とするコンピュータ実行可能な指令を含む１つ又は複数個の記憶媒体。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210309313.6 | 2012-08-28 | ||
| CN201210309313.6A CN103632129A (zh) | 2012-08-28 | 2012-08-28 | 一种人脸特征点定位方法及装置 |
| PCT/CN2013/080526 WO2014032496A1 (zh) | 2012-08-28 | 2013-07-31 | 一种人脸特征点定位方法、装置及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015522200A true JP2015522200A (ja) | 2015-08-03 |
Family
ID=50182463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015521969A Pending JP2015522200A (ja) | 2012-08-28 | 2013-07-31 | 人顔特徴点の位置決め方法、装置及び記憶媒体 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20150302240A1 (ja) |
| EP (1) | EP2863335A4 (ja) |
| JP (1) | JP2015522200A (ja) |
| CN (1) | CN103632129A (ja) |
| WO (1) | WO2014032496A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101923405B1 (ko) * | 2018-01-09 | 2018-11-29 | 전남대학교산학협력단 | 기하학적 변환이 적용된 aam을 이용한 사람의 얼굴 검출 및 모델링시스템 |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9396539B2 (en) * | 2010-04-02 | 2016-07-19 | Nokia Technologies Oy | Methods and apparatuses for face detection |
| CN103888680B (zh) * | 2014-03-28 | 2017-07-11 | 中国科学技术大学 | 一种摄像头曝光时间的调节方法 |
| FR3021443B1 (fr) * | 2014-05-20 | 2017-10-13 | Essilor Int | Procede de construction d'un modele du visage d'un individu, procede et dispositif d'analyse de posture utilisant un tel modele |
| CN104318264B (zh) * | 2014-10-14 | 2018-02-02 | 武汉科技大学 | 一种基于人眼优先拟合的人脸特征点跟踪方法 |
| CN105868767B (zh) * | 2015-01-19 | 2020-02-18 | 阿里巴巴集团控股有限公司 | 人脸特征点定位方法和装置 |
| CN104966046B (zh) * | 2015-05-20 | 2017-07-21 | 腾讯科技（深圳）有限公司 | 一种人脸关键点位定位结果的评估方法，及评估装置 |
| CN105354531B (zh) * | 2015-09-22 | 2019-05-21 | 成都通甲优博科技有限责任公司 | 一种面部关键点的标注方法 |
| CN105718885B (zh) * | 2016-01-20 | 2018-11-09 | 南京邮电大学 | 一种人脸特征点跟踪方法 |
| CN105718913B (zh) * | 2016-01-26 | 2018-11-02 | 浙江捷尚视觉科技股份有限公司 | 一种鲁棒的人脸特征点定位方法 |
| CN105938551A (zh) * | 2016-06-28 | 2016-09-14 | 深圳市唯特视科技有限公司 | 一种基于视频数据的人脸特定区域提取方法 |
| CN106228113A (zh) * | 2016-07-12 | 2016-12-14 | 电子科技大学 | 基于aam的人脸特征点快速对齐方法 |
| CN106446766A (zh) * | 2016-07-25 | 2017-02-22 | 浙江工业大学 | 一种视频中人脸特征点的稳定检测方法 |
| CN106125941B (zh) * | 2016-08-12 | 2023-03-10 | 东南大学 | 多设备切换控制装置及多设备控制系统 |
| US10521892B2 (en) * | 2016-08-31 | 2019-12-31 | Adobe Inc. | Image lighting transfer via multi-dimensional histogram matching |
| CN106548521A (zh) * | 2016-11-24 | 2017-03-29 | 北京三体高创科技有限公司 | 一种联合2d+3d主动外观模型的人脸对齐方法及系统 |
| US10860841B2 (en) | 2016-12-29 | 2020-12-08 | Samsung Electronics Co., Ltd. | Facial expression image processing method and apparatus |
| CN108961149B (zh) * | 2017-05-27 | 2022-01-07 | 北京旷视科技有限公司 | 图像处理方法、装置和系统及存储介质 |
| CN107403145B (zh) * | 2017-07-14 | 2021-03-09 | 北京小米移动软件有限公司 | 图像特征点定位方法及装置 |
| CN107578000B (zh) * | 2017-08-25 | 2023-10-31 | 百度在线网络技术（北京）有限公司 | 用于处理图像的方法及装置 |
| KR101977174B1 (ko) | 2017-09-13 | 2019-05-10 | 이재준 | 영상 분석 방법, 장치 및 컴퓨터 프로그램 |
| CN108765551B (zh) * | 2018-05-15 | 2022-02-01 | 福建省天奕网络科技有限公司 | 一种实现3d模型捏脸的方法及终端 |
| CN110738082B (zh) * | 2018-07-20 | 2023-01-24 | 北京陌陌信息技术有限公司 | 人脸关键点的定位方法、装置、设备及介质 |
| CN111259711A (zh) * | 2018-12-03 | 2020-06-09 | 北京嘀嘀无限科技发展有限公司 | 一种识别唇动的方法和系统 |
| CN109919081A (zh) * | 2019-03-04 | 2019-06-21 | 司法鉴定科学研究院 | 一种自动化辅助人像特征标识方法 |
| CN109902635A (zh) * | 2019-03-04 | 2019-06-18 | 司法鉴定科学研究院 | 一种基于示例图形的人像特征标识方法 |
| CN110070083A (zh) * | 2019-04-24 | 2019-07-30 | 深圳市微埃智能科技有限公司 | 图像处理方法、装置、电子设备和计算机可读存储介质 |
| CN110472674B (zh) * | 2019-07-31 | 2023-07-18 | 苏州中科全象智能科技有限公司 | 一种基于边缘和梯度特征的模板匹配算法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006051607A1 (ja) * | 2004-11-12 | 2008-05-29 | オムロン株式会社 | 顔特徴点検出装置、特徴点検出装置 |
| JP2010186288A (ja) * | 2009-02-12 | 2010-08-26 | Seiko Epson Corp | 顔画像の所定のテクスチャー特徴量を変更する画像処理 |
| US20110007174A1 (en) * | 2009-05-20 | 2011-01-13 | Fotonation Ireland Limited | Identifying Facial Expressions in Acquired Digital Images |
| JP2011086051A (ja) * | 2009-10-14 | 2011-04-28 | Fujitsu Ltd | 眼位置認識装置 |
| JP2012022412A (ja) * | 2010-07-12 | 2012-02-02 | Canon Inc | 画像処理装置、画像処理方法、及びプログラム |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5774591A (en) * | 1995-12-15 | 1998-06-30 | Xerox Corporation | Apparatus and method for recognizing facial expressions and facial gestures in a sequence of images |
| US7599549B2 (en) * | 2004-12-22 | 2009-10-06 | Fujifilm Corporation | Image processing method, image processing apparatus, and computer readable medium, in which an image processing program is recorded |
| CN1687957A (zh) * | 2005-06-02 | 2005-10-26 | 上海交通大学 | 结合局部搜索和活动外观模型的人脸特征点定位方法 |
| CN1731416A (zh) * | 2005-08-04 | 2006-02-08 | 上海交通大学 | 快速且精确的人脸特征点定位方法 |
| US7643659B2 (en) * | 2005-12-31 | 2010-01-05 | Arcsoft, Inc. | Facial feature detection on mobile devices |
| CN100397410C (zh) * | 2005-12-31 | 2008-06-25 | 北京中星微电子有限公司 | 基于视频的面部表情识别方法及装置 |
| CN100561503C (zh) * | 2007-12-28 | 2009-11-18 | 北京中星微电子有限公司 | 一种人脸眼角与嘴角定位与跟踪的方法及装置 |
| CN101339606B (zh) * | 2008-08-14 | 2011-10-12 | 北京中星微电子有限公司 | 一种人脸关键器官外轮廓特征点定位与跟踪的方法及装置 |
-
2012
- 2012-08-28 CN CN201210309313.6A patent/CN103632129A/zh active Pending
-
2013
- 2013-07-31 JP JP2015521969A patent/JP2015522200A/ja active Pending
- 2013-07-31 US US14/417,909 patent/US20150302240A1/en not_active Abandoned
- 2013-07-31 WO PCT/CN2013/080526 patent/WO2014032496A1/zh active Application Filing
- 2013-07-31 EP EP13832559.2A patent/EP2863335A4/en not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2006051607A1 (ja) * | 2004-11-12 | 2008-05-29 | オムロン株式会社 | 顔特徴点検出装置、特徴点検出装置 |
| JP2010186288A (ja) * | 2009-02-12 | 2010-08-26 | Seiko Epson Corp | 顔画像の所定のテクスチャー特徴量を変更する画像処理 |
| US20110007174A1 (en) * | 2009-05-20 | 2011-01-13 | Fotonation Ireland Limited | Identifying Facial Expressions in Acquired Digital Images |
| JP2011086051A (ja) * | 2009-10-14 | 2011-04-28 | Fujitsu Ltd | 眼位置認識装置 |
| JP2012022412A (ja) * | 2010-07-12 | 2012-02-02 | Canon Inc | 画像処理装置、画像処理方法、及びプログラム |
Non-Patent Citations (1)
| Title |
|---|
| JPN6015050810; 梅川 俊宏: '顔器官位置推定に基づく任意姿勢顔生成' 情報処理学会研究報告 平成２２年度 ５ ［ＣＤ-ＲＯＭ］ ＰＲＭＵ２０１０-２０３ ， ＭＶＥ２０１０-１２８, 20110215, Ｐ．１-６, 一般社団法人 情報処理学会 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101923405B1 (ko) * | 2018-01-09 | 2018-11-29 | 전남대학교산학협력단 | 기하학적 변환이 적용된 aam을 이용한 사람의 얼굴 검출 및 모델링시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP2863335A4 (en) | 2016-03-30 |
| WO2014032496A1 (zh) | 2014-03-06 |
| CN103632129A (zh) | 2014-03-12 |
| US20150302240A1 (en) | 2015-10-22 |
| EP2863335A1 (en) | 2015-04-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2015522200A (ja) | 人顔特徴点の位置決め方法、装置及び記憶媒体 | |
| US20210192758A1 (en) | Image processing method and apparatus, electronic device, and computer readable storage medium | |
| CN111414798B (zh) | 基于rgb-d图像的头部姿态检测方法及系统 | |
| CN110175558B (zh) | 一种人脸关键点的检测方法、装置、计算设备及存储介质 | |
| CN110675487B (zh) | 基于多角度二维人脸的三维人脸建模、识别方法及装置 | |
| Simo-Serra et al. | A joint model for 2d and 3d pose estimation from a single image | |
| US9098740B2 (en) | Apparatus, method, and medium detecting object pose | |
| CN109934847B (zh) | 弱纹理三维物体姿态估计的方法和装置 | |
| CN109271914A (zh) | 检测视线落点的方法、装置、存储介质和终端设备 | |
| CN106127145B (zh) | 瞳孔定位及跟踪方法 | |
| CN103514432A (zh) | 人脸特征提取方法、设备和计算机程序产品 | |
| CN103443826B (zh) | 网格动画 | |
| KR20100094560A (ko) | 얼굴 자세 추정 장치, 얼굴 자세 추정 방법 및 얼굴 자세 추정 프로그램 | |
| CN103430218A (zh) | 用3d脸部建模和地标对齐扩增造型的方法 | |
| JP2008068086A (ja) | ３ｄ心エコー図において心臓構造をリアルタイムでトラッキングするための方法 | |
| CN109740537B (zh) | 人群视频图像中行人图像属性的精确标注方法及系统 | |
| JP2009020761A (ja) | 画像処理装置及びその方法 | |
| WO2019071976A1 (zh) | 基于区域增长和眼动模型的全景图像显著性检测方法 | |
| US20190066311A1 (en) | Object tracking | |
| JP6331761B2 (ja) | 判定装置、判定方法及び判定プログラム | |
| WO2022217794A1 (zh) | 一种动态环境移动机器人的定位方法 | |
| US11633235B2 (en) | Hybrid hardware and computer vision-based tracking system and method | |
| KR20140024206A (ko) | 입술 검출 및 추적을 위한 방법 및 장치 | |
| CN113436251B (zh) | 一种基于改进的yolo6d算法的位姿估计系统及方法 | |
| CN112233161B (zh) | 手部图像深度确定方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150119 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151215 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160224 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160329 |