JP2022002003A - 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム - Google Patents

顔構造推定装置、顔構造推定方法、および顔構造推定プログラム Download PDF

Info

Publication number
JP2022002003A
JP2022002003A JP2020106439A JP2020106439A JP2022002003A JP 2022002003 A JP2022002003 A JP 2022002003A JP 2020106439 A JP2020106439 A JP 2020106439A JP 2020106439 A JP2020106439 A JP 2020106439A JP 2022002003 A JP2022002003 A JP 2022002003A
Authority
JP
Japan
Prior art keywords
face
face image
face structure
estimation
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020106439A
Other languages
English (en)
Other versions
JP7345435B2 (ja
Inventor
ジェチョル キム
Jaechul Kim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2020106439A priority Critical patent/JP7345435B2/ja
Priority to CN202180043887.0A priority patent/CN115917591A/zh
Priority to US18/000,487 priority patent/US20230215016A1/en
Priority to PCT/JP2021/021273 priority patent/WO2021256288A1/ja
Priority to EP21826406.7A priority patent/EP4170586A4/en
Publication of JP2022002003A publication Critical patent/JP2022002003A/ja
Application granted granted Critical
Publication of JP7345435B2 publication Critical patent/JP7345435B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7792—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being an automated module, e.g. "intelligent oracle"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】アノテーションコストの増加を低減させながら顔画像に基づく顔構造の推定精度を向上させる。【解決手段】顔構造推定装置１０は取得部１１と制御部１３とを有する。取得部１１は顔画像を取得する。制御部１３は推定部１６として機能する。推定部１６は顔画像に基づき顔構造を推定する。制御部１３は顔構造を構成する開始特徴点を当該顔構造の推定に用いた顔画像のフレーム以後のフレームの顔画像において所定の追跡アルゴリズムで追跡する。制御部１３は追跡した特徴点をもとのフレームの顔画像において所定のアルゴリズムで追跡することにより結果特徴点を求める。制御部１３は結果特徴点と開始特徴点との間隔が閾値会である顔画像を学習用に選別する。制御部１３は推定部を学習用に選別した顔画像と当該顔画像に基づき推定部１６に推定させた顔構造とを用いて学習させる。【選択図】図１

Description

本発明は、顔構造推定装置、顔構造推定方法、および顔構造推定プログラムに関するものである。
例えば、眠気のある乗員に対して休息を促したり、自動運転に移行するなど、車内の運転手の状態に応じて、多様な機能を実行させる装置などが検討されている。このような装置においては、乗員の状態を簡易に認識することが求められている。乗員のように人の状態は、状態に応じた顔構造を推定することにより把握することが検討されている。例えば、深層学習により、顔画像から顔構造を推定することが知られている（特許文献１参照）。
国際公開２０１９−１７６９９４号
深層学習を用いた顔画像に基づいて推定する顔構造の精度の向上には、多量の学習データそれぞれに正解ラベルを付けて学習させる教師あり学習を行うことが考えられる。しかし、多量の学習データそれぞれに正解ラベルを付けるには、アノテーションコストの増加を招く。
従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、アノテーションコストの増加を低減させながら、顔画像に基づく顔構造の推定の精度を向上する顔構造推定装置、顔構造推定方法、および顔構造推定プログラムを提供することにある。
上述した諸課題を解決すべく、第１の観点による顔構造推定装置は、
顔画像を取得する取得部と、
前記顔画像の顔構造を出力する制御部と、を備え、
前記制御部は、
前記取得部が取得した顔画像に基づき該顔画像の顔構造を推定する推定部として機能し、
前記顔構造を構成する開始特徴点を、該顔構造の推定に用いた顔画像のフレーム以後のフレームの顔画像において所定の追跡アルゴリズムで追跡し、追跡した特徴点を元のフレームの顔画像において所定の追跡アルゴリズムで追跡することにより求めた結果特徴点と前記開始特徴点との間隔が閾値以下である顔画像を学習用に選別し、
前記推定部を、学習用に選別した顔画像と、該顔画像に基づき該推定部に推定させた顔構造とを用いて学習させる。
第２の観点による顔構造推定方法は、
顔画像を取得する取得工程と、
前記顔画像の顔構造を出力する出力工程と、を備え、
前記出力工程は、
前記取得工程において取得した顔画像に基づき該顔画像の顔構造を推定する推定工程と、
前記顔構造を構成する開始特徴点を該顔構造の推定に用いた顔画像のフレーム以後のフレームの顔画像において所定の追跡アルゴリズムで追跡し、追跡した特徴点を元のフレームの顔画像において所定の追跡アルゴリズムで追跡することにより求めた結果特徴点と前記開始特徴点との間隔が閾値以下である顔画像を学習用に選別する選別工程と、
学習用に選別した顔画像と、該顔画像に基づき該推定工程に推定させた顔構造とを用いて前記推定工程を学習させる学習工程と、を含む。
第３の観点による顔構造推定プログラムは、
コンピュータを、
顔画像を取得する取得部と、
前記顔画像の顔構造を出力する制御部と、として機能させ、
前記制御部は、
前記取得部が取得した顔画像に基づき該顔画像の顔構造を推定する推定部として機能し、
前記顔構造を構成する開始特徴点を該顔構造の推定に用いた顔画像のフレーム以後のフレームの顔画像において所定の追跡アルゴリズムで追跡し、追跡した特徴点を元のフレームの顔画像において所定の追跡アルゴリズムで追跡することにより求めた結果特徴点と前記開始特徴点との間隔が閾値以下である顔画像を学習用に選別し、
前記推定部を、学習用に選別した顔画像と、該顔画像に基づき該推定部に推定させた顔構造とを用いて学習させる。
上記のように構成された本開示に係る顔構造推定装置、顔構造推定方法、および顔構造推定プログラムによれば、アノテーションコストの増加を低減させながら、顔画像に基づく顔構造の推定精度が向上する。
本実施形態に係る顔構造推定装置の概略構成を示すブロック図である。 図１の推定部を一次的に構築するための学習を説明する概念図である。 図１の推定部による顔構造とラベル付き顔構造に基づく、正解となる妥当性の算出方法を説明する概念図である。 図１の評価部を構築するための学習を説明する概念図である。 結果特徴点の推定方法および結果特徴点と開始特徴点との関係を説明するための図である。 図１の推定部を二次的に構築するための学習を説明する概念図である。 図１の制御部が実行する構築処理を説明するためのフローチャートである。
以下、本開示を適用した顔構造推定装置の実施形態について、図面を参照して説明する。なお、以下の本開示を適用した顔構造推定装置の実施形態の説明は、本開示を適用した顔構造推定方法および顔構造推定プログラムの実施形態の説明を兼ねる。
本開示の一実施形態に係る顔構造推定装置は、例えば、移動体に設けられる。移動体は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
図１に示すように、本開示の一実施形態に係る顔構造推定装置１０は、取得部１１、メモリ１２、および制御部１３を含んで構成される。
取得部１１は、例えば、カメラ１４が撮像した乗員の顔の画像である顔画像を取得する。なお、カメラ１４は、例えば、運転席などの移動体の特定の位置にいる乗員の顔周辺を撮像可能な位置に取付けられる。また、カメラ１４は、例えば、３０ｆｐｓで顔画像を撮像する。
メモリ１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ１２は、制御部１３を機能させる多様なプログラム、および制御部１３が用いる多様な情報を記憶する。
制御部１３は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部１３は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ−ｏｎ−ａ−Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。制御部１３は、顔構造推定装置１０の各構成要素の動作を制御する。
制御部１３は、取得部１１が取得した顔画像の顔構造を外部機器１５に出力する。顔構造は、人の状態に応じて変化する表情などを特定する特徴であって、例えば、特徴点の集合体である。特徴点は、例えば、顎先などのように顔の輪郭上において定義づけられる点、目頭および目じりのように目の輪郭上において定義づけられる点、鼻尖から鼻根までの鼻梁において定義づけられる点などである。制御部１３による顔構造の出力について、以下に詳細に説明する。制御部１３は、推定部１６、および評価部１７として機能する。
推定部１６は、取得部１１が取得した顔画像に基づき、当該顔画像の構造を推定する。推定部１６が推定した顔構造が、制御部１３から出力される。推定部１６は、例えば、多層構造のニューラルネットワークにより構成されている。推定部１６は、後述するように、教師あり学習を実施することにより構築される。
評価部１７は、推定部１６が推定する顔構造の妥当性を算出する。評価部１７は、後述するように、推定部１６を学習させるために用いる閾値を、妥当性に基づいて変化させる。評価部１７は、例えば、多層構造のニューラルネットワークにより構成されている。評価部１７は、後述するように、教師あり学習を実施することにより構築される。
以下に、推定部１６および評価部１７の教師あり学習について説明する。推定部１６および評価部１７の構築には、顔構造推定装置１０の製造時に、教師あり学習が実行される。なお、推定部１６および評価部１７の構築は、単一の顔構造推定装置１０に対して行われ、他の顔構造推定装置１０には推定部１６および評価部１７を構築するためのデータが記憶されてよい。
推定部１６および評価部１７の構築について、以下に説明する。機械学習による推定部１６および評価部１７の構築には、顔画像、および当該顔画像に対するラベル付き顔構造の複数の組が用いられる。ラベル付き顔構造は、顔画像に対する正解である顔構造である。ラベル付き顔構造は、例えば、前述のような定義に基づいて、人の判断により作成される。
図２に示すように、一次的な推定部１６ａは、ラベル付き顔構造ｌＦＳを顔画像ＦＩに対する正解として用いて、教師あり学習を行うことにより構築される。図３に示すように、構築された一次的な汎用推定部１８は、当該複数の組ＣＢ１に含まれる顔画像ＦＩから顔構造ｇＦＳを推定する。
制御部１３は、推定された顔構造ｇＦＳの妥当性を、顔構造ｇＦＳの推定に用いた顔画像ＦＩに対応するラベル付き顔構造ｌＦＳを用いて算出する。妥当性は、推定された顔構造ｇＦＳのラベル付き顔構造ｌＦＳとの一致性であり、例えば、推定された顔構造ｇＦＳを構成する点とラベル付き顔構造ｌＦＳを構成する点との距離が大きくなるほど低く、ゼロに近づくほど高くなるように算出される。
図４に示すように、顔画像ＦＩ、ラベル付き顔構造ｌＦＳ、および妥当性の複数の組ＣＢ２が評価部１７の構築に用いられる。妥当性を顔画像ＦＩおよびラベル付き顔構造ｌＦＳの正解として用いて、教師あり学習を行うことにより評価部１７ａが構築される。
一次的な推定部１６ａに対してさらに機械学習が進められる。なお、一次的な推定部１６ａに対するさらなる機械学習は、製造時に限定されず、使用時に行われもてよい。一次的な推定部１６ａのさらなる機械学習には、ラベル付き顔構造ｌＦＳのない、単なる顔画像ＦＩが用いられる。さらなる機械学習に用いる顔画像ＦＩは、以下のように選別される。
さらなる機械学習に用いる顔画像ＦＩの選別のために、同一の人物に対して、例えば、３０ｆｐｓなどの速度で撮像された複数のフレームの顔画像ＦＩが用いられる。本実施形態においては、例えば、４フレームの顔画像ＦＩが用いられる。一次的な推定部１６ａは、複数のフレームの顔画像ＦＩの中で最初のフレームの顔画像ＦＩに基づいて、当該顔画像ＦＩの顔構造ｇＦＳを推定する。
図５に示すように、制御部１３は、推定された顔構造ｇＦＳを構成する各特徴点を、開始特徴点ｓＦＰとして、当該フレーム以後の顔画像ＦＩにおいて、いずこの位置に移動したかを、所定の追跡アルゴリズムを用いて推定する。所定の追跡アルゴリズムは、例えば、勾配法、さらに具体的にはＬｕｃａｓ−Ｋａｎｅｄａ法である。
制御部１３は、複数のフレームにおいて順番に、開始特徴点ｓＦＰを追跡して、追跡した特徴点ｔＦＰの位置を算出する。制御部１３は、最後のフレームの顔画像ＦＩにおける追跡した特徴点ｔＦＰの位置の算出後、当該フレーム以前の顔画像ＦＩにおいていずこの位置に移動したかを、同じ所定の追跡アルゴリズムを用いて推定する。制御部１３は、複数のフレームにおいて順番に、最後のフレームにおける追跡した特徴点ｔＦＰを追跡して、最初のフレームの顔画像ＦＩにおける結果特徴点ｇＦＰの位置を算出する。
制御部１３は、開始特徴点ｓＦＰおよび結果特徴点ｇＦＰの間隔を算出する。制御部１３は、算出した間隔を閾値と比較する。閾値は、前述のように、妥当性に基づいて変化させてよい。評価部１７は、複数のフレームの顔画像ＦＩの中の少なくとも１つの顔画像ＦＩに基づいて、妥当性を推定してよい。制御部１３は、妥当性が高くなるほど、小さくなるように閾値を定めてよい。制御部１３は、算出した間隔が閾値以下である場合、複数のフレームの顔画像ＦＩの少なくともいずれかを、さらなる機械学習に用いる顔画像ＦＩとして選別する。なお、顔構造ｇＦＳを構成する複数の特徴点毎に間隔が算出され、複数の間隔の平均値、中央値、最大値など代表値と閾値が比較されてよい。
制御部１３は、選別した顔画像ＦＩに基づいて推定部１６により推定された顔構造ｇＦＳを、疑似的なラベル付き顔構造ｖｌＦＳとして、当該顔画像ＦＩと組合せる。制御部１３は、選別した顔画像ＦＩに基づく顔構造ｇＦＳの開始特徴点ｓＦＰおよび結果特徴点ｇＦＰを平均させた点、言換えると中点によって構成される顔構造を、疑似的なラベル付き顔構造ｖｌＦＳとして、当該顔画像ＦＩと組合せてもよい。真のラベル付き顔構造ｌＦＳのある顔画像ＦＩよりも多数の顔画像ＦＩを用いて顔構造ｇＦＳの推定が行われ、疑似的なラベル付き顔構造ｖｌＦＳと顔画像ＦＩの組ＣＢ３が生成される。
図６に示すように、顔画像ＦＩおよび疑似的なラベル付き顔構造ｖｌＦＳの複数の組ＣＢ３を用いて、一次的な推定部１６ａに対して教師あり学習が進められ、二次的な推定部１６ｂが構築される。当該二次的な推定部１６ｂを構成するためのデータが生成され、制御部１３は当該データに基づいて推定部１６として機能する。
次に、本実施形態の製造時において制御部１３が実行する、構築処理について、図７のフローチャートを用いて説明する。構築処理は、例えば、顔画像ＦＩおよびラベル付き顔構造ｌＦＳの複数の組ＣＢ１と、同一の人物に対して撮像された複数のフレームの顔画像ＦＩとを顔構造推定装置１０に供給可能な状態で、構築を開始する操作入力を制御部１３が認識するときに開始する。
ステップＳ１００において、制御部１３は、真のラベル付き顔構造ｌＦＳを正解として用いて顔画像ＦＩの教師あり学習を実行する。教師あり学習の実行後、プロセスはステップＳ１０１に進む。
ステップＳ１０１では、制御部１３は、ステップＳ１００における教師あり学習により構築される、一次的な推定部１６ａを構成するためのデータをメモリ１２に格納する。格納後、プロセスはステップＳ１０２に進む。
ステップＳ１０２では、制御部１３は、顔画像ＦＩに基づく顔構造ｇＦＳを、ステップＳ１０１において構築した一次的な推定部１６ａに推定させる。さらに、制御部１３は、推定した顔構造ｇＦＳとラベル付き顔構造ｌＦＳを用いて妥当性を算出する。算出後、プロセスはステップＳ１０３に進む。
ステップＳ１０３において、制御部１３は、ステップＳ１０２において算出した妥当性を正解として用いて顔画像ＦＩおよびラベル付き顔構造ｌＦＳの教師あり学習を実行する。教師あり学習の実行後、プロセスはステップＳ１０４に進む。
ステップＳ１０４では、制御部１３は、ステップＳ１０３における教師あり学習により構築される、評価部１７を構成するためのデータをメモリ１２に格納する。格納後、プロセスはステップＳ１０５に進む。
ステップＳ１０５では、制御部１３は、同一の人物別の複数のフレームの顔画像ＦＩを読出す。読出し後、プロセスはステップＳ１０６に進む。
ステップＳ１０６では、制御部１３は、ステップＳ１０５において読出した複数のフレームの顔画像ＦＩの中で最初のフレームの顔画像ＦＩの顔構造ｇＦＳを、ステップＳ１０１において構築した一次的な推定部１６ａに推定させる。さらに、制御部１３は、当該顔画像ＦＩおよび顔構造ｇＦＳに対する妥当性を、評価部１７に推定させる。推定後、プロセスはステップＳ１０７に進む
ステップＳ１０７では、制御部１３は、ステップＳ１０６において推定した妥当性に基づいて閾値を決定する。決定後、プロセスはステップＳ１０８に進む
ステップＳ１０８では、ステップＳ１０６において推定した顔構造ｇＦＳを構成する特徴点を開始特徴点ｓＦＰとして顔画像ＦＩにおける位置を算出する。さらに、制御部１３は、開始特徴点ｓＦＰの、以後のフレームにおける移動位置を所定の追跡アルゴリズムを用いて推定する。さらに、制御部１３は、追跡した特徴点ｔＦＰの、最初のフレームの顔画像ＦＩにおける移動位置を所定の追跡アルゴリズムを用いて推定することにより、結果特徴点ｇＦＰの位置を推定する。さらに、制御部１３は、開始特徴点ｓＦＰと結果特徴点ｇＦＰとの間隔を算出する。算出後、プロセスはステップＳ１０９に進む。
ステップＳ１０９では、制御部１３は、ステップＳ１０８において算出した間隔が、ステップＳ１０７において決定した閾値以下であるか否かを判別する。閾値以下である場合、プロセスはステップＳ１１０に進む。閾値以上でない場合、プロセスはステップＳ１１１に進む。
ステップＳ１１０では、制御部１３は、ステップＳ１０５において読出した複数のフレームの顔画像ＦＩの少なくとも１フレームと、当該フレームの顔画像ＦＩに対して推定した顔構造ｇＦＳとを組合せる。制御部１３は、当該フレームの顔画像ＦＩに対して推定した顔構造ｇＦＳの代わりに、当該フレームの顔画像ＦＩに対してステップＳ１０８において推定した開始特徴点ｓＦＰおよび結果特徴点ｇＦＰの中点によって構成される顔構造を当該顔画像ＦＩに組合せてもよい。組合せ後、プロセスはステップＳ１１２に進む。
ステップＳ１１１では、制御部１３は、ステップＳ１０５において読出した複数のフレームの顔画像ＦＩを廃棄する。廃棄後、プロセスはステップＳ１１２に進む。
ステップＳ１１２では、制御部１３は、顔画像ＦＩおよび顔構造ｇＦＳの組ＣＢ３が十分に蓄積されているか否かを判別する。十分に蓄積されているか否かは、例えば、組ＣＢ３の数が閾値を超えるか否かによって判別されてよい。十分に蓄積されていない場合、プロセスはステップＳ１０５に戻る。十分に蓄積されている場合、プロセスはステップＳ１１３に進む。
ステップＳ１１３では、制御部１３は、ステップＳ１０１において構築された一次的な推定部１６ａに対して、組ＣＢ３における顔構造ｇＦＳを疑似的なラベル付き顔構造ｖｌＦＳとする正解として、顔画像ＦＩの教師あり学習を進める。教師あり学習の実行後、プロセスはステップＳ１１４に進む。
ステップＳ１１４では、制御部１３は、ステップＳ１１３における教師あり学習により構築される、二次的な推定部１６ｂを構成するためのデータをメモリ１２に格納する。格納後、構築処理は終了する。
以上のような構成の本実施形態の顔構造推定装置１０は、顔構造ｇＦＳを構成する開始特徴点ｓＦＰを、当該顔構造ｇＦＳの推定に用いた顔画像ＦＩのフレーム以後のフレームの顔画像ＦＩにおいて所定の追跡アルゴリズムで追跡する。さらに、顔構造推定装置１０は、追跡した特徴点ｔＦＰを元のフレームの顔画像ＦＩにおいて所定の追跡アルゴリズムで追跡することにより求めた結果特徴点ｇＦＰと開始特徴点ｓＦＰとの間隔が閾値以下である顔画像ＦＩを学習用に選別する。一般的に、追跡アルゴリズムでは、追跡対象の領域における輝度値などの値と、周囲の領域の値との差異が大きくなるほど、追跡精度が向上する。したがって、上述のような構成の顔構造推定装置１０では、開始特徴点ｓＦＰと結果特徴点ｇＦＰとの間隔が閾値以下である顔画像ＦＩを選別するので、周囲との差異の大きな特徴点により構成される顔構造ｇＦＳが推定される顔画像ＦＩが、推定部１６の学習に用いられる。周囲との差異が大きな特徴点により構成される顔構造ｇＦＳは、当該顔構造ｇＦＳの推定に用いる顔画像ＦＩに対して作成したと仮想したラベル付き顔構造ｌＦＳとの差異が小さい傾向がある。また、顔構造推定装置１０は、学習用に選別した顔画像ＦＩと当該顔画像ＦＩに基づき推定部１６に推定された顔構造ｇＦＳとを用いて推定部１６を学習させる。したがって、顔構造推定装置１０は、顔画像ＦＩに基づく顔構造ｇＦＳの推定精度を向上し得る。また、顔構造推定装置１０は、正解ラベルの付与付けをすることなく多数の学習データを生成するのでアノテーションコストの増加を低減し得る。
また、本実施形態の顔構造推定装置１０は、推定部１６が推定する顔構造ｇＦＳの妥当性を推定し、当該妥当性に基づいて閾値を変化させる。周囲との差異が大きな特徴点により構成される顔構造ｇＦＳと、当該顔構造ｇＦＳの推定に用いる顔画像ＦＩに対して作成したものと仮想したラベル付き顔構造ｌＦＳとの差異は、必ず小さいわけではない。一方で推定による妥当性および顔構造ｇＦＳを構成する特徴点の周囲との差異のいずれかが大きければ、当該顔構造ｇＦＳとラベル付き顔構造ｌＦＳの差異は小さくなると考えられる。そこで、上述のような構成の顔構造推定装置１０では、妥当性に基づいて閾値を変化させるので、推定による妥当性が低くても開始特徴点ｓＦＰと結果特徴点ｇＦＰとの間隔が小さな顔画像ＦＩ、および開始特徴点ｓＦＰと結果特徴点ｇＦＰとの間隔が大きくても推定による妥当性が大きな顔画像ＦＩのいずれも推定部１６の学習に用いるために選別され得る。したがって、顔構造推定装置１０は、漏れを小さくするようにより多くの顔画像ＦＩを、顔構造ｇＦＳの推定精度を高く維持させながら、選別し得る。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
１０ 顔構造推定装置
１１ 取得部
１２ メモリ
１３ 制御部
１４ カメラ
１５ 外部機器
１６ 推定部
１６ａ 一次的な推定部
１６ｂ 二次的な推定部
１７ 評価部
ＣＢ１ 顔画像およびラベル付き顔構造の組
ＣＢ２ 顔画像、ラベル付き顔構造、および妥当性の組
ＣＢ３ 顔画像および疑似的なラベル付き顔構造の組
ＦＩ 顔画像
ｇＦＰ 結果特徴点
ｇＦＳ 推定された顔構造
ｌＦＳ ラベル付き顔構造
ｓＦＰ 開始特徴点
ｖｌＦＳ 疑似的なラベル付き顔構造

Claims (5)

  1. 顔画像を取得する取得部と、
    前記顔画像の顔構造を出力する制御部と、を備え、
    前記制御部は、
    前記取得部が取得した顔画像に基づき該顔画像の顔構造を推定する推定部として機能し、
    前記顔構造を構成する開始特徴点を該顔構造の推定に用いた顔画像のフレーム以後のフレームの顔画像において所定の追跡アルゴリズムで追跡し、追跡した特徴点を元のフレームの顔画像において所定の追跡アルゴリズムで追跡することにより求めた結果特徴点と前記開始特徴点との間隔が閾値以下である顔画像を学習用に選別し、
    前記推定部を、学習用に選別した顔画像と、該顔画像に基づき該推定部に推定させた顔構造とを用いて学習させる
    顔構造推定装置。
  2. 請求項１に記載の顔構造推定装置において、
    前記制御部は、前記推定部が推定する顔構造の妥当性を推定し、且つ該妥当性に基づいて前記閾値を変化させる評価部として機能する
    顔構造推定装置。
  3. 請求項１または２に記載の顔構造推定装置において、
    前記制御部は、前記推定部の学習に、学習用に選別した顔画像と、該顔画像に基づき前記推定部に推定させた顔構造を構成する前記開始特徴点および前記結果特徴点の中点によって構成される顔構造とを用いる
    顔構造推定装置。
  4. 顔画像を取得する取得工程と、
    前記顔画像の顔構造を出力する出力工程と、を備え、
    前記出力工程は、
    前記取得工程において取得した顔画像に基づき該顔画像の顔構造を推定する推定工程と、
    前記顔構造を構成する開始特徴点を該顔構造の推定に用いた顔画像のフレーム以後のフレームの顔画像において所定の追跡アルゴリズムで追跡し、追跡した特徴点を元のフレームの顔画像において所定の追跡アルゴリズムで追跡することにより求めた結果特徴点と前記開始特徴点との間隔が閾値以下である顔画像を学習用に選別する選別工程と、
    学習用に選別した顔画像と、該顔画像に基づき該推定工程に推定させた顔構造とを用いて前記推定工程を学習させる学習工程と、を含む
    顔構造推定方法。
  5. コンピュータを、
    顔画像を取得する取得部と、
    前記顔画像の顔構造を出力する制御部と、として機能させ、
    前記制御部は、
    前記取得部が取得した顔画像に基づき該顔画像の顔構造を推定する推定部として機能し、
    前記顔構造を構成する開始特徴点を該顔構造の推定に用いた顔画像のフレーム以後のフレームの顔画像において所定の追跡アルゴリズムで追跡し、追跡した特徴点を元のフレームの顔画像において所定の追跡アルゴリズムで追跡することにより求めた結果特徴点と前記開始特徴点との間隔が閾値以下である顔画像を学習用に選別し、
    前記推定部を、学習用に選別した顔画像と、該顔画像に基づき該推定部に推定させた顔構造とを用いて学習させる
    顔構造推定プログラム。
JP2020106439A 2020-06-19 2020-06-19 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム Active JP7345435B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020106439A JP7345435B2 (ja) 2020-06-19 2020-06-19 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム
CN202180043887.0A CN115917591A (zh) 2020-06-19 2021-06-03 脸部构造推定装置、脸部构造推定方法以及脸部构造推定程序
US18/000,487 US20230215016A1 (en) 2020-06-19 2021-06-03 Facial structure estimating device, facial structure estimating method, and facial structure estimating program
PCT/JP2021/021273 WO2021256288A1 (ja) 2020-06-19 2021-06-03 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム
EP21826406.7A EP4170586A4 (en) 2020-06-19 2021-06-03 FACIAL STRUCTURE ESTIMATION DEVICE, FACIAL STRUCTURE ESTIMATION METHOD, AND FACIAL STRUCTURE ESTIMATION PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020106439A JP7345435B2 (ja) 2020-06-19 2020-06-19 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム

Publications (2)

Publication Number Publication Date
JP2022002003A true JP2022002003A (ja) 2022-01-06
JP7345435B2 JP7345435B2 (ja) 2023-09-15

Family

ID=79244721

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020106439A Active JP7345435B2 (ja) 2020-06-19 2020-06-19 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム

Country Status (5)

Country Link
US (1) US20230215016A1 (ja)
EP (1) EP4170586A4 (ja)
JP (1) JP7345435B2 (ja)
CN (1) CN115917591A (ja)
WO (1) WO2021256288A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5302730B2 (ja) 2009-03-25 2013-10-02 トヨタ自動車株式会社 運転者監視装置
CN109684901B (zh) * 2017-10-19 2023-06-06 富士通株式会社 图像处理装置和图像处理方法
JP6760318B2 (ja) 2018-03-14 2020-09-23 オムロン株式会社 顔画像識別システム、識別器生成装置、識別装置、画像識別システム、及び識別システム

Also Published As

Publication number Publication date
US20230215016A1 (en) 2023-07-06
WO2021256288A1 (ja) 2021-12-23
EP4170586A1 (en) 2023-04-26
JP7345435B2 (ja) 2023-09-15
EP4170586A4 (en) 2024-03-20
CN115917591A (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
JP6704971B2 (ja) 自動車のブラインドスポットモニタリング方法及びこれを利用したブラインドスポットモニタ
CN109866778B (zh) 具有自动辅助的自主车辆操作
CN110588653B (zh) 自主车辆的控制系统、控制方法以及控制器
US11046307B2 (en) Parking control method and parking control device
CN113734153A (zh) 驻车支援装置及驻车支援装置的控制方法
WO2021256288A1 (ja) 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム
US20220230474A1 (en) Activity identification method and apparatus
JP6971187B2 (ja) 画像処理装置、撮像装置、および移動体
JP7224550B2 (ja) 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム
WO2021256289A1 (ja) 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム
JP7465738B2 (ja) 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム
US11345354B2 (en) Vehicle control device, vehicle control method and computer-readable medium containing program
JP7160867B2 (ja) 電子機器、情報処理装置、推定方法、および推定プログラム
JP4531366B2 (ja) 進入判定装置および進入判定方法
JP7433155B2 (ja) 電子機器、情報処理装置、推定方法、および推定プログラム
JP6665075B2 (ja) 画像処理装置、撮像装置、移動体、及び画像処理方法
JP2022088962A (ja) 電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法
CN113204234B (zh) 车辆控制方法与车用控制系统
JP2022088959A (ja) 電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法
Lemeret et al. Simulator of obstacle detection and tracking

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230808

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230905

R150 Certificate of patent or registration of utility model

Ref document number: 7345435

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150