JP2017194301A - 顔形状測定装置及び方法 - Google Patents

Abstract

【課題】校正板や測量専用の機材等を用いることなく顔の３次元形状等の効率的な測定を行うことができる顔形状測定装置及び顔形状測定方法を提供する。【解決手段】この顔形状測定装置は、被測定者の顔を撮像して画像データを生成する撮像部と、前記被測定者の顔を撮像して得られる画像データに顔認識処理を施すことにより、前記被測定者の顔において認識される複数の特徴点を抽出し、該複数の特徴点の座標を求める特徴点抽出部と、前記被測定者の顔を所定の角度で撮像して得られる第１の画像における複数の特徴点の内の少なくとも３つの特徴点を校正点として用いて、前記被測定者の顔を複数の異なる角度で撮像して得られる複数の画像における複数の特徴点の座標に基づいて該複数の特徴点の３次元座標を計算し、該複数の特徴点の３次元座標を表す３次元座標データを生成する３次元座標計算部とを備える。【選択図】図１

Description

本発明は、人間の顔の形状等を測定して顔の形状等に関する情報を取得するために用いられる顔形状測定装置及び顔形状測定方法に関する。

例えば、人間の顔の形状を測定して３次元形状情報を取得し、お化粧や美容のカウンセリングにおいて利用したり、健康や体調の管理情報として利用したりすることが要望されている。また、人間の顔又は顔の一部の形状を測定して取得された情報を個人照合に利用することも行われている。

関連する技術として、特許文献１には、顔全体の３次元形状を測定する場合のように局所平面の法線ベクトルの方向が場所によって著しく異なっている場合でも正確な３次元形状を測定することのできる３次元形状測定装置が開示されている。この３次元形状測定装置は、可動体上に搭載された左カメラ及び右カメラと、該可動体の動きを測定対象物の周囲の軌道上に規制する規制手段と、測定対象物の周囲の複数の位置から左カメラ及び右カメラが撮影した画像から測定対象物の３次元形状を計算する計算手段とを具備している。

特開２００１−１９４１２７号公報（段落０００５−０００６、図５）

特許文献１の３次元形状測定装置においては、例えば、図５に示されているように、左カメラ及び右カメラが搭載された可動体を円周方向に移動させる必要があるので、３次元形状測定装置が大型になり、被測定者が自宅等において自らの顔の形状を測定するような用途には使用できない。

一般に、従来のステレオ写真測量においては、撮像対象の近傍に校正板を設置する必要があるので、非効率的であると共に、校正板とカメラ等の撮像装置との設置位置に関する制約が多く、校正板又は撮像対象が撮像範囲から外れてしまうと測量ができないという問題がある。

さらに、複数の画像を撮影する際に撮像対象と校正板との相対的な位置関係を維持する必要があるので、被測定者が自宅等において自らの顔の形状を測定することは困難である。一方、ステレオ写真測量を用いない従来の測量方法によれば、スキャナー等の測量専用の機材を用意して事前に厳密な校正が必要となる。

そこで、上記の点に鑑み、本発明の第１の目的は、校正板や測量専用の機材等を用いることなく顔の３次元形状等の効率的な測定を行うことができる顔形状測定装置及び顔形状測定方法を提供することである。また、本発明の第２の目的は、被測定者が自宅等においても自らの顔の３次元形状等を正確に測定することを可能にする顔形状測定装置及び顔形状測定方法を提供することである。

以上の課題の少なくとも一部を解決するため、本発明の１つの観点に係る顔形状測定装置は、被測定者の顔を撮像して画像データを生成する撮像部と、前記被測定者の顔を撮像して得られる画像データに顔認識処理を施すことにより、前記被測定者の顔において認識される複数の特徴点を抽出し、該複数の特徴点の座標を求める特徴点抽出部と、前記被測定者の顔を所定の角度で撮像して得られる第１の画像における複数の特徴点の内の少なくとも３つの特徴点を校正点として用いて、前記被測定者の顔を複数の異なる角度で撮像して得られる複数の画像における複数の特徴点の座標に基づいて該複数の特徴点の３次元座標を計算し、該複数の特徴点の３次元座標を表す３次元座標データを生成する３次元座標計算部とを備える。

また、本発明の１つの観点に係る顔形状測定方法は、被測定者の顔を所定の角度で撮像して第１の画像を表す画像データを生成すると共に、前記第１の画像を表す画像データに顔認識処理を施すことにより、前記被測定者の顔において認識される複数の特徴点を抽出し、前記第１の画像における複数の特徴点の座標を求めるステップ（ａ）と、前記被測定者の顔を前記所定の角度と異なる角度で撮像して少なくとも１つの画像を表す画像データを生成すると共に、前記少なくとも１つの画像を表す画像データに顔認識処理を施すことにより、前記被測定者の顔において認識される複数の特徴点を抽出し、前記少なくとも１つの画像における複数の特徴点の座標を求めるステップ（ｂ）と、前記第１の画像における複数の特徴点の内の少なくとも３つの特徴点を校正点として用いて、前記被測定者の顔を複数の異なる角度で撮像して得られる複数の画像における複数の特徴点の座標に基づいて該複数の特徴点の３次元座標を計算し、該複数の特徴点の３次元座標を表す３次元座標データを生成するステップ（ｃ）とを備える。

本発明の１つの観点によれば、第１の画像に基づいて少なくとも３つの校正点の実寸座標が求められるので、それらの校正点の実寸座標を基準として、被測定者の顔を複数の異なる角度で撮像して得られる複数の画像の各々における少なくとも３つの校正点の座標に基づいて、その画像の投影面の姿勢を求めることができる。それにより、校正板や測量専用の機材等を用いることなく、顔の３次元形状等の効率的な測定を行うことができる。また、被測定者の顔を撮像して得られる画像における複数の特徴点の座標に基づいて、適切な画像が取得されたか否かを判定することにより、被測定者が自宅等においても自らの顔の３次元形状等を正確に測定することが可能である。

例えば、人間の顔の形状を測定することにより、顔のバランス、たるみ、やつれ、又は、しわ等の３次元形状情報を取得することができる。さらに、人間の顔の色相、明度、又は、彩度を測定することにより、肌の色、しみ、血流、又は、水分量の分布等の肌状態情報を取得することができる。そのような情報を、お化粧や美容のカウンセリングにおいて利用したり、健康や体調の管理情報として利用したりすることが可能になる。

あるいは、顔の３次元形状情報を、生体認証に利用したり、顔をＩＤ（識別要素）としたクラスタリングに利用したりすることが可能になる。また、顔に関するオーダーメイド商品を、自宅等からインターネットを介して注文する際にも、顔の３次元形状情報を利用することができる。そのようなオーダーメイド商品としては、美容マスク、化粧又は仮装用マスク、防塵マスク、メガネフレーム、及び、ゴーグル等が該当する。

本発明の一実施形態に係る顔形状測定装置の構成例を示すブロック図。 特徴点抽出部によって行われる顔認識処理の例を示すフローチャート。 ３つの異なる角度で被測定者の顔を撮像している状態を示す図。 被測定者の上向き顔又は下向き顔の画像が取得されたか否かの判定方法の例を説明するための図。 ３つの異なる角度で撮像された被測定者の顔における特徴点の配置の例を示す図。 被測定者の顔に設定された校正点の例を示す図。 ステレオ写真測量法を説明するための概念図。 本発明の一実施形態に係る顔形状測定方法を示すフローチャート。 本発明の一実施形態に係る顔形状測定方法を示すフローチャート。 本発明の一実施形態に係る顔形状測定方法を示すフローチャート。 測定された顔の形状等を表す画像の例を示す図。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。なお、同一の構成要素には同一の参照符号を付して、重複する説明を省略する。
＜顔形状測定装置＞
図１は、本発明の一実施形態に係る顔形状測定装置の構成例を示すブロック図である。図１に示すように、この顔形状測定装置は、撮像部１０と、特徴点抽出部２０と、３次元座標計算部３０と、画像データ生成部４０と、表示部５０と、操作部６０と、制御部７０と、格納部８０とを含んでいる。

格納部８０は、画像データ格納部８１と、学習データ格納部８２と、座標情報格納部８３と、撮像パラメーター格納部８４と、校正点情報格納部８５と、３次元座標データ格納部８６と、３次元画像データ格納部８７とを含んでいる。なお、図１に示す構成要素の一部を省略又は変更しても良いし、あるいは、図１に示す構成要素に他の構成要素を付加しても良い。

撮像部１０は、被測定者の顔を撮像して画像データを生成する。例えば、顔形状測定装置がスマートフォン又はタブレット端末で構成される場合に、撮像部１０は、スマートフォン又はタブレット端末のカメラ部分で構成される。あるいは、撮像部１０として、デジタルスチルカメラ等を用いても良い。そのような場合に、被測定者は、自宅等において自らの顔を撮像することができる。

特徴点抽出部２０〜画像データ生成部４０、及び、制御部７０は、ＣＰＵ（中央演算装置）と、ＣＰＵに各種の処理を行わせるためのソフトウェア（顔形状測定プログラム）とで構成しても良い。ソフトウェアは、格納部８０の記録媒体に記録される。記録媒体としては、各種のメモリー、ハードディスク、フレキシブルディスク、ＭＯ、ＭＴ、ＣＤ−ＲＯＭ、又は、ＤＶＤ−ＲＯＭ等を用いることができる。

表示部５０は、例えば、ＬＣＤ（液晶表示装置）等を含み、画像データ生成部４０から供給される表示用画像データに基づいて各種の情報を表示する。操作部６０は、例えば、操作キーやボタンスイッチ等を含む入力装置であり、顔形状測定装置を操作するために用いられる。操作部６０は、オペレーターによる操作に応じた操作信号を制御部７０に出力する。制御部７０は、操作部６０から出力される操作信号に応答して、顔形状測定装置の各部を制御する。

撮像部１０によって生成される画像データが画像データ格納部８１に格納されると、特徴点抽出部２０は、画像データ格納部８１から画像データを読み出して、被測定者の顔を撮像して得られる画像データに、画像処理の一種である顔認識処理を施す。それにより、特徴点抽出部２０は、被測定者の顔において認識される複数の特徴点を抽出し、それらの特徴点の座標を求める。

＜顔認識処理のフロー＞
図２は、特徴点抽出部によって行われる顔認識処理の例を示すフローチャートである。ステップＳ１において、特徴点抽出部２０が、被測定者の顔の画像を表す画像データを画像データ格納部８１から入力する。

ステップＳ２において、特徴点抽出部２０が、入力された画像データによって表される画像（以下においては、「入力画像」ともいう）における顔の位置を検出する。例えば、特徴点抽出部２０は、ＯｐｅｎＣＶ等のソフトウェアを用いて、顔の位置や領域等を検出することができる。

ステップＳ３において、特徴点抽出部２０が、顔の位置を検出できたか否かを判定する。顔の位置を検出できた場合には、処理がステップＳ４に移行し、顔の位置を検出できなかった場合には、処理がステップＳ８に移行する。

ステップＳ４において、特徴点抽出部２０が、入力された画像データと、学習データ格納部８２に予め格納されている学習データとを用いて、入力画像における被測定者の顔を認識する。この顔認識処理においては、例えば、アクティブ・アピアランス・モデル（ＡＡＭ）が用いられる。

ステップＳ５において、特徴点抽出部２０が、被測定者の顔を認識できたか否かを判定する。例えば、特徴点抽出部２０は、顔認識処理における認識誤差を表す指標としてフィット率を求め、入力画像における顔認識の結果として求められた被測定者の顔のフィット率が予め設定された閾値以下であるか否かを判定する。なお、フィット率の計算方法については、後で詳しく説明する。特徴点抽出部２０は、フィット率が閾値以下である場合に、被測定者の顔を認識できたと判定し、フィット率が閾値を超えた場合に、被測定者の顔を認識できなかったと判定する。

被測定者の顔を認識できなかった場合には、被測定者の顔の撮像がやり直されて、処理がステップＳ１に戻り、特徴点抽出部２０が、被測定者の顔の画像を表す別の画像データを画像データ格納部８１から入力する。あるいは、被測定者の顔を認識できなかった場合に、処理がステップＳ８に移行しても良い。一方、被測定者の顔を認識できた場合には、処理がステップＳ６に移行する。

ステップＳ６において、特徴点抽出部２０が、被測定者の顔において認識される複数の特徴点を抽出し、入力画像における複数の特徴点の座標を求める。ステップＳ７において、特徴点抽出部２０が、複数の特徴点の座標を、それらの特徴点を特定するコードと共に制御部７０に出力する。また、特徴点抽出部２０は、被測定者の顔のフィット率を制御部７０に出力する。

ステップＳ８において、特徴点抽出部２０が、顔認認識処理を終了するか否かを判定する。顔認認識処理を終了しない場合には、処理がステップＳ１に戻る。一方、操作部６０がオペレーターからの終了指示を受け付けた場合や、画像データ格納部８１に新たな画像データが格納されていない場合等には、処理が終了する。

＜特徴点の抽出＞
学習データ格納部８２には、例えば、標準的な人間の顔又はその模型等を用いて予め撮影された画像を表す画像データと、その画像において設定された複数の特徴点の座標と、それらの特徴点を特定するコードとが、学習データとして予め格納されている。特徴点抽出部２０は、学習データに基づいて、被測定者の顔を撮像して得られる画像データに顔認識処理を施すことにより、被測定者の顔から複数の特徴点を抽出し、それらの特徴点の座標を求める。

上記の顔認識処理において用いることができるアクティブ・アピアランス・モデルとは、対象となる物体の画像を形状（shape）とテクスチャー（appearance）とに分けて、それぞれを主成分分析（principal component analysis）によって次元圧縮することにより、少ないパラメーターで対象の形状の変化とテクスチャーの変化とを表現できるようにしたモデルである。形状及びテクスチャーの情報は、低次元のパラメーターで表現することができる。

アクティブ・アピアランス・モデルにおいて、全特徴点を並べた形状ベクトルｘは、予め学習データから求められた平均形状ベクトルｕと、平均形状ベクトルｕからの偏差を主成分分析して得られる固有ベクトル行列Ｐ_ｓとを用いて、次式（１）によって表される。
ｘ＝ｕ＋Ｐ_ｓｂ_ｓ ・・・（１）
ここで、ｂ_ｓは、パラメーターベクトルであり、形状パラメーターと呼ばれる。

また、正規化されたテクスチャーの輝度値を並べたアピアランスベクトルｇは、予め学習データから求められた平均アピアランスベクトルｖと、平均アピアランスベクトルｖからの偏差を主成分分析して得られる固有ベクトル行列Ｐ_ｇとを用いて、次式（２）によって表される。
ｇ＝ｖ＋Ｐ_ｇｂ_ｇ ・・・（２）
ここで、ｂ_ｇは、パラメーターベクトルであり、アピアランスパラメーターと呼ばれる。形状パラメーターｂ_ｓ及びアピアランスパラメーターｂ_ｇは、平均からの変化を表すパラメーターであり、これらを変化させることによって、形状及びアピアランスを変化させることができる。

また、形状とアピアランスとの間に相関があることから、形状パラメーターｂ_ｓ及びアピアランスパラメーターｂ_ｇをさらに主成分分析することにより、形状とアピアランスとの両方を制御する低次元のパラメーターベクトル（以下においては、「結合パラメーター」ともいう）ｃを用いて、形状ベクトルｘ（ｃ）及びテクスチャーベクトルｇ（ｃ）が、次式（３）及び（４）によって表される。
ｘ（ｃ）＝ｕ＋Ｐ_ｓＷ_ｓ ^−１Ｑ_ｓｃ ・・・（３）
ｇ（ｃ）＝ｖ＋Ｐ_ｇＱ_ｇｃ ・・・（４）
ここで、Ｗ_ｓは、形状ベクトルとアピアランスベクトルとの単位の違いを正規化する行列であり、Ｑ_ｓは、形状に関する固有ベクトル行列であり、Ｑ_ｇは、アピアランスに関する固有ベクトル行列である。このようにして、結合パラメーターｃを制御することによって、形状とアピアランスとを同時に扱い、対象の変化を表現することが可能となる。

次に、対象が、画像中のどこに、どんなサイズで、どんな向きで存在するかという広域的な変化に関するパラメーター（以下においては、「姿勢パラメーター」ともいう）ｑを考慮する。姿勢パラメーターｑは、次式（５）によって表される。
ｑ＝[roll scale trans_x trans_y] ・・・（５）
ここで、rollは、画像平面に対するモデルの回転角度を表し、scaleは、モデルのサイズを表し、trans_x及びtrans_yは、それぞれｘ軸方向及びｙ軸方向におけるモデルの平行移動量を表している。

アクティブ・アピアランス・モデルにおいて、モデルの探索とは、モデルを結合パラメーターｃ及び姿勢パラメーターｑによって局所的及び広域的に変化させて対象の画像を生成し、生成された画像と入力画像とを比較して、誤差が最小となるような結合パラメーターｃ及び姿勢パラメーターｑを求めることである。アクティブ・アピアランス・モデルによれば、対象の方向の変化に対して頑健かつ高速に特徴点を抽出することが可能である。

具体的には、ある結合パラメーターｃ’及び姿勢パラメーターｑ’に対して、結合パラメーターｃ’から得られる形状パラメーターｂ_ｓ’と姿勢パラメーターｑ’とによって形状Ｘを変形する関数をＷ（Ｘ；ｑ’，ｂ_ｓ’）とする。また、入力画像Ｉｍｇと形状Ｘとが与えられたときに形状Ｘ内の輝度値を求める関数をＩ（Ｉｍｇ，Ｘ）とすると、モデルの探索における誤差値Ｅｒは、次式（６）によって表される。
Ｅｒ＝［（ｖ＋Ｐ_ｇＱ_ｇｃ’）−Ｉ（Ｉｍｇ，Ｗ（Ｘ；ｑ’，ｂ_ｓ’））］^２
・・・（６）

例えば、被測定者の顔を構成するＮ個の形状Ｘ（１）、Ｘ（２）、・・・、Ｘ（Ｎ）についてそれぞれの誤差値が求められる場合に（Ｎは自然数）、それぞれの誤差値をＥｒ（１）、Ｅｒ（２）、・・・、Ｅｒ（Ｎ）とすると、フィット率Ｆｒは、次式（７）によって表される。
Ｆｒ＝（Ｅｒ（１）＋Ｅｒ（２）＋・・・＋Ｅｒ（Ｎ））／Ｎ ・・・（７）
従って、誤差値Ｅｒ又はフィット率Ｆｒが小さくなるような結合パラメーターｃ及び姿勢パラメーターｑを決定することにより、高精度な顔認識を行うことができる。

＜校正用画像及び測定用画像の取得＞
図３は、３つの異なる角度で被測定者の顔を撮像している状態を示す図である。この例においては、被測定者が、オペレーターとしてスマートフォンを操作して自らの顔を撮像している。スマートフォンは、壁等に固定されても良いし、被測定者の手に保持されても良いし、被測定者が操作する自撮り棒に保持されても良い。スマートフォンは、撮像部１０と表示部５０とを備えている。被測定者は、スマートフォンの表示部５０に表示される画像を見ながら、撮像方向（撮像部１０の光軸方向）を調整することができる。

被測定者の顔の撮像は、少なくとも２回行われる。例えば、第１回目の撮像において、被測定者の顔を所定の角度で撮像することにより、校正用画像及び測定用画像として第１の画像が取得される。また、第２回目の撮像において、被測定者の顔を所定の角度と異なる角度で撮像することにより、もう１つの測定用画像が取得される。

あるいは、第１回目及び第２回目の撮像において視差が十分でない場合には、第３回目の撮像が行われる。その場合には、第２回目及び第３回目の撮像において、被測定者の顔を複数の異なる角度で撮像することにより、２つの測定用画像が取得される。以下の実施形態においては、被測定者の顔の形状等を安定的に測定するために、３回の撮像が行われる。

図３（Ａ）に示すように、被測定者の顔を所定の角度で撮像することにより、被測定者の正面顔の画像が校正用画像として取得される。その後、被測定者の顔を複数の異なる角度で撮像することにより、複数の測定用画像が取得される。例えば、被測定者の上向き顔及び下向き顔を撮像することにより、視差のある複数の測定用画像を取得することができる。以下においては、一例として、第２回目の撮像において、図３（Ｂ）に示すように被測定者の上向き顔が撮像され、第３回目の撮像において、図３（Ｃ）に示すように被測定者の下向き顔が撮像される場合について説明する。

図１に示す制御部７０は、顔形状の測定を開始する際に、被測定者の正面顔を撮像することを促すメッセージを表示部５０に表示させる。図３（Ａ）に示すように、被測定者の正面顔が撮像される際には、被測定者の右口角、左口角、左目頭、及び、右目頭の内の少なくとも３つの点を通る平面が撮像方向に対して略直交するように、撮像部１０に対する被測定者の顔の角度が調整される。なお、人間の顔の対称性により、被測定者の両方の口角及び両方の目頭の４つの点は、同一平面の近くに位置している。第１回目の撮像が終了すると、制御部７０は、被測定者の正面顔の画像が取得されたか否かを、例えば、以下の基準（１）〜（３）に従って判定する。

（１）入力画像の顔認識処理において求められたフィット率が所定の値以下であること。
制御部７０は、第１回目の撮像が終了すると、入力画像における顔認識の結果として求められたフィット率を特徴点抽出部２０から受信して、フィット率が所定の値以下であるか否かを判定する。顔認識処理に用いられる学習データは、正面顔に重みをつけた学習によって準備されているので、上向き顔又は下向き顔の認識時と比較して正面顔の認識時には認識精度が高いことが予測される。従って、所定の値は、被測定者の顔を認識できたか否かを判定する際に用いられる閾値よりも小さいことが望ましい。

（２）入力画像において顔の正中線上に位置する２点のｘ座標が略等しい値であること。
ここで、正中線とは、左右対称形の生物体において、前面・背面の中央を頭から縦にまっすぐ通る線のことをいう。また、ｘ座標は、撮像方向に直交する投影面の水平方向（ｘ軸方向）における座標である。顔の正中線上に位置する２点は、例えば、左の目頭と右の目頭との中間に位置する特徴点、及び、正中線上における顎の下端に位置する特徴点でも良い。制御部７０は、第１回目の撮像が終了すると、入力画像から抽出された特徴点の座標に基づいて、顔の正中線上に位置する２つの特徴点のｘ座標の差が所定の範囲内であるか否かを判定する。

（３）入力画像において顔の正中線上に位置する点から顔の正中線の左右両側に位置する２つの部位の点までの距離が略等しい値であること。
顔の正中線上に位置する点は、例えば、左の目頭と右の目頭との中間に位置する特徴点でも良く、顔の正中線の左右両側に位置する２つの部位の点は、例えは、左の目頭に位置する特徴点、及び、右の目頭に位置する特徴点でも良い。制御部７０は、第１回目の撮像が終了すると、入力画像から抽出された特徴点の座標に基づいて、顔の正中線上に位置する特徴点から顔の正中線の左右両側に位置する２つの特徴点までの距離の差が所定の範囲内であるか否かを判定する。

入力画像が基準（１）〜（３）のいずれかを満たさなければ、制御部７０は、校正用画像が取得されなかったと判定し、第１回目の撮像によって得られた情報を破棄すると共に、第１回目の撮像をやり直すことを促すメッセージを表示部５０に表示させる。一方、入力画像が基準（１）〜（３）のすべてを満たす場合に、制御部７０は、校正用画像が取得されたと判定する。なお、上記において、基準（２）及び（３）の内の一方を省略しても良い。

このようにして、制御部７０は、被測定者の顔を撮像して得られる入力画像の顔認識処理における認識誤差を表す指標の値、及び、入力画像において被測定者の顔の正中線上に位置する２つの特徴点の座標、又は、入力画像において被測定者の顔の正中線上に位置する特徴点と正中線の左右両側に位置する２つの特徴点との間の距離に基づいて、校正用画像が取得されたか否かを判定する。

入力画像が基準を満たす場合に、制御部７０は、入力画像における複数の特徴点の座標をそれらの特徴点のコードに対応付けて校正用画像の座標情報として座標情報格納部８３に格納するように特徴点抽出部２０を制御する。また、制御部７０は、入力画像における複数の特徴点のテクスチャー（色相、明度、又は、彩度）に関する情報をそれらの特徴点のコードに対応付けて座標情報格納部８３に格納するように特徴点抽出部２０を制御する。その後、制御部７０は、被測定者の上向き顔を撮像することを促すメッセージを表示部５０に表示させる。

第２回目の撮像において、図３（Ｂ）に示すように、被測定者の上向き顔が撮像される。制御部７０は、被測定者の上向き顔の画像が取得されなかったと判定した場合に、第２回目の撮像によって得られた情報を破棄すると共に、第２回目の撮像をやり直すことを促すメッセージを表示部５０に表示させる。一方、制御部７０は、被測定者の上向き顔の画像が取得されたと判定した場合に、入力画像における複数の特徴点の座標をそれらの特徴点のコードに対応付けて第１の測定用画像の座標情報として座標情報格納部８３に格納するように特徴点抽出部２０を制御する。その後、制御部７０は、被測定者の下向き顔を撮像することを促すメッセージを表示部５０に表示させる。

第３回目の撮像において、図３（Ｃ）に示すように、被測定者の下向き顔が撮像される。制御部７０は、被測定者の下向き顔の画像が取得されなかったと判定した場合に、第３回目の撮像によって得られた情報を破棄すると共に、第３回目の撮像をやり直すことを促すメッセージを表示部５０に表示させる。一方、制御部７０は、被測定者の下向き顔の画像が取得されたと判定した場合に、入力画像における複数の特徴点の座標をそれらの特徴点のコードに対応付けて第２の測定用画像の座標情報として座標情報格納部８３に格納するように特徴点抽出部２０を制御する。その後、制御部７０は、撮像が終了したことを表すメッセージを表示部５０に表示させる。

図４は、被測定者の上向き顔又は下向き顔の画像が取得されたか否かの判定方法の例を説明するための図である。図１に示す制御部７０は、第２回目又は第３回目の撮像が終了すると、被測定者の上向き顔又は下向き顔の画像が取得されたか否かを、例えば、次の基準に従って判定する。

校正用画像が取得されると、制御部７０は、校正用画像において被測定者の顔の正中線上に位置する３つの特徴点のｙ座標を特徴点抽出部２０から受信する。ここで、ｙ座標は、撮像方向及びｘ軸方向に直交する投影面の垂直方向（ｙ軸方向）における座標である。第２回目又は第３回目の撮像が終了すると、制御部７０は、入力画像における上記３つの特徴点のｙ座標を特徴点抽出部２０から受信する。制御部７０は、校正用画像及び入力画像における上記３つの特徴点のｙ座標の相対的な位置関係に基づいて、被測定者の顔が上向きであるか否か、又は、被測定者の顔が下向きであるか否かを判定する。

図４に示す例において、被測定者の顔の正中線上に位置する３つの特徴点は、正中線上における額の上端に位置する特徴点、正中線上における顎の下端に位置する特徴点、及び、正中線上における下唇の下端に位置する特徴点である。制御部７０は、それら３つの特徴点のｙ座標に基づいて、額の上端に位置する特徴点から顎の下端に位置する特徴点までの距離（即ち、顔の正中線の高さ方向の距離）Ｌ１と、下唇の下端に位置する特徴点から顎の下端に位置する特徴点までの距離Ｌ２を求め、距離Ｌ１に対する距離Ｌ２の割合（以下においては、「距離比率」ともいう）Ｌ２／Ｌ１を計算する。

制御部７０は、入力画像における距離比率を校正用画像における距離比率と比較することにより、被測定者の顔が上向きであるか否か、又は、被測定者の顔が下向きであるか否かを判定する。このように、距離比率に基づいて判定を行うことにより、撮像部と被測定者の顔との間の距離の変化による縮尺の変動の影響を取り除くことができる。

例えば、制御部７０は、入力画像における距離比率を校正用画像における距離比率で割って得られる値が１．２〜１．８の範囲内に収まっている場合に、被測定者の顔が上向きであると判定する。また、制御部７０は、入力画像における距離比率を校正用画像における距離比率で割って得られる値が０．６〜０．８５の範囲内に収まっている場合に、被測定者の顔が下向きであると判定する。

このようにして、制御部７０は、校正用画像及び入力画像において被測定者の顔の正中線上に位置する３つの特徴点の座標の相対的な位置関係に基づいて、複数の測定用画像の各々が取得されたか否かを判定する。なお、以上の判定方法は一例であり、本発明はこれに限定されるものではない。

本実施形態において、特徴点抽出部２０又は制御部７０は、被測定者の顔を撮像して得られる入力画像における各々の特徴点のｘ座標又はｙ座標をピクセル番号で求めても良い。また、特徴点抽出部２０又は制御部７０は、入力画像における２つの特徴点間の距離Ｌ１及びＬ２等をピクセル数として求めても良い。それにより、距離の算出が簡単になる。

図５は、３つの異なる角度で撮像された被測定者の顔における特徴点の配置の例を示す図である。図５においては、特徴点を見易くするために、特徴点の数が少なくされている。図５（Ａ）は、被測定者の正面顔の画像（校正用画像）と共に、校正用画像において抽出された特徴点を示している。フィット率は、１．３５９５９８である。図５（Ｂ）は、被測定者の上向き顔の画像（第１の測定用画像）と共に、第１の測定用画像において抽出された特徴点を示している。フィット率は、１．４９８０１４である。図５（Ｃ）は、被測定者の下向き顔の画像（第２の測定用画像）と共に、第２の測定用画像において抽出された特徴点を示している。フィット率は、１．４１３６００である。

＜３次元座標計算部＞
図１に示す座標情報格納部８３に格納されている座標情報において、複数の特徴点の座標が、撮像部１０におけるレンズの焦点距離の誤差やレンズの歪によって本来の座標と異なる場合がある。そこで、撮像パラメーター格納部８４は、撮像部１０におけるレンズ等に関する撮像パラメーターを格納している。

撮像パラメーターとしては、例えば、レンズの焦点距離、投影面上における１画素当りの幅、及び、画像の中心点等が該当する。３次元座標計算部３０は、撮像パラメーター格納部８４から読み出された撮像パラメーターに基づいて、入力画像における複数の特徴点の座標を補正する。

校正用画像及び複数の測定用画像が取得されると、３次元座標計算部３０は、被測定者の顔を所定の角度で撮像して得られる校正用画像における複数の特徴点の内の少なくとも３つの特徴点を校正点として用いて、被測定者の顔を複数の異なる角度で撮像して得られる複数の測定用画像における複数の特徴点の座標に基づいてそれらの特徴点の３次元座標を計算し、それらの特徴点の３次元座標を表す３次元座標データを生成する。

＜校正点の座標計算＞
図６は、被測定者の顔に設定された校正点の例を示す図である。図６には、被測定者の右口角、左口角、左目頭、及び、右目頭に位置する４つの校正点Ｐ_１〜Ｐ_４が示されている。校正点の位置を決定する理由としては、骨格形状に基づいて同一平面の近くに存在すること、及び、必ず顔上にある点であり、ＡＡＭ等を用いた画像処理による検出が容易であること等が挙げられる。

図６に示す４つの校正点Ｐ_１〜Ｐ_４は、上記の基準を満たしている。なお、１つの平面（投影面）を決定するためには３つの校正点があれば足りるので、３次元座標計算部３０は、図６に示す４つの校正点Ｐ_１〜Ｐ_４の内の少なくとも３つの特徴点を校正点として用いても良い。以下においては、一例として、３つの校正点Ｐ_１〜Ｐ_３を用いる場合について説明する。

３つの校正点Ｐ_１〜Ｐ_３に対応する特徴点（画像上の校正点）のコードは、学習データとして学習データ格納部８２に格納されている。３次元座標計算部３０は、校正用画像における複数の特徴点の内の３つの校正点の座標情報を座標情報格納部８３から読み出して、校正用画像における３つの校正点の座標に基づいて３つの校正点の実寸座標を求める。

前提として、第１に、２つの校正点（例えば、校正点Ｐ_１及びＰ_２）間の実寸距離が既知である必要がある。本実施形態においては、例えば、日本人成人女性における右口角と左口角との間の統計的平均距離（実寸距離）が、校正点情報として校正点情報格納部８５に格納されている。

第２に、３つの校正点を通る平面が撮像部の投影面に略平行である必要がある。本実施形態においては、３つの校正点Ｐ_１〜Ｐ_３を通る平面（以下においては、「校正面」ともいう）が撮像方向に対して略直交している（図３（Ａ）参照）。その場合に、実寸座標における図形と校正用画像における図形とは相似関係となるので、２つの校正点（例えば、校正点Ｐ_１及びＰ_２）間の実寸距離と校正用画像において対応する２つの校正点間の距離との縮尺比率を求めることによって、校正用画像における校正点の座標から校正点の実寸座標を算出することができる。

第３に、校正用画像における３つの校正点の座標を求める必要がある。本実施形態においては、特徴点抽出部２０が、校正用画像において被測定者の顔から抽出された複数の特徴点の座標を求めて座標情報格納部８３に格納する。３次元座標計算部３０は、それらの特徴点の内で３つの校正点Ｐ_１〜Ｐ_３に対応する３つの校正点Ｐ_Ｃ１〜Ｐ_Ｃ３の座標を座標情報格納部８３から読み出す。

校正用画像のｘ軸方向における２点間のピクセル数に対する実寸距離の縮尺比率をｋ_ｘとすると、縮尺比率ｋ_ｘは、校正点Ｐ_１と校正点Ｐ_２との間の実寸距離Ａ（ｍｍ）と校正用画像において対応する校正点Ｐ_Ｃ１と校正点Ｐ_Ｃ２との間のピクセル数ａとを用いて、次式（８）によって表される。
ｋ_ｘ＝Ａ／ａ ・・・（８）

また、校正用画像のｙ軸方向における２点間のピクセル数に対する実寸距離の縮尺比率をｋ_ｙとすると、縮尺比率ｋ_ｘと縮尺比率ｋ_ｙとの関係は既知であり、縮尺比率ｋ_ｙは、定数αを用いて次式（９）によって表される。
ｋ_ｙ＝αｋ_ｘ＝αＡ／ａ ・・・（９）

従って、校正面（Ｚ＝０）における３つの校正点Ｐ_１〜Ｐ_３の実寸座標は、校正用画像において対応する３つの校正点の座標Ｐ_Ｃ１（ｘ_１，ｙ_１）、Ｐ_Ｃ２（ｘ_２，ｙ_２）、Ｐ_Ｃ３（ｘ_３，ｙ_３）を用いて、次のように求められる。
Ｐ_１（Ｘ_１，Ｙ_１，Ｚ_１）＝Ｐ_１（ｋ_ｘｘ_１，ｋ_ｙｙ_１，０）
Ｐ_２（Ｘ_２，Ｙ_２，Ｚ_２）＝Ｐ_２（ｋ_ｘｘ_２，ｋ_ｙｙ_２，０）
Ｐ_３（Ｘ_３，Ｙ_３，Ｚ_３）＝Ｐ_３（ｋ_ｘｘ_３，ｋ_ｙｙ_３，０）

３次元座標計算部３０は、複数の測定用画像についても、被測定者の顔から抽出された複数の特徴点の内で３つの校正点Ｐ_１〜Ｐ_３に対応する３つの特徴点（画像上の校正点）の座標を座標情報格納部８３から読み出す。それにより、３次元座標計算部３０は、３つの校正点Ｐ_１〜Ｐ_３の実寸座標を基準として、各々の測定用画像における３つの校正点の座標に基づいて、その測定用画像の投影面の姿勢を求めることができる。

＜３次元座標の計算＞
次に、３次元座標計算部３０は、座標情報格納部８３から複数の測定用画像に関する座標情報を読み出し、複数の測定用画像における複数の特徴点の座標に基づいて、それらの特徴点の３次元座標を計算する。３次元座標の計算には、例えば、複数の視点から撮影した画像に基づいて測定点の位置を算出するステレオ写真測量法が用いられる。

図７は、ステレオ写真測量法を説明するための概念図である。ここでは、１つの撮像部を２つの異なる位置（視点）に移動させて測定対象を撮影して得られる２つの測定用画像から特徴点の３次元座標を計算する場合について説明する。図７に示すように、測定対象における特徴点Ｐ（Ｘ，Ｙ，Ｚ）が、ステレオ画像上の点Ｐ_Ｌ（ｘ_Ｌ，ｙ_Ｌ）及びＰ_Ｒ（ｘ_Ｒ，ｙ_Ｒ）として撮影される。

特徴点Ｐ（Ｘ，Ｙ，Ｚ）と２つの異なる位置における撮像部の投影中心（焦点）とを含む平面（エピポーラ面）が２つの投影面と交わる交線を、エピポーラ線という。一方の画像上において１つの点（例えば、Ｐ_Ｌ（ｘ_Ｌ，ｙ_Ｌ））が与えられると、他方の画像上におけるその対応点（例えば、Ｐ_Ｒ（ｘ_Ｒ，ｙ_Ｒ））は、必ず対応するエピポーラ線上にある。

上記の関係は、次式（１０）によって表される。
ｗＥｗ’＝０ ・・・（１０）
ここで、Ｅは、基本行列を表し、ｗ及びｗ’は、２つの画像上における対応点の正規化画像座標の同次座標ベクトルを表している。一方、撮像部の内部変数の関数である基礎行列Ｆは、撮像部の内部行列Ａを用いて、次式（１１）によって表される。
Ｆ＝Ａ^−ＴＥＡ’^−１ ・・・（１１）
従って、撮像部の内部変数を知れば、基礎行列Ｆから基本行列Ｅを求めることができる。

次に、２つの異なる位置における撮像部の投影中心（焦点）から特徴点を通る直線を引き、２本の直線が３次元空間において交わる点の座標が計算される。一連の計算は、線形計算で行うことができるが、線形計算を連続して行うと誤差が増大する。そこで、バンドル調整法を用いて、最適な結果を計算するようにしても良い。

バンドル調整法とは、３次元空間における点を２次元画像に逆投影して得られる位置と２次元画像における実際の特徴点の位置との間のユークリッド距離の自乗和を最小にする手法である。このユークリッド距離の自乗和の平均根は、逆投影誤差と呼ばれている。３次元座標計算部３０は、逆投影誤差を計算することにより、逆投影誤差を最小にする最適な３次元座標を求めることができる。

一般に、１つの撮像部を２つの異なる位置に移動させてステレオ画像を得る場合には、特徴点として多数の反射マーカー等が設けられた校正板を設置する必要があるので非効率的である。また、長さや間隔等の距離を測定する場合には、スケールバーを設置する必要がある。それに対し、本実施形態においては、校正用画像に基づいて少なくとも３つの校正点の実寸座標が求められるので、それらの校正点が校正板の役割を果たす。従って、複数の測定用画像におけるそれらの校正点の座標に基づいて、それらの校正点に対する複数の測定用画像の投影面の相対的な位置関係が求められるので、校正板等を設置する必要がなく、効率的な測定を行うことができる。

再び図１を参照すると、３次元座標計算部３０は、複数の特徴点の３次元座標を表す３次元座標データを生成して３次元座標データ格納部８６に格納する。画像データ生成部４０は、３次元座標データ格納部８６から読み出された３次元座標データに、座標情報格納部８３から読み出された校正用画像のテクスチャー（色相、明度、又は、彩度）に関する情報を追加して、被測定者の顔の形状等を表す３次元画像データを生成する。その際に、画像データ生成部４０は、３次元画像データにシェーディング処理を施すことにより、３次元画像に明暗のコントラストを付けて立体感を与えるようにしても良い。

さらに、画像データ生成部４０は、３次元画像データを３次元画像データ格納部８７に格納すると共に、３次元画像データに基づいて表示用画像データを生成して表示部５０に出力する。それにより、表示部５０が、測定された顔の形状等を表す画像を表示する。表示用画像データは、所望の方向から被測定者の顔を見た画像を表す２次元画像データでも良い。

＜顔形状測定方法＞
次に、本発明の一実施形態に係る顔形状測定装置によって実施される顔形状測定方法について、図１〜図１０を参照しながら説明する。図８〜図１０は、本発明の一実施形態に係る顔形状測定方法を示すフローチャートである。なお、互いに独立な処理については、それらを並列に行っても良い。

図８に示すステップＳ１１において、被測定者の正面顔の画像を取得するために、撮像部１０が、被測定者の顔を所定の角度で撮像して画像データを生成することにより、被測定者の顔の画像を取得する。撮像部１０によって生成された画像データは、画像データ格納部８１に格納される。

ステップＳ１２において、特徴点抽出部２０が、画像データ格納部８１から画像データを読み出して、画像データに顔認識処理を施す。それにより、特徴点抽出部２０は、被測定者の顔において認識される複数の特徴点を抽出し、取得された画像における複数の特徴点の座標を求める。

ステップＳ１３において、制御部７０が、被測定者の正面顔の画像が取得されたか否かを判定する。被測定者の正面顔の画像が取得されなかった場合には、処理がステップＳ１１に戻る。一方、被測定者の正面顔の画像が取得された場合には、処理がステップＳ１４に移行する。

ステップＳ１４において、特徴点抽出部２０が、被測定者の正面顔の画像における複数の特徴点の座標を、それらの特徴点のコードに対応付けて、校正用画像の座標情報として座標情報格納部８３に格納する。さらに、ステップＳ１５において、特徴点抽出部２０が、被測定者の正面顔の画像における複数の特徴点のテクスチャー（色相、明度、又は、彩度）に関する情報を、それらの特徴点のコードに対応付けて座標情報格納部８３に格納する。

次に、ステップＳ１６において、被測定者の上向き顔の画像を取得するために、撮像部１０が、被測定者の顔を撮像して画像データを生成することにより、被測定者の顔の画像を取得する。撮像部１０によって生成された画像データは、画像データ格納部８１に格納される。

ステップＳ１７において、特徴点抽出部２０が、画像データ格納部８１から画像データを読み出して、画像データに顔認識処理を施す。それにより、特徴点抽出部２０は、被測定者の顔において認識される複数の特徴点を抽出し、それらの特徴点の座標を求める。

ステップＳ１８において、制御部７０が、被測定者の上向き顔の画像が取得されたか否かを判定する。被測定者の上向き顔の画像が取得されなかった場合には、処理がステップＳ１６に戻る。一方、被測定者の上向き顔の画像が取得された場合には、処理がステップＳ１９に移行する。

図９に示すステップＳ１９において、特徴点抽出部２０が、被測定者の上向き顔の画像における複数の特徴点の座標を、それらの特徴点のコードに対応付けて、第１の測定用画像の座標情報として座標情報格納部８３に格納する。

次に、ステップＳ２０において、被測定者の下向き顔の画像を取得するために、撮像部１０が、被測定者の顔を撮像して画像データを生成することにより、被測定者の顔の画像を取得する。撮像部１０によって生成された画像データは、画像データ格納部８１に格納される。

ステップＳ２１において、特徴点抽出部２０が、画像データ格納部８１から画像データを読み出して、画像データに顔認識処理を施す。それにより、特徴点抽出部２０は、被測定者の顔において認識される複数の特徴点を抽出し、それらの特徴点の座標を求める。

ステップＳ２２において、制御部７０が、被測定者の下向き顔の画像が取得されたか否かを判定する。被測定者の下向き顔の画像が取得されなかった場合には、処理がステップＳ２０に戻る。一方、被測定者の下向き顔の画像が取得された場合には、処理がステップＳ２３に移行する。

ステップＳ２３において、特徴点抽出部２０が、被測定者の下向き顔の画像における複数の特徴点の座標を、それらの特徴点のコードに対応付けて、第２の測定用画像の座標情報として座標情報格納部８３に格納する。このように、被測定者の顔を複数の異なる角度で撮像することにより、複数の測定用画像を表す画像データが生成される。

次に、ステップＳ２４において、３次元座標計算部３０が、撮像パラメーター格納部８４から撮像パラメーターを読み出しておく。ステップＳ２５において、３次元座標計算部３０が、座標情報格納部８３から校正用画像の座標情報を読み出す。その際に、３次元座標計算部３０は、撮像パラメーターに基づいて、校正用画像における複数の特徴点の座標を補正しても良い。ステップＳ２６において、３次元座標計算部３０が、校正用画像における２つの校正点間の距離をピクセル数として求める。

図１０に示すステップＳ２７において、３次元座標計算部３０が、校正点情報格納部８５から２つの校正点間の実寸距離を読み出し、校正用画像の２点間のピクセル数に対する実寸距離の比率（縮尺比率）を求める。ステップＳ２８において、３次元座標計算部３０が、縮尺比率に基づいて、少なくとも３つの校正点の実寸座標を求める。

ステップＳ２９において、３次元座標計算部３０が、座標情報格納部８３から複数の測定用画像の座標情報を読み出す。その際に、３次元座標計算部３０は、撮像パラメーターに基づいて、各々の測定用画像における複数の特徴点の座標を補正しても良い。

ステップＳ３０において、３次元座標計算部３０が、校正用画像における複数の特徴点の内の少なくとも３つの特徴点を校正点として用いて、複数の測定用画像における複数の特徴点の座標に基づいてそれらの特徴点の３次元座標を計算する。即ち、３次元座標計算部３０は、校正用画像における少なくとも３つの校正点の座標に基づいてそれらの実寸座標を求め、それらの実寸座標と各々の測定用画像において対応する校正点の座標とに基づいて、複数の特徴点の３次元座標を計算して３次元座標データを生成する。ステップＳ３１において、３次元座標計算部３０が、複数の特徴点の３次元座標を表す３次元座標データを３次元座標データ格納部８６に格納する。

次に、ステップＳ３２において、画像データ生成部４０が、３次元座標データ格納部８６から３次元座標データを読み出し、複数の特徴点の３次元座標データに、座標情報格納部８３から読み出された校正用画像のテクスチャー（色相、明度、又は、彩度）に関する情報を追加して、３次元画像データを生成する。ステップＳ３３において、画像データ生成部４０が、３次元画像データを３次元画像データ格納部８７に格納する。

ステップＳ３４において、画像データ生成部４０が、３次元画像データに基づいて表示用画像データを生成して表示部５０に出力することにより、測定された顔の形状等を表す画像が表示部５０に表示される。その後、処理が終了する。

図１１は、測定された顔の形状等を表す画像の例を示す図である。図１１においては、一例として、正面顔（Ａ）、左横顔（Ｂ）、及び、右横顔（Ｃ）が示されている。図１１に示すように、所望の方向から被測定者の顔を見た画像が表示部５０（図１）に表示される。また、図中の補助線は、顔の横軸及び縦軸の回転を表している。

以上説明したように、本発明の一実施形態によれば、校正用画像に基づいて少なくとも３つの校正点の実寸座標が求められるので、それらの校正点の実寸座標を基準として、各々の測定用画像における少なくとも３つの校正点の座標に基づいて、その測定用画像の投影面の姿勢を求めることができる。それにより、校正板や測量専用の機材等を用いることなく、顔の３次元形状等の効率的な測定を行うことができる。また、被測定者の顔を撮像して得られる画像における複数の特徴点の座標に基づいて、適切な校正用画像又は測定用画像が取得されたか否かを判定することにより、被測定者が自宅等においても自らの顔の３次元形状等を正確に測定することが可能である。

例えば、人間の顔の形状を測定することにより、顔のバランス、たるみ、やつれ、又は、しわ等の３次元形状情報を取得することができる。さらに、人間の顔の色相、明度、又は、彩度を測定することにより、肌の色、しみ、血流、又は、水分量の分布等の肌状態情報を取得することができる。そのような情報を、お化粧や美容のカウンセリングにおいて利用したり、健康や体調の管理情報として利用したりすることが可能になる。

あるいは、顔の３次元形状情報を、生体認証に利用したり、顔をＩＤ（識別要素）としたクラスタリングに利用したりすることが可能になる。また、顔に関するオーダーメイド商品を、自宅等からインターネットを介して注文する際にも、顔の３次元形状情報を利用することができる。そのようなオーダーメイド商品としては、美容マスク、化粧又は仮装用マスク、防塵マスク、メガネフレーム、及び、ゴーグル等が該当する。

本発明は、以上説明した実施形態に限定されるものではなく、当該技術分野において通常の知識を有する者によって、本発明の技術的思想内で多くの変形が可能である。

本発明は、人間の顔の形状等を測定して顔の形状等に関する情報を取得するために用いられる顔形状測定装置及び顔形状測定方法において利用することが可能である。

１０…撮像部、２０…特徴点抽出部、３０…３次元座標計算部、４０…画像データ生成部、５０…表示部、６０…操作部、７０…制御部、８０…格納部、８１…画像データ格納部、８２…学習データ格納部、８３…座標情報格納部、８４…撮像パラメーター格納部、８５…校正点情報格納部、８６…次元座標データ格納部、８７…次元画像データ格納部

Claims (6)

1. 被測定者の顔を撮像して画像データを生成する撮像部と、
   前記被測定者の顔を撮像して得られる画像データに顔認識処理を施すことにより、前記被測定者の顔において認識される複数の特徴点を抽出し、該複数の特徴点の座標を求める特徴点抽出部と、
   前記被測定者の顔を所定の角度で撮像して得られる第１の画像における複数の特徴点の内の少なくとも３つの特徴点を校正点として用いて、前記被測定者の顔を複数の異なる角度で撮像して得られる複数の画像における複数の特徴点の座標に基づいて該複数の特徴点の３次元座標を計算し、該複数の特徴点の３次元座標を表す３次元座標データを生成する３次元座標計算部と、
   を備える顔形状測定装置。
2. 前記３次元座標計算部が、前記第１の画像において前記被測定者の右口角、左口角、左目頭、及び、右目頭に位置する４つの特徴点の内の少なくとも３つの特徴点を校正点として用いる、請求項１記載の顔形状測定装置。
3. 前記被測定者の顔を撮像して得られる画像の顔認識処理における認識誤差を表す指標の値、及び、該画像において前記被測定者の顔の正中線上に位置する２つの特徴点の座標、又は、該画像において前記被測定者の顔の正中線上に位置する特徴点と正中線の両側に位置する２つの特徴点との間の距離に基づいて、前記第１の画像が取得されたか否かを判定する制御部をさらに備える、請求項１又は２記載の顔形状測定装置。
4. 前記制御部が、前記被測定者の顔を複数の異なる角度で撮像して得られる複数の画像の各々において前記被測定者の顔の正中線上に位置する３つの特徴点の座標の相対的な位置関係に基づいて、測定に必要な画像が取得されたか否かを判定する、請求項３記載の顔形状測定装置。
5. 前記制御部が、前記被測定者の顔を撮像して得られる画像における２つの特徴点間の距離をピクセル数として求める、請求項３又は４記載の顔形状測定装置。
6. 被測定者の顔を所定の角度で撮像して第１の画像を表す画像データを生成すると共に、前記第１の画像を表す画像データに顔認識処理を施すことにより、前記被測定者の顔において認識される複数の特徴点を抽出し、前記第１の画像における複数の特徴点の座標を求めるステップ（ａ）と、
   前記被測定者の顔を前記所定の角度と異なる角度で撮像して少なくとも１つの画像を表す画像データを生成すると共に、前記少なくとも１つの画像を表す画像データに顔認識処理を施すことにより、前記被測定者の顔において認識される複数の特徴点を抽出し、前記少なくとも１つの画像における複数の特徴点の座標を求めるステップ（ｂ）と、
   前記第１の画像における複数の特徴点の内の少なくとも３つの特徴点を校正点として用いて、前記被測定者の顔を複数の異なる角度で撮像して得られる複数の画像における複数の特徴点の座標に基づいて該複数の特徴点の３次元座標を計算し、該複数の特徴点の３次元座標を表す３次元座標データを生成するステップ（ｃ）と、
   を備える顔形状測定方法。

Images