JP2009081527A - 顔撮影装置 - Google Patents

Abstract

【課題】より良好に顔の位置合わせを行うことができる顔撮影装置を提供する。
【解決手段】２以上の検出ラインＬ１〜Ｌ３上における撮影（抽出）した顔画像の輪郭との交点を検出エッジポイントＰとして検出し、それらの検出ラインＬ１〜Ｌ３上の基準エッジポイントと比較する。そして、各検出エッジポイントＰの基準エッジポイントに対するずれ方向及びずれ量に応じた位置合わせ情報を出力し、その位置合わせ情報に基づいて顔の位置合わせを行う。これにより、顔の位置が左右方向にずれているときと、顔の角度がずれているときとを区別することができるので、より良好に顔の位置合わせを行うことができる。
【選択図】 図４

Description

本発明は、基準顔画像に対する顔の位置合わせを行って顔画像を撮影する顔撮影装置に関するものである。

美容皮膚科、美容外科及び形成外科などでは、顔撮影装置により人（被撮影者）の顔を定期的に撮影し、肌の状態の経時的な変化を観察することにより、化粧品や肌治療の効果を確認する作業が行なわれる場合がある（例えば、特許文献１参照）。具体的には、得られた顔画像からシミ、シワ、毛穴及び色ムラなどの評価が行なわれ、さらには、紫外線を使用したポルフィリン及びかくれジミなどの評価も行なわれている。

このような肌状態の評価を行うために、以前に撮影した顔画像を今回撮影した顔画像と比較する場合がある。このような場合には、以前の顔画像と今回の顔画像とができるだけ同じ条件で撮影されていることが好ましく、その条件の一例として顔の位置及び角度が挙げられる。すなわち、今回撮影した顔画像における顔の位置及び角度が、以前に撮影した顔画像と異なる場合には、シミ、シワ、毛穴及び色ムラなどの位置や大きさを正確に評価することができないおそれがある。

ここで、顔画像をできるだけ同じ条件で撮影する方法としては、頭頂部を検出して基準位置にあるか否かを判定する方法（例えば、特許文献２参照）や、目、耳、鼻などの顔の特徴部分を検出して基準位置にあるか否かを判定する方法（例えば、特許文献３参照）などが提案されている。

特開２００４−３０２４２４号公報 特開２００３−１８９１６１号公報 特開２００５−１１７３１６号公報

しかしながら、特許文献２に開示されている技術のように、頭頂部を検出する場合には、たとえ頭頂部が基準位置にある場合であっても、顔の角度が一致しない場合がある。また、特許文献３に開示されている技術のように、目、耳、鼻などの顔の特徴部分を検出する場合には、その特徴部分の位置を正確に検出することが比較的難しい。そのため、従来の技術では、顔の位置合わせを良好に行うことができないおそれがあった。

本発明は、上記実情に鑑みてなされたものであり、より良好に顔の位置合わせを行うことができる顔撮影装置を提供することを目的とする。

第１の本発明に係る顔撮影装置は、基準顔画像に対する顔の位置合わせを行って顔画像を撮影する顔撮影装置であって、予め定められた２以上の検出ライン上における上記基準顔画像の輪郭との交点を基準エッジポイントとして記憶する基準エッジポイント記憶手段と、上記２以上の検出ライン上における撮影した顔画像の輪郭との交点を検出エッジポイントとして検出するエッジポイント検出手段と、上記基準エッジポイント及び上記検出エッジポイントを比較するエッジポイント比較手段とを備えたことを特徴とする。

このような構成によれば、２以上の検出ライン上における撮影した顔画像の輪郭との交点を検出エッジポイントとして検出し、それらの検出ライン上の基準エッジポイントと比較することによって、顔の位置合わせを行うことができる。

ここで、１つの検出ライン上における検出エッジポイントについてのみ基準エッジポイントと比較するような構成の場合には、顔の位置が左右方向にずれているときと、顔の角度がずれているときとで、基準エッジポイントに対する検出エッジポイントのずれ量が同一となる場合がある。これに対して、本発明のように２以上の検出ラインにおける検出エッジポイントについて基準エッジポイントと比較するような構成によれば、顔の位置が左右方向にずれているときと、顔の角度がずれているときとを区別することができるので、より良好に顔の位置合わせを行うことができる。

第２の本発明に係る顔撮影装置は、上記エッジポイント比較手段による比較結果に基づいて、顔の位置合わせ情報を出力する位置合わせ情報出力手段を備えたことを特徴とする。

このような構成によれば、基準エッジポイント及び検出エッジポイントの比較結果に基づいて顔の位置合わせ情報を出力し、その位置合わせ情報に基づいて顔の位置合わせを行うことができる。したがって、顔の位置をどのようにずらせばよいかが分かりやすいので、より良好に顔の位置合わせを行うことができる。

第３の本発明に係る顔撮影装置は、上記エッジポイント検出手段が、撮影した顔画像の明度データに基づいて上記検出エッジポイントを検出することを特徴とする。

このような構成によれば、撮影した顔画像の明度データに基づいて、検出エッジポイントを良好に検出することができる。すなわち、顔の輪郭部分では明度データの変化量が大きいため、この明度データに基づいて検出エッジポイントを良好に検出することができる。

第４の本発明に係る顔撮影装置は、上記検出ラインに平行な複数ラインにおける撮影した顔画像の明度データを平均化する明度平均化処理手段を備え、上記エッジポイント検出手段が、上記明度平均化処理手段により平均化された明度データに基づいて上記検出エッジポイントを検出することを特徴とする。

このような構成によれば、検出ラインに平行な複数ラインにおける撮影した顔画像の明度データを平均化することにより、明度データのノイズを除去することができるので、検出エッジポイントをさらに良好に検出することができる。

第５の本発明に係る顔撮影装置は、上記検出ライン上における明度データを、その最大値を基準とする明度データに変換することにより正規化する明度正規化処理手段を備え、上記エッジポイント検出手段が、上記明度正規化処理手段により正規化された明度データに基づいて上記検出エッジポイントを検出することを特徴とする。

このような構成によれば、撮影した顔画像と基準顔画像とで全体的な明度差がある場合であっても、明度データの最大値を基準として正規化された検出ライン上の明度データに基づいて検出エッジポイントを検出することにより、検出エッジポイントを良好に検出することができる。

第６の本発明に係る顔撮影装置は、上記エッジポイント検出手段が、撮影した顔画像のＲＧＢ各色データのうち、Ｒデータのみに基づいて上記検出エッジポイントを検出することを特徴とする。

このような構成によれば、撮影した顔画像のＲデータのみに基づいて、検出エッジポイントを良好に検出することができる。すなわち、顔の輪郭部分ではＲＧＢ各色データのうちＲデータの変化量が比較的大きいため、このＲデータに基づいて検出エッジポイントを良好に検出することができる。

本発明によれば、２以上の検出ライン上における撮影した顔画像の輪郭との交点を検出エッジポイントとして検出し、それらの検出ライン上の基準エッジポイントと比較することによって、より良好に顔の位置合わせを行うことができる。

＜第１実施形態＞
図１は、本発明の第１実施形態に係る顔撮影装置Ｈの構成を示した図であり、筺体１内の構成を横断面図で示している。また、図２は、筺体１の縦断面図である。以下では、図１における上側を前方、下側を後方、左側を左方、右側を右方として説明することとする。

この顔撮影装置Ｈは、美容皮膚科、美容外科及び形成外科などで使用され、当該顔撮影装置Ｈにより人（被撮影者）の顔を定期的あるいは適度な期間を空けて撮影し、肌の状態の経時的な変化を観察することにより、化粧品や肌治療の効果を確認する作業を行なうことができる。この顔撮影装置Ｈは、得られた顔画像からシミ、シワ、毛穴及び色ムラなどの評価を行なう機能を有し、さらには、紫外線を使用したポルフィリン及びかくれジミなどの評価を行なう機能も有している。ただし、この顔撮影装置Ｈは、美容皮膚科、美容外科及び形成外科などで被撮影者に対して使用できるだけでなく、他のあらゆる場所において人の顔を撮影する装置として使用可能である。

顔撮影装置Ｈは、略立方体形状の筺体１を備えており、この筺体１内の所定位置に顔を保持させた状態で顔画像の撮影が行なわれる。筺体１の背面には、開口部１ａが形成されており、この開口部１ａから被撮影者の顔が挿入される。また、筺体１の背面には、開口部１ａからの外光進入を防止するためのカーテン１ｂが設けられている。すなわち、開口部１ａから被撮影者が顔を挿入した状態で、頭の後側をカーテン１ｂで覆うことにより、室内光などが筺体１内に進入しにくくなるような構造が採用されている。

被撮影者の顔は、顔保持手段としてのあご載せ台２及び額押さえ３により、上記所定位置に保持される。図２に示すように、被撮影者の額に当接する額押さえ３の押さえ部３ａは、軸３ｂ周りに回転可能に構成され、左右方向への顔の角度の変更に追従して回転できるようになっている。また、被撮影者のあごに当接するあご載せ台２は、連結部２ａを介して軸２ｂ周りに回転可能に構成され、左右方向への顔の角度の変更に追従して回転できるようになっている。したがって、あご載せ台２及び額押さえ３により顔を保持した状態で、顔の角度を左右方向に回転させることができるとともに、その場合でも、追従して回転するあご載せ台２及び額押さえ３により顔を安定して保持することができる。

筺体１内の前方には、顔を撮影するための撮影手段である撮影カメラ４が設けられており、カメラ支持台５を介して筺体１に固定されている。撮影カメラ４は、その光軸が後方に向かって延びるように固定されており、あご載せ台２及び額押さえ３により後方に保持された被撮影者の顔を撮影することができる。より具体的には、顔が撮影カメラ４の光軸に平行な正面方向Ｐ０を向いているときには、正面から見た顔画像（正面顔画像）が撮影される。また、顔が撮影カメラ４の光軸に対して左方向へ傾斜した左傾斜方向Ｐ１を向いているときには、右斜め前方から見た顔画像（右顔画像）が撮影され、顔が撮影カメラ４の光軸に対して右方向へ傾斜した右傾斜方向Ｐ２を向いているときには、左斜め前方から見た顔画像（左顔画像）が撮影される。

左傾斜方向Ｐ１は、正面方向Ｐ０に対して左方向に角度θだけ傾斜しており、右傾斜方向Ｐ２は、正面方向Ｐ０に対して右方向に角度θだけ傾斜している。すなわち、左傾斜方向Ｐ１及び右傾斜方向Ｐ２は、正面方向Ｐ０に対して水平面内で逆方向に傾斜しており、正面方向Ｐ０に対する傾斜角度θは同一である。この傾斜角度θは、３０°〜７５°の間に設定され、一般的には４０°〜４５°に設定される。

ここで、軸３ｂは押さえ部３ａの位置よりも少し後側に設けられており、同様に、軸２ｂもあご載せ台２のあごが載る位置よりも少し後側に設けられている。また、軸３ｂ及び軸２ｂは同軸上に設けられており、これらの軸線に対して撮影カメラ４の光軸が直交している。したがって、あご載せ台２及び額押さえ３により顔が保持された状態のまま、軸３ｂ及び軸２ｂを中心に顔を回転させることにより顔の角度を左右方向へ変更した場合であっても、撮影される顔画像の中心が撮影カメラ４の光軸から大きくずれるのを防止できる。

筺体１内には、顔を照明するための光源８が複数個所に配置されている。各光源８は、図１に示すように顔の位置を中心として円周方向に並べて設けられるとともに、図２に示すように上方及び下方にも設けられており、それぞれ顔に対向するように配置されている。光源８には、可視光を照射する光源と紫外線を照射するブラックライトとがあり、目的に応じて一方又は両方が使用される。可視光を照射する光源８としては、ハロゲンランプ、蛍光灯、ＬＥＤ(Light-Emitting Diode)、フラッシュ光源などの適宜のものを使用することができる。

光源８と顔の位置との間には、光源８から照射される光を均一に拡散するための拡散板９が配置されている。この拡散板９は、図１に示すように、横断面形状が円弧形状（半円形状）である。図２に示すように、拡散板９は、顔に対して水平方向だけでなく、上方及び下方にも配置されており、これにより、顔が拡散板９で包囲されるようになっている。拡散板９における撮影カメラ４の光軸上には、矩形の開口部９ａが形成されており、当該開口部９ａを介して撮影カメラ４により顔を撮影することができるようになっている。なお、拡散板９は、半円形状のものに限らず、多角形状、楕円形状などの各種形状に形成することができる。

撮影カメラ４及び光源８は、制御装置２０に接続されており、当該制御装置２０の制御によって動作するようになっている。制御装置２０は、顔撮影装置Ｈの動作を制御する機能の他、撮影カメラ４により撮影された顔画像に関する画像処理を行う機能を有する。制御装置２０には、モニター２１及びキーボード２２を備えた汎用のコンピュータが接続されている。当該顔撮影装置Ｈの操作者は、キーボード２２を操作することによりシャッター操作等の入力操作を行うことができるとともに、撮影カメラ４により撮影された顔画像や画像処理された顔画像等をモニター２１で確認することができる。

図３は、この顔撮影装置Ｈの電気的構成の一例を示したブロック図である。この図３に示すように、顔撮影装置Ｈは、上述の撮影カメラ４、光源８、モニター２１及びキーボード２２の他に、コントローラ３０、照明制御部３１、カメラ制御部３２、音声制御部３３、スピーカ３４、データ保存部３５及び画像処理部３６などを備えている。

ここで、コントローラ３０、照明制御部３１、カメラ制御部３２、音声制御部３３及び画像処理部３６は、制御装置２０に備えられている。データ保存部３５は、制御装置２０に備えられていてもよいし、当該制御装置２０に接続されたコンピュータのメモリにより構成されていてもよい。スピーカ３４は、音声を出力するための音声出力手段であり、制御装置２０又は当該制御装置２０に接続されたコンピュータに備えられていてもよいし、筺体１内に設けられていてもよい。音声制御部３３は、スピーカ３４から出力される音声を制御するための音声制御手段である。

コントローラ３０は、顔撮影装置Ｈを統括的に制御するものであり、ＣＰＵ及びメモリなどにより構成される。照明制御部３１は、コントローラ３０からの制御信号に基づいて光源８の点灯及び消灯を制御するものであり、顔画像の撮影を行う際に光源８を点灯させる。カメラ制御部３２は、コントローラ３０からの制御信号に基づいて撮影カメラ４の動作を制御するものであり、撮影カメラ４で顔画像を連続して撮影することにより、複数の静止画像データからなる動画像データを生成することができるとともに、キーボード２２によるシャッター操作に基づいて、動画像データより解像度が高い静止画像データを生成することができる。撮影カメラ４により生成される動画像データ及び静止画像データは、データ保存部３５に記憶される。画像処理部３６は、データ保存部３５に記憶された動画像データ及び静止画像データに対する画像処理を行う画像処理手段であり、画像処理後のデータが必要に応じてモニター２１に表示される。

本実施形態では、被撮影者の顔を正面方向Ｐ０から撮影することにより正面顔画像を撮影した後、左傾斜方向Ｐ１に顔を向けて右顔画像を撮影し、さらに右傾斜方向Ｐ２に顔を向けて左顔画像を撮影することにより、正面顔画像データ、右顔画像データ及び左顔画像データからなる３つの静止画像データが生成される。すなわち、顔画像を正面方向Ｐ０から撮影することにより、正面顔画像データを生成するとともに、正面方向Ｐ０に対して左右両方向にそれぞれ同一角度θだけ傾斜した方向から顔画像を撮影することにより、右顔画像データ及び左顔画像データを生成することができる。

正面顔画像、右顔画像及び左顔画像の撮影時には、撮影カメラ４により動画像データが生成され、その動画像データが動画像データ表示手段としてのモニター２１にリアルタイムで表示されるようになっている。ここで、リアルタイムとは、データ転送等による若干の時間的誤差を含む概念であり、撮影された動画像データが撮影時とほぼ同時に表示されることを意味している。本実施形態では、正面顔画像、右顔画像及び左顔画像の撮影時に、予め撮影されている基準顔画像に対する顔の位置合わせを行うことにより、顔画像をできるだけ同じ条件で撮影することができるようになっている。

図４は、顔の位置合わせを行う際の態様について説明するための図である。図４では、正面顔画像を撮影する際に顔の位置合わせを行う場合の態様が示されているが、右顔画像及び左顔画像を撮影する際にも同様の態様で顔の位置合わせを行うことができる。

正面顔画像、右顔画像及び左顔画像の撮影時には、撮影カメラ４で撮影されている動画像データから所定のタイミングで静止画像データが抽出され、その抽出された静止画像データに基づく顔画像の輪郭と、それぞれ左右方向に延びる複数の検出ラインＬ１，Ｌ２，Ｌ３との交点を検出エッジポイントＰとして検出することにより、それらの検出エッジポイントＰの位置に基づいて顔の位置合わせを行うことができるようになっている。そして、顔の位置合わせを行った後にキーボード２２を用いてシャッター操作を行うことにより、基準顔画像とできるだけ同じ条件で撮影された正面顔画像データ、右顔画像データ及び左顔画像データを得ることができる。

なお、動画像データから抽出される静止画像データは、正面顔画像データ、右顔画像データ及び左顔画像データよりも解像度が低い。以下では、正面顔画像データ、右顔画像データ及び左顔画像データをそれぞれ生成する処理だけでなく、動画像データから静止画像データを抽出する処理も「撮影」に含まれるものとして説明する。

本実施形態では、上記複数の検出ラインとして、顔の中央部付近を左右方向に延びる中央検出ラインＬ１と、中央検出ラインＬ１に対して上方に平行に延びる上部検出ラインＬ２と、中央検出ラインＬ１に対して下方に平行に延びる下部検出ラインＬ３とが設定されている。ここで、中央検出ラインＬ１は鼻の近傍、上部検出ラインＬ２は目の近傍、下部検出ラインＬ３は口の近傍に設定されていることが好ましい。

検出エッジポイントＰは、各検出ラインＬ１〜Ｌ３における明度データの変化に基づいて検出される。本実施形態では、各検出ラインＬ１〜Ｌ３における明度データに対して、明度平均化処理、移動平均処理及び明度正規化処理などの明度データ処理が行われ、これらの処理後の明度データに基づいて、各検出ラインＬ１〜Ｌ３上における検出エッジポイントＰが検出される。

明度平均化処理は、各検出ラインＬ１〜Ｌ３について、その検出ラインＬ１〜Ｌ３を中心とする上下の所定幅Ｗ内において、各検出ラインＬ１〜Ｌ３に平行な複数ラインの明度データを平均化する処理である。

移動平均処理は、各検出ラインＬ１〜Ｌ３について、その検出ラインＬ１〜Ｌ３上における左方向又は右方向の一方向に注目ポイントを順次に移動させて、各注目ポイントにおける左右の所定幅内での明度データの平均値を算出し、その平均値を当該注目ポイントの明度データとする処理である。

明度正規化処理は、各検出ラインＬ１〜Ｌ３について、その検出ラインＬ１〜Ｌ３における明度データを、その最大値を基準とする明度データに変換することにより、最大値を「１」とする値に正規化する処理である。

図５は、明度データ処理後の明度データの一例を示した波形図である。この図５に示すように、明度データ処理後の明度データは、明度平均化処理及び移動平均処理によってノイズが除去されるとともに、明度正規化処理によって最大値を「１」とする波形に変換される。

この例では、明度データの最大値「１」と最小値「０」の中間値である「０．５」を閾値として、検出ラインＬ１〜Ｌ３上における当該閾値に対応する位置が検出エッジポイントＰとして検出されるようになっている。上記閾値は、「０．５」に限られるものではなく、例えば明度データの平均値を閾値とするなど他の値に設定することもできるが、顔の輪郭部分では明度データの変化量が大きいため、このような明度データの変化量が大きい範囲内で上記閾値を設定することにより、検出エッジポイントＰを良好に検出することができる。

本実施形態では、明度平均化処理及び移動平均処理により、明度データのノイズを除去することができるとともに、明度正規化処理により、撮影した顔画像と基準顔画像とで全体的な明度差がある場合であっても、明度データの最大値を基準として正規化された検出ラインＬ１〜Ｌ３上の明度データに基づいて検出エッジポイントＰを検出することができるので、検出エッジポイントＰを良好に検出することができる。

図６は、画像処理部３６の一構成例を示した機能ブロック図である。図６に示すように、画像処理部３６は、顔画像抽出部３６１、明度平均化処理部３６２、移動平均処理部３６３、明度正規化処理部３６４、エッジポイント検出部３６５、エッジポイント比較部３６６及び位置合わせ情報出力部３６７などにより構成され、これらの各機能ブロックは、コントローラ３０に備えられたＣＰＵが実行するコンピュータプログラムにより実現される。明度平均化処理部３６２、移動平均処理部３６３及び明度正規化処理部３６４は、明度データに対する処理を行う明度データ処理部３６８を構成している。

データ保存部３５には、図６に示すように、検出ラインＬ１〜Ｌ３に関するデータを記憶する検出ラインデータ記憶部３５Ａと、基準顔画像に関するデータを記憶する基準顔画像データ記憶部３５Ｂとが割り当てられている。検出ラインデータ記憶部３５Ａには、中央検出ラインＬ１、上部検出ラインＬ２及び下部検出ラインＬ２の位置情報が記憶されている。検出ラインＬ１〜Ｌ３の位置情報は、固定値であってもよいし、任意の値に変更可能であってもよい。

一方、基準顔画像データ記憶部３５Ｂには、予め撮影されている複数の基準顔画像の静止画像データが記憶されている。基準顔画像データ記憶部３５Ｂは、各基準顔画像に対応付けて、その基準顔画像の輪郭と検出ラインＬ１〜Ｌ３との交点である基準エッジポイントの位置情報を記憶する基準エッジポイント記憶手段を構成している。この基準エッジポイントの位置情報は、検出エッジポイントの場合と同様の態様で、検出ラインＬ１〜Ｌ３上における基準顔画像の輪郭との交点を検出することにより得ることができる。

顔画像抽出部３６１は、撮影カメラ４により生成される動画像データから静止画像データを抽出する。明度データ処理部３６８は、検出ラインデータ記憶部３５Ａに記憶されている各検出ラインＬ１〜Ｌ３の位置情報に基づいて、抽出された静止画像データの各検出ラインＬ１〜Ｌ３における明度データに対して、明度平均化処理部３６２、移動平均処理部３６３及び明度正規化処理部３６４による処理を行う。

明度平均化処理部３６２は、各検出ラインＬ１〜Ｌ３の明度データについて明度平均化処理を行うことにより、各検出ラインＬ１〜Ｌ３に平行な複数ラインにおける明度データを平均化する明度平均化処理手段である。移動平均処理部３６３は、各検出ラインＬ１〜Ｌ３の明度データについて移動平均処理を行う移動平均処理手段である。明度正規化処理部３６４は、各検出ラインＬ１〜Ｌ３の明度データについて明度正規化処理を行うことにより、各検出ラインＬ１〜Ｌ３における明度データを、その最大値を基準とする明度データに変換することにより正規化する明度正規化処理手段である。

エッジポイント検出部３６５は、明度データ処理部３６８による処理後の明度データに基づいて、各検出ラインＬ１〜Ｌ３上における顔画像の輪郭との交点を検出エッジポイントＰとして検出するエッジポイント検出手段である。より具体的には、上述の通り、各検出ラインＬ１〜Ｌ３上における明度データ処理後の明度データが閾値と比較され、当該閾値に対応する位置が検出エッジポイントＰとして検出される。

エッジポイント比較部３６６は、エッジポイント検出部３６５により検出された各検出ラインＬ１〜Ｌ３上における検出エッジポイントＰと、基準顔画像データ記憶部３５Ｂに記憶されている各検出ラインＬ１〜Ｌ３上における基準エッジポイントの位置情報とを比較するエッジポイント比較手段である。

位置合わせ情報出力部３６７は、エッジポイント比較部３６６による比較結果に基づいて、顔の位置合わせ情報を出力する位置合わせ情報出力手段である。上記位置合わせ情報は、各検出エッジポイントＰを対応する基準エッジポイントに近似させるための情報であって、各検出エッジポイントＰの基準エッジポイントに対するずれ方向及びずれ量に応じた情報として出力される。位置合わせ情報出力部３６７から出力された位置合わせ情報は、スピーカ３４から音声として出力されることにより、当該顔撮影装置Ｈの操作者又は被撮影者に報知されるようになっている。

図７は、顔の位置合わせ情報の決定方法について説明するための図であり、基準顔画像データに基づく顔画像に対して顔の位置が水平方向にずれている場合を示している。また、図８は、顔の位置合わせ情報の決定方法について説明するための図であり、基準顔画像データに基づく顔画像に対して顔の角度がずれている場合を示している。

なお、図７及び図８では、基準顔画像データに基づく顔画像を破線で示すとともに、撮影カメラ４により生成される動画像データから抽出された静止画像データに基づく顔画像を実線で示している。また、各検出ラインＬ１〜Ｌ３上における各検出エッジポイントＰの基準エッジポイントに対するずれ方向を矢印の向きで示すとともに、そのずれ量を矢印の長さで示している。

図７（ａ）は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が左方向へずれている場合が示されている。すなわち、図１に示す筺体１内において、基準顔画像の撮影時における顔の位置に対して、顔が右方向へ水平にずれた状態で撮影された顔画像が示されている。この場合、各検出ラインＬ１〜Ｌ３上における各検出エッジポイントＰが、図７（ａ）に矢印で示すように、それぞれ基準エッジポイントに対して同一のずれ方向（左方向）へ同一のずれ量でずれることとなる。

図７（ｂ）は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が右方向へずれている場合が示されている。すなわち、図１に示す筺体１内において、基準顔画像の撮影時における顔の位置に対して、顔が左方向へ水平にずれた状態で撮影された顔画像が示されている。この場合、各検出ラインＬ１〜Ｌ３上における各検出エッジポイントＰが、図７（ｂ）に矢印で示すように、それぞれ基準エッジポイントに対して同一のずれ方向（右方向）へ同一のずれ量でずれることとなる。

図７（ｃ）は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が中央部を基準に縮小している場合が示されている。すなわち、図１に示す筺体１内において、基準顔画像の撮影時における顔の位置に対して、顔が後方向へ水平にずれた状態で撮影された顔画像が示されている。この場合、図７（ｃ）に矢印で示すように、各検出ラインＬ１〜Ｌ３上における各検出エッジポイントＰのうち、右側の各検出エッジポイントＰと左側の各検出エッジポイントＰとが、それぞれ逆方向であって互いに近づく方向へ同一のずれ量でずれることとなる。

図７（ｄ）は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が中央部を基準に拡大している場合が示されている。すなわち、図１に示す筺体１内において、基準顔画像の撮影時における顔の位置に対して、顔が前方向へ水平にずれた状態で撮影された顔画像が示されている。この場合、図７（ｄ）に矢印で示すように、各検出ラインＬ１〜Ｌ３上における各検出エッジポイントＰのうち、右側の各検出エッジポイントＰと左側の各検出エッジポイントＰとが、それぞれ逆方向であって互いに遠ざかる方向へ同一のずれ量でずれることとなる。

図７（ａ）〜（ｄ）に示すように、基準顔画像データに基づく顔画像に対して顔の位置が水平方向にずれている場合には、各検出ラインＬ１〜Ｌ３上における各検出エッジポイントＰが、基準エッジポイントに対して同一のずれ量でずれており、ずれ方向のみが異なっている。したがって、各検出エッジポイントＰのずれ量が同一であることに基づいて、顔が水平方向にずれていると判断することができるとともに、そのずれ量と各検出エッジポイントＰにおけるずれ方向の組合せに基づいて、顔を移動（水平移動）すべき方向及び移動量を判断することができる。

次に、図８（ａ）は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が右方向へ回転している場合であって、あごの位置を中心に回転してずれた状態が示されている。すなわち、図１に示す筺体１内において、基準顔画像の撮影時における顔の位置に対して、あご載せ台２に当接するあごの位置を中心に顔が左方向へ回転した状態で撮影された顔画像が示されている。この場合、各検出ラインＬ１〜Ｌ３上における各検出エッジポイントＰが、図８（ａ）に矢印で示すように、それぞれ基準エッジポイントに対して同一のずれ方向（右方向）へずれるとともに、そのずれ量が検出エッジポイントＰによって異なっている。より具体的には、右側の各検出エッジポイントＰ及び左側の各検出エッジポイントＰのいずれにおいても、より上側の検出エッジポイントＰの方がずれ量が大きくなっている。

図８（ｂ）は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が右方向へ回転している場合であって、額の位置を中心に回転してずれた状態が示されている。すなわち、図１に示す筺体１内において、基準顔画像の撮影時における顔の位置に対して、額押さえ３に当接する額の位置を中心に顔が左方向へ回転した状態で撮影された顔画像が示されている。この場合、各検出ラインＬ１〜Ｌ３上における各検出エッジポイントＰが、図８（ｂ）に矢印で示すように、それぞれ基準エッジポイントに対して同一のずれ方向（左方向）へずれるとともに、そのずれ量が検出エッジポイントＰによって異なっている。より具体的には、右側の各検出エッジポイントＰ及び左側の各検出エッジポイントＰのいずれにおいても、より下側の検出エッジポイントＰの方がずれ量が大きくなっている。

図８（ｃ）は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が左方向へ回転している場合であって、あごの位置を中心に回転してずれた状態が示されている。すなわち、図１に示す筺体１内において、基準顔画像の撮影時における顔の位置に対して、あご載せ台２に当接するあごの位置を中心に顔が右方向へ回転した状態で撮影された顔画像が示されている。この場合、各検出ラインＬ１〜Ｌ３上における各検出エッジポイントＰが、図８（ｃ）に矢印で示すように、それぞれ基準エッジポイントに対して同一のずれ方向（左方向）へずれるとともに、そのずれ量が検出エッジポイントＰによって異なっている。より具体的には、右側の各検出エッジポイントＰ及び左側の各検出エッジポイントＰのいずれにおいても、より上側の検出エッジポイントＰの方がずれ量が大きくなっている。

図８（ｄ）は、基準顔画像データに基づく顔画像に対して、抽出された静止画像データに基づく顔画像が左方向へ回転している場合であって、額の位置を中心に回転してずれた状態が示されている。すなわち、図１に示す筺体１内において、基準顔画像の撮影時における顔の位置に対して、額押さえ３に当接する額の位置を中心に顔が右方向へ回転した状態で撮影された顔画像が示されている。この場合、各検出ラインＬ１〜Ｌ３上における各検出エッジポイントＰが、図８（ｄ）に矢印で示すように、それぞれ基準エッジポイントに対して同一のずれ方向（右方向）へずれるとともに、そのずれ量が検出エッジポイントＰによって異なっている。より具体的には、右側の各検出エッジポイントＰ及び左側の各検出エッジポイントＰのいずれにおいても、より下側の検出エッジポイントＰの方がずれ量が大きくなっている。

図８（ａ）〜（ｄ）に示すように、基準顔画像データに基づく顔画像に対して顔の角度がずれている場合には、各検出ラインＬ１〜Ｌ３上における各検出エッジポイントＰが、基準エッジポイントに対して同一のずれ方向にずれており、各ずれ量が検出エッジポイントＰによって異なっている。したがって、各検出エッジポイントＰのずれ量が検出エッジポイントＰによって異なっていることに基づいて、顔が回転してずれていると判断することができるとともに、そのずれ量と各検出エッジポイントＰにおけるずれ方向の組合せに基づいて、顔を移動（回転移動）すべき方向及び移動量を判断することができる。

このような図７及び図８を用いて説明した態様で、各検出エッジポイントＰを対応する基準エッジポイントに近似させるために顔を移動すべき方向及び移動量が判断され、その情報が顔の位置合わせ情報として出力される。したがって、出力された位置合わせ情報に基づいて顔の位置合わせを行って顔画像を撮影することにより、基準顔画像の撮影時とできるだけ同じ条件で顔画像を撮影することができる。

なお、図８では、あご又は額の位置を中心に顔が左方向又は右方向へ回転している場合について説明したが、あごの位置を中心に顔が前方向又は後方向へ回転した場合や、額の位置を中心に顔が前方向又は後方向に回転した場合であっても、同様に、各検出エッジポイントＰのずれ量が検出エッジポイントＰによって異なっていることに基づいて、顔が回転してずれていると判断することができるとともに、そのずれ量と各検出エッジポイントＰにおけるずれ方向の組合せに基づいて、顔を移動（回転移動）すべき方向及び移動量を判断することができる。

図９は、この顔撮影装置Ｈで顔の位置合わせを行って顔画像を撮影する際の処理の流れを示したフローチャートである。この顔撮影装置Ｈで顔画像を撮影する際には、まず、操作者がキーボード２２を操作することにより、予め撮影されて基準顔画像データ記憶部３５Ｂに記憶されている複数の基準顔画像データの中から、所望の基準顔画像データを選択する（ステップＳ１０１）。例えば、肌状態の評価を行うために以前に撮影した顔画像とできるだけ同じ条件で撮影を行いたい場合などには、その以前に撮影した顔画像の静止画像データを基準顔画像データとして選択することとなる。

その後、撮影カメラ４により生成されている動画像データから静止画像データが抽出され（ステップＳ１０２）、その静止画像データの各検出ラインＬ１〜Ｌ３における明度データに対して、明度平均化処理（ステップＳ１０３）、移動平均処理（ステップＳ１０４）及び明度正規化処理（ステップＳ１０５）が行われる。そして、上記のようにして明度データ処理が行われた後の明度データに基づいて、各検出ラインＬ１〜Ｌ３上における顔画像の輪郭との交点が検出エッジポイントＰとして検出され（ステップＳ１０６）、それらの検出エッジポイントＰが基準エッジポイントと比較される（ステップＳ１０７）。

比較の結果、各検出エッジポイントＰが対応する基準エッジポイントと全て一致している場合には（ステップＳ１０７でＹｅｓ）、操作者がキーボード２２を用いてシャッター操作を行うことによって、撮影カメラ４により顔画像が撮影されて静止画像データが生成される（ステップＳ１０８）。このとき、撮影前に、「そのまま動かないで下さい。撮影します。」などといったように、顔の位置を停止させるための音声がスピーカ３４から出力されるようになっていることが好ましい。なお、操作者によるシャッター操作に基づいて撮影が行われるような構成に限らず、自動的に撮影が行われるようになっていてもよい。

一方、比較の結果、各検出エッジポイントＰのうち対応する基準エッジポイントと一致していない検出エッジポイントＰがある場合には（ステップＳ１０７でＮｏ）、図７及び図８を用いて説明したような態様で、各検出エッジポイントＰの基準エッジポイントに対するずれ方向及びずれ量に応じた位置合わせ情報が生成され、その位置合わせ情報に基づく音声がスピーカ３４から出力される（ステップＳ１０９）。

このとき、スピーカ３４から出力される音声は、各検出エッジポイントＰの基準エッジポイントに対するずれ方向及びずれ量に応じて異なるような構成であることが好ましい。例えば、顔の位置が左側に大きくずれていると判断された場合には、「右に移動して下さい。」という音声を出力し、右斜めに若干回転してずれている場合には、「もう少し左に起こして下さい。」という音声を出力するといったように、移動量の程度を表す情報を含む音声を位置合わせ情報として出力するようになっていてもよい。

位置合わせ情報を出力した場合には、その後に所定時間が経過した後（ステップＳ１１０でＹｅｓ）、再び撮影カメラ４により生成されている動画像データから静止画像データが抽出され（ステップＳ１０２）、その静止画像データの各検出ラインＬ１〜Ｌ３における明度データに対して、ステップＳ１０３以降の処理が行われる。したがって、被撮影者は、位置合わせ情報の出力後、次の静止画像データが抽出されるまでの間に、その出力された位置情報に基づいて顔の位置合わせを行えばよい。

本実施形態では、２以上の検出ラインＬ１〜Ｌ３上における撮影（抽出）した顔画像の輪郭との交点を検出エッジポイントＰとして検出し、それらの検出ラインＬ１〜Ｌ３上の基準エッジポイントと比較することによって、顔の位置合わせを行うことができる。

ここで、１つの検出ライン上における検出エッジポイントＰについてのみ基準エッジポイントと比較するような構成の場合には、顔の位置が左右方向にずれているときと、顔の角度がずれているときとで、基準エッジポイントに対する検出エッジポイントＰのずれ量が同一となる場合がある。これに対して、本発明のように２以上の検出ラインＬ１〜Ｌ３における検出エッジポイントＰについて基準エッジポイントと比較するような構成によれば、顔の位置が左右方向にずれているときと、顔の角度がずれているときとを区別することができるので、より良好に顔の位置合わせを行うことができる。

また、本実施形態では、基準エッジポイント及び検出エッジポイントＰの比較結果に基づいて顔の位置合わせ情報を出力し、その位置合わせ情報に基づいて顔の位置合わせを行うことができる。したがって、顔の位置をどのようにずらせばよいかが分かりやすいので、より良好に顔の位置合わせを行うことができる。

＜第２実施形態＞
第１実施形態では、動画像データから抽出された静止画像データの各検出ラインＬ１〜Ｌ３における明度データに基づいて、検出エッジポイントＰが検出されるような構成について説明した。これに対して、第２実施形態では、動画像データから抽出された静止画像データを構成しているＲ（レッド）データ、Ｇ（グリーン）データ及びＢ（ブルー）データの各色データのうち、Ｒデータのみに基づいて検出エッジポイントＰが検出されるようになっている点が異なっている。

図１０は、本発明の第２実施形態に係る顔撮影装置Ｈにおける画像処理部３６の一構成例を示した機能ブロック図である。本実施形態では、第１実施形態における明度データ処理部３６８の代わりにＲデータ処理部３６８Ａが備えられている点以外は、第１実施形態と同様の構成を有しているので、同様の構成については図に同一符号を付して説明を省略することとする。

Ｒデータ処理部３６８Ａは、Ｒデータ平均化処理部３６２Ａ、Ｒデータ移動平均処理部３６３Ａ及びＲデータ正規化処理部３６４Ａなどにより構成され、顔画像抽出部３６１により抽出された静止画像データの各検出ラインＬ１〜Ｌ３におけるＲデータに対する処理を行う。

Ｒデータ平均化処理部３６２Ａは、各検出ラインＬ１〜Ｌ３のＲデータについて、各検出ラインＬ１〜Ｌ３に平行な複数ラインにおけるＲデータを平均化するＲデータ平均化処理手段である。Ｒデータ移動平均処理部３６３Ａは、各検出ラインＬ１〜Ｌ３のＲデータについて移動平均処理を行うＲデータ移動平均処理手段である。Ｒデータ正規化処理部３６４Ａは、各検出ラインＬ１〜Ｌ３におけるＲデータを、その最大値を基準とするＲデータに変換することにより正規化するＲデータ正規化処理手段である。

これらのＲデータ平均化処理部３６２Ａ、Ｒデータ移動平均処理部３６３Ａ及びＲデータ正規化処理部３６４Ａによる処理は、第１実施形態における明度平均化処理部３６２、移動平均処理部３６３及び明度正規化処理部３６４による処理と同様な態様により行うことができる。そして、このようにしてＲデータ処理部３６８Ａによる処理が行われた後のＲデータが、エッジポイント検出部３６５によって所定の閾値と比較されることにより、各検出ラインＬ１〜Ｌ３上における顔画像の輪郭との交点が検出エッジポイントＰとして検出される。

本実施形態では、撮影（抽出）した顔画像のＲデータのみに基づいて、検出エッジポイントＰを良好に検出することができる。すなわち、顔の輪郭部分ではＲＧＢ各色データのうちＲデータの変化量が比較的大きいため、このＲデータに基づいて検出エッジポイントＰを良好に検出することができる。

以上の実施形態では、動画像データから静止画像データを抽出するような構成について説明したが、このような構成に限らず、シャッター操作に基づく顔画像の撮影によって、動画像データよりも解像度の高い静止画像データを生成し、その静止画像データの各検出ラインＬ１〜Ｌ３における明度データ又はＲデータに基づいて、検出エッジポイントＰを検出するような構成であってもよい。

検出ラインＬ１〜Ｌ３は、それぞれ左右方向に延びるような構成に限らず、左右方向に対して所定角度だけ傾斜した方向に延びるような構成であってもよい。また、検出ラインは、中央検出ラインＬ１、上部検出ラインＬ２及び下部検出ラインＬ３の３つに限らず、２つであってもよいし、４つ以上であってもよい。

顔の位置合わせ情報は、スピーカ３４から音声により出力されるような構成に限らず、モニター２１に対する表示などの他の手段により出力されるような構成であってもよい。

以上の実施形態では、正面顔画像、右顔画像及び左顔画像を撮影することができるような顔撮影装置Ｈについて説明したが、本発明は、このような顔撮影装置Ｈに限らず、それらのうち少なくとも１つの顔画像を撮影することができるような顔撮影装置に適用することができる。

また、操作者がキーボード２２を操作することにより撮影カメラ４のシャッター操作を行うような構成に限らず、被撮影者がシャッター操作を行うような構成であってもよい。この場合、スピーカ３４から出力される位置合わせ情報に基づいて、被撮影者自身が顔の位置合わせを行った後、自らシャッター操作を行うことにより、顔画像を撮影することが可能である。

以上の実施形態では、筺体１とは別個に制御装置２０が設けられ、当該制御装置２０にモニター２１及びキーボード２２を備えた汎用のコンピュータが接続された構成について説明したが、このような構成に限らず、各構成要素が一体的に形成されたような構成であってもよい。

本発明の第１実施形態に係る顔撮影装置の構成を示した図であり、筺体内の構成を横断面図で示している。 筺体の縦断面図である。 この顔撮影装置の電気的構成の一例を示したブロック図である。 顔の位置合わせを行う際の態様について説明するための図である。 明度データ処理後の明度データの一例を示した波形図である。 画像処理部の一構成例を示した機能ブロック図である。 顔の位置合わせ情報の決定方法について説明するための図であり、基準顔画像データに基づく顔画像に対して顔の位置が水平方向にずれている場合を示している。 顔の位置合わせ情報の決定方法について説明するための図であり、基準顔画像データに基づく顔画像に対して顔の角度がずれている場合を示している。 この顔撮影装置で顔の位置合わせを行って顔画像を撮影する際の処理の流れを示したフローチャートである。 本発明の第２実施形態に係る顔撮影装置における画像処理部の一構成例を示した機能ブロック図である。

符号の説明

Ｈ 顔撮影装置
Ｌ１ 中央検出ライン
Ｌ２ 上部検出ライン
Ｌ３ 下部検出ライン
４ 撮影カメラ
２０ 制御装置
３０ コントローラ
３１ 照明制御部
３２ カメラ制御部
３３ 音声制御部
３４ スピーカ
３５ データ保存部
３６ 画像処理部
３６１ 顔画像抽出部
３６２ 明度平均化処理部
３６３ 移動平均処理部
３６４ 明度正規化処理部
３６５ エッジポイント検出部
３６６ エッジポイント比較部
３６７ 位置合わせ情報出力部

Claims (6)

1. 基準顔画像に対する顔の位置合わせを行って顔画像を撮影する顔撮影装置であって、
   予め定められた２以上の検出ライン上における上記基準顔画像の輪郭との交点を基準エッジポイントとして記憶する基準エッジポイント記憶手段と、
   上記２以上の検出ライン上における撮影した顔画像の輪郭との交点を検出エッジポイントとして検出するエッジポイント検出手段と、
   上記基準エッジポイント及び上記検出エッジポイントを比較するエッジポイント比較手段とを備えたことを特徴とする顔撮影装置。
2. 上記エッジポイント比較手段による比較結果に基づいて、顔の位置合わせ情報を出力する位置合わせ情報出力手段を備えたことを特徴とする請求項１に記載の顔撮影装置。
3. 上記エッジポイント検出手段が、撮影した顔画像の明度データに基づいて上記検出エッジポイントを検出することを特徴とする請求項１又は２に記載の顔撮影装置。
4. 上記検出ラインに平行な複数ラインにおける撮影した顔画像の明度データを平均化する明度平均化処理手段を備え、
   上記エッジポイント検出手段が、上記明度平均化処理手段により平均化された明度データに基づいて上記検出エッジポイントを検出することを特徴とする請求項３に記載の顔撮影装置。
5. 上記検出ライン上における明度データを、その最大値を基準とする明度データに変換することにより正規化する明度正規化処理手段を備え、
   上記エッジポイント検出手段が、上記明度正規化処理手段により正規化された明度データに基づいて上記検出エッジポイントを検出することを特徴とする請求項３又は４に記載の顔撮影装置。
6. 上記エッジポイント検出手段が、撮影した顔画像のＲＧＢ各色データのうち、Ｒデータのみに基づいて上記検出エッジポイントを検出することを特徴とする請求項１又は２に記載の顔撮影装置。

Images