JP2009014520A

JP2009014520A - 顔計測システム

Info

Publication number: JP2009014520A
Application number: JP2007176940A
Authority: JP
Inventors: Yukio Sato; 幸男佐藤; Hiroshi Nishio; 裕志西尾
Original assignee: SPACE VISION KK
Current assignee: SPACE VISION KK
Priority date: 2007-07-05
Filing date: 2007-07-05
Publication date: 2009-01-22

Abstract

【課題】被験者をできるだけ拘束せず、ハーフミラーの持つ欠点を低減しつつも、所定の向きの顔の三次元形状のデータを求めることができるようにする。
【解決手段】レンジファインダ１００のカメラ１１０の上方に鏡１３０を設ける。被験者が顔を鏡１３０に映すと、その顔の向きはカメラ１１０に対して所定の向きを向いた状態となる。カメラ１１０は、鏡１３０を向いた顔を、幾分下方から見上げる角度（例えば１２度）で撮影する。これにより、鼻の下部や顎の下面など顔の特徴的な部位の三次元形状を求めることができる。
【選択図】図１

Description

本発明は、顔の三次元形状を計測する顔計測システムに関する。

顔による本人認証のために、顔の二次元画像の代わりに又はそれに加えて、顔の三次元形状を測定して利用する応用例が増えている。また、医療や美容分野、あるいは眼鏡等の顔に装着する器具の製作、調整等のために、顔の三次元形状を計測して利用するシステムも開発されている。このように顔の三次元形状計測は様々な分野に応用されつつある。

顔の三次元形状計測結果を利用する場合、計測結果の三次元形状が正しい向きのものである必要がある。このため、例えば特許文献１に記載された三次元形状計測システムでは、椅子のヘッドレスト（頭支え部）の形状を工夫することで、被験者がその椅子に座って頭をヘッドレストにもたれかけると顔が正面方向に向くようにしている（特に同文献の図２（ａ））。

一方、三次元計測に関するものではないが、パスポートなどの証明写真を撮影するための撮影装置の中には、座席の正面にハーフミラーを設け、そのハーフミラーの背後にカメラを設置したものがある。この種の装置では、利用者がハーフミラーに自分の顔を写すことで顔が正面を向いた状態となり、この状態でハーフミラーを介して撮影を行う。

特開２００５−１０６４９１号公報

椅子のヘッドレストで頭の向きを規制する方式の場合、三次元計測用のレンジファインダだけでなく、そのような既成の仕組みを持った椅子も必要となるため、システムが大型化してしまう。また、ヘッドレストでは顔の向きを規制する精度があまりよくないという問題もある。かといって、頭を固定して顔の向きを厳密に正しい方向に向けようとすると、被験者に対する拘束が強くなってしまい、不快感を与える可能性も出てくる。

一方、ハーフミラーの利用は被験者の体を拘束しないという利点はある。しかし、レンジファインダによる三次元計測の場合、レーザのスリット光やスポット光、或いは空間コード化法のためのパターン光等の計測用の光（以下、計測光と呼ぶ）を対象物に投光してその反射光を受光するが、ハーフミラーによる光の減衰により光量不足となる可能性がある。かといって、光量不足を解消するとすれば、強力な光源が必要になってしまう。また、計測光の光源をレンジファインダの撮影部と同様ハーフミラーの背後に設置すると、光源から発せられた計測光の一部がハーフミラーにより反射されて撮影部に受光される可能性があり、このような反射光に対する対処が必要となる。

本発明は、被験者をできるだけ拘束せず、ハーフミラーの持つ欠点を低減しつつも、所定の向きの顔の三次元形状のデータを求めることができるようにすることを目的とする。

本発明に係る顔計測システムは、鏡と、計測光を被験者の顔に投光してその反射光を受光し、その受光結果に基づき前記顔の三次元形状を計測するレンジファインダであって、前記鏡に対して前記被験者の顔が正面を向いたときに、前記鏡の正面方向とは異なる方向から前記被験者の顔を撮影するように配設されたレンジファインダと、を備える。

この構成では、被験者が鏡を見た状態でレンジファインダによる計測を行うことで、被験者の顔の方向がレンジファインダに対して所定の角度となる。また、レンジファインダが、被験者に正しく正面方向を向かせるための鏡により遮られないので、ハーフミラーを用いる場合のような光量不足の問題は軽減される。

１つの態様では、前記レンジファインダは、前記被験者の顔を前記正面の下方から撮影するように配設される。

この態様によれば、鼻の下部や顎の下面などといった顔の特徴的な部位の三次元形状を捉えることができる。ここで、前記レンジファインダは、前記鏡に対して前記被験者の顔が正面を向いたときに、前記被験者の顔を前記正面の下方、例えば５〜２０度の角度から撮影するように配設されることが望ましい。

また別の態様では、顔計測システムは、前記鏡の正面方向に対してテクスチャ撮影のための照明光を発する照明光源と、第１の期間には前記照明光源を点灯させて前記レンジファインダに前記顔のテクスチャ画像を撮影させ、第２の期間には前記照明光源を消灯させて前記レンジファインダに計測光を投光させ前記顔の三次元計測を行わせる制御手段と、を更に備える。

この態様によれば、顔のテクスチャ画像を撮影する場合には照明光源からの照明により良好な画像を得ることができ、顔を三次元計測する場合にはその照明光源を消灯することでレンジファインダの計測光に対する影響を低減することができる。

また別の態様では、顔計測システムは、前記レンジファインダが求めた前記顔の三次元形状を、前記鏡の正面方向と前記レンジファインダが前記顔を撮影する方向とのなす角度に従って座標変換することにより、正面向きの顔の三次元形状のデータを求める変換部、を更に備える。

この態様によれば、利用しやすい正面向きの顔の三次元形状のデータを出力することができる。

以下、本発明の実施の形態を説明する。まず、図１を参照して、この実施の形態において用いるレンジファインダ１００の一例の外観を説明する。

この例では、レンジファインダ１００の筐体１０５の前面中央部には、計測のためのカメラ１１０が設けられる。カメラ１１０は、例えばＣＣＤ(Charge Coupled Device)撮像素子やＣＭＯＳ(Complementary Metal Oxide Semiconductor)撮像素子などの撮像素子と、この撮像素子の撮像面上に画像を結像させる結像光学系とを備えている。

カメラ１１０の両側には、計測光を投光するための投光器１２０ａ及び１２０ｂが設けられている。例えば、三次元形状計測のために光切断法を用いる場合、投光器１２０ａ及び１２０ｂは、例えば計測光としてレーザのスリット光により対象物（この例では被験者の顔）を走査する装置である。この場合、筐体１０５内には、投光器１２０ａ及び１２０ｂのそれぞれについて、レーザ光源、当該レーザ光源が発したレーザ光をスリット又はスポット上に収束させる光学系、及び走査機構が設けられる。また、空間コード化法を用いる場合は、例えば、投光器１２０ａ及び１２０ｂは、ハロゲンランプ等の光源と、その光源から発せられた光をいくつかのパターンを切り換えながら遮断するシャッター機構とを備える。光切断法及び空間コード化法のための投光器は周知であるため、これ以上の説明は省略する。この例では、投光器１２０ａ及び１２０ｂをカメラ１１０の両側に設け、対象である顔に対し両側から計測光を投光することで、計測光が投射されない部分（いわゆる死角）を減らしている。

また、筐体１０５前面のカメラ１１０の上方には、被験者が顔を確認するための鏡１３０が設けられる。またこの例では、鏡１３０の左右にテクスチャ画像の撮影のための照明光源１４０ａ及び１４０ｂが設けられている。照明光源１４０ａ及び１４０ｂは、例えば、鏡１３０と同程度の薄型の面発光パネルである。このような面発光パネルとしては、例えばＬＥＤ（発光ダイオード）と導光板とを組み合わせたものを用いることができるが、これに限られるものではない。典型的な使用例では、レンジファインダ１００は、三次元計測時の環境光の影響を低減するために暗い部屋に設置され、テクスチャ画像の撮影時には照明光源１４０ａ及び１４０ｂを点灯する。一方、三次元計測時には、照明光源１４０ａ及び１４０ｂを消灯して、暗い状態で投光器１２０ａ及び１２０ｂから計測光を投射し、顔の三次元形状を計測する。

１つの例では、鏡１３０と照明光源１４０ａ及び１４０ｂとは相互に固定され一体となった形で、筐体１０５に対して蝶番構造（図示省略）を介して筐体１０５に対し開閉可能な状態で接続されている。そして、例えば収納時や運搬時等には鏡１３０と照明光源１４０ａ及び１４０ｂ（「鏡１３０等」と呼ぶ）を筐体１０５に対して閉じた状態（すなわち鏡１３０等が倒れてその背面が筐体１０５の上面に接した状態で固定された状態）とすることで、省スペース化を図り、運搬しやすくする。一方、使用時には鏡１３０等を開き、図１に示す状態で固定して使用する。

次に、図２を参照して、レンジファインダ１００の計測系（カメラ１１０と投光器１２０ａ及び１２０ｂ）と鏡１３０等との配置関係について説明する。

図２の例では、レンジファインダ１００は机１０の上に設置され、椅子２０に腰掛けた被験者３０の顔３５を計測する。ここで、カメラ１１０は、その結像光学系の光軸４０が、使用時の起立状態の鏡１３０の正面方向（すなわち、鏡１３０の鏡面の法線方向）４１に対して幾分下方から顔３５を捉えるように配設されている。すなわち、被験者１３０が鏡１３０に自分の顔３５を正面から映した状態で、カメラ１１０はその顔３５を下方から撮影することとなる。鼻の下部（鼻の穴など）や顎の下面などは人間の顔の三次元形状において特徴的な部位であるが、これらの部位の形状は顔を上方から撮影した場合はもちろん、正面から撮影した場合にも、他の部位の陰になってうまく形状を捉えることができない。これに対し、この例のように顔３５を下方から撮影すれば、鼻の下部や顎の下面などといった部位に対して計測光を当ててその形状を捉えることができる。また、逆に言えば、人間の顔の形状は、上方から撮影すると他の部位の陰になって隠れる部分が多いが、多少下方から撮影した場合には陰になって隠れる部分は少ない。したがって、図示例のように顔３５を正面方向よりも幾分下方から撮影する位置関係となるよう、鏡１３０とカメラ１１０との配置関係を設定することで、人間の顔の三次元形状としての特徴をよく捉えることができる。発明者の実験によれば、カメラ１１０の光軸４０と方向鏡１３０の正面方向４１とのなす角度が５〜２０度程度のときが、顔の三次元形状の特徴部分を良好に捉えることができ、特にその角度が約１２度のときが最も良好に捉えることができることが分かった。

この例では、筐体１０５の下面に、くさび形の台座１０６を装着することで、カメラ１１０が所定の角度で上を見上げるようにしている。ここで、この台座１０６を、筐体１０５に対して着脱自在な構成とすることで、顔形状計測以外の場合に台座１０６を取り外してレンジファインダ１００を利用できるようにしてもよい。

ちなみに、図２の例では、床面から見た机１０の高さＨ１は例えば約７００ｍｍ、被験者３０の顎の下端の高さＨ２は例えば約１０５０ｍｍ、被験者３０の顔３５からレンジファインダ１００のカメラのレンズ先端（図中左端）までの距離が例えば約４００ｍｍである。この例は、カメラ１１０の焦点距離が６ｍｍの場合の例である。図２の例では、被験者３０が腰掛けた状態で計測を行うが、これは一例に過ぎない。レンジファインダ１００を適切な高さの台に設置して、被験者３０が起立した状態で計測を行ってもよい。

次に、図３を参照して、この実施の形態の顔計測システム構成の一例を説明する。この顔計測システムは、上述のレンジファインダ１００と制御装置２００とを備えている。制御装置２００は、顔計測のためにレンジファインダ１００を制御し、その結果得られた顔の計測結果に対して目的に応じた処理を施す。制御装置２００は、例えば、以下に説明する各機能モジュール２０２〜２１０を表すプログラムをコンピュータに実行させることにより実現することができる。なお、それら機能モジュールのうちの一部又は全部を集積回路などのハードウエア回路により実装してもよい。レンジファインダ１００と制御装置２００とは、例えば有線又は無線の通信回線を介して接続される。例えば、レンジファインダ１００を計測用の部屋に設置し、その隣室に制御装置２００を設置して、操作者が制御装置２００を操作することでシステム全体を制御してもよい。

制御装置２００において、計測制御部２０２は、レンジファインダ１００と、制御装置２００内の各機能モジュールとを制御して、一連の計測動作を実現する。計測制御部２０２によるレンジファインダ１００の制御動作の一例を図４に示す。この手順では、まず本システムに電源が投入されると、照明光源１４０ａ及び１４０ｂが点灯状態となる（Ｓ１０）。この状態が本システムの待機状態である。レンジファインダ１００が設置される部屋としては、三次元計測の際の環境光の影響を低減するために暗室等の暗い部屋が用いられるが、待機状態では照明光源１４０ａ及び１４０ｂが点灯されているので、室内は明るい状態となっている。このため、被験者は迷わずにレンジファインダ１００の前の椅子に腰掛けることができる。

被験者が椅子に腰掛けるなどして計測に適した姿勢になると、例えば、制御装置２００を操作する操作者が被験者に鏡１３０を見るように案内する。これに応じて被験者が正しく鏡１３０を注視したことを確認すると、操作者は制御装置２００に対して計測開始を指示する。この指示を受けると（Ｓ１１）、制御装置２００の計測制御部２０２は、まずレンジファインダ１００のカメラ１１０の撮像素子が出力する画像データを例えば１フレーム分、顔のテクスチャ画像として取り込む（Ｓ１２）。この時点では、照明光源１４０ａ及び１４０ｂが点灯しているので、その画像データは、顔を適切に照明した状態で撮影した画像を表している。照明光源１４０ａ及び１４０ｂは面発光の光源であり、しかも鏡１３０を見ている顔の両側から照明し、かつ図２に示すように顔を幾分下側から照明しているので、点光源を用いる場合や上方から照明する場合などに比べて顔にできる影が少なくなり、良好なテクスチャ画像を得ることができる。

次に、計測制御部２０２は、レンジファインダ１００に照明光源１４０ａ及び１４０ｂの消灯を指示し（Ｓ１３）、三次元形状計測の実行を指示する（Ｓ１４）。この指示を受けたレンジファインダ１００は、照明光源１４０ａ及び１４０ｂを消灯し、その消灯状態において、投光器１２０ａ及び１２０ｂに計測光を投射させ、その反射光を捉えた画像を制御装置２００へと出力する。三次元形状計測では、スリット光等の走査、又は空間コード化のためのパターン光の切換、に応じて数フレームから数十フレームの画像が撮影され、制御装置２００に出力される。このとき、例えばまず投光器１２０ａ及び１２０ｂのうちの一方がスリット光等の走査又は一連のパターン光の切換を終えたあとで、もう一方にその走査又は一連の切換を実行させればよい。このようにして三次元形状計測に必要な画像フレーム群が制御装置２００に入力されると、一連の計測処理が終了し、ステップＳ１０の待機状態へと戻る。

以上の流れでは、テクスチャ画像の取り込み動作は操作者が計測開始を指示した直後のほぼ一瞬で終わり、そのあとの消灯状態での三次元計測も数〜数十フレーム程度の撮影であり１秒前後で終わるので、被験者に与える負担は少ない。

再び図３の説明に戻ると、制御装置２００は、レンジファインダ１００からテクスチャ画像と、三次元形状計測のための所定数の画像フレームのデータを受け取ると、それらに基づき被験者の顔の三次元モデルを生成する。この処理では、三次元形状計算部２０４が、三次元形状計測の期間に撮影された複数の画像フレームに対し、光切断法又は空間コード化法等の三次元形状計測の原理に従った周知の演算アルゴリズムを適用することで、計測対象の距離画像を生成する。この距離画像は、被験者の顔だけでなく、背景（例えば被験者の背後の壁）の情報も含んでいるが、顔と背景とはカメラ１１０の距離が大きく異なるので、適切な距離のしきい値を用いて顔の距離画像のみを抽出できる。そして、三次元形状計算部２０４は、その顔の距離画像から、周知のアルゴリズムを用いて顔の三次元サーフェイスモデルを生成する。

次にテクスチャ合成部２０６は、その三次元サーフェイスモデルの各パッチ（微小面）に対し、レンジファインダ１００から受け取ったテクスチャ画像に基づきテクスチャを貼り付けていく。この三次元サーフェイスモデルに対するテクスチャの合成処理も周知の技術なので、詳細は省略する。以上の処理により、テクスチャを持つ三次元サーフェイスモデルができあがる。このモデルは、カメラ１１０の座標系で顔の三次元形状を表現したものであり、顔を幾分下から見上げた状態での三次元形状を表している。

座標変換部２０８は、そのテクスチャ付きのサーフェイスモデルを、カメラ１１０の光軸４０と鏡１３０の正面方向４１との位置関係に応じて三次元座標変換することで、顔を正面から見た状態でのテクスチャ付きサーフェイスモデルを生成する。光軸４０の向きと鏡１３０の正面方向４１との三次元的な方向の相違は既知なので、その相違の分だけモデルの角度を三次元的に変換することで、正面から見た状態のテクスチャ付きサーフェイスモデルを得ることができる。

処理部２１０は、その正面から見た状態のテクスチャ付きサーフェイスモデルを用いて、本システムの目的に応じた所定の処理を実行する。すなわち、例えば本システムが美容又は医療等の目的での顔の三次元モデルの生成を行うためのものであれば、処理部２１０は、そのテクスチャ付きサーフェイスモデルと、例えば操作者が別途入力した被験者の識別情報などの属性情報と対応づけて記憶装置に格納することで、例えば美容整形シミュレーションプログラムのようなアプリケーションプログラムで利用できるようにする。対応付けは、例えば識別情報とモデルとをまとめて１つのファイルを作成するか、又は識別情報とモデルと相互に対応づけてデータベースに登録するなどにより行えばよい。また、本システムが本人認証を行うものである場合、処理部２１０は、座標変換部２０８が出力する変換後のテクスチャ付きサーフェイスモデルを、データベース（図示省略）に登録された被験者本人の登録モデルと比較することにより、その被験者が本人であるか否かを判定する。以上に例示した処理部２１０の処理内容はあくまで例示的なものに過ぎず、処理部２１０はその応用分野に応じた処理を実行するものであればどのようなものでもよい。

以上の例では、下から見上げた状態を表すテクスチャ付きサーフェイスモデルを、座標変換部２０８が正面から見た状態の向きになるように座標変換したが、これは必ずしも必須のことではない。この代わりに、例えば、テクスチャ合成部２０６が出力したテクスチャ付きサーフェイスモデルに対し、正面から見た状態の向きになるように座標変換するための座標変換行列、又はそのモデルの正面方向を表す情報を対応づけて出力してもよい。これにより、別のアプリケーションがそのモデルを用いて処理を行う場合に、そのモデルの正面方向を特定することができる。

以上に説明した例によれば、まず、レンジファインダ１００のカメラ１１０の光軸方向が、被験者に正しく正面方向を向かせるための鏡１３０により遮られないので、ハーフミラーを用いる場合のような光量不足の問題は軽減される。また、鏡１３０を注視したときの顔をカメラ１１０が下方から捉えるよう、カメラ１１０と鏡１３０の位置関係を設定したので、鼻の下部や顎の下面などといった人間の顔の特徴的な部位の三次元形状を捉えることができる。また、照明光源１４０ａ及び１４０ｂを設け、テクスチャ画像撮影時にはそれらを点灯し、三次元計測時にはそれらを消灯するように制御しているので、レンジファインダ１００を暗室に設置して用いれば、環境光の影響を低減しつつ良好なテクスチャ画像及び三次元形状計測用の画像を得ることができる。

以上では、制御装置２００を操作者が操作する場合の例を示し、その操作者が計測開始を指示したが、このような構成に限定されるものではない。この代わりに、例えば制御装置２００に対して計測開始を指示するボタン等の入力装置をレンジファインダ１００の近傍に設置し、被験者がその入力装置を用いて計測開始を指示してもよい。

以上の例において、鏡１３０の表面に、例えば目や顎などといった１以上の基準部位の位置を示すマークを描いておいてもよい。被験者が鏡１３０を見る際に目などの基準部位の位置がそのマークの位置に重なるように顔の位置や向きを調整することで、顔の向きをより厳密に正しい方向に合わせることができる。

また、以上では、顔の三次元形状にテクスチャを合成したが、テクスチャの合成は必須のことではない。テクスチャを用いないアプリケーションであれば、三次元形状のモデルのみでもよい。また、三次元形状をサーフェイスモデルで表したのは一例に過ぎない。

また、以上では、レンジファインダ１００はカメラ１１０を１つ備えるだけであったが、レンジファインダ１００にカメラ１１０を複数設け、複数の方向から顔の三次元形状を計測してもよい。この場合、各カメラ１００の視点から求めた顔の三次元形状を合成することで、死角をより低減した顔の三次元モデルを得ることができる。

実施の形態において用いるレンジファインダの一例の外観を示す斜視図である。レンジファインダの計測系と鏡等との配置関係を説明するための図である。実施の形態のシステムの一例の機能ブロック図である。計測制御部によるレンジファインダの制御動作の一例を示すフローチャートである。

符号の説明

１００レンジファインダ、１０５筐体、１０６台座、１１０カメラ、１２０ａ，１２０ｂ投光器、１３０鏡、１４０ａ，１４０ｂ照明光源。

Claims

鏡と、
計測光を被験者の顔に投光してその反射光を受光し、その受光結果に基づき前記顔の三次元形状を計測するレンジファインダであって、前記鏡に対して前記被験者の顔が正面を向いたときに、前記鏡の正面方向とは異なる方向から前記被験者の顔を撮影するように配設されたレンジファインダと、
を備える顔計測システム。
前記レンジファインダは、前記被験者の顔を前記正面の下方から撮影するように配設されることを特徴とする請求項１記載の顔計測システム。
前記レンジファインダは、前記鏡に対して前記被験者の顔が正面を向いたときに、前記被験者の顔を前記正面の下方５〜２０度の角度から撮影するように配設されることを特徴とする請求項２記載の顔計測システム。
前記鏡の正面方向に対してテクスチャ撮影のための照明光を発する照明光源と、
第１の期間には前記照明光源を点灯させて前記レンジファインダに前記顔のテクスチャ画像を撮影させ、第２の期間には前記照明光源を消灯させて前記レンジファインダに計測光を投光させ前記顔の三次元計測を行わせる制御手段と、
を更に備える請求項１記載の顔計測システム。
前記レンジファインダが求めた前記顔の三次元形状を、前記鏡の正面方向と前記レンジファインダが前記顔を撮影する方向とのなす角度に従って座標変換することにより、正面向きの顔の三次元形状のデータを求める変換部、
を更に備える請求項１記載の顔計測システム。