JP2001283198A

JP2001283198A - 特徴点採取方法と特徴点採取装置と記録媒体

Info

Publication number: JP2001283198A
Application number: JP2000099626A
Authority: JP
Inventors: Joji Tajima; 譲二田島
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2000-03-31
Filing date: 2000-03-31
Publication date: 2001-10-12

Abstract

(57)【要約】【課題】瞳の中心のように眼球の滑らかな部分の表面
反射率の差による奥行き（レンジ）には変化がなく、三
次元形状を見て、利用者がその眼球の位置を見つけるこ
とができない箇所であっても、顔画像の特徴点の三次元
座標値を容易に採取することを課題とする。【解決手段】三角形パッチ等で表現された撮像対象の
形状データと通常の二次元（カラー）画像の両者から表
示画像を生成し、この表示画像を見ながら利用者が特徴
点を指定し、表示画像上の特徴点位置と形状データとか
ら、撮像対照上の特徴点の三次元座標を求める。また、
特徴点採取方法は、上記課題を解決するもので、撮像対
象の形状データと画像データを取得し、該形状データと
該画像データとからグラフィクス手段を用いて画像を表
示し、表示された画像上の特徴点位置を位置指示手段に
より指定し、前記画像上の特徴点位置と前記形状データ
とから前記撮像対象上の特徴点の三次元座標を求めるこ
とを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮像対象の形状デ
ータと画像データを取得後、グラフィックス手段により
画像表示を行い、指定箇所の三次元座標を取得する特徴
点採取方法及びその採取装置と当該採取方法をコンピュ
ータが読み取り可能に格納した記録媒体に関する。

【０００２】

【従来の技術】従来、データベース化された顔画像と、
ビデオカメラ等の画像入力装置により撮像された顔画像
を照合するために、あるいはその前処理として、顔の特
徴点位置を採取することが行なわれている。

【０００３】例えば、図２に示すように、各人の顔画像
をコンピュータ・ディスプレイ２０上に表示し、両瞳の
中心２１，２２、両眼の目尻２３，２６、両眼の目頭２
４，２５、唇の両端点２７，２８の位置をマウスとカー
ソルによりピックアップする。それにより、各点ｐの座
標は（ｘｐ，ｙｐ）の二次元の座標位置として、採取さ
れる。これらの座標位置を各人の顔についてデータベー
ス化しておき、新たに撮像した問い合わせ顔画像につい
てのものと、これらの点の位置関係を比較し、個人を同
定することにより、顔画像の探索を容易に探索すること
ができる。

【０００４】この顔画像の探索の際、データベース化さ
れたときの顔の向き、問い合わせ顔画像の顔の向きの、
共に、例えば‘正面向き’のように同じ向きで撮像され
ている必要がある。その主な理由は、人の顔は実際には
平面でなく、三次元的な奥行きがあり、部分部分の奥行
きの深さには個人差があるため、向きが変わると特徴点
間の位置関係が変化し、単純に比較することが不可能で
あるからである。正確な比較を顔の向きが異なる顔画像
間で実現するには、各特徴点の三次元座標値を採取でき
るのが望ましい。

【０００５】それに関連して、顔を含む物体の三次元形
状を入力するレンジファインダと呼ばれるような計測シ
ステムを利用することが知られている。その代表的なも
のを図３に示す。「レンジ」とは奥行きのことで、レン
ジファインダでは、顔の三次元形状が得られる。このレ
ンジファインダの測定例の１例に、１９９９年６月に発
行された電子情報通信学会パターン認識とメディア理解
研究会の技術報告（ＰＲＭＵ９９−２４）に、「顔用レ
ンジファインダ」として、石山、坂本等の著作により、
説明されているものについて、構成を簡単に説明する。

【０００６】本技術報告には、レンジファインダを用い
た３次元形状の測定方法を例示したもので、長い測定時
間が必要なレーザー光によるスポット光・スリット光走
査法や、高速なパターン投射・撮像装置による空間コー
ド法などから、正弦波格子を利用した位相シフト法を選
択したものである。本位相シフト法は、正弦波状の光強
度パターンを時系列で位相を変化させながら投射し、観
測される時系列光強度パターンの位相パターンの位相値
によって空間をコード化している。この位相シフト法
は、必要な画像が最低３枚でよく、各画素毎の３次元掲
示用測定が可能であり、撮影画素枚数を増やすことで高
精細度が容易で、カラーのテクスチャ画像が同時に測定
できるという特徴を有している。

【０００７】図３において、顔１０１に対して、光パタ
ーン投射器１０２から光源を介して位相格子１０３のパ
ターンが投影される。位相格子１０３は、空間的に図４
に示す正弦波状の透過率を持っており、この位置を変化
させながら、複数枚の画像が入力される。すると顔の上
の特定の点では、照射される光の強度は、図４に示すよ
うに時間的に変化する。この情景をビデオカメラ１０４
で撮影すると、ｔ枚目の画像上の画素Ｉ（ｕ，ｖ，ｔ）
では、反射された光の強度が式（１）のように得られ
る。

【０００８】 I(u,v,t)＝Ｉ_bias(u,v)＋A(u,v)cos(φ+ｔ) ……（１）ここで、Ｉ_bias(u,v)は、環境光および投射光パターン
の直流成分の反射光、A(u,v)は、投射光パターンの強度
を示す。

【０００９】また、φは、投影された正弦波パターンの
その位置での最初の画像での初期位相値を示す。図４に
よれば、この初期位相値φは約１２０度として示してい
る。また、各画素における初期位相値φは、下記式
（２）〜式（５）によって、入力された複数枚の画像か
ら、画像処理手段１０５により計算される。

【００１０】

【数１】

【００１１】

【数２】

【００１２】

【数３】

【００１３】

【数４】この初期位相値φは、図３に示す投射角αと密接に関係
しているので、各画素におけるφ（ｕ，ｖ）が求められ
ると、投射角αが定まる。また、ビデオカメラ１０４へ
の入射角βは画素Ｉ（ｕ，ｖ，ｔ）の位置（ｕ，ｖ）か
ら求められる。正弦波パターンの投射位置と、カメラの
位置関係が定まっており、その２点と投射角αおよびビ
デオカメラ１０４への入射角βが求まるため、三角形が
一意に定まり、各画素におけるビデオカメラ１０４から
対象までの距離が求まる。結局、適当な位置に原点を置
くことによって、顔の表面の３次元座標（Ｘ，Ｙ，Ｚ）
が、各画素毎に求まる。得られた３次元座標を隣接の画
素と結合することにより、３角形パッチを構成すること
などにより、公知の技術で顔表面の形状データ３を作成
する。

【００１４】また、対象の顔のカラー画像データは物体
表面の色情報であり、カラー画像データはＩ_biasで表さ
れ、複数枚の画像から、式（６）により求められる。

【００１５】

【数５】実際の処理では、上式の積分計算を離散化して計算す
る。位相格子の格子駆動及び撮影の回数をＮ回とする
と、格子を位相にして、２π／Ｎ分ずつ駆動し、所定時
刻毎に撮影して、カラー画像データＩ_bias、位相φ
（ｕ，ｖ）を求める。かかる正弦波格子位相シフト法に
３眼視法を応用した測定手法により、顔の左右の形状と
画像データとを合わせた計測時間が約２．５秒であり、
６４０×４８０画素の各画素毎の高分解能な計測、奥行
き測定誤差の標準偏差が０．１６ｍｍと高精度な計測が
可能とした。

【００１６】以上のことが、上記技術報告に記載されて
いる。

【００１７】また、先行技術として、個人識別装置とし
て、特開平６−１６８３１７号公報には、特徴点の抽出
のために、特徴点を顔画像から３０ポイントとし、特徴
点のｘｙ座標から、基準顔モデルに入っている各特徴点
の奥行き情報との対比により、その奥行きと、左右方向
の回転角とで特定することが記載されている。

【００１８】

【発明が解決しようとする課題】しかしながら、上記レ
ンジファインダにより得られた三次元形状から、上記の
各特徴点の三次元座標値を採取するのは困難である。す
なわち、三次元形状からは、奥行きに変化がある点は求
めることができるが、例えば瞳の中心のように眼球の滑
らかな部分の表面反射率の差により特徴点となっている
所では、奥行き（レンジ）には変化がなく、三次元形状
を見て、利用者がその瞳の中心の位置を見つけることが
できないためである。

【００１９】本発明の課題は、上記の困難を解決し、特
に顔画像の特徴点の三次元座標値を容易に採取すること
のできる方法及びシステムを提供することにある。

【００２０】

【課題を解決するための手段】本発明による特徴点採取
方法は、上記課題を解決するもので、撮像対象の形状デ
ータと画像データを取得し、該形状データと該画像デー
タとからグラフィクス手段を用いて画像を表示し、表示
された画像上の特徴点位置を位置指示手段により指定
し、前記画像上の特徴点位置と前記形状データとから前
記撮像対象上の特徴点の三次元座標を求めることを特徴
とする。

【００２１】また、本発明は、撮像対象の特徴点を指定
して当該特徴点の三次元座標を取得する特徴点採取装置
において、前記撮像対象の形状データと画像データを取
得する形状・画像計測手段と、前記形状・画像計測手段
から得られた前記形状データと前記画像データを格納す
るデータ格納手段と、前記データ格納手段に格納した前
記形状データと前記画像データから撮像対象の画像を生
成するグラフィクス手段と、前記グラフィクス手段の画
像を表示する画像表示手段と、該画像表示手段の画像に
対して特徴点を指定する指示手段と、当該指示に従って
当該特徴点の三次元位置座標を三角形パッチ法により計
算する三次元画像計算手段とからなることを特徴とす
る。

【００２２】また、本発明は、撮像対象の特徴点を指定
して当該特徴点の三次元座標を取得する特徴点採取方法
をプログラムとしてコンピュータが読み取り可能に格納
した記録媒体において、前記特徴点取得方法は、撮像対
象の形状データと画像データを取得し、該形状データと
該画像データとからグラフィクス手段を用いて画像を表
示し、表示された画像上の特徴点位置を位置指示手段に
より指定し、前記画像上の特徴点位置と前記形状データ
とから前記撮像対象上の特徴点の三次元座標を三角形パ
ッチ法によって計算する方法を特徴とし、当該特徴点採
取方法をプログラムとしてコンピュータが読み取り可能
に格納したことを特徴とする。

【００２３】

【発明の実施の形態】本発明の実施形態について、図面
を参照しつつ詳細に説明する。図１を参照して、本発明
の代表的な実施形態を説明する。図１において、１は形
状・画像計測手段であり、上述のように、顔２の三次元
形状とカラー画像を計測し、形状データ３とカラー画像
データ４としてデータ格納手段５に格納する。

【００２４】形状・画像計測手段１は、顔の三次元形状
とカラー画像を同時に取得するもので、その例として
は、従来の技術に説明したように、１９９９年６月に発
行された電子情報通信学会、パターン認識とメディア理
解研究会の技術報告（ＰＲＭＵ９９−２４）に詳しく説
明されている「顔用レンジファインダ」石山、坂本等の
著作について、記載されている。

【００２５】この場合、形状データ３は、顔画像の各画
素毎に３次元座標データを持つ。また、カラー画像デー
タ４は、顔画像の各画素毎に赤（R),緑（G),青（B)のよ
うな色の三属性を持つ。

【００２６】また、５はデータ格納手段であり、多量の
顔画像の形状データ３とカラー画像データ４を格納する
データベースであり、ハードディスクやＭＯ、ＣＤ―
Ｒ、ＣＤ―ＲＷ、ＤＶＤ―ＲＷなどで構成される。

【００２７】グラフィックス手段１０は、ＶＲＡＭ（Vi
deo Random Access Memory）を備えたＤＳＰ（Digital
Signal Processor)などの画像信号処理回路を含み、デ
ータ格納手段５からの形状データ３とカラー画像データ
４の各データから顔画像を生成すると共に、圧縮・伸張
・回転等の画像処理機能を備えて画像データを出力す
る。また、１２は位置指示手段であり、キーボードやマ
ウス、キーステック等の入力手段で、画像表示手段１１
の表示状態に応じて、特徴点の指示や拡大・縮小・回転
等の機能指示によって、所望の画像データを出力する指
示を行う。

【００２８】また、１１は画像表示手段であり、ブラウ
ン管や液晶パネルのディスプレイであり、ＣＰＵ等の指
示による画像信号を表示する。また、１３は三次元画像
計算手段であり、グラフィックス手段１０から得られる
形状データ３と位置指示手段１２から得られる特徴点位
置から演算処理により、三次元（Ｘ，Ｙ，Ｚ）の各座標
値を出力する。

【００２９】上記の実施形態によると、ビデオカメラの
各画素毎に三次元座標（Ｘ，Ｙ，Ｚ）に関連して、カラ
ー情報も求まる。この式（６）により、カラー画像とし
ては、座標点の直流成分で表され、現実には、各画素の
３次元座標のＲ，Ｇ，Ｂ値によって表現される。

【００３０】つぎに、図１のグラフィクス手段１０は、
上記のようにデータ格納手段５に格納された各人の形状
データ３とカラー画像データ４により、それぞれの顔画
像を生成し、画像表示手段１１に表示する。この場合、
形状データは、本来の各画素毎の三次元座標値から計算
された三角形パッチとして格納されていることが多い。
そのとき、カラー画像データのみを持つシステムと異な
り、三次元座標値が指定された三角形パッチに対して、
画像発生処理を行なうと共に、対応するカラー画像デー
タを内挿して三角形パッチに貼り付け、画像表示手段１
１の表示画素に合わせたカラー画像を生成することがで
きる。三次元座標値を持っていることにより、基本的に
所望の方向を向いた顔のカラー画像を生成することが可
能であるので、目尻・目頭の位置のように斜め横から見
た画像での方が特徴点を指示しやすい場合には、自由に
向きを変えた画像を利用することができる。

【００３１】利用者は、この画像表示手段１１に表示さ
れた画像を見ながら、位置指定手段１２により必要な特
徴点、例えば図２に示す瞳の中心２１，２２、目頭２
４，２５、目尻２３，２６、唇の端点２７，２８等を指
示する。図１には、位置指示手段１２として通常のコン
ピュータで用いられているマウスが描かれているが、そ
の他のものでも構わない。画像表示手段１１の表示は、
顔のカラー画像となっているので、位置指示手段１２に
より入力された位置にカーソル等を表示し、利用者がそ
れを見ながら指定することにより，奥行きに段差のない
瞳などの特徴点でも容易に採取可能である。位置指示手
段１２による画面上の指示で、特徴点の二次元座標
（ｘ，ｙ）が得られる。しかし、表示されているデータ
は、三次元の形状データを所望の向きに合わせ、二次元
の表示手段１１向けに投射したものであるので、指定さ
れた特徴点が、表示されている三角形パッチ上に存在す
ることを利用し、二次元座標（ｘ，ｙ）からその特徴点
の三次元座標（Ｘ，Ｙ，Ｚ）を得る事ができる。

【００３２】これを、図５、図６を参照して説明する。
図５は、例えば顔の両眼と鼻の部分を３角形パッチの集
合として表現したもので、３角形の各頂角ＡＢＣで囲ま
れた平面２０１の寄せ集めによって顔全体の３次元形状
が近似できることを示している。この三角形パッチを高
解像度で表現することによって、顔形状をよく近似する
ことができ、三次元座標値を取得する場合に効果的であ
る。しかし、上述したように、顔の特徴点は必ずしも上
記の３角形パッチの頂点に存在するわけではない。その
ような場合でも、特徴点が近似的に３角形の面上に存在
すると考えられるので、これを利用して、特徴点の三次
元座標を求められることを以下に説明する。

【００３３】この特徴点の各３角形を、ｘ−ｙの二次元
の画面をｙ方向から見たものが、図６により説明でき
る。三次元空間上の頂点Ａ，Ｂ，Ｃで表す三角形パッチ
２０１がこのｘ−ｙ面上に平行に投影されている。三次
元データ上の点Ｐが点Ｏ，Ａ，Ｂの張る三角形パッチ２
０１上に存在する。その三次元座標を、式（７）

【００３４】

【数６】とし、その各点に対応する二次元の画面上の対応座標
を、式（８）

【００３５】

【数７】とする。画面上の指示で得られたベクトルＰから、ベク
トルop=(x_p-x₀,y_p-y₀)が、ｃとｄを係数とし、同様なベ
クトルoa=(x_a-x₀,y_a-y₀)と、ベクトルob=(x_b-x₀,y_b-y₀)
とを用いて、式（９）

【００３６】

【数８】のように表わされれば、三次元空間上でも式（９）のｃ
とｄは等しくなるはずであるので、式（１０）

【００３７】

【数９】となり、ベクトルＰの三次元座標は、式（１１）

【００３８】

【数１０】により求められる。図１の三次元座標計算手段１３は式
（９）（１０）（１１）の計算を行ない、指示された点
Ｐの三次元座標を出力する。

【００３９】次に、具体的に上式を用いた例を説明す
る。

【００４０】例えば、顔の形状が得られており、顔内の
「ほくろ」を特徴点として、三次元座標の入力を行う場
合を考える。そのほくろの三次元座標をＰバーとし、こ
れを含む三角形パッチの三頂点の三次元座標は既知であ
り、Ｏバー、Ａバー、Ｂバーは、

【００４１】

【数１１】とする。また、簡単のため、図６のようにＸ、Ｙ平面上
に平行投影すると仮定すると、画像上での三頂点の二次
元座標ｏバー、ａバー、ｂバー及び、特徴点の二次元座
標ｐバーも既知であり、

【００４２】

【数１２】であるとする。ここで求めたいことは、特徴点であるＰ
の三次元座標である。このとき、各三次元座標間の関係
は、

【００４３】

【数１３】であり、各二次元座標間の関係は、

【００４４】

【数１４】である。このとき、式（９）のように表したときの係数
ｃ、ｄは、

【００４５】

【数１５】の解である。これを解くと、ｃ＝０．３１、ｄ＝０．３
２のように求められ（小数点以下３桁目以下は四捨五入
した）、この結果を式（１０）に代入すると、

【００４６】

【数１６】さらに、式（１１）により、特徴点の三次元座標Ｐバー
が、

【００４７】

【数１７】のように求められる。

【００４８】上述したように、位置指示手段１２により
指示された顔画像の特徴点における三次元座標を求める
ことができる。このような演算は、図１では、三次元画
像計算手段１３によって計算されて、求められる。

【００４９】なお、上記の計算式は、三次元空間から平
行投影によりディスプレイ上に表示が行なわれることを
仮定している。これを更に実態に合うように中心投影に
より表示することも可能である。但し、本発明の目的は
特徴点を正確に採取することであり、表示は特徴点の位
置が分かりやすく表示できるものであれば良く、表示の
正確さはそれほど重要ではない。

【００５０】

【発明の効果】以上に説明したように、本発明を利用す
ることにより、同時に採取された顔の形状データと画像
データを利用して、従来、顔の特徴点の二次元座標を採
取するのと同じ手数で、三次元座標を得ることができ
る。また、特徴点を位置指示手段で指定する際、顔の向
きを任意に表示することができるので、特徴点位置を従
来以上に正確に指示することが可能である。

【図面の簡単な説明】

【図１】本発明の特徴点採取方法の実施形態の構成を示
すブロック図である。

【図２】本発明に用いる顔の特徴点とその採取方法の説
明図である。

【図３】本発明による形状・画像計測手段の実施形態の
構成を示すブロック図である。

【図４】本発明に用いる形状・画像計測手段により、ビ
デオカメラの各画素に得られる画素値の説明図である。

【図５】本発明に用いる表示された画像から特徴点を指
示して、その三次元座標値を求める方法の説明図であ
る。

【図６】本発明に用いる表示された画像から特徴点を指
示して、その三次元座標値を求める方法の説明図であ
る。

【符号の説明】

１形状・画像計測手段２，１０１顔３形状データ４カラー画像データ５データ格納手段１０グラフィクス手段１１画像表示手段１２位置指示手段１３三次元画像計算手段２０コンピュータ・ディスプレイ１０２光パターン投射器１０３位相格子１０４ビデオカメラ１０５画像処理手段

Claims

【特許請求の範囲】

【請求項１】撮像対象の形状データと画像データを取
得し、該形状データと該画像データとからグラフィクス
手段を用いて画像を表示し、表示された画像上の特徴点
位置を位置指示手段により指定し、前記画像上の特徴点
位置と前記形状データとから前記撮像対象上の特徴点の
三次元座標を求めることを特徴とする特徴点採取方法。
【請求項２】前記画像データがカラー画像データであ
ることを特徴とする請求項１に記載の特徴点採取方法。
【請求項３】前記撮像対象が顔画像であることを特徴
とする請求項１又は２に記載の特徴点採取方法。
【請求項４】前記グラフィクス手段は前記形状データ
と前記画像データとから前記撮像対象を三角形パッチ法
によって近似し、その近似した結果上に前記画像データ
を組み合わせて表示する手法であることを特徴とする特
徴点採取方法。
【請求項５】前記撮像対象の形状データと画像データ
を取得する方法は、正弦波格子位相シフト法であり、光
源の照明光を正弦波の位相格子を順次ずらせて透過して
前記撮像対象に投射し、前記撮像対象からの反射光をカ
メラで取得して前記形状データと前記画像データとを取
得することを特徴とする請求項１乃至３のいずれかに記
載の特徴点採取方法。
【請求項６】撮像対象の特徴点を指定して当該特徴点
の三次元座標を取得する特徴点採取装置において、前記
撮像対象の形状データと画像データを取得する形状・画
像計測手段と、前記形状・画像計測手段から得られた前
記形状データと前記画像データを格納するデータ格納手
段と、前記データ格納手段に格納した前記形状データと
前記画像データから撮像対象の画像を生成するグラフィ
ックス手段と、前記グラフィックス手段の画像を表示す
る画像表示手段と、該画像表示手段の画像に対して特徴
点を指定する指示手段と、当該指示に従って当該特徴点
の三次元位置座標を三角形パッチ法により計算する三次
元画像計算手段とからなることを特徴とする特徴点採取
装置。
【請求項７】前記指示手段は前記画像表示手段の表示
画像に対して二次元画像座標位置を指示し、前記三次元
画像計算手段は当該二次元画像座標位置から三角形パッ
チ法と平行投影法により前記三次元位置座標を計算する
ことを特徴とする請求項６に記載の特徴点採取装置。
【請求項８】撮像対象の特徴点を指定して当該特徴点
の三次元座標を取得する特徴点採取方法をプログラムと
してコンピュータが読み取り可能に格納した記録媒体に
おいて、前記特徴点取得方法は、撮像対象の形状データ
と画像データを取得し、該形状データと該画像データと
からグラフィクス手段を用いて画像を表示し、表示され
た画像上の特徴点位置を位置指示手段により指定し、前
記画像上の特徴点位置と前記形状データとから前記撮像
対象上の特徴点の三次元座標を三角形パッチ法によって
計算する方法を特徴とし、該特徴点採取方法をプログラ
ムとしてコンピュータが読み取り可能に格納した記録媒
体。