JP2001319245A - 画像処理装置および方法、並びに記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 滑らかな頭部の３次元形状モデルを生成す
る。 【解決手段】 画像処理装置３の顔部モデル再構築部４
は、３次元形状計測装置１からの顔部の３次元形状デー
タに基づいて顔部モデルを構築する。頭皮部モデル再構
築部５は、頭皮部データベース２から読み出す頭皮部の
３次元形状データに基づいて、頭皮部モデルを構築す
る。頭皮部モデル変形部６は、頭皮モデルのサイズを変
更する。エッジ結合部７は、顔部モデルと頭皮部モデル
との位置合わせを行い、エッジ付近に生じる隙間を埋
め、頭部モデルを生成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに記録媒体に関し、特に、人の頭部の３次
元形状モデルを生成する場合に用いて好適な画像処理装
置および方法、並びに記録媒体に関する。

【０００２】

【従来の技術】例えば、人の頭部を３次元コンピュータ
グラフィックス（以下、３ＤＣＧと略記する）によって
表現する場合、何らかの方法を用いて当該頭部の３次元
形状を計測する必要がある。

【０００３】物体の３次元形状を計測する方法として
は、例えば、計測する物体（以下、被写体と記述する）
を異なる複数の視点から撮影し、得られる基準画像と参
照画像の間で対応点付けを行い、対応する点相互の視差
に基づいて、視点から被写体表面の各点までの距離を算
出することにより、物体の３次元形状を計測する方法が
知られている。この方法は、一般にステレオ法と呼ばれ
ている。

【０００４】なお、本出願人は、基準画像と参照画像の
間での対応点付けの精度を向上させることを目的とし
て、被写体に非周期的なパターン光を照射した状態で撮
影し、得られた基準画像および参照画像にステレオ法を
適用して、物体の３次元形状を計測する装置を、例え
ば、特願平１１−２６９８３８号として既に提案済みで
ある。

【０００５】例えばまた、計測する物体にレーザ光を照
射し、その反射光に基づいて、物体までの距離を算出す
ることにより、物体の３次元形状を計測するレンジファ
インダ等も存在する。

【０００６】しかしながら、上述した方法等を用いて、
人の頭部の３次元形状を計測した場合、頭部のうちの頭
髪以外の部分（以下、顔部と記述する）については、３
次元形状を計測することができるが、頭髪が生えている
部分（以下、頭皮部と記述する）については、頭髪が光
を適切に反射しないこと等に起因して３次元形状を計測
することができない問題がある。

【０００７】

【発明が解決しようとしている課題】そこで、被写体の
頭部の３次元形状モデル（以下、頭部モデルと記述す
る）を生成する場合、計測して得られる被写体の顔部の
３次元形状モデル（以下、顔部モデルと記述する）に、
予めデータベースに蓄積されている頭皮部の３次元形状
モデル（以下、頭皮部モデルと記述する。例えば、頭髪
の無い人形の頭部の３次元形状を計測して得られた頭皮
部モデル、３ＤＣＧにより生成した頭皮部モデル等）を
組み合わせることが考えられる。

【０００８】ところが、計測して得られる顔部モデルと
データベースの頭皮部モデルとを組み合わせる場合、当
該顔部モデルのエッジの形状と、当該頭皮部モデルのエ
ッジの形状とは必ずしも一致しないので、生成される頭
部モデルに隙間が生じてしまう課題があった。

【０００９】本発明はこのような状況に鑑みてなされた
ものであり、計測して得られた顔部モデルとデータベー
スの頭皮部モデルとを組み合わせて頭部モデルを生成す
る場合、生じる隙間を、所定のアルゴリズムに基づいて
埋めることにより、滑らかな頭部３次元形状モデルを生
成できるようにすることを目的とする。

【００１０】

【課題を解決するための手段】本発明の画像処理装置
は、人の顔部の３次元形状データを入力する第１の入力
手段と、人の頭皮部の３次元形状データを入力する第２
の入力手段と、顔部の３次元形状データを用いて顔部３
次元形状モデルを生成する第１の生成手段と、頭皮部の
３次元形状データを用いて頭皮部３次元形状モデルを生
成する第２の生成手段と、顔部３次元形状モデルと頭皮
部３次元形状モデルを結合する結合手段とを含むことを
特徴とする。

【００１１】本発明の画像処理装置は、結合された顔部
３次元形状モデルおよび頭皮部３次元形状モデルのエッ
ジを検出する検出手段をさらに含むことができる。

【００１２】前記結合手段は、顔部３次元形状モデルお
よび頭皮部３次元形状モデルのエッジの隙間を埋めて結
合するようにすることができる。

【００１３】前記結合手段は、顔部３次元形状モデルお
よび頭皮部３次元形状モデルのエッジの隙間に、ポリゴ
ンを発生させて結合するようにすることができる。

【００１４】前記結合手段は、顔部３次元形状モデルお
よび頭皮部３次元形状モデルのエッジの隙間を、頭皮部
３次元形状モデルを変形して結合するようにすることが
できる。

【００１５】本発明の画像処理装置は、頭皮部３次元形
状モデルを変形する変形手段をさらに含むことができ
る。

【００１６】本発明の画像処理方法は、人の顔部の３次
元形状データを入力する第１の入力ステップと、人の頭
皮部の３次元形状データを入力する第２の入力ステップ
と、顔部の３次元形状データを用いて顔部３次元形状モ
デルを生成する第１の生成ステップと、頭皮部の３次元
形状データを用いて頭皮部３次元形状モデルを生成する
第２の生成ステップと、顔部３次元形状モデルと頭皮部
３次元形状モデルを結合する結合ステップとを含むこと
を特徴とする。

【００１７】本発明の記録媒体のプログラムは、人の顔
部の３次元形状データを入力する第１の入力ステップ
と、人の頭皮部の３次元形状データを入力する第２の入
力ステップと、顔部の３次元形状データを用いて顔部３
次元形状モデルを生成する第１の生成ステップと、頭皮
部の３次元形状データを用いて頭皮部３次元形状モデル
を生成する第２の生成ステップと、顔部３次元形状モデ
ルと頭皮部３次元形状モデルを結合する結合ステップと
を含むことを特徴とする。

【００１８】本発明の画像処理装置および方法、並びに
記録媒体のプログラムにおいては、人の顔部の３次元形
状データが入力され、人の頭皮部の３次元形状データが
入力される。また、顔部の３次元形状データを用いて顔
部３次元形状モデルが生成され、頭皮部の３次元形状デ
ータを用いて頭皮部３次元形状モデルが生成される。さ
らに、顔部３次元形状モデルと頭皮部３次元形状モデル
が結合される。

【００１９】

【発明の実施の形態】図１は、本発明を適用した頭部モ
デル生成システムの構成例を示している。この頭部モデ
ル生成システムは、図２に示すように、３次元形状計測
装置１の計測結果に基づいて構築する人の顔部モデル
と、頭皮部データベース２から読み出すデータに基づい
て構築し、さらにサイズを適宜調整した頭皮部モデルを
整合して、頭部モデルを生成するものである。

【００２０】頭部モデル生成システムの３次元形状計測
装置１は、ステレオカメラ等からなり、被写体となる頭
部を撮影し、得られた複数の画像にステレオ法等を適用
して被写体となる頭部の３次元形状データを計測する。
３次元形状計測装置１はまた、被写体表面の２次元のテ
クスチャ画像データを画像処理装置３に出力する。

【００２１】一般に、３次元形状計測装置１は、被写体
の光を吸収する色の濃い部分（例えば、黒髪等）、およ
び、金属のように光を乱反射する部分の３次元形状デー
タを取得することができない。したがって、３次元形状
計測装置１からは、頭部のうち、頭髪を除く顔部の３次
元形状データ、および、対応する２次元のテクスチャ画
像データが出力される。

【００２２】なお、被写体となる頭部を同時に多方向か
ら計測するために、３次元形状計測装置１を複数設ける
ようにしてもよい。また、３次元形状の計測方法は、ス
テレオカメラを用いる方法、レンジファインダを用いる
方法等、いずれの方法であってもよい。

【００２３】頭皮部データベース２には、例えば、頭髪
の無い人形の頭部の３次元形状を計測して得られた頭皮
部モデル、３ＤＣＧにより生成した頭皮部モデル等の３
次元形状データ、および、対応する２次元のテクスチャ
画像データが予め蓄積されている。

【００２４】画像処理装置３は、３次元形状計測装置１
から供給される顔部の３次元形状データに基づいて、例
えば、３角形ポリゴンで構成される立体像を生成し、さ
らに、立体像の表面の２次元のテクスチャ画像を張り付
けて顔部モデルを構築する顔部モデル再構築部４、およ
び、頭皮部データベース２から読み出す頭皮部の３次元
形状データに基づいて、例えば、３角形ポリゴンで構成
される立体像を生成し、さらに、立体像の表面の２次元
のテクスチャ画像を張り付けて頭皮部モデルを構築する
頭皮部モデル再構築部５から構成される。

【００２５】画像処理装置３はまた、顔部モデルとサイ
ズが対応するように頭皮モデルのサイズを所定の方向に
拡大または縮小する頭皮部モデル変形部６、顔部モデル
と頭皮部モデルとの位置合わせを行い、所定のアルゴリ
ズムに基づいてエッジ付近に生じる隙間を埋め、頭部モ
デルを生成するエッジ結合部７、生成される頭部モデル
をレンダリングし、対応する画像データを生成して表示
装置１０に出力するレンダリング部８、および、頭皮部
データベース２に蓄積されている頭皮部モデルのデータ
の選択、構築された頭皮部モデルの拡大または縮小等を
指示するとき、ユーザが操作するコントローラ９から構
成される。

【００２６】表示装置１０は、LCD(Liquid Crystal Dis
play)またはCRT(Cathode Ray Tube)などよりなり、画像
処理装置３から入力される頭部モデルの画像を表示す
る。

【００２７】次に、頭部モデル生成システムの動作につ
いて、図３のフローチャートを参照して説明する。ステ
ップＳ１において、３次元形状計測装置１は、被写体と
なる人の頭部を撮影し、得られた複数の画像を用いて被
写体の３次元形状を計測し、頭部（実際には、顔部）の
３次元形状データ、および対応する２次元のテクスチャ
画像データを、画像処理装置３の顔部再構築部４に出力
する。頭皮部モデル再構築部５は、コントローラ９を用
いて選択される頭皮部モデルの３次元形状データおよび
テクスチャ画像データを、頭皮部データベース２から読
み出す。

【００２８】ステップＳ２において、顔部モデル再構築
部４は、３次元形状計測装置１から供給された顔部の３
次元形状データを用いて、３角形ポリゴン等で構成され
る顔部の立体像を生成し、さらに、テクスチャ画像を張
り付けて顔部モデルを構築する。構築された顔部モデル
は、エッジ結合部７に供給される。

【００２９】頭部モデル再構築部５は、頭皮部データベ
ース２から読み出した頭皮部の３次元形状データを用い
て、３角形ポリゴン等で構成される頭皮部の立体像を生
成し、さらに、テクスチャ画像を張り付けて頭皮部モデ
ルを構築する。構築された頭皮部モデルは、頭皮部モデ
ル変形部６に供給される。

【００３０】ステップＳ３において、頭皮部モデル変形
部６は、コントローラ９を用いて入力される指示に対応
して、ステップＳ２で構築された頭皮部モデルのサイズ
を変更（拡大または縮小）し、エッジ結合部７に出力す
る。

【００３１】ステップＳ４において、エッジ結合部７
は、顔部モデルと頭皮部モデルの位置合わせを行い、生
じる隙間のエッジを検出する。

【００３２】エッジの検出方法について具体的に説明す
る。顔部モデルと頭皮部モデルがそれぞれ３角形ポリゴ
ンから構成されている場合、顔部モデルを構成する全て
の３角形ポリゴンのうち、１つを着目ポリゴンとし、当
該着目ポリゴンの３辺のうちの１辺に注目する。そし
て、注目する１辺が着目ポリゴン以外の３角形ポリゴン
と共有されているか否かを判定し、着目ポリゴン以外の
３角形ポリゴンと共有されていないと判定した場合、注
目している１辺をエッジとして検出する。以後、着目ポ
リゴンの他の辺についても同様に、注目した後、顔部モ
デルを構成する全ての３角形ポリゴンを順番に着目ポリ
ゴンとして、同様にエッジを検出する。頭皮部モデルに
ついても同様にしてエッジを検出する。

【００３３】ステップＳ５において、エッジ結合部５
は、ステップＳ４で検出したエッジに基づき、被写体の
計測結果を用いて構築した顔部モデルの形状を変化させ
ず、顔部モデルと頭皮部モデルの隙間を埋めて頭部モデ
ルを生成する。

【００３４】顔部モデルと頭皮部モデルの隙間を埋める
第１の方法について、図４を参照して説明する。第１の
方法は、当該隙間に新たな３角形ポリゴンを発生させる
方法である。

【００３５】始めに、頭皮部モデルのエッジ点Ａを結合
開始点に決定する。次に、エッジ点Ａに最も近い顔部モ
デルのエッジ点を検出する。図４の場合、エッジ点ａが
検出される。エッジ点Ａとエッジ点ａを結ぶ線分Ａａ
を、新たな３角形ポリゴンの１辺とする。

【００３６】次に、新たな３角形ポリゴンの１辺Ａａの
うちの一方のエッジ点Ａとエッジ点ａの隣のエッジ点ｂ
を結ぶ線分Ａｂ、および、他方のエッジ点ａとエッジ点
Ａの隣のエッジ点Ｂを結ぶ線分ａＢの長さを計算して比
較し、短い方の線分を新たな３角形ポリゴンの１辺とす
る。図４においては、線分Ａｂの方が線分ａＢよりも短
いので、線分Ａｂが新たな３角形ポリゴンの１辺に決定
される。

【００３７】次に、新たな３角形ポリゴンの１辺Ａｂの
うちの一方のエッジ点Ａとエッジ点ｂの隣のエッジ点ｃ
を結ぶ線分Ａｃ、および、他方のエッジ点ｂとエッジ点
Ａの隣のエッジ点Ｂを結ぶ線分ｂＢの長さを計算して比
較し、短い方の線分を新たな３角形ポリゴンの１辺とす
る。図４においては、線分ｂＢの方が線分Ａｃよりも短
いので、線分ｂＢが新たな３角形ポリゴンの１辺に決定
される。

【００３８】次に、新たな３角形ポリゴンの１辺ｂＢの
うちの一方のエッジ点Ｂとエッジ点ｂの隣のエッジ点ｃ
を結ぶ線分Ｂｃ、および、他方のエッジ点ｂとエッジ点
Ｂの隣のエッジ点Ｃを結ぶ線分ｂＣの長さを計算して比
較し、短い方の線分を新たな３角形ポリゴンの１辺とす
る。図４においては、線分Ｂｃの方が線分ｂＣよりも短
いので、線分Ｂｃが新たな３角形ポリゴンの１辺に決定
される。

【００３９】これ以降、同様の処理が繰り返されること
によって、顔部モデルと頭皮部モデルの隙間が新たな３
角形ポリゴンによって埋められることになる。

【００４０】次に、顔部モデルと頭皮部モデルの隙間を
埋める第２の方法について、図５を参照して説明する。
第２の方法は、頭皮部モデルの３角形ポリゴンを延長す
る方法である。

【００４１】始めに、頭皮部モデルのエッジ点Ａを結合
開始点に決定する。次に、エッジ点Ａに最も近い顔部モ
デル上のエッジ点を検出する。図５(A)の場合、エッジ
点ａが検出される。エッジ点Ａの位置をエッジ点ａに移
動する。次に、エッジ点Ｂに最も近い顔部モデル上のエ
ッジ点を検出する。図５(A)の場合、エッジ点ｃが検出
される。エッジ点Ｂの位置をエッジ点ｃに移動する。

【００４２】次に、エッジ点Ｃに最も近い顔部モデル上
のエッジ点を検出する。図５(A)の場合、エッジ点ｄが
検出される。エッジ点Ｃの位置をエッジ点ｄに移動す
る。次に、エッジ点Ｄに最も近い顔部モデル上のエッジ
点を検出する。図５(A)の場合、エッジ点ｆが検出され
る。エッジ点Ｄの位置をエッジ点ｆに移動する。

【００４３】以上のような処理により、図５(B)に示す
ように頭皮部モデルの３角形ポリゴンが延長されて、頭
皮部モデルのエッジＡＢは、顔部モデルのエッジａｃと
重なり、頭皮部モデルのエッジＢＣは、顔部モデルのエ
ッジｃｄと重なり、頭皮部モデルのエッジＣＤは、顔部
モデルのエッジｄｆと重なることになる。これ以降、同
様の処理が繰り返されることにより、顔部モデルと頭皮
部モデルの隙間が、頭皮部モデルの３角形ポリゴンの延
長によって埋められることになる。

【００４４】上述した第１または第２の方法によって、
顔部モデルと頭皮部モデルの隙間が埋められることによ
り、滑らかな頭部モデルが生成される。

【００４５】図３に戻る。ステップＳ６において、レン
ダリング部８は、ステップＳ５で生成された頭部モデル
をレンダリングし、対応する画像データを生成して表示
装置１０に出力する。

【００４６】以上のように生成された頭部モデルは、例
えば、ヘアスタイルシミュレーション等のアプリケーシ
ョンプログラムに用いることが可能となる。

【００４７】ところで、画像処理装置３の上述した一連
の処理は、ハードウェアにより実行させることもできる
が、ソフトウェアにより実行させることもできる。一連
の処理をソフトウェアにより実行させる場合には、その
ソフトウェアを構成するプログラムが、専用のハードウ
ェアに組み込まれているコンピュータ、または、各種の
プログラムをインストールすることで、各種の機能を実
行することが可能な、例えば汎用のパーソナルコンピュ
ータなどに、記録媒体からインストールされる。

【００４８】図６は、画像処理装置３を実現するパーソ
ナルコンピュータの構成例を示している。このパーソナ
ルコンピュータは、CPU(Central Processing Unit)２１
を内蔵している。CPU２１にはバス２４を介して、入出
力インタフェース２５が接続されている。入出力インタ
フェース２５には、コントローラ９に相当するキーボー
ド、マウスなどの入力デバイスよりなる入力部２６、処
理結果としての頭部モデルの画像を表示装置１０に出力
する画像出力部２７、プログラムや各種データを格納す
るハードディスクドライブなどよりなる記憶部２８、イ
ンタネット等を介してデータを通信する通信部２９、お
よび、磁気ディスク３１乃至半導体メモリ３４などの記
録媒体に対してデータを読み書きするドライブ３０が接
続されている。バス２４には、ROM(Read Only Memory)
２２およびRAM(Random Access Memory)２３が接続され
ている。

【００４９】このパーソナルコンピュータに画像処理装
置３としての動作を実行させる画像処理用プログラム
は、磁気ディスク３１乃至半導体メモリ３４に格納され
た状態でパーソナルコンピュータに供給され、ドライブ
３０によって読み出されて、記憶部２８に内蔵されるハ
ードディスクドライブにインストールされている。記憶
部２８にインストールされている画像処理用プログラム
は、入力部２６に入力されるユーザからのコマンドに対
応するCPU２１の指令によって、記憶部２８からRAM２３
にロードされて実行される。

【００５０】なお、本明細書において、記録媒体に記録
されるプログラムを記述するステップは、記載された順
序に従って時系列的に行われる処理はもちろん、必ずし
も時系列的に処理されなくとも、並列的あるいは個別に
実行される処理をも含むものである。

【００５１】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものであ
る。

【００５２】

【発明の効果】以上のように、本発明の画像処理装置お
よび方法、並びに記録媒体のプログラムによれば、顔部
３次元形状モデルおよび頭皮部３次元形状モデルのエッ
ジの隙間を埋めて整合するようにしたので、滑らかな頭
部の３次元形状モデルを生成することが可能となる。

【図面の簡単な説明】

【図１】本発明を適用した頭部モデル生成システムの構
成例を示すブロック図である。

【図２】頭部モデル生成システムの動作の概念を示す図
である。

【図３】頭部モデル生成システムの動作を説明するフロ
ーチャートである。

【図４】顔部モデルと頭皮部モデルの隙間を埋める第１
の方法を説明するための図である。

【図５】顔部モデルと頭皮部モデルの隙間を埋める第２
の方法を説明するための図である。

【図６】画像処理装置３を実現するパーソナルコンピュ
ータの構成例を示す図である。

【符号の説明】

１ ３次元形状計測装置， ２ 頭皮部データベース，
３ 画像処理装置，４ 顔部モデル再構築部， ５
頭皮部モデル再構築部， ６ 頭皮部モデル変形部，
７ エッジ結合部， ８ レンダリング部， ９ コン
トローラ，１０ 表示装置， ３１ 磁気ディスク，
３２ 光ディスク， ３３ 光磁気ディスク， ３４
半導体メモリ

Claims (8)

【特許請求の範囲】
1. 【請求項１】 人の頭部の３次元形状モデルを生成する
   画像処理装置において、 前記人の顔部の３次元形状データを入力する第１の入力
   手段と、 前記人の頭皮部の３次元形状データを入力する第２の入
   力手段と、 前記顔部の３次元形状データを用いて顔部３次元形状モ
   デルを生成する第１の生成手段と、 前記頭皮部の３次元形状データを用いて頭皮部３次元形
   状モデルを生成する第２の生成手段と、 前記顔部３次元形状モデルと前記頭皮部３次元形状モデ
   ルを結合する結合手段とを含むことを特徴とする画像処
   理装置。
2. 【請求項２】 前記顔部３次元形状モデルおよび前記頭
   皮部３次元形状モデルのエッジを検出する検出手段をさ
   らに含むことを特徴とする請求項１に記載の画像処理装
   置。
3. 【請求項３】 前記結合手段は、前記顔部３次元形状モ
   デルおよび前記頭皮部３次元形状モデルの前記エッジの
   隙間を埋めて結合することを特徴とする請求項２に記載
   の画像処理装置。
4. 【請求項４】 前記結合手段は、前記顔部３次元形状モ
   デルおよび前記頭皮部３次元形状モデルの前記エッジの
   前記隙間に、ポリゴンを発生させて結合することを特徴
   とする請求項２に記載の画像処理装置。
5. 【請求項５】 前記結合手段は、前記顔部３次元形状モ
   デルおよび前記頭皮部３次元形状モデルの前記エッジの
   前記隙間を、前記頭皮部３次元形状モデルを変形して結
   合することを特徴とする請求項２に記載の画像処理装
   置。
6. 【請求項６】 前記頭皮部３次元形状モデルを変形する
   変形手段をさらに含むことを特徴とする請求項１に記載
   の画像処理装置。
7. 【請求項７】 人の頭部の３次元形状モデルを生成する
   画像処理装置の画像処理方法において、 前記人の顔部の３次元形状データを入力する第１の入力
   ステップと、 前記人の頭皮部の３次元形状データを入力する第２の入
   力ステップと、 前記顔部の３次元形状データを用いて顔部３次元形状モ
   デルを生成する第１の生成ステップと、 前記頭皮部の３次元形状データを用いて頭皮部３次元形
   状モデルを生成する第２の生成ステップと、 前記顔部３次元形状モデルと前記頭皮部３次元形状モデ
   ルを結合する結合ステップとを含むことを特徴とする画
   像処理方法。
8. 【請求項８】 人の頭部の３次元形状モデルを生成する
   画像処理装置の制御用のプログラムであって、 前記人の顔部の３次元形状データを入力する第１の入力
   ステップと、 前記人の頭皮部の３次元形状データを入力する第２の入
   力ステップと、 前記顔部の３次元形状データを用いて顔部３次元形状モ
   デルを生成する第１の生成ステップと、 前記頭皮部の３次元形状データを用いて頭皮部３次元形
   状モデルを生成する第２の生成ステップと、 前記顔部３次元形状モデルと前記頭皮部３次元形状モデ
   ルを結合する結合ステップとことを特徴とするコンピュ
   ータが読み取り可能なプログラムが記録されている記録
   媒体。