JP2001109913A - 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 入力した２次元画像を利用して、よりリアリ
ティーの高い３次元の静止画像または動画像を生成す
る。 【解決手段】 顔画像を入力する顔画像入力手段１と、
複数の部位について、各部位ごとに１つまたは複数の３
次元モデルを入力する３次元モデル入力手段２と、複数
の部位のうちの任意の１つの部位について、操作者の入
力する指示に基づき使用する３次元モデルを選択する３
次元モデル選択手段３と、顔画像入力手段１により入力
された顔画像を、３次元モデル選択手段３により選択さ
れた３次元モデルに貼り付けて表示する顔画像貼り付け
手段４と、３次元モデル選択手段３により選択された３
次元モデルと顔画像入力手段１により入力された顔画像
とを用いて３次元の静止画像または動画像を生成する画
像生成手段５と、を備えてなることで実現している。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入力した画像を利
用してリアルな静止画像または動画像を生成する画像処
理装置および画像処理方法ならびに画像処理プログラム
を記録した記録媒体に関する。

【０００２】

【従来の技術】従来は、３次元モデルを用いて画像生成
を行う場合、熟練者がＣＡＤツールなどを用いて一から
データを作成することが一般的であった。例えば、特許
第２９４３７０３号公報に記載のように、いくつかのカ
テゴリに分けられた３次元モデルを部品として用意し、
これらを組み合わせる手法が知られているが、この手法
は実写画像やアニメ画などの２次元の画像を取り込んで
３次元モデルを生成することまでは考慮されていない。

【０００３】他方、参考文献１（「顔情報処理のための
共通プラットフォームの構築」情報処理学会研究報告
Ｖｏｌ．９８、Ｎｏ．２６、ｐｐ．６５−７２（１９９
８）、八木 他著）に見られるように、顔画像を入力
し、３次元モデルとの対応付けを行って、顔の３次元モ
デルを生成する方法は、一般に知られている。

【０００４】

【発明が解決しようとする課題】しかしながら、熟練者
がＣＡＤツールなどを用いて一からデータを作成する方
法や、いくつかのカテゴリに分けられた３次元モデルを
部品として用意し、これらを組み合わせる手法では、実
写画像やアニメ画などの２次元の画像を取り込むことは
考慮されていないため、リアリティーの高い画像を生成
することが困難であるといった問題があった。

【０００５】他方、顔画像を入力し、３次元モデルとの
対応付けを行って、顔の３次元モデルを生成する方法で
は、頭部以外の例えば胴体については、考慮されていな
いか、若しくは顔または頭部のみ３次元モデルを作成
し、これから生成した顔または頭部の２次元の静止画像
または動画像を、胴体の２次元の静止画像または動画像
にはめ込むものであり、胴体の３次元モデルについては
全く考慮されていなかった。

【０００６】本発明はかかる問題点を解決すべく創案さ
れたもので、その目的は、入力した２次元画像を利用し
て、よりリアリティーの高い３次元の静止画像または動
画像を生成することのできる画像処理装置および画像処
理方法ならびに画像処理プログラムを記録した記録媒体
を提供することにある。

【０００７】

【課題を解決するための手段】上記課題を解決するた
め、本発明の画像処理装置は、入力画像からその画像に
含まれる対象物体の３次元モデル画像を生成する画像処
理装置であって、顔画像を入力する顔画像入力手段と、
複数の部位について、各部位ごとに１つまたは複数の３
次元モデルを入力する３次元モデル入力手段と、複数の
部位のうちの任意の１つの部位について、操作者の入力
する指示に基づき使用する３次元モデルを選択する３次
元モデル選択手段と、顔画像入力手段により入力された
顔画像を、３次元モデル選択手段により選択された３次
元モデルに貼り付けて表示する顔画像貼り付け手段と、
３次元モデル選択手段により選択された３次元モデルと
顔画像入力手段により入力された顔画像とを用いて３次
元の静止画像を生成する画像生成手段と、を備えたこと
を特徴とする。また、本発明の画像処理装置は、上記構
成の画像処理装置において、３次元モデルは、複数の部
位のうちの１つまたは全部の部位に関し、時間経過に基
づく動き情報を持っており、画像生成手段は、３次元モ
デル選択手段により選択された３次元モデルと顔画像入
力手段により入力された顔画像とを用いて３次元の動画
像を生成することを特徴とする。

【０００８】また、本発明の画像処理方法は、入力画像
からその画像に含まれる対象物体の３次元モデル画像を
生成する画像処理方法であって、顔画像入力手段により
顔画像を入力するステップと、３次元モデル入力手段に
より、複数の部位について、各部位ごとに１つまたは複
数の３次元モデルを入力するステップと、複数の部位の
うちの任意の１つの部位について、操作者の入力する指
示に基づき使用する３次元モデルを選択するステップ
と、入力された顔画像を、選択された３次元モデルに貼
り付けて表示手段に表示するステップと、選択された３
次元モデルと入力された顔画像とを用いて３次元の静止
画像または動画像を生成するステップと、を含むことを
特徴とする。

【０００９】また、本発明の記録媒体は、入力画像から
その画像に含まれる対象物体の３次元モデル画像を生成
する画像処理プログラムを記録したコンピュータ読み取
り可能な記録媒体であって、顔画像入力手段により顔画
像を入力するステップと、３次元モデル入力手段によ
り、複数の部位について、各部位ごとに１つまたは複数
の３次元モデルを入力するステップと、複数の部位のう
ちの任意の１つの部位について、操作者の入力する指示
に基づき使用する３次元モデルを選択するステップと、
入力された顔画像を、選択された３次元モデルに貼り付
けて表示手段に表示するステップと、選択された３次元
モデルと入力された顔画像とを用いて３次元の静止画像
または動画像を生成するステップと、を含むことを特徴
とする。

【００１０】このような特徴を有する本発明の画像処理
装置、画像処理方法および記録媒体によれば、顔画像入
力手段により顔画像を入力するとともに、３次元モデル
入力手段により、複数の部位について各部位ごとに１つ
または複数の３次元モデルを入力し、その入力された複
数の部位のうちの任意の１つの部位について、操作者の
入力する指示に基づき使用する３次元モデルを選択す
る。そして、入力された顔画像を、選択された３次元モ
デルに貼り付けて表示することにより、３次元の静止画
像を生成する。このように、顔画像を入力し、３次元モ
デルに貼り付けて表示することにより、入力した２次元
画像から、よりリアリティーの高い３次元の静止画像を
生成することができるようになっている。また、３次元
モデルが時間経過に基づく動き情報を持っている場合に
は、その動き情報を用いてよりリアリティーの高い３次
元の動画像を生成することができる。例えば、顔に対応
する部位の３次元モデルが時間経過に基づく動き情報を
持っている場合には、その動き情報を用いて顔の表情を
変化させることができる。

【００１１】また、本発明の画像処理装置は、上記各構
成の画像処理装置において、複数の部位が、胴体に対応
する部位、顔に対応する部位、頭に対応する部位を含む
ことを特徴とする。

【００１２】このような特徴を有する本発明の画像処理
装置によれば、胴体に対応する３次元モデルを持ち、こ
れを操作者の入力により選択することができるので、顔
や頭だけでなく、胴体を含む全身の３次元モデルを、操
作者の好みにカスタマイズすることができる。

【００１３】また、本発明の画像処理装置は、上記各構
成の画像処理装置において、３次元モデル選択手段は、
選択対象となっている部位の３次元モデルを変更したと
きには、これに対応して他の部位の３次元モデルも変更
することを特徴とする。

【００１４】このような特徴を有する本発明の画像処理
装置によれば、選択対象となっている部位だけでなく、
他の部位の３次元モデルも変更されるので、操作者の選
択する手間を省くことができる。

【００１５】また、本発明の画像処理装置は、上記各構
成の画像処理装置において、３次元モデル選択手段は、
１つの部位の１つの３次元モデルとこれに対応する他の
１つの部位の１つの３次元モデルとが選択された場合
に、その部位および３次元モデルの組み合わせを記録
し、１つの部位が任意の３次元モデルから前記１つの３
次元モデルに変更されたとき、他の１つの部位について
も、記録した前記組み合わせに対応した１つの３次元モ
デルに変更することを特徴とする。

【００１６】このような特徴を有する本発明の画像処理
装置によれば、１つの部位の１つの３次元モデルとこれ
に対応する他の１つの部位の１つの３次元モデルとが選
択された場合に、その部位および３次元モデルの組み合
わせを記録する。そして、次回またはそれ以降に、組み
合わせが記録された１つの部位の１つの３次元モデルが
選択されると、記録された組み合わせに基づき、これに
対応する他の部位の１つの３次元モデルも自動的に選択
されるようになっている。これにより、操作者の選択す
る手間を省くことができる。

【００１７】本発明の画像処理装置は、上記構成の画像
処理装置において、３次元モデル選択手段は、１つの部
位の特定種類の１つの３次元モデルが選択された場合に
は、その選択される前の１つの部位の３次元モデルに対
応する他の１つの部位の１つの３次元モデルを記録し、
前記特定種類の１つの３次元モデルから特定種類ではな
い別の１つの部位の３次元モデルに変更されたとき、こ
れに対応する他の１つの部位の１つの３次元モデルを、
記録した前記他の１つの３次元モデルに再度変更するこ
とを特徴とする。

【００１８】このような特徴を有する本発明の画像処理
装置によれば、胴体に対応する部位を選択対象として、
例えばスーツ姿の胴体を選択し、これに対応する頭の部
位として例えば七三分けを選択していた状態から、次
に、胴体に対応する部位として、特定種類である例えば
野球のユニフォーム姿の胴体を選択した際には、頭に対
応する部位も野球帽に変更する。そして、このときに
は、特定種類を選択する前の組み合わせ、すなわち、ス
ーツ姿の胴体と七三分けの頭との組み合わせを記録して
おく。そして、次に操作者の入力指示により、胴体に対
応する部位を選択対象として、例えばスーツ姿（特定種
類には含まれない例えば別のカジュアル姿でもよい）の
胴体を選択した際には、頭に対応する部位を先程記録し
ておいた七三分けに再度変更する。これにより、例えば
胴体部分を特定種類の３次元モデルから特定種類でない
通常の３次元モデルに変更したとき、頭も野球帽から自
動的に七三分けに変更されるので、操作者の選択する手
間を省くことができる。

【００１９】本発明の画像処理装置は、上記各構成の画
像処理装置において、顔画像入力手段により入力された
顔画像を分類する顔画像分類手段と、顔に対応する部位
の３次元モデルを、顔画像分類手段による分類結果に基
づいて自動選択する顔モデル選択手段とを備え、顔画像
貼り付け手段は、顔画像入力手段により入力された顔画
像を顔モデル選択手段により選択された顔３次元モデル
に貼り付けることを特徴とする。また、本発明の画像処
理装置は、上記各構成の画像処理装置において、顔画像
入力手段により入力された顔画像を分類する顔画像分類
手段と、頭に対応する部位の３次元モデルを、顔画像分
類手段による分類結果に基づいて自動選択する頭モデル
選択手段とを備え、顔画像貼り付け手段は、顔画像入力
手段により入力された顔画像を頭モデル選択手段により
選択された頭３次元モデルに貼り付けることを特徴とす
る。

【００２０】また、本発明の画像処理方法は、入力画像
からその画像に含まれる対象物体の３次元モデル画像を
生成する画像処理方法であって、顔画像入力手段により
顔画像を入力するステップと、入力された顔画像を分類
するステップと、３次元モデル入力手段により、複数の
部位について、各部位ごとに１つまたは複数の３次元モ
デルを入力するステップと、入力された任意の部位の３
次元モデルを、顔画像分類手段による分類結果に基づい
て自動選択するステップと、入力された顔画像を、自動
選択された３次元モデルに貼り付けて表示手段に表示す
るステップと、自動選択された３次元モデルと入力され
た顔画像とを用いて３次元の静止画像または動画像を生
成するステップと、を含むことを特徴とする。

【００２１】本発明の記録媒体は、入力画像からその画
像に含まれる対象物体の３次元モデル画像を生成する画
像処理プログラムを記録したコンピュータ読み取り可能
な記録媒体であって、顔画像入力手段により顔画像を入
力するステップと、入力された顔画像を分類するステッ
プと、３次元モデル入力手段により、複数の部位につい
て、各部位ごとに１つまたは複数の３次元モデルを入力
するステップと、入力された任意の部位の３次元モデル
を、顔画像分類手段による分類結果に基づいて自動選択
するステップと、入力された顔画像を、自動選択された
３次元モデルに貼り付けて表示手段に表示するステップ
と、自動選択された３次元モデルと入力された顔画像と
を用いて３次元の静止画像または動画像を生成するステ
ップと、を含むことを特徴とする。

【００２２】このような特徴を有する本発明の画像処理
装置、画像処理方法および記録媒体によれば、顔や頭に
対応する部位の３次元モデルが自動的に選択されるの
で、操作者の選択する手間を省くことができる。

【００２３】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。

【００２４】図１は、本発明の画像処理装置の一実施の
形態を示すシステム構成図である。本実施の形態の画像
処理装置は、顔画像入力手段１、３次元モデル入力手段
２、３次元モデル選択手段３、顔画像貼り付け手段４お
よび画像生成手段５によって構成されている。

【００２５】顔画像入力手段１は、顔画像を入力する。
この入力方法としては、例えばディスク装置上のファイ
ルから読み込むか、またはディジタルカメラなどを用い
て入力するか、あるいはビデオ信号からキャプチャする
などすればよい。

【００２６】３次元モデル入力手段２は、複数の部位に
ついて、各部位ごとに１つまたは複数の３次元モデルを
入力する。この入力方法としては、例えばディスク装置
上のデータファイルの３次元モデルを格納しておき、こ
れを読み込むことが考えられる。または、プログラムフ
ァイル内に３次元モデルの情報を持っておき、プログラ
ムの起動時にプログラム本体と同時に読み込んでもよ
い。

【００２７】３次元モデル選択手段３は、複数の部位の
うちの任意の１つの部位について、操作者の入力する指
示に基づき使用する３次元モデルを選択する。これは、
例えば部位ごとに、それぞれ３次元モデルのサムネイル
画像を表示し、このサムネイル画像を操作者がマウス等
でクリックして選択することで行うことができる。これ
らのサムネイル画像は、操作者がこれらを見て各部位内
の３次元モデルを相互に区別することができるものであ
ればよく、３次元モデルや、３次元モデルを二次元に投
影または変換した２次元モデルから生成されたものであ
る必要はない。また、一部または全部の部位で、デフォ
ルトの３次元モデルをあらかじめ用意しておき、操作者
による選択が行われない場合、または未選択の状態であ
る場合には、これらのデフォルトの３次元モデルと、入
力された顔画像とを用いて、後述のような方法で、画像
合成を行ってもよい。

【００２８】この場合は、サムネイル画像を表示する
際、およびサムネイル画像が選択された際に、全体の３
次元モデルを用いて画像生成を行って画像表示すれば、
それ以上３次元モデルの選択を行う必要があるか否か
を、操作者が容易に判断することができる。従って、操
作者が実際に選択を行う部位は一部のみであるか、また
は全く操作者が選択を行わないまま最終的な画像生成が
行われることもあり得る。

【００２９】顔画面貼り付け手段４は、顔画像入力手段
１により入力された顔画像を、３次元モデル選択手段３
により選択された３次元モデルに貼り付けて表示する。

【００３０】画像生成手段５は、３次元モデル選択手段
３により選択された３次元モデルと、顔画像入力手段２
により入力された顔画像とを用いて３次元の静止画像ま
たは動画像を生成する。

【００３１】ここで、顔画面貼り付け手段４による顔画
像の３次元モデルへ貼り付け、および画像生成手段５に
よる静止画像および動画像の生成は、一般に知られてい
るテクスチャマッピング、および３次元レンダリングの
手法を用いればよい。例えば、Ｍｉｃｒｏｓｏｆｔ社製
のオペレーティングシステムであるＷｉｎｄｏｗｓ９８
上では、同社製のＤｉｒｅｃｔ３Ｄを用いて、顔画像を
テクスチャマッピングし、任意のアングルの画像を合成
することが可能である。ただし、このように、顔画像貼
り付け手段４と画像生成手段５とは、必ずしも独立した
モジュールである必要はない。

【００３２】次に、上記構成の画像処理装置における画
像処理動作について、図２に示すフローチャートを参照
して説明する。

【００３３】まず、３次元モデル入力手段２により、３
次元モデルを入力する（ステップＳ１）。これは、上記
したように、例えばディスク装置上のデータファイルに
３次元モデルを格納しておき、これを読み込むことが考
えられる。

【００３４】次に、画像入力手段１により、顔画像を入
力する（ステップＳ２）。これは、上記したように、例
えばディスク装置上のファイルから読み込むことが考え
られる。

【００３５】次に、３次元モデル選択手段３により、複
数の部位ごとに使用する３次元モデルを選択する（ステ
ップＳ３）。これは、上記したように、例えば部位ごと
に、それぞれ３次元モデルのサムネイル画像を表示し、
このサムネイル画像を操作者がマウス等でクリックして
選択することで行うことができる。

【００３６】本実施の形態では、複数の部位としては、
胴体に対応する部位、顔に対応する部位、頭に対応する
部位を含んでいる。

【００３７】また、本実施の形態では、複数の部位のう
ちの１つまたは全部の部位に関し、時間経過に基づく動
き情報を持たせておけば、後述するステップＳ５におい
て、その部位に関し動画像を生成することができる。例
えば、顔に対応する部位に関して、時間経過に基づく動
き情報を持たせれば、後述するステップＳ５において表
情の変化する動画像を生成することができる。この場
合、３次元モデルの選択に際し、動画像のサムネイルを
表示するようにしてもよい。ただし、動画像のサムネイ
ル表示に関しては、必ずしも３次元モデルに動き情報を
持たせる必要はなく、単に２次元の動画像を表示するよ
うにしてもよい。

【００３８】また、本実施の形態では、３次元モデル選
択手段３に、選択対象となっている部位の３次元モデル
を変更したときには、これに対応して他の部位の３次元
モデルも変更する機能を付加してもよい。例えば、胴体
に対応する部位を選択対象として、野球のユニフォーム
を着た胴体を選択した際に、頭に対応する部位も野球帽
に変更する、などが考えられる。これにより、操作者の
選択する手間を省くことができる。

【００３９】また、本実施の形態では、３次元モデル選
択手段３に、１つの部位の１つの３次元モデルとこれに
対応する他の１つの部位の１つの３次元モデルとが選択
された場合に、その部位および３次元モデルの組み合わ
せを記録する機能と、前記１つの部位が任意の３次元モ
デルから前記１つの３次元モデルに変更されたとき、他
の１つの部位についても、記録した前記組み合わせに対
応した前記１つの３次元モデルに変更する機能とを付加
してもよい。

【００４０】例えば、まず胴体に対応する部位を選択対
象として、野球のユニフォーム姿の胴体を選択した際に
は、頭に対応する部位も野球帽に変更する。そして、こ
のときの組み合わせ、すなわち野球のユニフォーム姿の
胴体と野球帽を被った頭との組み合わせを記録してお
く。次に、操作者の入力指示により、例えば胴体に対応
する部位を選択対象として、スーツ姿の胴体を選択した
際には、頭に対応する部位を例えば七三分けに変更す
る。そして、このときの組み合わせ、すなわちスーツ姿
の胴体と七三分けの頭との組み合わせも記録しておく。
この後、操作者の入力指示により、胴体に対応する部位
を選択対象として、野球のユニフォーム姿の胴体を再び
選択すると、前回記録された組み合わせに基づき、頭に
対応する部位も、七三分けから野球帽に自動的に変更す
る。これにより、操作者の選択する手間を省くことがで
きる。

【００４１】さらに、本実施の形態では、３次元モデル
選択手段に、１つの部位の特定種類の１つの３次元モデ
ルが選択された場合には、その選択される前の１つの部
位の３次元モデルに対応する他の１つの部位の１つの３
次元モデルを記録する機能と、前記特定種類の１つの３
次元モデルから特定種類ではない別の１つの部位の３次
元モデルに変更されたとき、これに対応する他の１つの
部位の１つの３次元モデルを、記録した前記他の１つの
３次元モデルに再度変更する機能とを付加してもよい。

【００４２】例えば、胴体に対応する部位を選択対象と
して、スーツ姿の胴体を選択し、これに対応する頭の部
位として例えば七三分けを選択していた状態から、次
に、胴体に対応する部位として、特定種類である例えば
野球のユニフォーム姿の胴体を選択した際には、頭に対
応する部位も野球帽に変更する。そして、このときに
は、特定種類を選択する前の組み合わせ、すなわち、ス
ーツ姿の胴体と七三分けの頭との組み合わせを記録して
おく。そして、次に操作者の入力指示により、胴体に対
応する部位を選択対象として、例えばスーツ姿（特定種
類には含まれない例えば別のカジュアル姿でもよい）の
胴体を選択した際には、頭に対応する部位を先程記録し
ておいた七三分けに再度変更する。これにより、例えば
胴体部分を特定種類の３次元モデルから特定種類でない
通常の３次元モデルに変更したとき、頭も野球帽から自
動的に七三分けに変更されるので、操作者の選択する手
間を省くことができる。

【００４３】次のステップＳ４では、上記のようにして
選択された３次元モデルと、入力された顔画像とを用い
て、顔画像貼り付け手段４により顔画像を貼り付ける。
そして、次のステップＳ５では、画像生成手段５により
静止画像または動画像を生成する。

【００４４】顔画像の貼り付けについては、例えば図３
に示すように、顔画像３０１を平行投影により、顔型の
３次元モデル３０２にマッピングする。なお、顔画像の
貼り付けおよび静止画像または動画像の生成について
は、上記した如く、例えばＷｉｎｄｏｗｓ９８上で動作
するＤｉｒｅｃｔ３Ｄを用いて画面合成を行うことがで
きる。

【００４５】図４は、３次元モデル選択手段３の他の実
施の形態を示している。すなわち、３次元モデル選択手
段３は、顔画像入力手段１により入力された顔画像を分
類する顔画像分類手段３ａと、顔に対応する部位の３次
元モデルを、顔画像分類手段３ａによる分類結果に基づ
いて自動選択する顔モデル選択手段３ｂと、頭に対応す
る部位の３次元モデルを、顔画像分類手段３ａによる分
類結果に基づいて自動選択する頭モデル選択手段３ｃと
を備えている。また、頭モデル選択手段３ｃはさらに、
髪色抽出手段３ｃ１と、肌色抽出手段３ｃ２と、前髪特
徴抽出手段３ｃ３と、後髪特徴抽出手段３ｃ４と、前髪
輪郭抽出手段３ｃ５と、後髪輪郭抽出手段３ｃ６と、前
髪分類手段３ｃ７と、後髪分類手段３ｃ８とを備えてい
る。

【００４６】ここで、顔画像分類手段３ａおよび顔モデ
ル選択手段３ｂを用いて顔画像を分類し、その分類した
顔に対応する部位の３次元モデルを決定する。以下、顔
画像の分類と、その分類結果に基づく顔の３次元モデル
の自動選択とについて、図５に示すフローチャートを参
照して説明する。

【００４７】操作者は、まず最初に顔の特徴点（目、口
など）の位置情報を指定し、原画像上の顔の中心位置を
確定する（ステップＳ２１）。この顔の中心位置は、操
作者が、別に直接指定してもよいし、図６に示すよう
に、右目、左目、口の中心座標を指定（図中の符号１２
１、１２２、１２３により示す）し、その中心を顔の中
心位置として算出してもよい。

【００４８】このようにして顔の中心位置を確定する
と、次に顔輪郭の近傍に初期輪郭の配置を行う（ステッ
プＳ２２）。初期の配置は、例えば、目と口の領域を囲
むような閉領域を初期輪郭とする。すなわち、目や口の
相対距離を統計的にあらかじめ調べておいて、目と口を
囲むよな楕円輪郭線を配置すればよい。このようにして
中心位置１３１および初期輪郭１３２を確定した画像を
図７に示す。

【００４９】次に、このようにして確定した原画像と中
心位置１３１および初期輪郭１３２とに基づいて、顔中
心座標と初期輪郭上の各座標とを結ぶ直線上の隣り合う
画素間の色差を算出し、対象画素間の座標中点を座標値
として、算出した色差を画素値にもつ画像（色差マップ
画像）を作成する（ステップＳ２３）。

【００５０】ここで、色差を算出する方法としては、例
えば、画像データの各単色光ごとの輝度値を画素間でそ
れぞれ減算処理することにより差分値を算出し、各単色
光ごとに算出した差分値の合計値を色差として算出す
る。また、別の方法としては、例えば画素データを各単
色光の輝度値から、色相（Ｈ）、彩度（Ｓ）、輝度
（Ｖ）で表現されるＨＳＶ値に変換し、色差を求める２
画素のＨＳＶ空間上での位置を求め、その間の距離値を
色差としてもよい。また、隣り合う画素間ではなく、例
えば連続する複数の画素単位ごとに平均色を求め、その
平均色同士の色差を求めてもよい。

【００５１】また、色差の算出時には、対象が人物顔で
あることを利用して色差の検出精度を変更してもよい。
例えば、色差を算出する際に比較する２画素の画素値が
肌色を表す画素値に近い値をもつ場合、その２点の画素
は顔輪郭内の画素である可能性が高いとみなし、色差の
検出精度を低くして、ノイズ等の影響を軽減することが
できる。一方、顎と首とはどちらも肌色を表す画素値を
もつ可能性が高く、その境目である顎境界を検出する際
には、検出精度を上げた方がよい。従って、中心から首
方向への直線上の色差検出では、色差の検出精度を高め
るようにして、顎境界を検出し易くする。なお、首の位
置は、例えば口の座標が既知であるならば、その座標か
ら方向を推定することが可能である。

【００５２】例えば、図８に示すような顔中心１３１と
初期輪郭１３２の上の座標点１４１を結ぶ直線１４２上
の色差を求める場合の模式図を図９に示す。図９におい
て、符号１５１で示す各値が直線上の画素値の並びを示
し、符号１５２で示す値が隣り合う２点間の画素値の差
分を示している。すなわち、この例では、符号１５２で
示す配列が色差の並びを示している。

【００５３】また、このようにして色差を検出した後
に、さらに人物顔輪郭独自の特徴性を利用して、より顔
輪郭形状に特化した色差マップ画像を作成してもよい。
例えば、顔を楕円の相似形であると仮定し、図１０
（ａ）、（ｂ）に示すように、顔中心を中心とする任意
の大きさの楕円曲線１６１〜１６３上の１点と、これに
隣り合う２点の計３点の色差（符号１６４により示す）
を平均化して、その座標の色差として再格納することに
よりノイズの影響を抑制するようにしてもよい。図１０
（ｂ）では、３点の色差がそれぞれ３２、２８、３４で
あるので、これを平均化して３２［（３２＋２８＋３
４）÷３＝３１．３３、、、（端数切り上げ）］として
いる。

【００５４】このように、人物顔であることを制約条件
に用いることにより、鮮明な輪郭線が現れていない入力
画像やノイズの多い画像に対しても、顔（特に顎）形状
の特徴を特化した、より安定な色差マップ画像を作成す
ることができる。

【００５５】次に、このようにして作成した色差マップ
画像を利用して、初期輪郭を動的輪郭モデルに従って移
動させることにより、輪郭線を抽出（検出）する（ステ
ップＳ２４）。

【００５６】ここで、エネルギー関数Ｅとして、例え
ば、輪郭線のなめらかさを表す内部エネルギーＥ１、輪
郭を収縮しようとするエネルギーＥ２、物体輪郭を特徴
付ける画像エネルギーＥ３の和Ｅ＝Ｅ１＋Ｅ２＋Ｅ３を
求め、このＥを最小化するように輪郭を移動させる。な
お、動的輪郭モデルを用いて輪郭抽出を行う手法とし
て、ここではＳｎａｋｅ法を利用している。Ｓｎａｋｅ
法は、参考文献２（「形状変化の検出と３次元形状モデ
ルに基づく顔動画像の符号化」ＩＥ８７−１０１・金子
正秀他著）に開示されている。

【００５７】ここで、画像エネルギーＥ３には、ステッ
プＳ２３で作成した色差マップ画像を利用する。すなわ
ち、画像上の任意のＰ（ｘ，ｙ）における画像エネルギ
ーＥ３（Ｐ）は、Ｐに対応する色差マップ画像上の色差
値をＤ（Ｐ）としたとき、下式（１）から求められる。

【００５８】 Ｅ３（Ｐ）＝α×（ＭＡＸ（Ｄ）−Ｄ（Ｐ）） ・・・（１） ただし、ＭＡＸ（Ｄ）：色差マップ画像中の色差の最大
値、係数α：エネルギー関数Ｅにおける画像エネルギー
の度合、である。

【００５９】この式（１）に従えば、色差の小さいとこ
ろほど画像エネルギーは大きくなるので、エネルギーを
最小化する方向へと輪郭が移動しやすくなる。逆に色差
が大きいところほど画像エネルギーは小さくなり、輪郭
はそこから移動しにくくなる。すなわち、顔領域と背景
領域との境目のような物体の色領域の境目で画像エネル
ギーが低くなるので、輪郭はそのような領域の境目で収
束しやすくなる。

【００６０】このように、画像エネルギーとしてステッ
プＳ２３で求めた色差マップ画像を利用することによ
り、顎形状の特徴を加味したエネルギー画像を作成する
ことができ、鮮明な輪郭線が現れていない入力画像やノ
イズの多い画像に対しても、より安定な顎検出を行うこ
とができる。

【００６１】次に、このようにして求めた輪郭線を元に
距離関数を算出する（ステップＳ２５）。すなわち、輪
郭線を顔内部の既知の座標、例えば顔中心からの距離ｒ
と方向（角度）θとからなる関数ｒ＝Ｌ（θ）として表
現する。この様子を模式的に示したのが図１１である。

【００６２】Ｌ（θ）は、θの値を単位角度ずつ変えた
ときのｒを求めてもよいし、例えば顎形状をより顕著に
表す範囲（顔中心からみて首のある方向）は、単位角度
を狭くし、他の方向に比べてより情報量を多くしてもよ
い。また、距離関数を例えば下式（２）によって表され
るフーリエ記述子として表現してもよい。

【００６３】

【数１】

【００６４】ここで、Ａ（ｎ）：曲線形状を表す係数、
ｅｘｐ（）：自然対数の底のベキ乗、ｓ：曲線上の距
離、Ｌ：閉曲線の全長、である。フーリエ記述子に関す
る詳細は、例えば参考文献３（高木幹雄，下田陽久 監
修，「画像解析ハンドブック」，東京大学出版会，１９
９１．）に開示されている。

【００６５】次に、このようにして求めた距離関数の特
徴を、基準距離関数と比較することにより、顎の形状を
判定する（ステップＳ２６）。ここで、基準距離関数と
は、基準となる顎形状の輪郭線からあらかじめ作成して
おいた距離関数のことである。基準となる顎形状の輪郭
線は、輪郭線があらかじめ手動で検出されている画像
を、類似の顎形状、例えば、ベース型、丸型等に分類
し、その分類ごとに手動検出の輪郭線を平均化したもの
を利用すればよい。

【００６６】距離関数の比較は、例えば、距離関数上の
変曲点の位置、変曲点数、変曲点間の傾きなどを、その
距離関数のもつ特徴と位置づけ、基準となる輪郭形状の
距離関数の特徴とそれぞれ比較することにより行う。比
較を行う際には、あらかじめ基準距離関数と位置とが整
合するように正規化を行っておく必要がある。

【００６７】なお、変曲点の位置や数、変曲点間の傾き
は、基準形状の場合はあらかじめ求めておき、その情報
をメモリに格納しておき、ステップＳ２５で求めた距離
関数の変曲点の情報と適宜比較すればよい。そして、比
較結果が最も近い基準距離関数をもつ形状を、判定結果
として決定する。

【００６８】なお、距離関数の比較は、より単純に基準
距離関数との差分和を比較することことにより行うこと
もできる。図１２は、この様子を模式的に表現してい
る。図１２中の符号ｚは、基準距離関数との差を示して
いる。ここで、基準距離関数をＢ（θ）としたとき、差
分和Ｚ１は下式（３）により与えられる。

【００６９】

【数２】

【００７０】すなわち、Ｚ１が最小となるＢ（θ）をも
つ形状を判定形状として決定すればよい。この方法の場
合は、θの範囲分のＢ（θ）を基準形状分だけメモリに
用意しておく必要があるが、より詳細な形状の分類、判
定を簡便に行うことができる利点がある。

【００７１】また、平面上の曲線を周波数領域で記述す
る手法、例えばフーリエ記述子を用いて距離関数を表現
すれば、これにより算出されるフーリエ係数をその距離
関数のもつ特徴として位置づけることができるので、こ
のフーリエ係数と、基準となる輪郭形状の距離関数のフ
ーリエ係数との比較を行うことにより、上記と同様に形
状判定を行うことができる。

【００７２】基準距離関数をフーリエ記述子で表現し、
そのフーリエ係数をＡｂ（ｎ）としたとき、対象距離関
数のフーリエ係数との差分Ｚ２を下式（４）により求
め、その求めたＺ２が最小となるＡｂ（ｎ）をもつ形状
を判定形状として決定する。

【００７３】

【数３】

【００７４】一般に、フーリエ係数の低次の項にはおお
まかな曲線形状、高次の項にはより詳細な曲線形状が反
映されている。従って、低次の項の比較、すなわち上記
の式（４）におけるｎの範囲を小さくしてＺ２を求める
ことにより、ノイズや個人差などの影響をなるべく排除
した判定結果を得ることができる。そして、この判定さ
れた顎形状に基づいて顔の３次元モデルを選択する（ス
テップＳ２７）。

【００７５】すなわち、顎形状の種類に応じて、プロの
デザイナーなどが作成した顔の３次元モデルの構造情報
（分類情報）をあらかじめメモリに格納しておき、判定
された顎形状に対応する顔の３次元モデル構造情報をメ
モリから読み出せばよい。図１３は、メモリに格納され
ている顔の３次元モデルの分類例を示しており、例えば
標準型、細型、幅広型、丸型などがある。

【００７６】以上の処理動作により、実写画像などの２
次元情報から、より安定な顎形状の検出と、その形状判
定とに従った顔の３次元モデルを自動的に選択すること
ができる。

【００７７】次に、顔画像分類手段３ａおよび頭モデル
選択手段３ｃを用いて顔画像を分類し、その分類した頭
に対応する部位の３次元モデルを決定する。以下、顔画
像の分類と、その分類結果に基づく頭の３次元モデルの
自動選択とについて、図１４に示すフローチャートを参
照して説明する。

【００７８】まず、顔画像入力手段１により、顔画像を
入力する（ステップＳ４１）。次に、右目、左目、口の
おおまかな位置および顔輪郭を入力する（ステップＳ４
２）。

【００７９】次に、髪色抽出手段３２６は、以下のよう
にして髪色を抽出する（ステップＳ４３）。この抽出方
法を、図１５を用いて説明する。なお、図１５に示すよ
うに、以下の説明では、ｙ座標は、上方から下方に行く
に従って値が大きくなる向きに取っている。

【００８０】まず、肌色抽出手段３ｃ２により、右目、
左目、口の座標に基づいて、鼻付近の領域内の画素値を
用いて肌色を抽出する。これは、単純に平均値を求めて
もよいが、例えば、一旦平均値および分散を求め、平均
から大きく外れている画素を除いて、再び平均および分
散を求め直してもよい。なお、ここで、肌色抽出を行う
ことは、後述のように、髪色抽出および髪特徴抽出に役
立つが、必ずしも必要ではなく、肌色抽出手段は省略す
ることもできる。

【００８１】次に、上記右目、左目、口の座標を用い
て、頭頂高さｆｔ及び髪生え際高さｆｈの初期推定値ｆ
ｔ０、ｆｈ０を決定する。これは、例えば、右目と左目
とのｙ座標の平均値をｙ＿ｅｙｅ、口のｙ座標をｙ＿ｍ
ｏｕｔｈとすると、適当に定める係数ｋ＿ｆｔ，ｋ＿ｆ
ｈに対し、 ｆｔ０＝ｙ＿ｅｙｅ−ｋ＿ｆｔ×（ｙ＿ｍｏｕｔｈ−ｙ
＿ｅｙｅ） ｆｈ０＝ｙ＿ｅｙｅ−ｋ＿ｆｈ×（ｙ＿ｍｏｕｔｈ−ｙ
＿ｅｙｅ） とすればよい。

【００８２】次に、上記ｆｔ０、ｆｔ０に基づき、サン
プリング矩形ＡＢＦＥ及びＥＦＤＣを設定する。ここ
に、Ｅ，Ｆのｙ座標はｆｔ０、Ｃ、Ｄのｙ座標はｆｈ０
に等しく取り、Ａ，Ｂのｙ座標はｆｔ０−（ｆｈ０−ｆ
ｔ０）に等しく取る（ ＡＥ＝ＥＣとなる）。また、
Ａ，Ｅ，Ｃのｘ座標は、右目（画像上では左側に来る）
付近か、または、少し右目より（画像上で）左に、Ｅ，
Ｆ，Ｄのｘ座標は、左目付近か、または、左目より少し
（画像上で）右に取るとよい。

【００８３】次に、ＥＦの高さｆｔを適当な閾値ｆｔ＿
ｕｐ、ｆｔ＿ｄｏｗｎに対して、ｆｔ０−ｆｔ＿ｕｐ＜
＝ｆｔ＜＝ｆｔ０十ｆｔ＿ｄｏｗｎの範囲内で上下に動
かして探索を行い、矩形ＡＢＦＥ内の画素値と矩形ＥＦ
ＤＣ内の画素値との分離度が最大になる所を頭頂高さｆ
ｔの推定値とする。この分離度は、矩形ＡＢＦＥ内の画
素値の平均値をＡ１、分散をＶ１、矩形ＥＦＤＣ内の画
素値の平均値をＡ２、分散をＶ２、ＡＢＤＣ内の画素値
の平均値をＡ３、分散をＶ３、矩形ＡＢＦＥと矩形ＥＦ
ＤＣとの面積比をＳ１：Ｓ２としたとき、下式（５）、 ｛Ｓ１×（Ａ１−Ａ３）×（Ａ１−Ａ３）＋ Ｓ２×（Ａ２−Ａ３）×（Ａ２−Ａ３）｝／Ｖ３ ・・・（５） で計算される。なお、画像がカラー画像の場合は、画素
値を３次元のベクトルとみなして同様に計算すればよ
い。

【００８４】次に、矩形ＡＢＦＥ内で、背景色の抽出を
を行う。このとき、下辺ＥＦは、上記の探索により動か
した後の高さｆｔにある。これは、一旦平均値および分
散を求め、平均から大きく外れている画素を除いて再び
平均および分散を求め直すとよい。なお、このように背
景色の抽出を行うことは、後述のように、髪色抽出に役
立つが、必ずしも必要ではない。

【００８５】さらに、矩形ＥＦＤＣ内で、髪色の抽出を
行う。このとき、上辺ＥＦは、上記の探索により動かし
た後の高さｆｔにある。これは、単純に平均値をとるこ
とも考えられるが、そうすると、髪画素以外の画素値が
平均計算に含まれてしまい、精度が低下すると考えられ
るので、例えば、以下の様に行うとよい。

【００８６】上記肌色の平均値および分散、および、上
記背景色の平均値および分散を用いて、肌色に近い画
素、および、背景色に近い画素を除いて平均および分散
を計算する。さらに、この髪色の平均および分散を用い
て、上記計算で既に除いた画素、および、平均から大き
く外れている画素を除いて再び平均および分散を求め直
す。このとき、除かれた画素の数が多く、髪色として計
算に使われる画素（以下、「髪色画素」と呼ぶ）の数
が、ある閾値ｎ＿ｓｈより少ない場合は、髪が薄いた
め、髪色が安定に抽出できていないものと考えられるの
で、ステップＳ４５の髪特徴抽出はスキップして、ステ
ップＳ４６の髪分類へジャンプする（ステップＳ４
４）。この場合は、前髪分類手段３ｃ７および後髪分類
手段３ｃ８は、髪分類を「髪が薄い」とする。なお、肌
色または背景色の一方または両方を抽出しない場合は、
抽出を行わない方に関しては、これに近い画素を除く処
理を省略することにより、髪色の抽出は可能ではある
が、精度が低下すると考えられる。

【００８７】次に、前髪特徴抽出手段３ｃ３および後髪
特徴抽出手段３ｃ４のいずれか一方または両方を用い
て、髪特徴を抽出する（ステップＳ４５）。

【００８８】このステップＳ４５において、まず、前髪
特徴抽出手段３ｃ１の動作例を以下に説明する。

【００８９】上記髪色の平均値および分散、および、上
記肌色の平均値および分散を用いて、画像内の各画素に
関し、髪色よりも肌色に近く、かつ、肌色の平均値から
大きく外れてはいない場合は、非髪画素、そうでない場
合は、髪画素というラベルを付ける。これによって、髪
領域を抽出することができる。なお、ステップＳ４３に
おいて肌色を抽出しない場合は、画像内の各画素に関
し、髪色の平均値から大きく外れてはいない場合は、髪
画素、そうでない場合は、非髪画素とラベル付けすれば
よい。上記髪領域は、それ自体、１つの前髪特徴である
とも考えられるが、さらに、これを用いて、前髪を含む
と思われる適当な位置に横１１メッシュ×縦７メッシュ
程度のメッシュを設定し、各メッシュ内の髪画素数を前
髪特徴とする（以下、この特徴を「前髪メッシュ特徴」
と呼ぶ）など、前髪特徴を抽出する。

【００９０】次に、後髪特徴抽出手段３２８の動作例を
以下に説明する。上記髪色の平均値および分散、およ
び、上記肌色の平均値および分散を用いて、画像内の各
画素に関し、肌色よりも髪色に近く、かつ、髪色の平均
値から大きく外れてはいない場合は、髪画素、そうでな
い場合は、非髪画素というラベルを付ける。これによっ
て、髪領域を抽出することができる。なお、ステップＳ
４３において肌色特徴を抽出しない場合は、画像内の各
画素に関し、髪色の平均値から大きく外れてはいない場
合は、髪画素、そうでない場合は、非髪画素とラベル付
けすればよい。上記髪領域は、それ自体、１つの後髪特
徴であるとも考えられるが、さらに、これを用いて、例
えば、いわゆる「セミロング」を含む長髪系の髪の場合
には髪が相当量あり、そうでなく短髪系の髪の場合には
髪があまりない、と思われるような矩形領域を、顔の左
右両側に設定し、それらの矩形内の髪画素数を取る（以
下、この特徴を「後髪矩形特徴」と呼ぶ）など、後髪特
徴を抽出する。

【００９１】なお、上記では、前髪特徴と後髪特徴とを
別々のものとして各々の抽出方法を述べたが、両者を一
体のものと考えて、髪特徴を抽出してもよい。例えば、
髪画素領域は、前髪、後髪共通として、例えば、画像内
の各画素に関し、髪色の平均値から大きく外れてはいな
い場合は、髪画素、そうでない場合は、非髪画素とラベ
ル付けすることにより作成することも考えられる。

【００９２】前髪輪郭抽出手段３ｃ５は、前髪特徴抽出
手段３ｃ３により抽出された髪領域を用いて、以下の様
に動作する。

【００９３】右目、左目の中点から、画像上を真上方向
に画像端まで走査し、最も長い髪画素のランを検出す
る。このランの最下点を始点とし、（画像上の）左方向
に輪郭を追跡し、右目および左目の座標に基づいて定め
る、あるｙ座標の閾値より下方（ｙ座標値は大）、か
つ、同様に定める、あるｘ座標の閾値より左方に来た時
に、追跡を終える。次に、上記ランの最下点を始点と
し、（画像上の）右方向に輪郭を追跡し、右目および左
目の座標に基づいて定める、あるｙ座標の閾値より下方
（ｙ座標値は大）、かつ、同様に定める、あるｘ座標の
閾値より右方に来た時に、追跡を終える。さらに、上記
左側の輪郭線と右側の輪郭線とをつなぎ合わせ、前髪輪
郭とする。

【００９４】後髪輪郭抽出手段３ｃ６は、後髪特徴抽出
手段３ｃ４により抽出された髪領域を用いて、以下の様
に動作する。

【００９５】右目、左目の中点から、画像上を真上方向
に画像端まで走査し、最も長い髪画素のランを検出す
る。このランの最上点を始点とし、（画像上の）左方向
に輪郭を追跡し、右目および左目の座標に基づいて定め
る、あるｙ座標の閾値より下方（ｙ座標値は大）、か
つ、同様に定める、あるｘ座標の閾値より左方に来た時
に、追跡を終える。次に、上記ランの最上点を始点と
し、（画像上の）右方向に輪郭を追跡し、右目および左
目座標に基づいて定める、あるｙ座標の閾値より下方
（ｙ座標値は大）、かつ、同様に定める、あるｘ座標の
閾値より右方に来た時に、追跡を終える。さらに、上記
左側の輪郭線と右側の輪郭線とをつなぎ合わせ、後髪輪
郭とする。

【００９６】なお、上記では前髪輪郭と後髪輪郭を別々
のものとして各々の抽出方法を述べたが、両者を一体の
ものとみなし、髪領域を用いてその輪郭を追跡すること
により、髪輪郭を抽出してもよい。

【００９７】また、前髪特徴抽出手段３ｃ３および後髪
特徴抽出手段３ｃ４は、上記で抽出された髪輪郭を用い
て、さらに別の髪特徴を抽出してもよい。例えば、前髪
輪郭の最上点を検出し、前髪特徴とすることや、後髪輪
郭を走査し、髪の内側へのへこみが最大になる点を検出
し、後髪特徴とすることなどが考えられる。

【００９８】前髪分類手段３ｃ７および後髪分類手段３
ｃ８は、前髪特徴抽出手段３ｃ３および後髪特徴抽出手
段３ｃ４で求められた髪特徴、および、前髪輪郭抽出手
段３ｃ５および後髪輪郭抽出手段３ｃ６で求められた髪
輪郭を用いて、髪形を分類する（ステップ４６）。な
お、前髪と後髪とを区別あるいは分離せず、一体とみな
して髪分類を行うことも考えられる。

【００９９】次に、前髪分類手段３ｃ７の動作例を以下
に説明する。上記で抽出された前髪メッシュ特徴を用い
て、髪画素数がある閾値ｃ２以上のメッシュの数が、あ
る閾値ｍ＿ｆｃ以上ある場合は、「おかっぱ」 へ分類す
る。ここでいう「おかっぱ」とは、額部分が大部分髪の
毛に覆われたような髪型のことである。また、髪画素数
がｃ２未満で、かつ、ｃ１＜ｃ２なる別の閾値ｃ１以上
であるメッシュの数が、ある閾値ｍ＿ｆｍ以上ある場合
は、「すだれ」へ分類する。ここでいう「すだれ」と
は、額部分に相当量の髪の毛がかぶさっているが、髪の
毛のすきまから相当量の肌が見えているような髪型のこ
とである。

【０１００】このような髪輪郭の特徴を用いて、例え
ば、以下の様に、髪型を分類する（図１６参照）。

【０１０１】上記で「おかっぱ」へも「すだれ」へも分
類されなかった場合に、まず、前髪輪郭の上部で、輪郭
が髪領域の側（上方）へどの程度へこんでいるかを調べ
て、へこみがあまりない場合は「分け目なし」へ、そう
でない場合は「分け目あり」へ大分類する。

【０１０２】次に、「分け目なし」に関しては、前髪輪
郭の上部の直線度を調べて、直線度が大きい（直線に近
い）場合は「四角型」（図１６（ａ）参照）、そうでな
い場合は「丸型」（図１６（ｂ）参照）へ分類する。

【０１０３】さらに、「分け目あり」に関しては、上記
で検出された前髪輪郭の最上点のｘ座標（以下ｘ＿ｄｆ
とする）を用いて、適当に定めたｄｆ１＜ｄｆ２＜ｄｆ
３＜d ｆ４なる閾値ｄｆ１，ｄｆ２，ｄｆ３，ｄｆ４に
対し、ｘ＿ｄｆ＜ｄｆ１の場合は「一九分け」（図１６
（ｃ）参照）、ｄｆ１＜＝ｘ＿ｄｆ＜ｄｆ２の場合は
「三七分け」、ｄｆ２＜＝ｘ＿ｄｆ＜＝ｄｆ３の場合は
「真中分け」（図１６（ｄ）参照）、ｄｆ３＜ｘ＿ｄｆ
＜＝ｄｆ４の場合は「七三分け」、ｄｆ４＜ｘ＿ｄｆの
場合は「九一分け」へ分類する。

【０１０４】次に、後髪分類手段３ｃ８の動作例を以下
に説明する。上記で抽出された後髪矩形特徴を用いて、
髪画素数がある閾値ｎ＿ｂ以上ある場合は「長髪系」、
そうでない場合は「短髪系」へ分類する。

【０１０５】このような髪輪郭の特徴を用いて、例え
ば、以下の様に髪型を分類する（図１７参照）。

【０１０６】上記の「長髪系」、「短髪系」を大分類と
し、さらに、上記で検出された後髪輪郭の髪領域の内側
へのへこみが最大になる点のｘ座標（以下ｘ＿ｄｂとす
る）を用いて、適当に定めたｄｂ１＜ｄｂ２＜ｄｂ３＜
ｄｂ４なる閾値ｄｂ１，ｄｂ２，ｄｂ３，ｄｂ４に対
し、ｘ＿ｄｂ＜ｄｂ１の場合は「一九分け」、ｄｂ１＜
＝ｘ＿ｄｂ＜ｄｂ２の場合は「三七分け」、ｄｂ２＜＝
ｘ＿ｄｂ＜＝ｄｂ３の場合は「真中分け」（図１７
（ａ）参照）、ｄｂ３＜ｘ＿ｄｂ＜＝ｄｂ４の場合は
「七三分け」、ｄｂ４＜ｘ＿ｄｂの場合は「九一分け」
へ小分類する。ただし、上記で検出された後髪輪郭の髪
の内側へのへこみが、最大になる点においてもそれほど
大きくない場合は、「分け目検出されず」（図１７
（ｂ）参照）へ小分類する。

【０１０７】以上の処理動作により、実写画像などの２
次元情報から、よりリアルな頭形状の検出と、その形状
判定とに従った頭の３次元モデルを自動的に選択するこ
とができる。

【０１０８】以上、上記各実施の形態の画像処理装置
は、その装置の３次元モデルの生成処理を、図示してい
ない記憶部に格納されている３次元モデル生成のための
画像処理プログラムによって実現される。このプログラ
ムは、コンピュータ読み取り可能な記録媒体に格納され
ている。本発明では、この記録媒体は、図示していない
が、画像処理装置の内部にプログラム読み取り装置を備
え、そこに記録媒体を挿入することで読み取り可能なプ
ログラムメディアであってもよいし、あるいは装置内部
のプログラムメモリ等の記憶手段に格納されているもの
であってもよい。いずれの場合においても、格納されて
いるプログラムは直接アクセスして実行させる構成であ
ってもよいし、あるいはいずれの場合もプログラムを読
み出し、読み出されたプログラムは、図示していない主
記憶メモリにダウンロードされて、そのプログラムが実
行される方式であってもよい。このダウンロード用のプ
ログラムは、あらかじめ装置本体に格納されているもの
とする。

【０１０９】ここで、上記プログラムメディアは、本体
と分離可能に構成される記録媒体であり、磁気テープや
カセットテープ等のテープ系、フロッピディスクやハー
ドディスク等の磁気ディスクや、ＣＤ−ＲＯＭ、ＭＯ、
ＭＤ、ＤＶＤ等の光ディスクのディスク系、ＩＣカード
や光カード等のカード系、あるいはマスクＲＯＭ、ＥＰ
ＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導
体メモリを含めた固定的にプログラムを担持する媒体で
あってもよい。

【０１１０】また、本発明においては外部との通信が可
能な手段（無線通信機能、あるいはインターネット等の
公衆回線を介する有線通信機能）を備えている場合に
は、これを用いて外部と接続し、そこからプログラムを
ダウンロードするように流動的にプログラムを担持する
媒体であってもよい。なお、このように通信ネットワー
クからプログラムをダウンロードする場合には、そのダ
ウンロード用プログラムはあらかじめ装置本体に格納し
ておくか、あるいは別の記録媒体からインストールされ
るものであってもよい。

【０１１１】

【発明の効果】本発明の画像処理装置および画像処理方
法ならびに画像処理プログラムを記録した記録媒体によ
れば、以下に示す種々の効果を奏する。

【０１１２】すなわち、顔画像を入力し、３次元モデル
に貼り付けて表示することにより、入力した２次元画像
から、よりリアリティーの高い３次元の静止画像を生成
することができる。また、３次元モデルが時間経過に基
づく動き情報を持っている場合には、その動き情報を用
いてよりリアリティーの高い３次元の動画像を生成する
ことができる。例えば、顔に対応する部位の３次元モデ
ルが時間経過に基づく動き情報を持っている場合には、
その動き情報を用いて顔の表情を変化させることができ
る。

【０１１３】また、胴体に対応する３次元モデルを持
ち、これを操作者の入力により選択することができるの
で、顔や頭だけでなく、胴体を含む全身の３次元モデル
を、操作者の好みにカスタマイズすることができる。

【０１１４】また、選択対象となっている部位だけでな
く、他の部位の３次元モデルも変更可能とすることによ
って、操作者の選択する手間を省くことができる。

【０１１５】また、１つの部位の１つの３次元モデルと
これに対応する他の1 つの部位の1つの３次元モデルと
が選択された場合に、その部位および３次元モデルの組
み合わせを記録し、次回またはそれ以降に、組み合わせ
が記録された１つの部位の１つの３次元モデルが選択さ
れると、記録された組み合わせに基づき、これに対応す
る他の部位の１つの３次元モデルも自動的に選択される
ようになっているので、操作者の選択する手間を省くこ
とができる。

【０１１６】また、顔や頭に対応する部位の３次元モデ
ルを自動的に選択するようにしたので、操作者の選択す
る手間を省くことができる。

【図面の簡単な説明】

【図１】本発明の画像処理装置の一実施の形態を示すシ
ステム構成図である。

【図２】本発明の画像処理装置による処理動作を示すフ
ローチャートである。

【図３】顔画像の貼り付け手法に関する説明図である。

【図４】３次元モデル選択手段の他の実施の形態を示す
ブロック図である。

【図５】顔の３次元モデルの選択動作を示すフローチャ
ートである。

【図６】位置指定の例を示す説明図である。

【図７】入力画像中の中心座標および初期輪郭の配置を
示す説明図である。

【図８】初期輪郭上の一点と中心座標とを結ぶ直線上の
色差算出を行う方法を説明するための図である。

【図９】色差の算出例を模式的に示した説明図である。

【図１０】（ａ）、（ｂ）は顔輪郭形状に特化した色差
算出を行う手法として顔が楕円形状であることを利用す
る場合について説明するための図である。

【図１１】抽出した顔輪郭線から距離関数を算出する手
法を説明するための図である。

【図１２】入力画像から得られた距離関数と基準距離関
数とを比較する手法を説明するための図である。

【図１３】メモリに格納されている顔の３次元モデルの
分類例を示す説明図である。

【図１４】頭の３次元モデルの選択動作を示すフローチ
ャートである。

【図１５】髪色抽出に関する説明図である。

【図１６】前髪分類に関する説明図である。

【図１７】後髪分類に関する説明図である。

【符号の説明】

１ 顔画像入力手段 ２ ３次元モデル入力手段 ３ ３次元モデル選択手段 ３ａ 顔画像分類手段 ３ｂ 顔モデル選択手段 ３ｃ 頭モデル選択手段 ３ｃ１ 髪色抽出手段 ３ｃ２ 肌色抽出手段 ３ｃ３ 前髪特徴抽出手段 ３ｃ４ 後髪特徴抽出手段 ３ｃ５ 前髪輪郭抽出手段 ３ｃ６ 後髪輪郭抽出手段 ３ｃ７ 前髪分類手段 ３ｃ８ 後髪分類手段 ４ 顔画像貼り付け手段 ５ 画像生成手段

フロントページの続き (72)発明者 佐伯 和裕 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 高橋 俊哉 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 鈴木 恭一 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Ｆターム(参考） 5B050 BA09 BA12 CA07 EA06 EA19 FA06 5B080 AA13 GA22

Claims (12)

【特許請求の範囲】
1. 【請求項１】 入力画像からその画像に含まれる対象物
   体の３次元モデル画像を生成する画像処理装置であっ
   て、 顔画像を入力する顔画像入力手段と、 複数の部位について、各部位ごとに１つまたは複数の３
   次元モデルを入力する３次元モデル入力手段と、 前記複数の部位のうちの任意の１つの部位について、操
   作者の入力する指示に基づき使用する３次元モデルを選
   択する３次元モデル選択手段と、 前記顔画像入力手段により入力された顔画像を、前記３
   次元モデル選択手段により選択された３次元モデルに貼
   り付けて表示する顔画像貼り付け手段と、 前記３次元モデル選択手段により選択された３次元モデ
   ルと前記顔画像入力手段により入力された顔画像とを用
   いて３次元の静止画像を生成する画像生成手段と、を備
   えたことを特徴とする画像処理装置。
2. 【請求項２】 前記３次元モデルは、前記複数の部位の
   うちの１つまたは全部の部位に関し、時間経過に基づく
   動き情報を持っており、前記画像生成手段は、前記３次
   元モデル選択手段により選択された３次元モデルと前記
   顔画像入力手段により入力された顔画像とを用いて３次
   元の動画像を生成することを特徴とする請求項１に記載
   の画像処理装置。
3. 【請求項３】 前記複数の部位が、胴体に対応する部
   位、顔に対応する部位、頭に対応する部位を含むことを
   特徴とする請求項１または２に記載の画像処理装置。
4. 【請求項４】 前記３次元モデル選択手段は、選択対象
   となっている部位の３次元モデルを変更したときには、
   これに対応して他の部位の３次元モデルも変更すること
   を特徴とする請求項１、２または３に記載の像処理装
   置。
5. 【請求項５】 前記３次元モデル選択手段は、１つの部
   位の１つの３次元モデルとこれに対応する他の１つの部
   位の１つの３次元モデルとが選択された場合に、その部
   位および３次元モデルの組み合わせを記録し、前記１つ
   の部位が任意の３次元モデルから前記１つの３次元モデ
   ルに変更されたとき、他の１つの部位についても、記録
   した前記組み合わせに対応した前記１つの３次元モデル
   に変更することを特徴とする請求項４に記載の画像処理
   装置。
6. 【請求項６】 前記３次元モデル選択手段は、１つの部
   位の特定種類の１つの３次元モデルが選択された場合に
   は、その選択される前の１つの部位の３次元モデルに対
   応する他の１つの部位の１つの３次元モデルを記録し、
   前記特定種類の１つの３次元モデルから特定種類ではな
   い別の１つの部位の３次元モデルに変更されたとき、こ
   れに対応する他の１つの部位の１つの３次元モデルを、
   記録した前記他の１つの３次元モデルに再度変更するこ
   とを特徴とする請求項４に記載の画像処理装置。
7. 【請求項７】 前記顔画像入力手段により入力された顔
   画像を分類する顔画像分類手段と、 顔に対応する部位の３次元モデルを、前記顔画像分類手
   段による分類結果に基づいて自動選択する顔モデル選択
   手段とを備え、 前記顔画像貼り付け手段は、前記顔画像入力手段により
   入力された顔画像を前記顔モデル選択手段により選択さ
   れた顔３次元モデルに貼り付けることを特徴とする請求
   項１、２、３、４、５または６に記載の画像処理装置。
8. 【請求項８】 前記顔画像入力手段により入力された顔
   画像を分類する顔画像分類手段と、 頭に対応する部位の３次元モデルを、前記顔画像分類手
   段による分類結果に基づいて自動選択する頭モデル選択
   手段とを備え、 前記顔画像貼り付け手段は、前記顔画像入力手段により
   入力された顔画像を前記頭モデル選択手段により選択さ
   れた頭３次元モデルに貼り付けることを特徴とする請求
   項１、２、３、４、５、６または７に記載の画像処理装
   置。
9. 【請求項９】 入力画像からその画像に含まれる対象物
   体の３次元モデル画像を生成する画像処理方法であっ
   て、 顔画像入力手段により顔画像を入力するステップと、 ３次元モデル入力手段により、複数の部位について、各
   部位ごとに１つまたは複数の３次元モデルを入力するス
   テップと、 前記複数の部位のうちの任意の１つの部位について、操
   作者の入力する指示に基づき使用する３次元モデルを選
   択するステップと、 入力された顔画像を、選択された３次元モデルに貼り付
   けて表示手段に表示するステップと、 選択された３次元モデルと入力された顔画像とを用いて
   ３次元の静止画像または動画像を生成するステップと、
   を含むことを特徴とする画像処理方法。
10. 【請求項１０】 入力画像からその画像に含まれる対象
    物体の３次元モデル画像を生成する画像処理方法であっ
    て、 顔画像入力手段により顔画像を入力するステップと、 入力された顔画像を分類するステップと、 ３次元モデル入力手段により、複数の部位について、各
    部位ごとに１つまたは複数の３次元モデルを入力するス
    テップと、 入力された任意の部位の３次元モデルを、前記顔画像分
    類手段による分類結果に基づいて自動選択するステップ
    と、 入力された顔画像を、自動選択された３次元モデルに貼
    り付けて表示手段に表示するステップと、 自動選択された３次元モデルと入力された顔画像とを用
    いて３次元の静止画像または動画像を生成するステップ
    と、を含むことを特徴とする画像処理方法。
11. 【請求項１１】 入力画像からその画像に含まれる対象
    物体の３次元モデル画像を生成する画像処理プログラム
    を記録したコンピュータ読み取り可能な記録媒体であっ
    て、 顔画像入力手段により顔画像を入力するステップと、 ３次元モデル入力手段により、複数の部位について、各
    部位ごとに１つまたは複数の３次元モデルを入力するス
    テップと、 前記複数の部位のうちの任意の１つの部位について、操
    作者の入力する指示に基づき使用する３次元モデルを選
    択するステップと、 入力された顔画像を、選択された３次元モデルに貼り付
    けて表示手段に表示するステップと、 選択された３次元モデルと入力された顔画像とを用いて
    ３次元の静止画像または動画像を生成するステップと、
    を含む画像処理プログラムを記録した記録媒体。
12. 【請求項１２】 入力画像からその画像に含まれる対象
    物体の３次元モデル画像を生成する画像処理プログラム
    を記録したコンピュータ読み取り可能な記録媒体であっ
    て、 顔画像入力手段により顔画像を入力するステップと、 入力された顔画像を分類するステップと、 ３次元モデル入力手段により、複数の部位について、各
    部位ごとに１つまたは複数の３次元モデルを入力するス
    テップと、 入力された任意の部位の３次元モデルを、前記顔画像分
    類手段による分類結果に基づいて自動選択するステップ
    と、 入力された顔画像を、自動選択された３次元モデルに貼
    り付けて表示手段に表示するステップと、 自動選択された３次元モデルと入力された顔画像とを用
    いて３次元の静止画像または動画像を生成するステップ
    と、を含む画像処理プログラムを記録した記録媒体。