JP2001222725A

JP2001222725A - 画像処理装置

Info

Publication number: JP2001222725A
Application number: JP2000029361A
Authority: JP
Inventors: Yoshinori Nagai; 義典長井; So Takezawa; 創竹澤
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-02-07
Filing date: 2000-02-07
Publication date: 2001-08-17

Abstract

(57)【要約】【課題】１枚の顔画像から、任意の方向からの似顔絵
や顔の向きや表情が変化する似顔絵によるアニメーショ
ンを容易に作成する。【解決手段】画像を入力する画像入力手段１０と、入
力した画像を解析して画像中の部品の大きさ、形状等の
部品の特徴量を抽出する特徴量抽出手段１１と、特徴量
に対応する複数の部品種類を持ち、各部品種類ごとに複
数の２次元形状もしくは３次元形状の部品データを記憶
している部品データ記憶手段１３と、抽出された部品の
特徴量に基づいて部品データ記憶手段１３に記憶されて
いる各種部品から適当な部品データを抽出する部品デー
タ抽出手段１２と、抽出された２次元もしくは３次元か
らなる部品データを組み合わせて３次元モデルを合成す
る部品合成手段１９と、合成された３次元モデルから任
意の静止画または動画を生成する画像生成手段２０とを
備えることで実現する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パーソナルコンピ
ュータ、ワードプロセッサ、ワークステーション、携帯
型情報ツール、複写機、スキャナ装置、ファクシミリ装
置、テレビジョン受信機、ビデオカセットレコーダ、ビ
デオカメラなどに用いられ、入力した画像に関する特定
の特徴量、例えば人物画像における目や口などの位置や
大きさ、形状などを抽出することのできる画像処理装
置、およびその抽出情報に基づいて入力画像を操作者の
所望する状態の３次元的な静止画像または動画像に生成
することのできる画像処理装置に関するものである。

【０００２】

【従来の技術】従来より、顔画像から抽出した特徴量に
基づいて似顔絵を合成する技術が種々提案されている。

【０００３】図１２は、このような従来の技術を用いて
合成した似顔絵の出力例を示している。

【０００４】この合成技術は、似顔絵を生成するために
２次元平面の顔部品データを用意し、それを平面的に重
ね合わせて似顔絵を作成している（これを従来技術１と
いう）。このように、平面を組み合わせて似顔絵を合成
すると、合成された結果の似顔絵は、１方向からのみの
絵しか作ることができない。そのため、違う方向からの
似顔絵を合成しようとすると、その方向から見た形で作
った顔部品データが別途必要となる。また、さらに違う
方向からの似側絵を合成しようとすると、さらにもう１
組の別の顔部品データが必要となり、非常に大量のデー
タを必要とする。また、似顔絵の顔の向きが徐々に変化
するようなアニメーションを作成しようとすると、上記
と同じ理由で膨大な量の顔部品データが必要となる。

【０００５】一方、２次元の似顔絵によって３次元標準
顔データを合成する技術が、特開平１０−２５５０１７
号公報に開示されている（これを従来技術２という）。

【０００６】この従来技術２では、正面顔と側面顔の似
顔絵をパソコンに入力し、それぞれの似顔絵データとし
て記憶する。次に、この似顔絵データを画像表示装置に
表示し、指示入力装置から、輪郭等の似顔絵の特徴点を
入力する。次に、変換プログラムにより、似顔絵の特徴
点データと３次元標準顔データの特徴データとの差分を
もとに似顔特徴パラメータを抽出し、これを用いて３次
元標準顔データを３次元似顔絵データに変換する。最後
に、似顔生成プログラムにより３次元似顔データ上に似
顔絵データをテクスチャとしてマッピングして任意の方
向に変形し、画像表示装置に出力するようになってい
る。

【０００７】

【発明が解決しようとする課題】上記したように、従来
技術１の合成技術では、任意の方向からの似顔絵を合成
しようとする場合、および似顔絵の顔の向きが徐々に変
化するようなアニメーションを作成しようとする場合に
は、膨大な量の顔部品データが必要になるといった問題
があった。これは、本来、３次元として存在している人
間の顔を、２次元の部品の組み合わせで表現しようとし
ていることに起因している。

【０００８】また、従来技術２の合成技術は、２次元の
似顔絵によって３次元標準顔データを変形させるという
間接的な方法をとっている。そのため、側面の似顔絵が
必要となっており、また似顔絵を人間が入力する必要が
あるため、３次元の似顔絵を容易に作成することができ
ないといった問題があった。

【０００９】本発明はかかる問題点を解決すべく創案さ
れたもので、その目的は、１枚の顔画像から、似顔絵の
３次元モデルを自動または半自動に生成し、任意の方向
からの似顔絵や顔の向きや表情が変化する似顔絵による
アニメーションを容易に作成することのできる画像処理
装置を提供することにある。

【００１０】

【課題を解決するための手段】上記課題を解決するた
め、本発明の画像処理装置は、画像を入力する画像入力
手段と、入力した画像を解析して画像中の部品の大き
さ、形状などの部品の特徴量を抽出する特徴量抽出手段
と、この特徴量抽出手段にて抽出される特徴量に対応す
る複数の部品種類を持ち、各部品種類ごとに複数の２次
元形状もしくは３次元形状の部品データを記憶している
部品データ記憶手段と、前記特徴量抽出手段にて抽出さ
れた部品の特徴量に基づいて前記部品データ記憶手段に
記憶されている各種部品から適当な部品データを抽出す
る部品データ抽出手段と、この部品データ抽出手段にて
抽出された２次元もしくは３次元からなる部品データを
組み合わせて３次元モデルを合成する部品合成手段と、
この部品合成手段にて合成された３次元モデルから任意
の静止画または動画を生成する画像生成手段とを備えた
ことを特徴とする。

【００１１】このような特徴を有する本発明の画像処理
装置によれば、似顔絵の顔の部品を３次元の部品も含め
て顔部品データとして部品データ記憶手段に記憶し、顔
部品特徴情報をこの３次元の部品へも反映させ、２次元
の顔部品と組み合わせて３次元の顔モデルを生成する。
そして、この顔モデルから、すでに公知である３次元レ
ンダリング技術（例えば、Ｍｉｃｒｏｓｏｆｔ社製のＯ
ＳであるＷｉｎｄｏｗｓ９８上で提供されるＤｉｒｅｃ
ｔ−３Ｄなどの技術）により、任意のアングルの２次元
の顔画像を合成することが可能となる。これにより、顔
の正面画像から容易に似顔絵の３次元モデルが作成で
き、任意の方向からの似顔絵を生成することが可能とな
る。また、容易に顔の向きを変えることができるので、
似顔絵アニメーションを生成することが可能となる。

【００１２】また、本発明の画像処理装置は、上記構成
において、顔の輪郭の形状を決定する顔輪郭決定手段を
備えるとともに、前記部品データ記憶手段には顔輪郭に
対応した複数種類の顔型の３次元モデルが記憶されてお
り、前記部品データ抽出手段は、前記顔輪郭決定手段に
て決定された顔輪郭の形状に基づいて前記部品データ記
憶手段に記憶されている複数種類の顔型の３次元モデル
から適当な顔型の３次元モデルを抽出する手段を含むこ
とを特徴とする。

【００１３】このような特徴を有する本発明の画像処理
装置によれば、顔部品の中でも最も立体的な部品であ
る、「顔の形状」をうまく表現して似顔絵を生成するた
めに、顔輪郭決定手段によって顔の形状を判断し、その
顔型の３次元部品を顔部品データから抽出することで、
最適な顔型の３次元モデルを生成することができる。

【００１４】また、本発明の画像処理装置によれば、上
記構成において、顔型の３次元モデルに対応する、目、
鼻、口、眉などの顔部品の配置情報をあらかじめ記憶し
ている部品変形・配置情報記憶手段を備え、前記部品合
成手段は、前記部品データ抽出手段によって抽出された
顔型の３次元モデルに対して、前記部品変形・配置情報
記憶手段から対応する最適な顔部品の配置情報を抽出
し、この配置情報に基づいて顔部品を配置して３次元の
顔モデルを合成する手段を含むことを特徴とする。

【００１５】目、鼻、口、眉などの顔部品を、３次元部
品として抽出した顔型のどの場所に貼り付ければ最適で
あるかは、その顔型によって異なっている。従って、上
記の特徴を有する本発明の画像処理装置によれば、各顔
型ごとに、その顔型に対する目、眉、口などの顔部品の
最適な配置情報を用意することで、より自然な似顔絵を
生成することが可能となる。

【００１６】また、本発明の画素を処理装置は、上記各
構成において、特徴量抽出手段は、顔の画像中の顔部品
の配置や大きさなどの顔部品変形情報を抽出する手段を
含み、この特徴量抽出手段にて抽出された顔部品変形情
報に基づいて顔部品の配置位置を補正する配置位置補正
手段を備えていることを特徴とする。

【００１７】同じ顔型の人であっても、目の間隔が広か
ったり、口に大小があったりする。従って、上記の特徴
を有する本発明の画像処理装置によれば、入力した顔画
像の目、眉、口から得られた特徴量により、顔型の標準
的な顔部品の大きさや位置を補正した上で、部品を配置
することにより、より元の画像の人物に似せた３次元モ
デルを生成することが可能となる。

【００１８】また、本発明の画像処理装置は、上記各構
成において、部品データ記憶手段には、似顔絵を合成す
るのに必要な顔部品のうち、目、口、眉などの平面的な
顔部品が２次元画像または２次元画像を生成するベクト
ル情報の形で記憶されており、前記部品合成手段は、前
記部品変形・配置情報記憶手段に記憶されている配置情
報に基づいて１枚または複数枚の顔表面の画像を合成
し、その顔表面画像を、顔型の３次元モデルにテクスチ
ャとして貼り付けて３次元の顔モデルを合成する手段を
含むことを特徴とする。

【００１９】目、眉、口のような平面的な顔部品まです
べて３次元で保存すると処理に時間がかかったり、顔部
品のデータ量が膨大になったりする。従って、上記の特
徴を有する本発明の画像処理装置によれば、平面的な部
品に関しては２次元のベクトルもしくはビットマップの
形で顔部品を保持し、その部品を３次元の顔型などの表
面にテクスチャとして貼り込むことで３次元モデルを生
成する。

【００２０】また、本発明の画像処理装置は、上記各構
成において、部品データ記憶手段には、似顔絵を合成す
るのに必要な顔部品のうち、目、口、眉などの平面的な
顔部品の時間経過に基づく部品変形および置換情報が記
憶されており、前記部品合成手段は、前記部品データ記
憶手段に記憶されている部品変形および置換情報に基づ
き、顔部品の変形もしくは他の部品への置換を行った後
に顔部品を合成し、その顔表面画像を、顔型の３次元モ
デルにテクスチャとして貼り付けて３次元の顔モデルを
合成する手段を含むことを特徴とする。

【００２１】このような特徴を有する本発明の画像処理
装置によれば、目、眉、口のような顔部品に対して表情
などの動きを時間経過とともに変形させることで、単に
任意の方向から見られるだけの３次元モデルではなく、
アニメーションを生成することが可能となる。

【００２２】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。

【００２３】図１は、本発明の画像処理装置の一実施の
形態を示す機能ブロック図である。

【００２４】同図において、画像入力手段１０は、例え
ばディジタルスチルカメラ、スキャナ、ビデオキャプチ
ャなどの似顔絵をつくる元画像を入力するための手段、
特徴量抽出手段１１は、目、口、眉などの顔部品の形や
位置を抽出する手段、顔部品データ抽出手段１２は、特
徴量抽出手段１１によって抽出された特徴量より対応す
る顔部品を選択する手段である。

【００２５】また、顔部品データ記憶手段１３は、顔部
品の画像データを蓄積する手段、部品変形・配置情報記
憶手段１４は、各顔部品の中心位置を配置すべき座標と
部品の変形率をテーブルまたは関数の形で記憶する手
段、顔輪郭決定手段１５は、特徴量抽出手段１１によっ
て抽出された特徴量より、その人物の顔輪郭を決定し、
その輪郭に対応する部品の変形や配置に関する情報を部
品変形・配置情報記憶手段１４から選択する手段であ
る。

【００２６】また、配置位置補正手段１６は、部品変形
・配置情報記憶手段１４から選択した配置情報を、特徴
量抽出手段１１によって抽出された特徴量に基づいて補
正することにより、より似た似顔絵を生成するための手
段、部品変形手段１７は、配置位置補正手段１６から受
け取った変形情報から、その顔の輪郭に適した形に顔部
品データの大きさなどを変形する手段、部品配置手段１
８は、顔輪郭決定手段１５および配置位置補正手段１６
が生成する配置位置情報により、顔部品を配置して顔の
テクスチャ画像を作るための手段である。

【００２７】また、部品合成手段１９は、顔部品データ
記憶手段１３から顔部品データ抽出手段１２によって抽
出された顔形状の３次元モデルに、耳や鼻などの３次元
モデルの顔部品を組み合わせ、さらに部品配置手段１８
で生成された顔のテクスチャ画像を、顔の表面に貼り込
んで顔の３次元モデルを合成する手段である。

【００２８】また、画像生成手段２０は、部品合成手段
１９で合成された顔の３次元モデルから静止画または動
画を生成する手段、画像出力手段２１は、ＣＲＴやプリ
ンタ等からなり、合成した画像を出力する手段、編集指
定入力手段２２は、合成された似顔絵の結果画像に対し
て、部品の配置位置や変形率を変更することを指示する
手段である。

【００２９】次に、上記構成の画像処理装置を用いて、
顔の部品から対応する２次元および３次元の顔部品を選
び出し、これらを組み合わせて３次元の似顔絵モデルを
生成する手順について、図２ないし図１１を適宜参照し
て説明する。

【００３０】まず、画像入力手段１０より顔画像を入力
する。特徴量抽出手段１１は、この入力された顔画像か
ら、その顔を構成する目、鼻、口、眉、髪形などの形
状、大きさ、位置などを検出する。顔部品データ抽出手
段１２は、その特徴量に対応した顔部品を、顔部品デー
タ記憶手段１３から抽出する。

【００３１】一方、顔輪郭決定手段１５では、特徴量抽
出手段１１によって抽出された顔の特徴量に基づき、あ
らかじめ用意されている顔輪郭部品の中から最も近い部
品を決定する。例えば、図２に示すような、標準顔、細
顔、幅広顔、丸顔などの顔輪郭である。この顔輪郭に対
応する顔型の３次元モデルのデータは、顔部品データ記
憶手段１３に格納されている。

【００３２】また、標準顔、細顔、幅広顔、丸顔などの
顔輪郭には、それぞれ図３に示すように、各顔部品の中
心位置を配置すべき座標とその顔部品の変形率とが、テ
ーブルまたは関数の形で、部品変形・配置情報記憶手段
１４に記憶されている。具体例として、以下の表１に、
細顔のテーブル例を示す。

【００３３】

【表１】

【００３４】表１において、ｘ座標、ｙ座標は、個々の
部品を配置すべき場所であり、顔のテクスチャ全体の大
きさが１０００×１０００、顔の中心の座標が（５０
０，５００）の例である。拡大率は、標準顔の各顔部品
の大きさを１．００とした比率で示されている。表１に
示した細顔のテーブルは、標準顔よりも各顔部品の位置
が中心に寄り、かつ各顔部品もやや小さ目の指定となっ
ており、細顔の形状に最適な部品構成となっている。部
品変形手段１７および部品配置手段１８は、このテーブ
ルの値から、顔部品を顔輪郭の上、または下面（後髪や
耳）に配置し、図４に示すような２次元の顔テクスチャ
を生成する。

【００３５】一方、配置位置補正手段１６は、特徴量抽
出手段１１により検出された各顔部品の位置情報と、あ
らかじめ求めた各顔部品の位置の平均とを、顔部品ごと
にそれぞれ比較して、顔画像中の各顔部品の位置と顔部
品位置の平均との比率を求め、この比率に基づいて各顔
部品の配置位置の補正量を算出する。

【００３６】図５は、この配置位置補正手段１６による
配置位置の補正の具体例を示している。すなわち、顔輪
郭１１０の横幅１１１および顔画像中の目の位置（高
さ）１１６を基準とし、顔輪郭１１０の横幅に対する目
の中心間の距離（幅）１１３、眉の中心間の距離（幅）
１１２、目と目の中心と眉と眉の中心間の距離（高さ）
１１４、目と目の中心と口の中心間の距離（高さ）１１
５について、あらかじめ数百人の値を測定し、平均して
これを記憶しておく。そして、顔画像中の顔部品位置の
検出結果と比較し、除算により比率を算出する。

【００３７】具体的には、顔輪郭１１０の横幅に対する
目の中心間の距離（幅）１１３の平均Ｍｅｗと検出結果
Ｄｅｗとの比率Ｒｅｗ、眉の中心間の距離（幅）１１２
の平均Ｍｅｂｗと検出結果Ｄｅｂｗとの比率Ｒｅｂｗ、
目と目の中心と眉と眉の中心間の距離（高さ）１１４の
平均Ｍｅｂｈと検出結果Ｄｅｂｈとの比率Ｒｅｂｈ、目
と目の中心と口の中心間の距離（高さ）１１５の平均Ｍ
ｍｈと検出結果Ｄｍｈとの比率Ｒｍｈを、下式によりそ
れぞれ算出する。

【００３８】Ｒｅｗ＝Ｄｅｗ／ＭｅｗＲｅｂｗ＝Ｄｅｂｗ／ＭｅｂｗＲｅｂｈ＝Ｄｅｂｈ／ＭｅｂｈＲｍｈ＝Ｄｍｈ／Ｍｍｈこれにより、顔画像中の顔輪郭に対する顔部品位置の特
徴が抽出される。

【００３９】次に、このようにして抽出された顔部品位
置の特徴に基づき、顔部品の配置位置の補正量を算出す
る。本実施の形態では、上記により算出された各々の比
率に対し、あらかじめ強調の度合い等を考慮して定めら
れた各々の定数を乗じて得られた値を、合成画像中での
顔部品配置位置の補正量とする。

【００４０】すなわち、眉の縦方向の位置補正量を決定
する定数Ｋｅｂｈ、眉の横方向の位置補正量を決定する
定数Ｋｅｂｗ、目の横方向の位置補正量を決定する定数
Ｋｅｗ、口の縦方向の位置補正量を決定する定数Ｋｍｈ
を、それぞれ上記で求めた比率に乗じることによって、
眉の縦方向の位置補正量Ｈｅｂｈ、眉の横方向の位置補
正量Ｈｅｂｗ、目の横方向の位置補正量Ｈｅｗ、口の縦
方向の位置補正量Ｈｍｈを求める（下式参照）。

【００４１】Ｈｅｂｈ＝Ｒｅｂｈ×ＫｅｂｈＨｅｂｗ＝Ｒｅｂｗ×ＫｅｂｗＨｅｗ＝Ｒｅｗ×ＫｅｗＨｍｈ＝Ｒｍｈ×Ｋｍｈこのようにして求めた顔部品の配置位置の補正量に基づ
いて各顔部品の配置位置の補正を行った後、部品配置手
段１８において、似顔絵画像の合成を行うことにより、
使用される顔輪郭部品に適した配置であって、かつ、顔
画像中の顔部品位置の特徴を再現もしくは強調した顔の
テクスチャを合成することが可能となる。図４は、この
ようにして合成した顔のテクスチャの例を示している。

【００４２】部品合成手段１９は、このようにして部品
配置手段１８が生成した２次元の顔テクスチャと、顔部
品データ記憶手段１３から抽出された顔型の３次元モデ
ルとを組み合わせて、３次元の顔モデルを合成する。

【００４３】画像生成手段２０は、図６に示すように、
顔型の３次元モデルに対してテクスチャマッピングを行
う。図６において、符号１２０は顔のテクスチャの画
像、符号１２１は投影方向、符号１２２は顔型の３次元
モデルである。この例では、平行投影を行っている。な
お、上記の表１に例示した顔部品の配置テーブルの値
は、対応する顔型の３次元モデルへマッピングしたとき
に、目、口、眉などの部品が最適な位置となる値であ
る。また、テクスチャマッピングの方法については、従
来周知の技術であり、例えば、「実践コンピュータグラ
フィックス」（日刊工業新聞社刊）などに詳細に解説
されているので、ここでは説明を省略する。

【００４４】顔テスクチャは、図６に示したように、１
枚で顔全体を覆うように生成してもよいし、図７に示す
ように、目、口、眉などを別々のテクスチャとして生成
し、階層的に貼り付けてもよい。図７において、符号１
３０は顔の全体と鼻や耳などのテクスチャ画像、符号１
３１は投影方向、符号１３２は顔型の３次元モデル、符
号１３３は右目や右眉のテクスチャ画像、符号１３４は
左目や左眉のテクスチャ画像、符号１３５は口のテクス
チャ画像である。このように階層的に貼り付けることに
よって、表情が変化するような動作を生成する場合に、
すべてのテクスチャを再度生成する必要がなくなる。つ
まり、変化のあるテクスチャのみを交換することで、高
速かつ少ない記憶量にて動画を実現することが可能とな
る。テクスチャは、平面以外の形状であってもよく、円
筒や球形でもよい。要するに、顔形状の３次元モデルと
の位置の対応が取れていれば、形状は任意である。因み
に、図８は円筒形のテクスチャを生成した場合の投影の
方向を示している。図８において、符号１４０は円筒形
のテクスチャ画像、符号１４１は顔型の３次元モデル、
符号１４２は投影方向である。

【００４５】図９は、３次元モデルへテクスチャマッピ
ングを行って静止画を生成した場合の例である。この例
では、顔面だけであるが、この顔に整合する胴体や頭髪
などの３次元モデルのデータも合わせて持たせておけ
ば、これらを組み合わせて使用することが可能となる。

【００４６】また、テクスチャは一切用いずに、すべて
の顔部品を３次元のモデルで用意し、それを組み合わせ
て３次元の顔モデルを生成することも可能である。この
場合も、その顔型の３次元モデルに最適な顔部品の位置
と大きさとを、部品変形・配置情報記憶手段１４に記憶
させておき、顔部品データ記憶手段１３から抽出した３
次元の顔部品データを拡大、縮小して、顔型の３次元モ
デルに貼り付けることになる。図１０は、この様子を模
式的に示している。図１０において、符号１４３は顔部
品のｘ、ｙ座標系、符号１４４は顔型の３次元モデル、
符号１４５は３次元の顔部品、符号１４６は貼り付け方
向である。この場合、顔部品は顔の表面に貼り付いてい
るという前提があるため、２次元のテクスチャ生成の場
合と同様、顔の正面から見たときのｘ、ｙ座標があれば
十分である。

【００４７】操作者は、さらに生成結果の画像を見なが
ら、編集指定入力手段２２により、顔部品の位置や大き
さを会話的に変化させることにより、より良い似顔絵が
生成できるように編集作業を行うことができる。

【００４８】また、図１１に示すように、時間経過に従
って顔部品（この例では、眉、目、口）を加工しなが
ら、または違う画像へ置換しながら、複数の似顔絵を生
成することにより、動画を生成することが可能である。
この場合は、顔のモデルの向きや、視線のアングル、胴
体の手足も同じく動かすことにより、体全体でのアニメ
ーションを生成することが可能である。

【００４９】

【発明の効果】本発明の画像処理装置によれば、似顔絵
の顔の部品を３次元の部品も含めて顔部品データとして
部品データ記憶手段に記憶し、顔部品特徴情報をこの３
次元の部品へも反映させ、２次元の顔部品と組み合わせ
て３次元の顔モデルを生成するように構成したので、顔
の正面画像から似顔絵の３次元モデルを容易に作成する
ことができる。つまり、任意の方向からの似顔絵を容易
に生成することができる。また、顔の向きを容易に変え
ることができるので、似顔絵アニメーションを容易に生
成することができる。

【００５０】また、本発明の画像処理装置によれば、顔
部品の中でも最も立体的な部品である、顔の形状をうま
く表現して似顔絵を生成するために、顔輪郭決定手段に
よって顔の形状を判断し、その顔型の３次元部品を顔部
品データから抽出するようにしたので、最適な顔型の３
次元モデルを容易に生成することができる。

【００５１】また、本発明の画像処理装置によれば、各
顔型ごとに、その顔型に対する目、眉、口などの顔部品
の最適な配置情報を用意しているので、より自然な似顔
絵を生成することができる。

【００５２】また、本発明の画像処理装置によれば、入
力した顔画像の目、眉、口から得られた特徴量により、
顔型の標準的な顔部品の大きさや位置を補正した上で、
部品を配置するようにしたので、より元の画像の人物に
似せた３次元モデルを生成することができる。

【００５３】また、本発明の画像処理装置によれば、平
面的な部品に関しては２次元のベクトルもしくはビット
マップの形で顔部品を保持し、その部品を３次元の顔型
などの表面にテクスチャとして貼り込むことで３次元モ
デルを生成するように構成したので、３次元モデルを生
成するための処理時間が短縮できるとともに、顔部品の
データ量も少なくてすむ。

【００５４】また、本発明の画像処理装置によれば、
目、眉、口のような顔部品に対して表情などの動きを時
間経過とともに変形させることが容易に可能であるの
で、単に任意の方向から見られるだけの３次元モデルで
はなく、似顔絵アニメーションを容易に生成することが
できる。

【図面の簡単な説明】

【図１】本発明の画像処理装置の一実施の形態を示す機
能ブロック図である。

【図２】顔輪郭の形状の例を示す説明図である。

【図３】各顔部品の中心位置を配置すべき位置座標を示
す説明図である。

【図４】合成した顔のテクスチャの画像例を示す説明図
である。

【図５】顔部品配置補正に使用する特徴量を表す説明図
である。

【図６】顔型の３次元モデルへのテクスチャマッピング
の例を示す説明図である。

【図７】顔型の３次元モデルへの階層的なテクスチャマ
ッピングの例を示す説明図である。

【図８】円筒形のテクスチャを生成した場合の投影の方
向を示す説明図である。

【図９】生成した静止画の例を示す説明図である。

【図１０】顔型の３次元モデルへの３次元顔部品の貼り
付けの例を示す説明図である。

【図１１】動画を生成するための、時間経過に従って変
化する複数の顔部品の例を示す説明図である。

【図１２】従来の技術を用いて合成した似顔絵の例を示
す説明図である。

【符号の説明】

１０画像入力手段１１特徴量抽出手段１２顔部品データ抽出手段１３顔部品データ記憶手段１４部品変形・配置情報記憶手段１５顔輪郭決定手段１６配置位置補正手段１７部品変形手段１８部品配置手段１９部品合成手段２０画像生成手段２１画像出力手段２２編集指定入力手段

フロントページの続きＦターム(参考） 5B050 BA08 BA12 EA04 EA13 EA19 EA24 EA28 FA02 FA19 5B057 BA02 CA12 CA13 CB13 CD11 CE08 DA07 DC09 DC16

Claims

【特許請求の範囲】

【請求項１】画像を入力する画像入力手段と、入力した画像を解析して画像中の部品の大きさ、形状な
どの部品の特徴量を抽出する特徴量抽出手段と、この特徴量抽出手段にて抽出される特徴量に対応する複
数の部品種類を持ち、各部品種類ごとに複数の２次元形
状もしくは３次元形状の部品データを記憶している部品
データ記憶手段と、前記特徴量抽出手段にて抽出された部品の特徴量に基づ
いて前記部品データ記憶手段に記憶されている各種部品
から適当な部品データを抽出する部品データ抽出手段
と、この部品データ抽出手段にて抽出された２次元もしくは
３次元からなる部品データを組み合わせて３次元モデル
を合成する部品合成手段と、この部品合成手段にて合成された３次元モデルから任意
の静止画または動画を生成する画像生成手段と、を備え
たことを特徴とする画像処理装置。
【請求項２】顔の輪郭の形状を決定する顔輪郭決定手
段を備えるとともに、前記部品データ記憶手段には顔輪
郭に対応した複数種類の顔型の３次元モデルが記憶され
ており、前記部品データ抽出手段は、前記顔輪郭決定手
段にて決定された顔輪郭の形状に基づいて前記部品デー
タ記憶手段に記憶されている複数種類の顔型の３次元モ
デルから適当な顔型の３次元モデルを抽出する手段を含
むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】顔型の３次元モデルに対応する、目、
鼻、口、眉などの顔部品の配置情報をあらかじめ記憶し
ている部品変形・配置情報記憶手段を備え、前記部品合
成手段は、前記部品データ抽出手段によって抽出された
顔型の３次元モデルに対して、前記部品変形・配置情報
記憶手段から対応する最適な顔部品の配置情報を抽出
し、この配置情報に基づいて顔部品を配置して３次元の
顔モデルを合成する手段を含むことを特徴とする請求項
２に記載の画像処理装置。
【請求項４】前記特徴量抽出手段は、顔の画像中の顔
部品の配置や大きさなどの顔部品変形情報を抽出する手
段を含み、この特徴量抽出手段にて抽出された顔部品変
形情報に基づいて顔部品の配置位置を補正する配置位置
補正手段を備えていることを特徴とする請求項２または
３に記載の画像処理装置。
【請求項５】前記部品データ記憶手段には、似顔絵を
合成するのに必要な顔部品のうち、目、口、眉などの平
面的な顔部品が２次元画像または２次元画像を生成する
ベクトル情報の形で記憶されており、前記部品合成手段
は、前記部品変形・配置情報記憶手段に記憶されている
配置情報に基づいて１枚または複数枚の顔表面の画像を
合成し、その顔表面画像を、顔型の３次元モデルにテク
スチャとして貼り付けて３次元の顔モデルを合成する手
段を含むことを特徴とする請求項２、３または４に記載
の画像処理装置。
【請求項６】前記部品データ記憶手段には、似顔絵を
合成するのに必要な顔部品のうち、目、口、眉などの平
面的な顔部品の時間経過に基づく部品変形および置換情
報が記憶されており、前記部品合成手段は、前記部品デ
ータ記憶手段に記憶されている部品変形および置換情報
に基づき、顔部品の変形もしくは他の部品への置換を行
った後に顔部品を合成し、その顔表面画像を、顔型の３
次元モデルにテクスチャとして貼り付けて３次元の顔モ
デルを合成する手段を含むことを特徴とする請求項２、
３、４または５に記載の画像処理装置。