JP2001109907A - ３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体 - Google Patents

３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体

Info

Publication number
JP2001109907A
JP2001109907A JP28338799A JP28338799A JP2001109907A JP 2001109907 A JP2001109907 A JP 2001109907A JP 28338799 A JP28338799 A JP 28338799A JP 28338799 A JP28338799 A JP 28338799A JP 2001109907 A JP2001109907 A JP 2001109907A
Authority
JP
Japan
Prior art keywords
image
dimensional model
contour
face
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP28338799A
Other languages
English (en)
Other versions
JP3639475B2 (ja
Inventor
So Takezawa
創 竹澤
Yoshinori Nagai
義典 長井
Kazuhiro Saeki
和裕 佐伯
Toshiya Takahashi
俊哉 高橋
Kyoichi Suzuki
恭一 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP28338799A priority Critical patent/JP3639475B2/ja
Priority to US09/679,482 priority patent/US6879323B1/en
Publication of JP2001109907A publication Critical patent/JP2001109907A/ja
Application granted granted Critical
Publication of JP3639475B2 publication Critical patent/JP3639475B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Abstract

(57)【要約】 【課題】 リアルで複雑な３次元モデルを簡単な操作で
生成する。 【解決手段】 記憶部１、画像入力部２、ユーザ入力部
３、３次元モデル生成部５を備え、３次元モデル生成部
５は、ユーザ入力部３から入力された画像中の対象物体
の大きさ、位置および方向を検出し、記憶部１に記憶さ
れている概略形状モデルを、検出した同じ大きさ、位置
および方向に投影した場合の各頂点の画像上の位置を計
算するとともに、同じ概略形状モデルをあらかじめ定め
た規定の大きさ、位置および方向に投影した場合の各頂
点の画像上の位置を計算し、計算した同じ頂点の両画像
上の座標の対応関係に基づいて画像の変形を行うことに
より、対象物体をあらかじめ定めた規定の大きさ、位置
および方向から見た場合の近似画像を生成し、その近似
画像を概略形状モデルに貼り付けるテクスチャマップデ
ータとしてテクスチャ付き３次元モデルを生成すること
で実現している。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像を利用したリ
アルな３次元モデルを生成する３次元モデル生成装置お
よび３次元モデル生成方法ならびに３次元モデル生成プ
ログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】従来より、画像を利用したリアルな３次
元モデルを生成する技術が種々提案されている。
【０００３】例えば、参考文献１（金子正秀他，「形状
変化の検出と３次元形状モデルに基づく顔動画像の符号
化」，ＩＥ８７−１０１）に記載されているように、顔
の画像上に、あらかじめ顔の形状に関する知験を利用し
て作成された３次元の概略形状モデルを投影し、３次元
モデルの投影座標と顔の画像との対応から、３次元モデ
ルに貼り付けるテクスチャを生成し、これによりテクス
チャ付き３次元モデルを生成する。そして、必要に応じ
加工して表情を生成し、また、入力画像に投影したとき
とは違う方向から投影することにより、擬似的に違う方
向から見た場合の画像を生成して、表示することが行わ
れてきた。
【０００４】また、よりリアルな３次元モデルを生成す
るために、対象物体の画像上に、あらかじめ対象物体の
形状に関する知験を利用して作成された３次元の概略形
状モデルを投影し、この投影した３次元の概略形状モデ
ル上の各頂点もしくは特徴点の座標を、画像上の対象物
体上の各頂点もしくは特徴点に対応する点と一致するよ
う変形等の操作を行って微調整する、といった手法も採
られていた。
【０００５】例えば、特開平４−２８９９７６号公報に
は、対象となる３次元物体の２次元図形情報と、対象物
体の基本形状が近似する３次元基本形状モデルとを入力
として、操作者が２次元図形情報上の特徴点と３次元基
本形状モデル上の制御点とを対応付けることにより、３
次元基本形状モデルを変形して所望の３次元形状モデル
を生成する手法が開示されている。
【０００６】また、複雑な３次元モデルを生成するため
に、単純な形状の３次元モデルや、何らかの方法で作成
した３次元モデルを部品として組み合わせたり、組み合
わせてできた３次元モデルをまた１つの部品として扱
い、さらにそれらの部品を組み合わせることで、より複
雑な３次元モデルを生成するといった手法も採られてい
た。
【０００７】
【発明が解決しようとする課題】一般に、画像の撮影を
行う場合、「正面から」とか、「この方向から」とか指
定をしても、厳密には異なる方向から撮影されてしまう
場合がほとんどである。例えば、人間の顔を撮影する場
合、被写体が「正面」を向いているつもりでも、実際に
は個人の癖などにより少し上や少し下を向いている場合
が多い。従って、正面から撮影された画像をテクスチャ
データとして貼ることを前提としたシステムでは、何ら
かの方法で被写体に対し厳密に「正面」を向かせて撮影
する必要がある。しかし、これでは手軽に撮影すること
が不可能であるし、一般の撮影済みの顔写真を入力画像
として使用することができないといった問題があった。
【０００８】また、このような問題が解決されたとして
も、概略形状モデルの輪郭と、実際の画像上の対象物体
の輪郭とが厳密に一致しないことがあり、この場合に
は、生成された３次元モデルの輪郭付近に、背景などの
色が紛れ込み、色的に不自然な３次元モデルが生成され
てしまうといった問題もあった。
【０００９】また、上記した従来技術では、異なる形状
モデルを複数用意するために、用意する形状モデルの全
てについて、個別にテクスチャを用意する必要があり、
大変な手間がかかるといった問題もあった。
【００１０】また、上記した２つ以上の部品を組み合わ
せて３次元モデルを生成する従来技術では、その組み合
わせ方が問題となる。ここでいう組み合わせ方とは、具
体的には位置や大きさなどをいうが、場合によっては形
状そのものが問題となることもある。例えば、顔の３次
元モデルと髪型の３次元モデルとを組み合わせる場合を
考えると、顔が大きすぎると、髪型が顔の中に埋没して
しまい不自然になる。また逆に、髪型が大きすぎると、
髪が浮いてしまって不自然になる。また、顔の上側の形
状と髪型の下側の形状（いわゆる境界部分）が一致して
いないと、髪の一部が浮いたり、埋没したりすることが
あり、これも不自然になる。さらに、大きさや形状が一
致していても、位置がずれると不自然になることはいう
までもない。
【００１１】従来は、このような不自然さを無くすため
に、組み合わせるたびに大きさや位置、接合部付近の形
状を操作者が調整することで対応していたが、この作業
には多大な手間と時間がかかるといった問題があった。
また、あらかじめ調整用のテーブルを用意し、組み合わ
せた部品によりこのテーブルを参照して調整する方法も
採用されているが、テーブルの作成に手間と時間がかか
るといった同様の問題があった。
【００１２】また、よりリアルな３次元モデルを生成す
るためには、より多くの概略形状モデルを用意する必要
があるが、用意する概略形状モデルの数が多くなると、
これを選択する操作者の負担が増大するといった問題も
あった。
【００１３】さらに、顔は複雑な形状をした物体であ
り、リアルな顔の３次元モデルを作成することは、上記
した従来技術を駆使しても大変な手間と技術とが必要で
あった。
【００１４】本発明はかかる問題点を解決すべく創案さ
れたもので、その目的は、リアルで複雑な３次元モデル
を簡単な操作で生成することができる３次元モデル生成
装置および３次元モデル生成方法ならびに３次元モデル
生成プログラムを記録した記録媒体を提供することにあ
る。
【００１５】
【課題を解決するための手段】上記課題を解決するた
め、本発明の３次元モデル生成装置は、画像を入力する
入力部と、入力された画像中の任意の位置を指定するこ
とのできる位置指定部と、前記画像中の対象物体の概略
形状モデルを含む各種データをあらかじめ記憶している
記憶部と、これら入力部より入力された画像情報、位置
指定部により指定された位置情報および記憶部に記憶さ
れている各種データに基づいて３次元モデルを生成する
３次元モデル生成部とからなり、前記３次元モデル生成
部は、入力された画像中の対象物体の大きさ、位置およ
び方向を検出する手段と、前記記憶部に記憶されている
概略形状モデルを、検出した同じ大きさ、位置および方
向に投影した場合の各頂点の画像上の位置を計算する第
１の計算手段と、同じ概略形状モデルをあらかじめ定め
た規定の大きさ、位置および方向に投影した場合の各頂
点の画像上の位置を計算する第２の計算手段と、これら
第１の計算手段および第２の計算手段により計算された
同じ頂点の両画像上の座標の対応関係に基づいて画像の
変形を行うことにより、対象物体をあらかじめ定めた規
定の大きさ、位置および方向から見た場合の近似画像を
生成する手段と、その近似画像を概略形状モデルに貼り
付けるテクスチャマップデータとしてテクスチャ付き３
次元モデルを生成する手段と、を備えていることを特徴
とする。
【００１６】また、本発明の３次元モデル生成方法は、
入力部から対象物体の画像を入力するステップと、入力
された画像中の対象物体の大きさ、位置および方向を検
出するステップと、記憶部に記憶されている概略形状モ
デルを、検出した同じ大きさ、位置および方向に投影し
た場合の各頂点の画像上の位置を計算するステップと、
同じ概略形状モデルをあらかじめ定めた規定の大きさ、
位置および方向に投影した場合の各頂点の画像上の位置
を計算するステップと、これらのステップにより計算さ
れた同じ頂点の両画像上の座標の対応関係に基づいて画
像の変形を行ことにより、対象物体をあらかじめ定めた
規定の大きさ、位置および方向から見た場合の近似画像
を生成するステップと、その近似画像を概略形状モデル
に貼り付けるテクスチャマップデータとしてテクスチャ
付き３次元モデルを生成するステップと、を備えたこと
を特徴とする。
【００１７】また、本発明の３次元モデル生成プログラ
ムを記録した記録媒体は、入力部から対象物体の画像を
入力するステップと、入力された画像中の対象物体の大
きさ、位置および方向を検出するステップと、記憶部に
記憶されている概略形状モデルを、検出した同じ大き
さ、位置および方向に投影した場合の各頂点の画像上の
位置を計算するステップと、同じ概略形状モデルをあら
かじめ定めた規定の大きさ、位置および方向に投影した
場合の各頂点の画像上の位置を計算するステップと、こ
れらのステップにより計算された同じ頂点の両画像上の
座標の対応関係に基づいて画像の変形を行ことにより、
対象物体をあらかじめ定めた規定の大きさ、位置および
方向から見た場合の近似画像を生成するステップと、そ
の近似画像を概略形状モデルに貼り付けるテクスチャマ
ップデータとしてテクスチャ付き３次元モデルを生成す
るステップと、を含むことを特徴とする。
【００１８】このような特徴を有する本発明の装置、方
法および記録媒体によれば、あらかじめ対象物体の概略
形状モデルに関する知験がある場合において、画像中の
対象物体の特徴点の座標から、その対象物体のおおき
さ、位置および方向を検出し、概略形状モデルに関する
知験に基づいてあらかじめ作成された概略形状モデル
を、検出した同じ大きさ、位置および方向で投影して、
各頂点の画像上の位置（座標）を計算する。また、同じ
概略形状モデルをあらかじめ定めた規定の大きさ、位置
および方向で画像上に投影し、各頂点の画像上の位置
（座標）を計算する。そして、同じ頂点の両画像上の座
標の対応関係に基づいて画像の変形を行うことにより、
対象物体をあらかじめ定めた規定の大きさ、位置および
方向から見た場合の近似画像を生成する。
【００１９】また、本発明の３次元モデルを生成する装
置では、画像を入力する入力部と、入力された画像中の
任意の位置を指定することのできる位置指定部と、前記
画像中の対象物体の概略形状モデルを含む各種データを
あらかじめ記憶している記憶部と、これら入力部より入
力された画像情報、位置指定部により指定された位置情
報および記憶部に記憶されている各種データに基づいて
３次元モデルを生成する３次元モデル生成部とからな
り、前記３次元モデル生成部は、入力された画像中の対
象物体の大きさ、位置および方向を検出する手段と、前
記記憶部に記憶されている概略形状モデルを、検出した
同じ大きさ、位置および方向に投影した場合の各頂点の
画像上の位置を計算する第１の計算手段と、同じ概略形
状モデルをあらかじめ定めた規定の大きさ、位置および
方向に投影した場合の各頂点の画像上の位置を計算する
第２の計算手段と、これら第１の計算手段および第２の
計算手段により計算された同じ頂点の両画像上の座標の
対応関係に基づいて画像の変形を行う手段と、前記概略
形状モデルをあらかじめ定めた規定の大きさ、位置およ
び方向に投影した場合の輪郭付近および／または輪郭の
外側に相当する領域を、輪郭の内側の画素値により埋め
ることにより、対象物体をあらかじめ定めた規定の大き
さ、位置および方向から見た場合の近似画像を生成する
手段と、この近似画像を概略形状モデルに貼り付けるテ
クスチャマップデータとしてテクスチャ付き３次元モデ
ルを生成する手段と、を備えていることを特徴とする。
【００２０】また、本発明の３次元モデル生成方法は、
入力部から対象物体の画像を入力するステップと、入力
された画像中の対象物体の大きさ、位置および方向を検
出するステップと、記憶部に記憶されている概略形状モ
デルを、検出した同じ大きさ、位置および方向に投影し
た場合の各頂点の画像上の位置を計算するステップと、
同じ概略形状モデルをあらかじめ定めた規定の大きさ、
位置および方向に投影した場合の各頂点の画像上の位置
を計算するステップと、これらのステップにより計算さ
れた同じ頂点の両画像上の座標の対応関係に基づいて画
像の変形を行うステップと、前記概略形状モデルをあら
かじめ定めた規定の大きさ、位置および方向に投影した
場合の輪郭付近および／または輪郭の外側に相当する領
域を、輪郭の内側の画素値により埋めることにより、対
象物体をあらかじめ定めた規定の大きさ、位置および方
向から見た場合の近似画像を生成するステップと、この
近似画像を概略形状モデルに貼り付けるテクスチャマッ
プデータとしてテクスチャ付き３次元モデルを生成する
ステップと、を備えたことを特徴とする。
【００２１】また、本発明の３次元モデル生成プログラ
ムを記録した記録媒体は、入力部から対象物体の画像を
入力するステップと、入力された画像中の対象物体の大
きさ、位置および方向を検出するステップと、記憶部に
記憶されている概略形状モデルを、検出した同じ大き
さ、位置および方向に投影した場合の各頂点の画像上の
位置を計算するステップと、同じ概略形状モデルをあら
かじめ定めた規定の大きさ、位置および方向に投影した
場合の各頂点の画像上の位置を計算するステップと、こ
れらのステップにより計算された同じ頂点の両画像上の
座標の対応関係に基づいて画像の変形を行うステップ
と、前記概略形状モデルをあらかじめ定めた規定の大き
さ、位置および方向に投影した場合の輪郭付近および／
または輪郭の外側に相当する領域を、輪郭の内側の画素
値により埋めることにより、対象物体をあらかじめ定め
た規定の大きさ、位置および方向から見た場合の近似画
像を生成するステップと、この近似画像を概略形状モデ
ルに貼り付けるテクスチャマップデータとしてテクスチ
ャ付き３次元モデルを生成するステップと、を含むこと
を特徴とする。
【００２２】このような特徴を有する本発明の装置、方
法および記録媒体によれば、あらかじめ対象物体の概略
形状モデルに関する知験がある場合であり、かつ輪郭付
近とその他の領域において色に共通性がみられる場合に
おいては、生成モデルの輪郭付近に当たるテクスチャデ
ータの画素値を、概略形状モデルにおける輪郭の内側の
領域の１つ、もしくは複数の画素値から決定することに
より、輪郭付近においてもより自然な色をもった３次元
モデルを生成することが可能となる。
【００２３】また、本発明の３次元モデル生成装置は、
上記構成の３次元モデル生成装置において、記憶部は、
あらかじめテクスチャの貼り付け規則を一定に定めた複
数の概略形状モデルを記憶しており、３次元モデル生成
部は、あらかじめ定めたテクスチャの貼り付け規則に適
合するようにテクスチャを作成し、用意された複数の概
略形状モデルから１つのモデルを選択し、選択した概略
形状モデルと作成されたテクスチャとを組み合わせてテ
クスチャ付き３次元モデルを生成することを特徴とす
る。
【００２４】このような特徴を有する本発明の装置によ
れば、あらかじめ対象物体の概略形状モデルに関する知
験がある場合において、複数の概略形状モデル間におけ
る差異が対象物体の形状のバリエーションを表すもので
ある場合、すなわち、概略形状モデルがある程度共通で
ある場合に、どの概略形状モデルにおいても、その特徴
点の位置が、テクスチャデータ画面上における特徴点の
位置に対応するようテクスチャの貼り付け規則を定めて
おくことにより、どの概略形状モデルにおいても同一の
テクスチャ画像を使用することが可能となる。
【００２５】また、本発明の３次元モデル生成装置は、
あらかじめ作成した対象物体の構成部品である複数の３
次元モデルを、あらかじめ定めた規則に従って組み合わ
せて使用することにより、対象物体の３次元モデルを生
成する装置であって、組み合わせる前記部品同士の大き
さ、位置および方向があらかじめ決められており、か
つ、組み合わせる接合部分の形状があらかじめ統一して
作成されていることを特徴とする。また、本発明の３次
元モデル生成装置は、組み合わせて生成した３次元モデ
ルを、必要に応じて拡大、縮小、回転、移動等する手段
をさらに備えたことを特徴とする。
【００２６】このような特徴を有する本発明の３次元モ
デル生成装置によれば、あらかじめ組み合わせる部品の
性質が分かっている場合、例えば顔と髪型のような場合
に、組み合わせる接合面は一定の形状、例えば顔と髪型
であれば頭皮の形状等に統一し、またその接合面の空間
的な位置も統一された位置になるようにあらかじめ３次
元モデルデータを作成しておく。このようにして用意さ
れた３次元モデルを使用すれば、どの顔の３次元モデル
と、どの髪型の３次元モデルとを組み合わせても、大き
さ、位置および方向等の調整を行うことなく、組み合わ
された頭部の３次元モデルを生成することができる。ま
た、組み合わせて生成された頭部の３次元モデルの全体
を、拡大、縮小、移動、回転等したとしても、組み合わ
せ接合面に不整合が生じることもない。
【００２７】また、本発明の３次元モデル生成装置は、
入力画像からその画像に含まれる顔の３次元モデルを生
成する装置であって、顔の画像を入力する入力部と、入
力された顔の各部位を指定することのできる位置指定部
と、これら入力部より入力された画像情報、位置指定部
により指定された位置情報に基づいて顔の３次元モデル
を生成する３次元モデル生成部とからなり、前記３次元
モデル生成部は、前記位置指定部により指定された１つ
以上の位置情報に基づいて顎の輪郭特徴を検出し、その
検出した顎の輪郭特徴から顎の形状を判定する輪郭検出
・判定手段と、この判定結果に対応する構造の３次元モ
デルを選択して、所望の３次元モデルを生成する３次元
モデルを生成する３次元モデル生成手段と、を備えたこ
とを特徴とする。
【００２８】また、本発明の３次元モデル生成方法は、
入力部から顔の画像を入力するステップと、入力された
顔の各部位を位置指定部によって指定するステップと、
位置指定部により指定された１つ以上の位置情報に基づ
いて顎の輪郭特徴を検出し、その検出した顎の輪郭特徴
から顎の形状を判定するステップと、この判定結果に対
応する構造の３次元モデルを選択し、所望の３次元モデ
ルを生成するステップと、を備えたことを特徴とする。
【００２９】また、本発明の３次元モデル生成プログラ
ムを記録した記録媒体は、入力部から顔の画像を入力す
るステップと、入力された顔の各部位を位置指定部によ
って指定するステップと、位置指定部により指定された
１つ以上の位置情報に基づいて顎の輪郭特徴を検出し、
その検出した顎の輪郭特徴から顎の形状を判定するステ
ップと、この判定結果に対応する構造の３次元モデルを
選択し、所望の３次元モデルを生成するステップと、を
含むことを特徴とする。
【００３０】このような特徴を有する本発明の装置、方
法および記録媒体によれば、操作者は、最初に位置指定
部により、入力画像中に含まれている人物の顔の特徴点
（例えば、両目、口の中心位置など）となる位置情報を
入力する。次に、入力された特徴点情報から、顔の輪郭
特徴（輪郭線など）を検出する。次に、その検出結果か
ら顎の形状（例えば、顔形状の種類として、丸型、卵
型、四角型など）を判定する。ここで、形状の判定は、
例えば、検出した輪郭線とあらかじめ用意した基準とな
る複数の顔輪郭線（基準顔輪郭）とを比較し、もっもと
近似している基準顔輪郭の形状を所望の顔輪郭形状とす
る。
【００３１】一方、あらかじめ基準顔輪郭に対応する顔
の３次元モデルを用意しておく。なお、顔の３次元モデ
ルは、輪郭の特徴だけを、基準顔輪郭の特徴に合わせて
プロのデザイナーなどがあらかじめ作成し、記憶部に３
次元モデル構造情報として記憶しておくこととする。
【００３２】最後に、最終的に求めた基準輪郭形状に基
づいて、対応する顔の３次元モデルを決定する。すなわ
ち、所望の顔の３次元モデルは、上記の記憶部の中から
決定した顔の３次元モデル構造情報を読み出して生成す
ればよい。
【００３３】このように、操作者は、顔の目や口などの
数点の特徴点を入力するだけで、顔の顎形状の特徴を捉
えた３次元モデルを容易に生成し、利用することが可能
となる。
【００３４】なお、顔輪郭特徴から輪郭線を抽出し、形
状を判定する手法としては、例えば前記の参考文献１に
示されているような手法、すなわち、動的輪郭モデルを
用いて実写画像中の物体の輪郭線を抽出し、基準顔輪郭
の輪郭線と輪郭距離関数の特徴点とを比較することによ
り、顎形状を判定する手法を用いることができる。
【００３５】また、本発明の３次元モデル生成装置は、
上記構成の３次元モデル生成装置において、輪郭検出・
判定手段は、顔の特徴点の位置情報を前記位置指定部に
より指定して、画像上の顔の中心位置を確定する手段
と、顔輪郭の近傍に初期輪郭の配置を行う手段と、画像
上の顔の中心位置と初期輪郭とに基づいて、顔中心座標
と初期輪郭上の各座標とを結ぶ直線上の隣り合う画素間
の色差を算出し、対象画素間の座標中点を座標値とし
て、算出した色差を画素値にもつ色差マップ画像を作成
する手段と、作成した色差マップ画像を利用して、初期
輪郭を動的輪郭モデルに従って移動させることにより、
輪郭線を抽出する手段と、抽出した輪郭線を元に距離関
数を算出する手段と、算出した距離関数の特徴を、基準
となる顎形状の輪郭線からあらかじめ作成しておいた距
離関数と比較することにより、顎の形状を判定する手段
とを含むことを特徴とする。
【００３６】また、本発明の３次元モデル生成方法は、
入力部から顔の画像を入力するステップと、入力された
顔の特徴点の位置情報を位置指定部により指定して、画
像上の顔の中心位置を確定するステップと、顔輪郭の近
傍に初期輪郭の配置を行うステップと、画像上の顔の中
心位置と初期輪郭とに基づいて、顔中心座標と初期輪郭
上の各座標とを結ぶ直線上の隣り合う画素間の色差を算
出し、対象画素間の座標中点を座標値として、算出した
色差を画素値にもつ色差マップ画像を作成するステップ
と、作成した色差マップ画像を利用して、初期輪郭を動
的輪郭モデルに従って移動させることにより、輪郭線を
抽出するステップと、抽出した輪郭線を元に距離関数を
算出するステップと、算出した距離関数の特徴を、基準
となる顎形状の輪郭線からあらかじめ作成しておいた距
離関数と比較することにより、顎の形状を判定するステ
ップと、を含むことを特徴とする。
【００３７】また、本発明の３次元モデル生成プログラ
ムを記録した記録媒体は、入力部から顔の画像を入力す
るステップと、入力された顔の特徴点の位置情報を位置
指定部により指定して、画像上の顔の中心位置を確定す
るステップと、顔輪郭の近傍に初期輪郭の配置を行うス
テップと、画像上の顔の中心位置と初期輪郭とに基づい
て、顔中心座標と初期輪郭上の各座標とを結ぶ直線上の
隣り合う画素間の色差を算出し、対象画素間の座標中点
を座標値として、算出した色差を画素値にもつ色差マッ
プ画像を作成するステップと、作成した色差マップ画像
を利用して、初期輪郭を動的輪郭モデルに従って移動さ
せることにより、輪郭線を抽出するステップと、抽出し
た輪郭線を元に距離関数を算出するステップと、算出し
た距離関数の特徴を、基準となる顎形状の輪郭線からあ
らかじめ作成しておいた距離関数と比較することによ
り、顎の形状を判定するステップと、この判定結果に対
応する構造の３次元モデルを選択して、所望の３次元モ
デルを生成するステップと、を含むことを特徴とする。
また、本発明の３次元モデル生成装置は、上記構成の３
次元モデル生成装置において、前記輪郭検出・判定手段
は、位置指定部により指定された１つ以上の位置情報に
基づいて顔の各部位の特徴量を検出する特徴量抽検出段
をさらに含み、前記３次元モデル生成手段は、検出した
顔の各部位の特徴量に基づいて、前記選択手段により選
択された３次元モデルの構造を変形する手段を含むこと
を特徴とする。
【００３８】このような特徴を有する本発明の装置によ
れば、操作者が位置指定部により指定した顔の各部位の
特徴量、例えば、目や口の大きさなどの各部位の大きさ
や、両目の間隔や顔幅などの各部位間の距離を検出す
る。また、上記と同様にして、顎形状によって選択され
た３次元モデルを、検出された特徴量に基づき、変形さ
せる。すなわち、顎形状によって、同じ卵型の３次元モ
デルが選択された場合でも、例えば、顔幅の広い人や狭
い人などの個人差に応じて、個人の特徴を生かした３次
元モデルを生成することが可能となる。
【００３９】
【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照して説明する。ここでは、説明を容易に
するために、対象物体を顔の形状に特化して説明する。
【００４０】図１は、本発明の３次元モデル生成装置の
一実施の形態を示すシステム構成図である。
【００４１】本実施の形態の３次元モデル生成装置は、
記憶部１、画像入力部２、ユーザ入力部３、表示部４お
よび３次元モデル生成部５によって構成されている。
【００４２】記憶部１は、画像中の対象物体の概略形状
モデルを含む各種データをあらかじめ記憶している。
【００４３】また、画像入力部２としては、例えばデジ
タルスチルカメラ、スキャナ、ビデオキャプチャ等のさ
まざまな入力手段を用いることができるが、本実施の形
態では、このような特定の入力手段だけでなく、任意の
静止画像入力手段を用いることができる。
【００４４】ユーザ入力部３は、操作者の操作により各
種の情報を入力するブロックであり、ここでは、例えば
キーボード類やマウス等のポインティングデバイス類を
用いているが、この他にもさまざまな入力方法が可能で
ある。
【００４５】表示部４は、ＣＲＴや液晶ディスプレイ等
からなり、生成された３次元モデルの表示や、操作者が
選択等を行う際の選択候補の表示などに使用される。
【００４６】３次元モデル生成部５は、演算処理装置で
あるＣＰＵ５１、３次元モデル生成プログラムを格納し
ているＲＯＭ５２、プログラム動作時のワークエリア等
として用いられるＲＡＭ５３からなり、ＲＯＭ５２に格
納されている３次元モデル生成プログラムに従い、画像
入力部２から入力された画像情報、ユーザ入力部３から
入力された各種の情報、記憶部１に記憶されている各種
データ等に基づいて各種の演算処理を行い、３次元モデ
ルを生成するブロックである。
【００４７】この３次元モデル生成部５を機能的に分け
ると、入力された画像中の対象物体の大きさ、位置およ
び方向を検出する手段と、記憶部１に記憶されている概
略形状モデルを、検出した同じ大きさ、位置および方向
に投影した場合の各頂点の画像上の位置を計算する第１
の計算手段と、同じ概略形状モデルをあらかじめ定めた
規定の大きさ、位置および方向に投影した場合の各頂点
の画像上の位置を計算する第２の計算手段と、これら第
１の計算手段および第２の計算手段により計算された同
じ頂点の両画像上の座標の対応関係に基づいて画像の変
形を行うことにより、対象物体をあらかじめ定めた規定
の大きさ、位置および方向から見た場合の近似画像を生
成する手段と、その近似画像を概略形状モデルに貼り付
けるテクスチャマップデータとしてテクスチャ付き３次
元モデルを生成する手段とを含んだ構成となっている。
また、概略形状モデルをあらかじめ定めた規定の大き
さ、位置および方向に投影した場合の輪郭付近および／
または輪郭の外側に相当する領域を、輪郭の内側の画素
値により埋めることにより、対象物体をあらかじめ定め
た規定の大きさ、位置および方向から見た場合の近似画
像を生成する手段をさらに含んだ構成となっている。
【００４８】図２は、上記構成の３次元モデル生成装置
による３次元モデルの生成動作（ＲＯＭ５２に格納され
ている３次元モデル生成プログラムの処理動作）を示す
フローチャートである。以下の説明は、このフローチャ
ートに沿って説明する。
【００４９】操作者は、まず、画像入力部２より顔画像
を入力する（ステップＳ１）。入力された顔画像は、表
示部４に表示される。図３（ａ）は、表示部４に表示さ
れた入力画像（顔画像）３０１の例を示している。
【００５０】次に操作者は、この顔画像３０１に対し
て、座標指定を行う（ステップＳ２）。すなわち、表示
された顔画像３０１の目、鼻、口、輪郭上の点等の座標
を入力する。図４は、座標指定の例を示しており、入力
画像３０１の上にある十字が操作者によって座標指定さ
れたポイントである。本実施の形態では、両目、鼻、口
と、輪郭上での顎の先、左右の耳付近の計７点を入力し
ている。
【００５１】次に、このように入力された顔の座標情報
から、顔の大きさ、位置および方向を推定（検出）する
（ステップＳ３）。この顔の大きさ、位置および方向の
推定方法にはさまざまな方法が考えられるが、本実施の
形態では、標準顔形状モデルを、仮に推定した大きさ、
位置および方向で画像上に投影する。そして、標準顔形
状モデル上の目、鼻、口が投影された座標と、操作者の
指定した点（目、鼻、口の点）との位置ずれを計算す
る。次に、この仮に推定した大きさ、位置および方向か
ら少しずらした位置および方向に投影し、同様にして標
準顔形状モデル上の目、鼻、口が投影された座標と、操
作者の指定した点（目、鼻、口の点）との位置ずれを計
算する。そして、このずれが最小となる大きさ、位置お
よび方向を求め、これを次の仮に推定した大きさ、位置
および方向として、上記の処理を繰り返す。このような
処理を繰り返し、最後に、これ以上ずれが小さくならな
くなったときの大きさ、位置および方向を、入力画像の
顔の大きさ、位置および方向とする。
【００５２】このようにして、ステップＳ３で顔の大き
さ、位置および方向を推定すると、次に、画像上に標準
顔形状データを投影して、テクスチャ画像を生成する
（ステップＳ４）。すなわち、ステップＳ３で推定した
顔の大きさ、位置および方向で標準顔形状データを画面
上に投影し、標準顔形状データの全ての頂点の座標を計
算する。図３（ｂ）に符号３０３で示す３次元モデル
が、この推定した位置および方向による標準顔形状デー
タの投影結果を模式的に表したものである。また、これ
と同時に、テクスチャ画像上に標準顔形状データを所定
の大きさおよび位置で正面から平行投影し、標準顔形状
データの全ての頂点の座標を計算する。図３（ｄ）に符
号３０４で示す３次元モデルが、この所定の大きさおよ
び位置で正面から標準顔形状モデルを投影した結果を模
式的に表したものである。すなわち、ある頂点の顔画像
上での投影座標が、同一の頂点のテクスチャ画像上での
投影座標に対応するものとし、この対応情報に基づき、
画像変形の手法を用いて、顔画像からテクスチャ画像上
に転写する。つまり、図３（ｂ）により表現される図形
が、図３（ｄ）により表現される図形に画像変形しつつ
転写されることになる。ここで用いられる画像変形の手
法は、画像処理の分野ではよく知られた技術であり、こ
の技術分野に属する技術者にとっては容易に実現できる
ものである。そのため、ここでは画像変形のより具体的
な手法の説明を省略する。
【００５３】ここで、このままでは場合により輪郭付近
のテクスチャの色が不安定になることがあるため、輪郭
付近を物体の色で塗ることにより、輪郭付近の色が安定
するようにする（ステップＳ４−１）。図５は、この操
作を模式的に説明する図である。すなわち、標準顔形状
データの輪郭（符号５０１により示す）より少し中央寄
りにエリア５０２を設定し、このエリア５０２の画素値
の平均を取り、この画素値の平均となるように、標準顔
形状データの輪郭付近の画素およびその外側の画素（符
号５０３により示すエリア）を塗り潰す。この転写およ
び塗り潰しの結果は、対象物体を所定の大きさおよび位
置となるように正面から撮影した画素に近似した画像と
なっている。この画像を、標準顔形状データに対して正
面から平行投影により貼り付けるテクスチャ画像として
使用する。図３（ｃ）は、入力画像３０１（図３（ａ）
参照）から作成されるテクスチャ画像３０２の例を示し
ている。
【００５４】次に、複数用意された顔形状モデル（概略
形状モデル）から、モデルの選択を行う。本実施の形態
では、まず自動顔形状モデル選択ステップにて自動的に
顔形状モデルの選択を行い、次いで操作者による選択指
示入力により顔形状モデルの選択を行う（ステップＳ５
−１）。この場合、操作者は、自動で選択された顔形状
モデルをそのまま使用してもよいが、ユーザ入力部３よ
り選択指示を入力することにより、別の顔形状モデルを
選択できるようになっている。
【００５５】この自動顔形状モデル選択ステップ（ステ
ップＳ５−１）は、以下の方法で実施される。
【００５６】まず、入力画像中の対象物体である顔の外
周に相当する部分付近でエッジ検出を行う。このエッジ
検出はさまざまな手法が知られており、この技術分野に
属する技術者にとっては容易に実現できるものであるた
め、エッジ検出の詳細については説明を省略する。ま
た、エッジ検出を含め、輪郭検出にはさまざまな手法が
考えられるが、それらの手法を本実施の形態の輪郭検出
に適用することも容易に可能である。
【００５７】次いで、この検出されたエッジの形状と、
選択可能な顔形状モデルの外周部の形状との比較を行
う。本実施の形態では、顔の中心から放射状に伸ばした
線を考え、その線上において検出されたエッジと顔形状
モデルの外周部との距離の差の自乗和を求めることを比
較方法としている。図６はこの比較の様子を模式的に表
した図である。同図において、符号６０１は検出された
輪郭、符号６０２は顔形状モデルの外周部の形状、符号
６０３は顔の中心、符号６０４は中心から放射状に伸ば
した線のうちの１本、符号６０５は別の放射状に伸ばし
た線と、検出された輪郭６０１との交点、符号６０６は
同じ別の放射状に伸ばした線と、顔形状モデルの外周部
の形状６０２との交点、符号６０７はこの両交点６０
５、６０６間の距離を表している。なお、図が複雑にな
るため説明を省略しているが、全ての放射状に伸ばした
線に対して、輪郭６０１との交点および顔形状モデルの
外周部の形状６０２との交点を求め、その交点間の距離
を算出するこというまでもない。そして、これら全ての
交点間の距離の自乗和を算出し、それを全てのあらかじ
め用意された選択可能な顔形状３次元モデルに関して計
算し、その計算された自乗和の値が最小値となる顔形状
３次元モデルを選択する。以上が、自動顔形状モデル選
択ステップの説明である。ただし、この方法以外にもさ
まざまな比較の方法が可能であり、それらの方法を本実
施の形態の顔形状モデル選択に適用することは容易に可
能である。
【００５８】なお、本実施の形態では、顔形状モデル
（概略形状モデル）は、あらかじめ所定の大きさおよび
位置で正面から投影された画像をテクスチャ画像とする
よう、あらかじめテクスチャ画像を貼り付けるための情
報が付加されており、所定の大きさおよび位置で正面か
ら投影された画像であれば、どの画像とどのモデルとの
組み合わせであっても、正しい顔３次元モデルが生成さ
れるようになっている。従って、どの顔形状モデルが選
択されたとしても、テクスチャデータは上記で生成した
１枚をそのまま使うだけでよい。つまり、操作者は、自
動モデル選択ステップによるモデル選択結果に関わら
ず、モデルごとにテクスチャ画像の作り直しや、テクス
チャ画像の貼り付けの微調整といった作業が全く不要と
なり、容易にモデルの選択が行えるようになっている。
【００５９】図７は、このことを模式的に表現した図で
ある。すなわち、複数ある顔形状３次元モデル（ここで
は、７０１、７０２の２例を示している）のどちらを選
択したとしても、単一のテクスチャ画像７０３との組み
合わせにより、それぞれ顔３次元モデル７０４、７０５
を得ることができる。
【００６０】次に、髪型の形状モデルを選択する（ステ
ップＳ５−２）。髪型の形状モデルは、顔形状モデルと
整合させるため、あらかじめ接合面の形状や位置が全て
の顔型（顔形状モデル）および髪型で統一されて作成さ
れている。ただし、ここでいう統一とは、必ずしも完全
に同一の形状をしていることを意味するものではなく、
例えば接合面が同一形状の一部分のみで構成されるよう
な形状も含んでいる。また、他にも組み合わせた場合に
不整合が発生しない形状を考えることもでき、それらを
本実施の形態の髪型の形状モデルの選択に適用すること
は容易に可能である。
【００６１】このようにしてあらかじめ接合面の統一が
なされているため、任意の顔型の３次元モデル（顔形状
３次元モデル）が選択された状態で、任意の髪型の３次
元モデルが選択された場合でも、大きさ、位置および方
向の調整等をなんら行うことなく、単純に３次元モデル
を組み合わせるだけで、顔に髪型の付いた３次元モデル
を生成することができる。
【００６２】図８は、このことを模式的に表現した図で
ある。図中の符号８０１〜８０３は髪型の３次元モデ
ル、符号８０４、８０５は顔の３次元モデルを模式的に
表現したものである。８０１〜８０３の髪型の３次元モ
デルの接合部分（接合面）の形状は同一の形状であり、
８０３の髪型の３次元モデルの接合部分の形状は、他の
髪型の３次元モデル８０１、８０２の接合部分の一部分
の形状で構成されている。また、符号８０６、８０７
は、それぞれ髪型の３次元モデルと顔の３次元モデルと
を組み合わせた例であり、符号８０６は髪型の３次元モ
デル８０３と顔の３次元モデル８０４とを組み合わせた
例、符号８０７は髪型の３次元モデル８０１と顔の３次
元モデル８０５とを組み合わせた例である。このよう
に、任意の髪型と任意の顔の３次元モデルを組み合わせ
たとしても、全ての３次元モデルの接合部分の形状が統
一されているため、接合部の不整合が発生することはな
く、好ましい頭部３次元モデルが生成されている。
【００６３】最後に、組み合わせて生成した頭部３次元
モデルの全体に対し、横方向の拡大／縮小の操作を行
う。顔形状３次元モデルの自動選択の過程（ステップＳ
５−１）で取得した入力画像中の輪郭情報を元に、入力
画像中の顔の幅が、あらかじめ定めておいた標準的な幅
より広い場合には横方向に拡大し、入力画像中の顔の幅
が、あらかじめ定めておいた標準的な幅より狭い場合に
は横方向に縮小する。操作者は、このような拡大／縮小
率をそのまま使用してもよいし、ユーザ入力部３により
拡大／縮小率を入力することにより、拡大／縮小率を変
更してもよい。
【００６４】このようにして生成されたテクスチャ画像
と、自動もしくは操作者により選択された顔形状モデル
および髪型形状モデルと、自動もしくは操作者により選
択された頭部の拡大／縮小率とにより、頭部の３次元モ
デルを生成し、必要に応じて表示部４への表示や、図示
しない出力部からの出力を行う。図９は、このようにし
て生成された頭部の３次元モデル９０１の例を示してい
る。
【００６５】図１０は、本発明の３次元モデル生成装置
の他の実施の形態を示すシステム構成図である。
【００６６】本実施の形態においては、外部から入力さ
れた画像、すなわち装置が外部から取得した画像（入力
画像）に含まれる人物顔の顎の輪郭特徴を検出して、顎
の形状を判定し、その形状判定結果に基づき、入力画像
中の人物顔に対応する顔の３次元モデルを生成するもの
である。
【００６７】すなわち、本実施の形態の３次元モデル生
成装置は、電子画像を取得する画像取得手段としての画
像入力部１１、入力画像の任意の位置を指定する手段と
しての位置指定部１２、入力画像中の特徴量を検出し
て、顎の形状を判定する輪郭検出・判定手段１３、特徴
に応じた３次元モデルを生成する３次元モデル生成手段
１４、および生成した３次元モデルを外部に出力する出
力部１５によって構成されている。
【００６８】輪郭検出・判定手段１３および３次元モデ
ル生成手段１４は、その処理動作を行うために、演算装
置１３ａ、１４ａと記憶装置（ＲＯＭ、ＲＡＭ等）１３
ｂ、１４ｂとをそれぞれ備えている。なお、３次元モデ
ル生成プログラムは、記憶装置１３ｂ、１４ｂのＲＯＭ
に格納されている。
【００６９】また、輪郭検出・判定手段１３をさらに機
能的に分けると、顔の特徴点の位置情報を位置指定部１
２により指定して、画像上の顔の中心位置を確定する手
段と、顔輪郭の近傍に初期輪郭の配置を行う手段と、画
像上の顔の中心位置と初期輪郭とに基づいて、顔中心座
標と初期輪郭上の各座標とを結ぶ直線上の隣り合う画素
間の色差を算出し、対象画素間の座標中点を座標値とし
て、算出した色差を画素値にもつ色差マップ画像を作成
する手段と、作成した色差マップ画像を利用して、初期
輪郭を動的輪郭モデルに従って移動させることにより、
輪郭線を抽出する手段と、抽出した輪郭線を元に距離関
数を算出する手段と、算出した距離関数の特徴を、基準
となる顎形状の輪郭線からあらかじめ作成しておいた距
離関数と比較することにより、顎の形状を判定する手段
とを含んだ構成となっている。
【００７０】図１１は、上記構成の３次元モデル生成装
置による３次元モデル生成動作を示すフローチャートで
ある。以下の説明は、このフローチャートに沿って説明
する。
【００７１】まず、前提として、画像入力部１１によ
り、対象となる物体（以下、本実施の形態では原画像と
いう）が記憶装置１３ｂ、１４ｂに格納されているもの
とする。
【００７２】この状態で、操作者は、まず最初に顔の特
徴点（目、口など）の位置情報を位置指定部１２により
指定し、原画像上の顔の中心位置を確定する（ステップ
Ｓ２１）。この顔の中心位置は、操作者が、別に直接指
定してもよいし、図１２に示すように、右目、左目、口
の中心座標を指定（図中の符号１２１、１２２、１２３
により示す）し、その中心を顔の中心位置として算出し
てもよい。
【００７３】このようにして顔の中心位置を確定する
と、次に顔輪郭の近傍に初期輪郭の配置を行う（ステッ
プＳ２２）。初期の配置は、例えば、目と口の領域を囲
むような閉領域を初期輪郭とする。すなわち、目や口の
相対距離を統計的にあらかじめ調べておいて、目と口を
囲むよな楕円輪郭線を配置すればよい。このようにして
中心位置１３１および初期輪郭１３２を確定した画像を
図１３に示す。
【００７４】次に、このようにして確定した原画像と中
心位置１３１および初期輪郭１３２とに基づいて、顔中
心座標と初期輪郭上の各座標とを結ぶ直線上の隣り合う
画素間の色差を算出し、対象画素間の座標中点を座標値
として、算出した色差を画素値にもつ画像（色差マップ
画像）を作成する（ステップＳ２３）。
【００７５】ここで、色差を算出する方法としては、例
えば、画像データの各単色光ごとの輝度値を画素間でそ
れぞれ減算処理することにより差分値を算出し、各単色
光ごとに算出した差分値の合計値を色差として算出す
る。また、別の方法としては、例えば画素データを各単
色光の輝度値から、色相（Ｈ）、彩度（Ｓ）、輝度
（Ｖ）で表現されるＨＳＶ値に変換し、色差を求める２
画素のＨＳＶ空間上での位置を求め、その間の距離値を
色差としてもよい。また、隣り合う画素間ではなく、例
えば連続する複数の画素単位ごとに平均色を求め、その
平均色同士の色差を求めてもよい。
【００７６】また、色差の算出時には、対象が人物顔で
あることを利用して色差の検出精度を変更してもよい。
例えば、色差を算出する際に比較する２画素の画素値が
肌色を表す画素値に近い値をもつ場合、その２点の画素
は顔輪郭内の画素である可能性が高いとみなし、色差の
検出精度を低くして、ノイズ等の影響を軽減することが
できる。一方、顎と首とはどちらも肌色を表す画素値を
もつ可能性が高く、その境目である顎境界を検出する際
には、検出精度を上げた方がよい。従って、中心から首
方向への直線上の色差検出では、色差の検出精度を高め
るようにして、顎境界を検出し易くする。なお、首の位
置は、例えば口の座標が既知であるならば、その座標か
ら方向を推定することが可能である。
【００７７】例えば、図１４に示すような顔中心１３１
と初期輪郭１３２の上の座標点１４１を結ぶ直線１４２
上の色差を求める場合の模式図を図１５に示す。図１５
において、符号１５１で示す各値が直線上の画素値の並
びを示し、符号１５２で示す値が隣り合う２点間の画素
値の差分を示している。すなわち、この例では、符号１
５２で示す配列が色差の並びを示している。
【００７８】また、このようにして色差を検出した後
に、さらに人物顔輪郭独自の特徴性を利用して、より顔
輪郭形状に特化した色差マップ画像を作成してもよい。
例えば、顔を楕円の相似形であると仮定し、図１６
（ａ）、（ｂ）に示すように、顔中心を中心とする任意
の大きさの楕円曲線１６１〜１６３上の１点と、これに
隣り合う２点の計３点の色差（符号１６４により示す）
を平均化して、その座標の色差として再格納することに
よりノイズの影響を抑制するようにしてもよい。図１６
（ｂ）では、３点の色差がそれぞれ３２、２８、３４で
あるので、これを平均化して３２［（３２＋２８＋３
４）÷３＝３１．３３、、、（端数切り上げ）］として
いる。
【００７９】このように、人物顔であることを制約条件
に用いることにより、鮮明な輪郭線が現れていない入力
画像やノイズの多い画像に対しても、顎形状の特徴を特
化した、より安定な色差マップ画像を作成することがで
きる。
【００８０】次に、このようにして作成した色差マップ
画像を利用して、初期輪郭を動的輪郭モデルに従って移
動させることにより、輪郭線を抽出（検出）する（ステ
ップＳ２４）。
【００８１】ここで、エネルギー関数Ｅとして、例え
ば、輪郭線のなめらかさを表す内部エネルギーＥ１、輪
郭を収縮しようとするエネルギーＥ２、物体輪郭を特徴
付ける画像エネルギーＥ３の和Ｅ＝Ｅ１＋Ｅ２＋Ｅ３を
求め、このＥを最小化するように輪郭を移動させる。な
お、動的輪郭モデルを用いて輪郭抽出を行う手法とし
て、ここではＳｎａｋｅ法を利用している。Ｓｎａｋｅ
法は、参考文献２（Ｍ．Ｋａｓｓ．「Ｓｎａｋｅｓ：Ａ
ｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌｓ」，Ｉｎ
ｔ．Ｊ．Ｃｏｍｐｕｔ．Ｖｉｓｉｏｎ，ｐ．３２１，１
９８８）に開示されている。
【００８２】ここで、画像エネルギーＥ３には、ステッ
プＳ２３で作成した色差マップ画像を利用する。すなわ
ち、画像上の任意のＰ（ｘ，ｙ）における画像エネルギ
ーＥ３（Ｐ）は、Ｐに対応する色差マップ画像上の色差
値をＤ（Ｐ）としたとき、下式（１）から求められる。
【００８３】 Ｅ３（Ｐ）＝α×（ＭＡＸ（Ｄ）−Ｄ（Ｐ）） ・・・（１） ただし、ＭＡＸ（Ｄ）：色差マップ画像中の色差の最大
値、係数α：エネルギー関数Ｅにおける画像エネルギー
の度合、である。
【００８４】この式（１）に従えば、色差の小さいとこ
ろほど画像エネルギーは大きくなるので、エネルギーを
最小化する方向へと輪郭が移動しやすくなる。逆に色差
が大きいところほど画像エネルギーは小さくなり、輪郭
はそこから移動しにくくなる。すなわち、顔領域と背景
領域との境目のような物体の色領域の境目で画像エネル
ギーが低くなるので、輪郭はそのような領域の境目で収
束しやすくなる。
【００８５】このように、画像エネルギーとしてステッ
プＳ２３で求めた色差マップ画像を利用することによ
り、顎形状の特徴を加味したエネルギー画像を作成する
ことができ、鮮明な輪郭線が現れていない入力画像やノ
イズの多い画像に対しても、より安定な顎検出を行うこ
とができる。
【００８６】次に、このようにして求めた輪郭線を元に
距離関数を算出する（ステップＳ２５）。すなわち、輪
郭線を顔内部の既知の座標、例えば顔中心からの距離ｒ
と方向（角度）θとからなる関数ｒ＝Ｌ（θ）として表
現する。この様子を模式的に示したのが図１７である。
【００８７】Ｌ（θ）は、θの値を単位角度ずつ変えた
ときのｒを求めてもよいし、例えば顎形状をより顕著に
表す範囲（顔中心からみて首のある方向）は、単位角度
を狭くし、他の方向に比べてより情報量を多くしてもよ
い。また、距離関数を例えば下式（２）によって表され
るフーリエ記述子として表現してもよい。
【００８８】 ここで、Ａ（ｎ）：曲線形状を表す係数、ｅｘｐ（）：
自然対数の底のベキ乗、ｓ：曲線上の距離、Ｌ：閉曲線
の全長、である。フーリエ記述子に関する詳細は、例え
ば参考文献３（高木幹雄，下田陽久 監修，「画像解析
ハンドブック」，東京大学出版会，１９９１．）に開示
されている。
【００８９】次に、このようにして求めた距離関数の特
徴を、基準距離関数と比較することにより、顎の形状を
判定する（ステップＳ２６）。ここで、基準距離関数と
は、基準となる顎形状の輪郭線からあらかじめ作成して
おいた距離関数のことである。基準となる顎形状の輪郭
線は、輪郭線があらかじめ手動で検出されている画像
を、類似の顎形状、例えば、ベース型、丸型等に分類
し、その分類ごとに手動検出の輪郭線を平均化したもの
を利用すればよい。
【００９０】距離関数の比較は、例えば、距離関数上の
変曲点の位置、変曲点数、変曲点間の傾きなどを、その
距離関数のもつ特徴と位置づけ、基準となる輪郭形状の
距離関数の特徴とそれぞれ比較することにより行う。比
較を行う際には、あらかじめ基準距離関数と位置とが整
合するように正規化を行っておく必要がある。
【００９１】なお、変曲点の位置や数、変曲点間の傾き
は、基準形状の場合はあらかじめ求めておき、その情報
をメモリ（記憶装置１３ｂ）に格納しておき、ステップ
Ｓ２５で求めた距離関数の変曲点の情報と適宜比較すれ
ばよい。そして、比較結果が最も近い基準距離関数をも
つ形状を、判定結果として決定する。
【００９２】なお、距離関数の比較は、より単純に基準
距離関数との差分和を比較することことにより行うこと
もできる。図１８は、この様子を模式的に表現してい
る。図１８中の符号ｚは、基準距離関数との差を示して
いる。ここで、基準距離関数をＢ（θ）としたとき、差
分和Ｚ１は下式（３）により与えられる。
【００９３】 すなわち、Ｚ１が最小となるＢ（θ）をもつ形状を判定
形状として決定すればよい。この方法の場合は、θの範
囲分のＢ（θ）を基準形状分だけメモリ（記憶装置１３
ｂ）に用意しておく必要があるが、より詳細な形状の分
類、判定を簡便に行うことができる利点がある。
【００９４】また、平面上の曲線を周波数領域で記述す
る手法、例えばフーリエ記述子を用いて距離関数を表現
すれば、これにより算出されるフーリエ係数をその距離
関数のもつ特徴として位置づけることができるので、こ
のフーリエ係数と、基準となる輪郭形状の距離関数のフ
ーリエ係数との比較を行うことにより、上記と同様に形
状判定を行うことができる。
【００９５】基準距離関数をフーリエ記述子で表現し、
そのフーリエ係数をＡｂ（ｎ）としたとき、対象距離関
数のフーリエ係数との差分Ｚ２を下式（４）により求
め、その求めたＺ２が最小となるＡｂ（ｎ）をもつ形状
を判定形状として決定する。
【００９６】 一般に、フーリエ係数の低次の項にはおおまかな曲線形
状、高次の項にはより詳細な曲線形状が反映されてい
る。従って、低次の項の比較、すなわち上記の式（４）
におけるｎの範囲を小さくしてＺ２を求めることによ
り、ノイズや個人差などの影響をなるべく排除した判定
結果を得ることができる。
【００９７】以上の処理動作（ステップＳ２１〜ステッ
プＳ２６）は、特徴検出・判定手段１３によって行われ
る。特徴点に基づいて得られた顎形状結果は、３次元モ
デル生成手段１４に送られる。
【００９８】３次元モデル生成手段１４では、特徴検出
・判定手段１３において判定された顎形状に基づいて３
次元モデルを決定し、所望の３次元モデルを生成する
（ステップＳ２７）。
【００９９】すなわち、顎形状の種類に応じて、プロの
デザイナーなどが作成した３次元モデルの構造情報を記
憶装置１４ｂにあらかじめ格納しておき、判定された顎
形状に対応する顔の３次元モデル構造情報を記憶装置１
４ｂから読み出して再生成すればよい。その結果は、Ｃ
ＲＴなどの出力部１５によって表示される。ここで、判
定された顎形状に対応する顔が卵型、丸型、四角型であ
った場合に、それぞれの形状結果が対応する３次元モデ
ルの生成例を図１９に示す。図１９中、符号１９１で示
す３次元モデルが卵型、符号１９２で示す３次元モデル
が丸型、符号１９３で示す３次元モデルが四角型であ
る。
【０１００】以上の処理動作により、実写画像などの２
次元情報から、より安定な顎形状の検出と、その形状判
定とを行い、その判定結果に基づいて３次元モデルを生
成することができる。
【０１０１】ところで、上記したように、顎形状によっ
て例えば同じ卵型の３次元モデルが選択された場合で
も、顔幅の広い人や狭い人など、個人差がある。そこ
で、このような個人差を考慮し、３次元モデルを生成す
る際に、別途求めた顔の各部位の特徴量を利用して、あ
らかじめ用意した基本となる３次元モデル構造を変形
し、３次元モデルを生成することが考えられる。
【０１０２】このようにするためには、図１０に示す特
徴検出・判定手段１３に、顎形状の特徴検出だけでな
く、例えば両目間の距離、目と口との距離などといった
顔の各部位間の距離や、距離の比率を検出する機能を追
加し、その検出結果を３次元モデル生成手段１４での３
次元モデル生成時に利用すればよい。この場合、３次元
モデル生成手段１４は、３次元モデルを生成する際に、
同時に変形処理も行うように機能追加しておく必要があ
る。
【０１０３】すなわち、各部位間の距離は、操作者が位
置指定部１２で指定した各部位の位置情報に基づき、算
出する。ここで、人物顔においては、各顔部品の位置関
係および大きさは一定の拘束条件に従っているため、両
目と口との位置関係や、両目間の距離と顔幅との比率関
係など、各部位の位置関係はある範囲内での推定が可能
である。すなわち、これら顔特有の各部位の位置関係
を、あらかじめ複数の人物顔について計測（例えば、両
目間の距離と顔幅について計測）し、その比率の平均や
分散を求めておけば、顔幅などの情報を操作者が入力し
なくても、両目の間隔などから推定することが可能とな
る。これにより、顔の各部位の特徴量を検出する際の操
作者の負担を軽減することができる。
【０１０４】このようにして検出した顔の各部位の特徴
量に基づき、顔の３次元モデルを変形する。変形の対象
となる顔の基本モデルは、上記した顎形状の判定結果に
基づいて決定する。
【０１０５】ここでは、顔の各部位の特徴量として、各
部位間の距離の比率、例えば両目間の距離と、目口間の
距離の比率（縦横比）を用いる場合について説明する。
【０１０６】あらかじめ複数の人物顔について求めてお
いた比率の平均値と入力画像中の人物顔から得た比率と
を比較し、顔の３次元モデル全体を比率に合わせて拡
大、縮小する。
【０１０７】例えば、入力画像中の人物顔から、図２０
に符号２０１で示す３次元モデルが基準３次元モデルと
して選択されている場合に、特徴量から得た縦横比が平
均の比率と比べて縦方向が長い場合の変形例を同図の符
号２０２により示し、横方向が長い場合の変形例を同図
の符号２０３により示す。
【０１０８】以上の処理動作により、操作者が位置指定
部１２にりよ指定した顔の各部位の位置情報に基づい
て、基準となる３次元モデルを変形させることができ
る。これにより、同じ３次元モデルが選択された場合で
も、例えば顔幅の広い人や狭い人などの個人差に応じ
て、その人の特徴を生かした３次元モデルを容易に生成
することが可能となる。
【０１０９】以上、上記各実施の形態の３次元モデル生
成装置は、その装置の３次元モデルの生成処理を、記憶
部１および記憶装置１３ｂ、１４ｂに格納されている３
次元モデル生成プログラムによって実現される。このプ
ログラムは、コンピュータ読み取り可能な記録媒体に格
納されている。本発明では、この記録媒体は、図示して
いないが、３次元モデル生成装置の内部にプログラム読
み取り装置を備え、そこに記録媒体を挿入することで読
み取り可能なプログラムメディアであってもよいし、あ
るいは本実施の形態のように、装置内部のプログラムメ
モリ等の記憶手段に格納されているものであってもよ
い。いずれの場合においても、格納されているプログラ
ムは直接アクセスして実行させる構成であってもよい
し、あるいはいずれの場合もプログラムを読み出し、読
み出されたプログラムは、図示していない主記憶メモリ
にダウンロードされて、そのプログラムが実行される方
式であってもよい。このダウンロード用のプログラム
は、あらかじめ装置本体に格納されているものとする。
【０１１０】ここで、上記プログラムメディアは、本体
と分離可能に構成される記録媒体であり、磁気テープや
カセットテープ等のテープ系、フロッピディスクやハー
ドディスク等の磁気ディスクや、ＣＤ−ＲＯＭ、ＭＯ、
ＭＤ、ＤＶＤ等の光ディスクのディスク系、ＩＣカード
や光カード等のカード系、あるいはマスクＲＯＭ、ＥＰ
ＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導
体メモリを含めた固定的にプログラムを担持する媒体で
あってもよい。
【０１１１】また、本発明においては外部との通信が可
能な手段（無線通信機能、あるいはインターネット等の
公衆回線を介する有線通信機能）を備えている場合に
は、これを用いて外部と接続し、そこからプログラムを
ダウンロードするように流動的にプログラムを担持する
媒体であってもよい。なお、このように通信ネットワー
クからプログラムをダウンロードする場合には、そのダ
ウンロード用プログラムはあらかじめ装置本体に格納し
ておくか、あるいは別の記録媒体からインストールされ
るものであってもよい。
【０１１２】
【発明の効果】本発明の３次元モデル生成装置、３次元
モデル生成方法および３次元モデル生成プログラムを記
録した記録媒体によれば、以下に示す種々の効果を奏す
る。
【０１１３】すなわち、あらかじめ定めた方向以外の方
向から撮影された画像を入力画像とした場合であって
も、あらかじめ定めた方向から入力した画像と同様に扱
い、かつ容易に３次元モデルを生成することができる。
【０１１４】また、あらかじめ定めた方向以外の方向か
ら撮影された画像を入力画像とした場合であっても、あ
らかじめ定めた方向から入力した画像と同様に扱って３
次元モデルを生成することができ、かつ、概略形状と対
象物体の形状とに差異がある場合でも、生成される３次
元モデルの輪郭付近への対象物体以外の色の混入を防
ぎ、より質の高い３次元モデルを生成することができ
る。
【０１１５】また、あらかじめ定めた方向からの画像を
使用することにより、複数のモデルに対して単一のテク
スチャデータを用意するだけでよいので、３次元モデル
を生成する際の手間が大幅に軽減される。
【０１１６】また、テクスチャデータの作成に関し、あ
らかじめ定めた方向以外から撮影された画像でも使用可
能となるので、さまざまな画像から３次元モデルを作成
することができる。また、形状モデル同士の組み合わせ
に関し、あらかじめ整合するように作成されているた
め、操作者が調整や整合を行う必要がないので、操作者
の負担が大きく軽減される。また、形状モデル同士の組
み合わせに関し、組み合わせるための形状モデルを用意
する場合に、さまざまな画像から３次元モデルを作成
し、用意することが可能となるので、３次元モデルを作
成し用意する手間が大きく軽減される。また、入力画像
上の対象物体の形状に近い形状のモデルが自動的に選択
されるため、操作者が形状モデルを選択する必要がなく
なるので、操作者の負担が軽減される。
【０１１７】また、操作者は、顔の目や口などの数箇所
の特徴点を入力するだけで、実写画像などの２次元の顔
画像から、より安定な顎検出とその形状判定とを行い、
その判定結果に基づいて３次元モデルを容易に生成する
ことができる。また、操作者は、顔の目や口などの数箇
所の特徴点を入力するだけで、実写画像などの２次元の
顔画像から、その顔画像の特徴を生かした３次元モデル
を容易に生成することができる。
【図面の簡単な説明】
【図１】本発明の３次元モデル生成装置の一実施の形態
を示すシステム構成図である。
【図２】本発明の３次元モデル生成装置による３次元モ
デルの生成動作を示すフローチャートである。
【図３】（ａ）は画像入力部より入力された画像例を示
す説明図、（ｂ）は推定した位置および方向による標準
顔形状データの投影結果も模式的に表した図、（ｃ）は
入力画像から生成されたテクスチャ画像の説明図、
（ｄ）は所定の大きさおよび位置で正面から標準顔形状
モデルを投影した結果を模式的に表した図である。
【図４】入力画像の座標指定の例を示す説明図である。
【図５】（ａ）は輪郭付近で画素値を取得するエリアの
例を示す説明図、（ｂ）は輪郭付近で色を塗るエリアの
例を示す説明図である。
【図６】輪郭の比較の様子を模式に表した説明図であ
る。
【図７】複数の概略顔形状モデルに対し、単一のテクス
チャ画像を適用して３次元モデルを生成する様子を模式
的に表した説明図である。
【図８】任意の顔と髪型の３次元モデルの組み合わせを
可能にする方法を模式的に表した説明図である。
【図９】生成された３頭部の３次元モデルの例を示す説
明図である。
【図１０】本発明の３次元モデル生成装置の他の実施の
形態を示すシステム構成図である。
【図１１】他の実施の形態における３次元モデル生成動
作を示すフローチャートである。
【図１２】位置指定の例を示す説明図である。
【図１３】入力画像中の中心座標および初期輪郭の配置
を示す説明図である。
【図１４】初期輪郭上の一点と中心座標とを結ぶ直線上
の色差算出を行う方法を説明するための図である。
【図１５】色差の算出例を模式的に示した説明図であ
る。
【図１６】（ａ）、（ｂ）は顔輪郭形状に特化した色差
算出を行う手法として顔が楕円形状であることを利用す
る場合について説明するための図である。
【図１７】抽出した顔輪郭線から距離関数を算出する手
法を説明するための図である。
【図１８】入力画像から得られた距離関数と基準距離関
数とを比較する手法を説明するための図である。
【図１９】顎形状の判定結果に対する顔の３次元モデル
の例を示す説明図である。
【図２０】顔の特徴量に基づいて３次元モデルを変形し
た例を示す説明図である。
【符号の説明】
１ 記憶部 ２ 画像入力部 ３ ユーザ入力部 ４ 表示部 ５ ３次元モデル生成部 １１ 画像入力部 １２ 位置指定部 １３ 特徴検出・判定手段 １４ ３次元モデル生成手段 １３ａ、１４ａ 演算装置 １３ｂ、１４ｂ 記憶装置 １５ 出力部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 佐伯 和裕 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 高橋 俊哉 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 (72)発明者 鈴木 恭一 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Ｆターム(参考） 5B046 DA07 DA10 EA09 FA17 FA18 GA01 GA04 GA10 5B050 AA06 AA09 BA03 BA07 BA09 BA10 BA12 EA09 EA12 EA27 EA28 EA29 FA02 FA05 FA09

Claims (16)

    【特許請求の範囲】
  1. 【請求項１】 入力画像からその画像に含まれる対象物
    体の３次元モデルを生成する装置であって、画像を入力
    する入力部と、入力された画像中の任意の位置を指定す
    ることのできる位置指定部と、前記画像中の対象物体の
    概略形状モデルを含む各種データをあらかじめ記憶して
    いる記憶部と、これら入力部より入力された画像情報、
    位置指定部により指定された位置情報および記憶部に記
    憶されている各種データに基づいて３次元モデルを生成
    する３次元モデル生成部とからなり、 前記３次元モデル生成部は、 入力された画像中の対象物体の大きさ、位置および方向
    を検出する手段と、 前記記憶部に記憶されている概略形状モデルを、検出し
    た同じ大きさ、位置および方向に投影した場合の各頂点
    の画像上の位置を計算する第１の計算手段と、同じ概略
    形状モデルをあらかじめ定めた規定の大きさ、位置およ
    び方向に投影した場合の各頂点の画像上の位置を計算す
    る第２の計算手段と、 これら第１の計算手段および第２の計算手段により計算
    された同じ頂点の両画像上の座標の対応関係に基づいて
    画像の変形を行うことにより、対象物体をあらかじめ定
    めた規定の大きさ、位置および方向から見た場合の近似
    画像を生成する手段と、 その近似画像を概略形状モデルに貼り付けるテクスチャ
    マップデータとしてテクスチャ付き３次元モデルを生成
    する手段と、を備えていることを特徴とする３次元モデ
    ル生成装置。
  2. 【請求項２】 入力画像からその画像に含まれる対象物
    体の３次元モデルを生成する装置であって、画像を入力
    する入力部と、入力された画像中の任意の位置を指定す
    ることのできる位置指定部と、前記画像中の対象物体の
    概略形状モデルを含む各種データをあらかじめ記憶して
    いる記憶部と、これら入力部より入力された画像情報、
    位置指定部により指定された位置情報および記憶部に記
    憶されている各種データに基づいて３次元モデルを生成
    する３次元モデル生成部とからなり、 前記３次元モデル生成部は、 入力された画像中の対象物体の大きさ、位置および方向
    を検出する手段と、 前記記憶部に記憶されている概略形状モデルを、検出し
    た同じ大きさ、位置および方向に投影した場合の各頂点
    の画像上の位置を計算する第１の計算手段と、 同じ概略形状モデルをあらかじめ定めた規定の大きさ、
    位置および方向に投影した場合の各頂点の画像上の位置
    を計算する第２の計算手段と、 これら第１の計算手段および第２の計算手段により計算
    された同じ頂点の両画像上の座標の対応関係に基づいて
    画像の変形を行う手段と、 前記概略形状モデルをあらかじめ定めた規定の大きさ、
    位置および方向に投影した場合の輪郭付近および／また
    は輪郭の外側に相当する領域を、輪郭の内側の画素値に
    より埋めることにより、対象物体をあらかじめ定めた規
    定の大きさ、位置および方向から見た場合の近似画像を
    生成する手段と、 この近似画像を概略形状モデルに貼り付けるテクスチャ
    マップデータとしてテクスチャ付き３次元モデルを生成
    する手段と、を備えていることを特徴とする３次元モデ
    ル生成装置。
  3. 【請求項３】 前記記憶部は、あらかじめテクスチャの
    貼り付け規則を一定に定めた複数の概略形状モデルを記
    憶しており、前記３次元モデル生成部は、あらかじめ定
    めたテクスチャの貼り付け規則に適合するようにテクス
    チャを作成し、用意された複数の概略形状モデルから１
    つのモデルを選択し、選択した概略形状モデルと作成さ
    れたテクスチャとを組み合わせてテクスチャ付き３次元
    モデルを生成することを特徴とする請求項１または２に
    記載の３次元モデル生成装置。
  4. 【請求項４】 あらかじめ作成した対象物体の構成部品
    である複数の３次元モデルを、あらかじめ定めた規則に
    従って組み合わせて使用することにより、対象物体の３
    次元モデルを生成する装置であって、組み合わせる前記
    部品同士の大きさ、位置および方向があらかじめ決めら
    れており、かつ、組み合わせる接合部分の形状があらか
    じめ統一して作成されていることを特徴とする３次元モ
    デル生成装置。
  5. 【請求項５】 組み合わせて生成した３次元モデルを、
    必要に応じて拡大、縮小、回転、移動等する手段を備え
    たことを特徴とする請求項４に記載の３次元モデル生成
    装置。
  6. 【請求項６】 入力画像からその画像に含まれる顔の３
    次元モデルを生成する装置であって、顔の画像を入力す
    る入力部と、入力された顔の各部位を指定することので
    きる位置指定部と、これら入力部より入力された画像情
    報、位置指定部により指定された位置情報に基づいて顔
    の３次元モデルを生成する３次元モデル生成部とからな
    り、 前記３次元モデル生成部は、 前記位置指定部により指定された１つ以上の位置情報に
    基づいて顎の輪郭特徴を検出し、その検出した顎の輪郭
    特徴から顎の形状を判定する輪郭検出・判定手段と、 この判定結果に対応する構造の３次元モデルを選択し
    て、所望の３次元モデルを生成する３次元モデル生成手
    段と、を備えたことを特徴とする３次元モデル生成装
    置。
  7. 【請求項７】 前記輪郭検出・判定手段は、 顔の特徴点の位置情報を前記位置指定部により指定し
    て、画像上の顔の中心位置を確定する手段と、 顔輪郭の近傍に初期輪郭の配置を行う手段と、 画像上の顔の中心位置と初期輪郭とに基づいて、顔中心
    座標と初期輪郭上の各座標とを結ぶ直線上の隣り合う画
    素間の色差を算出し、対象画素間の座標中点を座標値と
    して、算出した色差を画素値にもつ色差マップ画像を作
    成する手段と、 作成した色差マップ画像を利用して、初期輪郭を動的輪
    郭モデルに従って移動させることにより、輪郭線を抽出
    する手段と、 抽出した輪郭線を元に距離関数を算出する手段と、 算出した距離関数の特徴を、基準となる顎形状の輪郭線
    からあらかじめ作成しておいた距離関数と比較すること
    により、顎の形状を判定する手段とを含むことを特徴と
    する請求項６に記載の３次元モデル生成装置。
  8. 【請求項８】 前記輪郭検出・判定手段は、前記位置指
    定部により指定された１つ以上の位置情報に基づいて顔
    の各部位の特徴量を検出する特徴量抽検出段をさらに含
    み、 前記３次元モデル生成手段は、検出した顔の各部位の特
    徴量に基づいて、選択された３次元モデルの構造を変形
    する手段を含むことを特徴とする請求項７に記載の３次
    元モデル生成装置。
  9. 【請求項９】 入力画像からその画像に含まれる対象物
    体の３次元モデルを生成する３次元モデル生成装置によ
    る３次元モデル生成方法であって、 入力部から対象物体の画像を入力するステップと、 入力された画像中の対象物体の大きさ、位置および方向
    を検出するステップと、 記憶部に記憶されている概略形状モデルを、検出した同
    じ大きさ、位置および方向に投影した場合の各頂点の画
    像上の位置を計算するステップと、 同じ概略形状モデルをあらかじめ定めた規定の大きさ、
    位置および方向に投影した場合の各頂点の画像上の位置
    を計算するステップと、 これらのステップにより計算された同じ頂点の両画像上
    の座標の対応関係に基づいて画像の変形を行ことによ
    り、対象物体をあらかじめ定めた規定の大きさ、位置お
    よび方向から見た場合の近似画像を生成するステップ
    と、 その近似画像を概略形状モデルに貼り付けるテクスチャ
    マップデータとしてテクスチャ付き３次元モデルを生成
    するステップと、を備えたことを特徴とする３次元モデ
    ル生成方法。
  10. 【請求項１０】 入力画像からその画像に含まれる対象
    物体の３次元モデルを生成する３次元モデル生成装置に
    よる３次元モデル生成方法であって、 入力部から対象物体の画像を入力するステップと、 入力された画像中の対象物体の大きさ、位置および方向
    を検出するステップと、 記憶部に記憶されている概略形状モデルを、検出した同
    じ大きさ、位置および方向に投影した場合の各頂点の画
    像上の位置を計算するステップと、 同じ概略形状モデルをあらかじめ定めた規定の大きさ、
    位置および方向に投影した場合の各頂点の画像上の位置
    を計算するステップと、 これらのステップにより計算された同じ頂点の両画像上
    の座標の対応関係に基づいて画像の変形を行うステップ
    と、 前記概略形状モデルをあらかじめ定めた規定の大きさ、
    位置および方向に投影した場合の輪郭付近および／また
    は輪郭の外側に相当する領域を、輪郭の内側の画素値に
    より埋めることにより、対象物体をあらかじめ定めた規
    定の大きさ、位置および方向から見た場合の近似画像を
    生成するステップと、 この近似画像を概略形状モデルに貼り付けるテクスチャ
    マップデータとしてテクスチャ付き３次元モデルを生成
    するステップと、を備えたことを特徴とする３次元モデ
    ル生成方法。
  11. 【請求項１１】 入力画像からその画像に含まれる顔の
    ３次元モデルを生成する方法であって、 入力部から顔の画像を入力するステップと、 入力された顔の各部位を位置指定部によって指定するス
    テップと、 位置指定部により指定された１つ以上の位置情報に基づ
    いて顎の輪郭特徴を検出し、その検出した顎の輪郭特徴
    から顎の形状を判定するステップと、 この判定結果に対応する構造の３次元モデルを選択し
    て、所望の３次元モデルを生成するステップと、を備え
    たことを特徴とする３次元モデル生成方法。
  12. 【請求項１２】 入力画像からその画像に含まれる顔の
    ３次元モデルを生成する方法であって、 入力部から顔の画像を入力するステップと、 入力された顔の特徴点の位置情報を位置指定部により指
    定して、画像上の顔の中心位置を確定するステップと、 顔輪郭の近傍に初期輪郭の配置を行うステップと、 画像上の顔の中心位置と初期輪郭とに基づいて、顔中心
    座標と初期輪郭上の各座標とを結ぶ直線上の隣り合う画
    素間の色差を算出し、対象画素間の座標中点を座標値と
    して、算出した色差を画素値にもつ色差マップ画像を作
    成するステップと、 作成した色差マップ画像を利用して、初期輪郭を動的輪
    郭モデルに従って移動させることにより、輪郭線を抽出
    するステップと、 抽出した輪郭線を元に距離関数を算出するステップと、 算出した距離関数の特徴を、基準となる顎形状の輪郭線
    からあらかじめ作成しておいた距離関数と比較すること
    により、顎の形状を判定するステップと、を含むことを
    特徴とする３次元モデル生成方法。
  13. 【請求項１３】 入力画像からその画像に含まれる対象
    物体の３次元モデルを生成するプログラムを記録したコ
    ンピュータ読み取り可能な記録媒体であって、 入力部から対象物体の画像を入力するステップと、 入力された画像中の対象物体の大きさ、位置および方向
    を検出するステップと、 記憶部に記憶されている概略形状モデルを、検出した同
    じ大きさ、位置および方向に投影した場合の各頂点の画
    像上の位置を計算するステップと、 同じ概略形状モデルをあらかじめ定めた規定の大きさ、
    位置および方向に投影した場合の各頂点の画像上の位置
    を計算するステップと、 これらのステップにより計算された同じ頂点の両画像上
    の座標の対応関係に基づいて画像の変形を行ことによ
    り、対象物体をあらかじめ定めた規定の大きさ、位置お
    よび方向から見た場合の近似画像を生成するステップ
    と、 その近似画像を概略形状モデルに貼り付けるテクスチャ
    マップデータとしてテクスチャ付き３次元モデルを生成
    するステップと、を含むことを特徴とする３次元モデル
    生成プログラムを記録した記録媒体。
  14. 【請求項１４】 入力画像からその画像に含まれる対象
    物体の３次元モデルを生成するプログラムを記録したコ
    ンピュータ読み取り可能な記録媒体であって、 入力部から対象物体の画像を入力するステップと、 入力された画像中の対象物体の大きさ、位置および方向
    を検出するステップと、 記憶部に記憶されている概略形状モデルを、検出した同
    じ大きさ、位置および方向に投影した場合の各頂点の画
    像上の位置を計算するステップと、 同じ概略形状モデルをあらかじめ定めた規定の大きさ、
    位置および方向に投影した場合の各頂点の画像上の位置
    を計算するステップと、 これらのステップにより計算された同じ頂点の両画像上
    の座標の対応関係に基づいて画像の変形を行うステップ
    と、 前記概略形状モデルをあらかじめ定めた規定の大きさ、
    位置および方向に投影した場合の輪郭付近および／また
    は輪郭の外側に相当する領域を、輪郭の内側の画素値に
    より埋めることにより、対象物体をあらかじめ定めた規
    定の大きさ、位置および方向から見た場合の近似画像を
    生成するステップと、 この近似画像を概略形状モデルに貼り付けるテクスチャ
    マップデータとしてテクスチャ付き３次元モデルを生成
    するステップと、を含むことを特徴とする３次元モデル
    生成プログラムを記録した記録媒体。
  15. 【請求項１５】 画像からその画像に含まれる顔の３次
    元モデルを生成するプログラムを記録したコンピュータ
    読み取り可能な記録媒体であって、 入力部から顔の画像を入力するステップと、 入力された顔の各部位を位置指定部によって指定するス
    テップと、 位置指定部により指定された１つ以上の位置情報に基づ
    いて顎の輪郭特徴を検出し、その検出した顎の輪郭特徴
    から顎の形状を判定するステップと、 この判定結果に対応する構造の３次元モデルを選択し
    て、所望の３次元モデルを生成するステップと、を含む
    ことを特徴とする３次元モデル生成プログラムを記録し
    た記録媒体。
  16. 【請求項１６】 画像からその画像に含まれる顔の３次
    元モデルを生成するプログラムを記録したコンピュータ
    読み取り可能な記録媒体であって、 入力部から顔の画像を入力するステップと、 入力された顔の特徴点の位置情報を位置指定部により指
    定して、画像上の顔の中心位置を確定するステップと、 顔輪郭の近傍に初期輪郭の配置を行うステップと、 画像上の顔の中心位置と初期輪郭とに基づいて、顔中心
    座標と初期輪郭上の各座標とを結ぶ直線上の隣り合う画
    素間の色差を算出し、対象画素間の座標中点を座標値と
    して、算出した色差を画素値にもつ色差マップ画像を作
    成するステップと、 作成した色差マップ画像を利用して、初期輪郭を動的輪
    郭モデルに従って移動させることにより、輪郭線を抽出
    するステップと、 抽出した輪郭線を元に距離関数を算出するステップと、 算出した距離関数の特徴を、基準となる顎形状の輪郭線
    からあらかじめ作成しておいた距離関数と比較すること
    により、顎の形状を判定するステップと、 この判定結果に対応する構造の３次元モデルを選択し
    て、所望の３次元モデルを生成するステップと、を含む
    ことを特徴とする３次元モデル生成プログラムを記録し
    た記録媒体。
JP28338799A 1999-10-04 1999-10-04 ３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体 Expired - Fee Related JP3639475B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP28338799A JP3639475B2 (ja) 1999-10-04 1999-10-04 ３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体
US09/679,482 US6879323B1 (en) 1999-10-04 2000-10-04 Three-dimensional model generation device, three-dimensional model generation method, and recording medium for storing the three-dimensional model generation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28338799A JP3639475B2 (ja) 1999-10-04 1999-10-04 ３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2002180541A Division JP2003044841A (ja) 2002-06-20 2002-06-20 モデル生成装置およびモデル生成方法ならびにモデル生成プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2001109907A true JP2001109907A (ja) 2001-04-20
JP3639475B2 JP3639475B2 (ja) 2005-04-20

Family

ID=17664868

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28338799A Expired - Fee Related JP3639475B2 (ja) 1999-10-04 1999-10-04 ３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体

Country Status (2)

Country Link
US (1) US6879323B1 (ja)
JP (1) JP3639475B2 (ja)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1260940A2 (en) * 2001-05-17 2002-11-27 Sharp Kabushiki Kaisha Generating three-dimensional character image
JP2003006645A (ja) * 2001-06-20 2003-01-10 Secom Co Ltd 本人認証用の顔画像照合装置
JP2003047027A (ja) * 2001-07-31 2003-02-14 Canon Inc 立体画像形成システム、立体画像形成方法、プログラムおよび記憶媒体
EP1365359A1 (en) * 2002-05-24 2003-11-26 BRITISH TELECOMMUNICATIONS public limited company Image processing method and system
EP1379063A1 (en) * 2002-07-03 2004-01-07 Sharp Kabushiki Kaisha Mobile device for capturing, generating and displaying three-dimensional images using a single camera
JP2004252511A (ja) * 2003-02-18 2004-09-09 Hitachi Ltd 顔向き推定方法
JP2005092588A (ja) * 2003-09-18 2005-04-07 Hitachi Software Eng Co Ltd 合成画像プリント装置及び画像編集方法
JP2007026088A (ja) * 2005-07-15 2007-02-01 Oki Electric Ind Co Ltd モデル生成装置
JP2007272318A (ja) * 2006-03-30 2007-10-18 Rozefu Technol:Kk 人物写真画像の加工方法
JP2009128969A (ja) * 2007-11-20 2009-06-11 Fujifilm Corp 撮像装置および方法並びにプログラム
US7764828B2 (en) 2004-12-08 2010-07-27 Sony Corporation Method, apparatus, and computer program for processing image
JP2011107877A (ja) * 2009-11-16 2011-06-02 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2011159329A (ja) * 2001-08-14 2011-08-18 Laastra Telecom Gmbh Llc 自動３ｄモデリングシステム及び方法
JP2011186816A (ja) * 2010-03-09 2011-09-22 Secom Co Ltd 顔画像合成装置
WO2011155067A1 (ja) * 2010-06-11 2011-12-15 株式会社アルトロン キャラクタ生成システム、キャラクタ生成方法及びプログラム
JP2013097588A (ja) * 2011-11-01 2013-05-20 Dainippon Printing Co Ltd 三次元ポートレートの作成装置
WO2014034556A1 (ja) * 2012-08-30 2014-03-06 シャープ株式会社 画像処理装置及び画像表示装置
KR20140093836A (ko) * 2013-01-18 2014-07-29 한국전자통신연구원 3d 몽타주 생성 장치 및 방법
KR20200019297A (ko) * 2018-08-09 2020-02-24 에스케이텔레콤 주식회사 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049913A (ja) * 2003-05-30 2005-02-24 Konami Computer Entertainment Yokyo Inc 画像処理装置、画像処理方法及びプログラム
US7643684B2 (en) * 2003-07-15 2010-01-05 Samsung Electronics Co., Ltd. Apparatus for and method of constructing multi-view face database, and apparatus for and method of generating multi-view face descriptor
WO2006087789A1 (ja) * 2005-02-17 2006-08-24 Fujitsu Limited 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
US20070071288A1 (en) * 2005-09-29 2007-03-29 Quen-Zong Wu Facial features based human face recognition method
US20070174010A1 (en) * 2006-01-24 2007-07-26 Kiran Bhat Collective Behavior Modeling for Content Synthesis
JP4345755B2 (ja) * 2006-02-16 2009-10-14 セイコーエプソン株式会社 入力位置設定方法、入力位置設定装置、入力位置設定プログラムおよび情報入力システム
US7778491B2 (en) * 2006-04-10 2010-08-17 Microsoft Corporation Oblique image stitching
US8446410B2 (en) * 2006-05-11 2013-05-21 Anatomage Inc. Apparatus for generating volumetric image and matching color textured external surface
JP4986279B2 (ja) * 2006-09-08 2012-07-25 任天堂株式会社 ゲームプログラムおよびゲーム装置
ES2319592B1 (es) * 2006-09-25 2010-01-29 Insca Internacional, S.L. Sistema de simulacion virtual de espacios, decorados y similares.
KR100810326B1 (ko) * 2006-10-10 2008-03-04 삼성전자주식회사 다해상도 3차원 모델 생성 방법
US7978191B2 (en) * 2007-09-24 2011-07-12 Dolphin Imaging Systems, Llc System and method for locating anatomies of interest in a 3D volume
US9536344B1 (en) 2007-11-30 2017-01-03 Roblox Corporation Automatic decoration of a three-dimensional model
US8253726B1 (en) 2008-01-09 2012-08-28 Spaceclaim Corporation, Inc. Systems and methods for modifying three dimensional geometry using an arbitrary cross-section plane
JP2010186288A (ja) * 2009-02-12 2010-08-26 Seiko Epson Corp 顔画像の所定のテクスチャー特徴量を変更する画像処理
JP5430456B2 (ja) * 2010-03-16 2014-02-26 キヤノン株式会社 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置
TWI430185B (zh) * 2010-06-17 2014-03-11 Inst Information Industry 臉部表情辨識系統及其辨識方法及其電腦程式產品
US8861800B2 (en) * 2010-07-19 2014-10-14 Carnegie Mellon University Rapid 3D face reconstruction from a 2D image and methods using such rapid 3D face reconstruction
JP5406813B2 (ja) * 2010-10-05 2014-02-05 株式会社ソニー・コンピュータエンタテインメント パノラマ画像表示装置およびパノラマ画像表示方法
JP2012244526A (ja) * 2011-05-23 2012-12-10 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
US8933928B2 (en) * 2011-11-22 2015-01-13 Seiko Epson Corporation Multiview face content creation
JP5841418B2 (ja) * 2011-12-01 2016-01-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP5790692B2 (ja) 2013-03-29 2015-10-07 ソニー株式会社 情報処理装置、情報処理方法および記録媒体
EP3080783A4 (fr) * 2013-12-15 2018-01-10 7893159 Canada Inc. Methode et systeme de comparaison de modeles 3d
KR101997500B1 (ko) 2014-11-25 2019-07-08 삼성전자주식회사 개인화된 3d 얼굴 모델 생성 방법 및 장치
WO2020116685A1 (ko) * 2018-12-06 2020-06-11 주식회사 딥픽셀 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리장치 및 표준 얼굴 모델 기반 얼굴 특징점 추정 영상 처리를 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 물리적 기록매체
CN111402124B (zh) * 2020-03-24 2022-05-17 支付宝(杭州)信息技术有限公司 一种纹理图像和合成图像的生成方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04289976A (ja) * 1991-03-19 1992-10-14 Hitachi Ltd 三次元形状モデル生成方法およびシステム
JPH06282652A (ja) * 1993-03-29 1994-10-07 Olympus Optical Co Ltd 画像の輪郭抽出装置
JPH08315152A (ja) * 1995-05-22 1996-11-29 Sony Corp 画像認識装置
JPH0997344A (ja) * 1995-09-29 1997-04-08 Fujitsu Ltd テクスチャ生成方法およびテクスチャ生成システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3735893B2 (ja) * 1995-06-22 2006-01-18 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
US5963209A (en) * 1996-01-11 1999-10-05 Microsoft Corporation Encoding and progressive transmission of progressive meshes
US6016148A (en) * 1997-06-06 2000-01-18 Digital Equipment Corporation Automated mapping of facial images to animation wireframes topologies
CA2312315A1 (en) * 1997-12-01 1999-06-10 Arsev H. Eraslan Three-dimensional face identification system
US6256039B1 (en) * 1998-08-14 2001-07-03 The Board Of The Leland Stanford Junior University Methods for manipulating curves constrained to unparameterized surfaces
US6456287B1 (en) * 1999-02-03 2002-09-24 Isurftv Method and apparatus for 3D model creation based on 2D images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04289976A (ja) * 1991-03-19 1992-10-14 Hitachi Ltd 三次元形状モデル生成方法およびシステム
JPH06282652A (ja) * 1993-03-29 1994-10-07 Olympus Optical Co Ltd 画像の輪郭抽出装置
JPH08315152A (ja) * 1995-05-22 1996-11-29 Sony Corp 画像認識装置
JPH0997344A (ja) * 1995-09-29 1997-04-08 Fujitsu Ltd テクスチャ生成方法およびテクスチャ生成システム

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1260940A3 (en) * 2001-05-17 2003-11-19 Sharp Kabushiki Kaisha Generating three-dimensional character image
US6747652B2 (en) 2001-05-17 2004-06-08 Sharp Kabushiki Kaisha Image processing device and method for generating three-dimensional character image and recording medium for storing image processing program
EP1260940A2 (en) * 2001-05-17 2002-11-27 Sharp Kabushiki Kaisha Generating three-dimensional character image
JP4611575B2 (ja) * 2001-06-20 2011-01-12 セコム株式会社 本人認証用の顔画像照合装置
JP2003006645A (ja) * 2001-06-20 2003-01-10 Secom Co Ltd 本人認証用の顔画像照合装置
JP2003047027A (ja) * 2001-07-31 2003-02-14 Canon Inc 立体画像形成システム、立体画像形成方法、プログラムおよび記憶媒体
JP4708619B2 (ja) * 2001-07-31 2011-06-22 キヤノン株式会社 立体画像形成システムおよび立体画像形成方法
JP2011159329A (ja) * 2001-08-14 2011-08-18 Laastra Telecom Gmbh Llc 自動３ｄモデリングシステム及び方法
EP1365359A1 (en) * 2002-05-24 2003-11-26 BRITISH TELECOMMUNICATIONS public limited company Image processing method and system
EP1379063A1 (en) * 2002-07-03 2004-01-07 Sharp Kabushiki Kaisha Mobile device for capturing, generating and displaying three-dimensional images using a single camera
US7889192B2 (en) 2002-07-03 2011-02-15 Sharp Kabushiki Kaisha Mobile equipment with three dimensional display function
JP2004252511A (ja) * 2003-02-18 2004-09-09 Hitachi Ltd 顔向き推定方法
JP2005092588A (ja) * 2003-09-18 2005-04-07 Hitachi Software Eng Co Ltd 合成画像プリント装置及び画像編集方法
US7764828B2 (en) 2004-12-08 2010-07-27 Sony Corporation Method, apparatus, and computer program for processing image
JP2007026088A (ja) * 2005-07-15 2007-02-01 Oki Electric Ind Co Ltd モデル生成装置
JP2007272318A (ja) * 2006-03-30 2007-10-18 Rozefu Technol:Kk 人物写真画像の加工方法
JP4625067B2 (ja) * 2007-11-20 2011-02-02 富士フイルム株式会社 撮像装置および方法並びにプログラム
JP2009128969A (ja) * 2007-11-20 2009-06-11 Fujifilm Corp 撮像装置および方法並びにプログラム
US8085997B2 (en) 2007-11-20 2011-12-27 Fujifilm Corporation Imaging apparatus and imaging method
JP2011107877A (ja) * 2009-11-16 2011-06-02 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2011186816A (ja) * 2010-03-09 2011-09-22 Secom Co Ltd 顔画像合成装置
WO2011155067A1 (ja) * 2010-06-11 2011-12-15 株式会社アルトロン キャラクタ生成システム、キャラクタ生成方法及びプログラム
JP5659228B2 (ja) * 2010-06-11 2015-01-28 株式会社アルトロン キャラクタ生成システム、キャラクタ生成方法及びプログラム
JP2013097588A (ja) * 2011-11-01 2013-05-20 Dainippon Printing Co Ltd 三次元ポートレートの作成装置
WO2014034556A1 (ja) * 2012-08-30 2014-03-06 シャープ株式会社 画像処理装置及び画像表示装置
KR20140093836A (ko) * 2013-01-18 2014-07-29 한국전자통신연구원 3d 몽타주 생성 장치 및 방법
KR101696007B1 (ko) * 2013-01-18 2017-01-13 한국전자통신연구원 3d 몽타주 생성 장치 및 방법
KR20200019297A (ko) * 2018-08-09 2020-02-24 에스케이텔레콤 주식회사 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법
KR102229061B1 (ko) * 2018-08-09 2021-03-17 에스케이텔레콤 주식회사 표정 인식 모델 생성 장치 및 방법, 및 이를 이용한 표정 인식 장치 및 방법

Also Published As

Publication number Publication date
US6879323B1 (en) 2005-04-12
JP3639475B2 (ja) 2005-04-20

Similar Documents

Publication Publication Date Title
JP2001109907A (ja) ３次元モデル生成装置および３次元モデル生成方法ならびに３次元モデル生成プログラムを記録した記録媒体
JP2603445B2 (ja) 髪画像適合方法及びコンピュータ・システム
US5990901A (en) Model based image editing and correction
JP3030485B2 (ja) ３次元形状抽出方法及び装置
KR100682889B1 (ko) 영상에 기반한 사실감 있는 3차원 얼굴 모델링 방법 및 장치
CN102419868B (zh) 基于3d头发模板进行3d头发建模的设备和方法
RU2358319C2 (ru) Способ и устройство для фотореалистического трехмерного моделирования лица на основе изображения
JP6368919B2 (ja) メイクアップ支援装置、メイクアップ支援方法、およびメイクアップ支援プログラム
JP3779570B2 (ja) 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体
US20070019882A1 (en) Makeup simulation program, makeup simulation device, and makeup simulation method
US10467793B2 (en) Computer implemented method and device
JP4999731B2 (ja) 顔画像処理装置
US20110050685A1 (en) Image processing apparatus, image processing method, and program
JP5842541B2 (ja) 三次元ポートレートの作成装置
JP2001109913A (ja) 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
JP2010507854A (ja) ビデオイメージシーケンスを仮想シミュレーションする方法及び装置
CN106652037B (zh) 一种人脸贴图处理方法及装置
CN116648733A (zh) 用于从面部图像提取颜色的方法和系统
JP2003044841A (ja) モデル生成装置およびモデル生成方法ならびにモデル生成プログラムを記録した記録媒体
US11769309B2 (en) Method and system of rendering a 3D image for automated facial morphing with a learned generic head model
KR20230110787A (ko) 개인화된 3d 머리 및 얼굴 모델들을 형성하기 위한 방법들 및 시스템들
US8009171B2 (en) Image processing apparatus and method, and program
KR20010084996A (ko) 단일 이미지를 이용한 3차원 아바타 제작 방법 및 이를이용한 자판기
JP2009253324A (ja) 画像処理装置、画像処理方法、及びプログラム
JP5419777B2 (ja) 顔画像合成装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040921

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050114

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080121

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090121

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100121

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110121

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120121

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130121

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130121

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees