JP2002157605A - 画像処理装置、画像処理方法、及び画像処理用プログラムを記録した記録媒体 - Google Patents
画像処理装置、画像処理方法、及び画像処理用プログラムを記録した記録媒体Info
- Publication number
- JP2002157605A JP2002157605A JP2000354472A JP2000354472A JP2002157605A JP 2002157605 A JP2002157605 A JP 2002157605A JP 2000354472 A JP2000354472 A JP 2000354472A JP 2000354472 A JP2000354472 A JP 2000354472A JP 2002157605 A JP2002157605 A JP 2002157605A
- Authority
- JP
- Japan
- Prior art keywords
- image
- face
- face image
- lip
- synthesized
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Generation (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
(57)【要約】
【課題】３次元の顔モデルの口の自然な開閉を容易に実
現する。 【解決手段】顔画像入力部１０１から顔画像が入力さ
れ、また図示されない操作キーの操作により、唇画像記
憶部１０２内の１つの唇画像が選択される。画像合成部
１０３は、顔画像の口の位置を求め、この位置に唇画像
を重ね合わせて、合成顔画像を形成する。顔画像貼り込
み部１０４は、合成顔画像をテクスチャとし、このテク
スチャを予め設定された３次元モデルに平行投影して、
このテクスチャを３次元モデルに貼り込み、３次元の顔
モデルを形成する。
現する。 【解決手段】顔画像入力部１０１から顔画像が入力さ
れ、また図示されない操作キーの操作により、唇画像記
憶部１０２内の１つの唇画像が選択される。画像合成部
１０３は、顔画像の口の位置を求め、この位置に唇画像
を重ね合わせて、合成顔画像を形成する。顔画像貼り込
み部１０４は、合成顔画像をテクスチャとし、このテク
スチャを予め設定された３次元モデルに平行投影して、
このテクスチャを３次元モデルに貼り込み、３次元の顔
モデルを形成する。
Description
【０００１】
【発明の属する技術分野】本発明は、２次元の顔画像を
用いて、３次元の顔モデルを形成する画像処理装置、画
像処理方法、及び画像処理用プログラムを記録した記録
媒体に関する。
用いて、３次元の顔モデルを形成する画像処理装置、画
像処理方法、及び画像処理用プログラムを記録した記録
媒体に関する。
【０００２】
【従来の技術】周知の様に、２次元の顔画像から得られ
るテクスチャを３次元モデルに貼り込むことにより、３
次元の顔モデルを形成することができる。そして、この
３次元の顔モデルの口を開閉させる場合は、顔画像のテ
クスチャを変形させる方法や、口を閉じた状態の３次元
モデル及び口を開いた状態の３次元モデルを用いる方法
が適用される。あるいは、口の開閉動作が可能な３次元
モデルを用いる方法が適用される（「顔情報処理のため
の共通プラットホームの構築」コンピュータビジョンと
イメージメディア（1998.3.19 ）ｐ65- ｐ72を参照）。
るテクスチャを３次元モデルに貼り込むことにより、３
次元の顔モデルを形成することができる。そして、この
３次元の顔モデルの口を開閉させる場合は、顔画像のテ
クスチャを変形させる方法や、口を閉じた状態の３次元
モデル及び口を開いた状態の３次元モデルを用いる方法
が適用される。あるいは、口の開閉動作が可能な３次元
モデルを用いる方法が適用される（「顔情報処理のため
の共通プラットホームの構築」コンピュータビジョンと
イメージメディア（1998.3.19 ）ｐ65- ｐ72を参照）。
【０００３】
【発明が解決しようとする課題】しかしながら、上記の
様に顔画像のテクスチャーを変形させる方法では、顔画
像の口を開閉させることが困難であり、口の開閉の様子
が不自然であった。
様に顔画像のテクスチャーを変形させる方法では、顔画
像の口を開閉させることが困難であり、口の開閉の様子
が不自然であった。
【０００４】また、口を閉じた状態の３次元モデル及び
口を開いた状態の３次元モデルを用いる方法、及び口の
開閉動作が可能な３次元モデルを用いる方法では、顔画
像の口と３次元モデルの口を比較して、両者の口を多数
のポイントで正確に対応づけねばならず、この煩雑な作
業を人手により行う必要があった。
口を開いた状態の３次元モデルを用いる方法、及び口の
開閉動作が可能な３次元モデルを用いる方法では、顔画
像の口と３次元モデルの口を比較して、両者の口を多数
のポイントで正確に対応づけねばならず、この煩雑な作
業を人手により行う必要があった。
【０００５】そこで、本発明は、上記従来の問題点に鑑
みてなされたものであり、３次元の顔モデルの口の自然
な開閉を容易に実現することができる画像処理装置、画
像処理方法、及び画像処理用プログラムを記録した記録
媒体を提供することを目的とする。
みてなされたものであり、３次元の顔モデルの口の自然
な開閉を容易に実現することができる画像処理装置、画
像処理方法、及び画像処理用プログラムを記録した記録
媒体を提供することを目的とする。
【０００６】
【課題を解決するための手段】上記課題を解決するため
に、本発明の画像処理装置は、顔画像を入力する顔画像
入力手段と、予め設定された少なくとも１つの唇画像を
記憶した唇画像記憶手段と、顔画像入力手段によって入
力された顔画像に唇画像記憶手段内の唇画像を合成し
て、合成顔画像を形成する画像合成手段と、合成顔画像
をテクスチャとして３次元モデルに貼り込む合成顔画像
貼り込み手段とを備えている。
に、本発明の画像処理装置は、顔画像を入力する顔画像
入力手段と、予め設定された少なくとも１つの唇画像を
記憶した唇画像記憶手段と、顔画像入力手段によって入
力された顔画像に唇画像記憶手段内の唇画像を合成し
て、合成顔画像を形成する画像合成手段と、合成顔画像
をテクスチャとして３次元モデルに貼り込む合成顔画像
貼り込み手段とを備えている。
【０００７】この様な構成の本発明によれば、予め設定
された唇画像を顔画像に合成して、合成顔画像を形成し
ている。このため、閉じられた口の唇画像、開かれた口
の唇画像等を準備しておき、これらの唇画像のいずれか
を選択して顔画像に合成すれば、合成顔画像の口をリア
ルに表現することができる。また、この合成顔画像をテ
クスチャとして３次元モデルに貼り込めば、閉じられた
口の３次元の顔モデルや、開かれた口の３次元の顔モデ
ルを得ることができる。このため、従来の様に複数種類
の３次元モデルを準備したり、合成顔画像の口と３次元
モデルの口を多数のポイントで対応づける必要がない。
された唇画像を顔画像に合成して、合成顔画像を形成し
ている。このため、閉じられた口の唇画像、開かれた口
の唇画像等を準備しておき、これらの唇画像のいずれか
を選択して顔画像に合成すれば、合成顔画像の口をリア
ルに表現することができる。また、この合成顔画像をテ
クスチャとして３次元モデルに貼り込めば、閉じられた
口の３次元の顔モデルや、開かれた口の３次元の顔モデ
ルを得ることができる。このため、従来の様に複数種類
の３次元モデルを準備したり、合成顔画像の口と３次元
モデルの口を多数のポイントで対応づける必要がない。
【０００８】また、本発明においては、唇画像記憶手段
には、唇画像として唇の動画像が記憶され、画像合成手
段は、顔画像に唇の動画像を合成している。
には、唇画像として唇の動画像が記憶され、画像合成手
段は、顔画像に唇の動画像を合成している。
【０００９】この様に顔画像に唇の動画像を合成すれ
ば、この結果として、口を開閉する３次元の顔モデルを
得ることができる。
ば、この結果として、口を開閉する３次元の顔モデルを
得ることができる。
【００１０】更に、本発明においては、顔画像入力手段
には、顔画像として顔の動画像が入力され、画像合成手
段は、顔の動画像に唇画像を合成している。
には、顔画像として顔の動画像が入力され、画像合成手
段は、顔の動画像に唇画像を合成している。
【００１１】この様に顔の動画像に唇画像を合成すれ
ば、この結果として、顔が動く３次元の顔モデルを得る
ことができる。また、顔の動画像と唇の動画像を合成す
ることにより、口の開閉と顔の動きが協調した３次元の
顔モデルを得ることができる。
ば、この結果として、顔が動く３次元の顔モデルを得る
ことができる。また、顔の動画像と唇の動画像を合成す
ることにより、口の開閉と顔の動きが協調した３次元の
顔モデルを得ることができる。
【００１２】また、本発明においては、顔画像及び唇画
像の少なくとも一方を、他方を用いて補正する画像補正
手段を更に備えている。
像の少なくとも一方を、他方を用いて補正する画像補正
手段を更に備えている。
【００１３】この様に顔画像及び唇画像の少なくとも一
方を補正することにより、顔画像と唇画像を整合させる
ことができ、自然な合成顔画像を得ることができる。
方を補正することにより、顔画像と唇画像を整合させる
ことができ、自然な合成顔画像を得ることができる。
【００１４】更に、本発明においては、顔画像及び唇画
像の少なくとも一方を変形することにより、合成顔画像
の表情を制御する表情制御手段を更に備えている。
像の少なくとも一方を変形することにより、合成顔画像
の表情を制御する表情制御手段を更に備えている。
【００１５】この様に合成顔画像の表情を制御すれば、
よりリアルな合成顔画像を得ることができる。
よりリアルな合成顔画像を得ることができる。
【００１６】次に、本発明の画像処理方法は、顔画像を
入力する顔画像入力ステップと、入力された顔画像に、
予め設定された唇画像を合成して、合成顔画像を形成す
る画像合成ステップと、合成顔画像をテクスチャとして
３次元モデルに貼り込む合成顔画像貼り込みステップと
を含んでいる。
入力する顔画像入力ステップと、入力された顔画像に、
予め設定された唇画像を合成して、合成顔画像を形成す
る画像合成ステップと、合成顔画像をテクスチャとして
３次元モデルに貼り込む合成顔画像貼り込みステップと
を含んでいる。
【００１７】この様な本発明の方法によっても、合成顔
画像の口をリアルに表現することができ、また口を開閉
する３次元の顔モデルを容易に得ることができる。
画像の口をリアルに表現することができ、また口を開閉
する３次元の顔モデルを容易に得ることができる。
【００１８】次に、本発明の画像処理用プログラムを記
録した記録媒体は、顔画像を入力する顔画像入力ステッ
プと、入力された顔画像に、予め設定された唇画像を合
成して、合成顔画像を形成する画像合成ステップと、合
成顔画像をテクスチャとして３次元モデルに貼り込む合
成顔画像貼り込みステップとを少なくとも含んでいる。
録した記録媒体は、顔画像を入力する顔画像入力ステッ
プと、入力された顔画像に、予め設定された唇画像を合
成して、合成顔画像を形成する画像合成ステップと、合
成顔画像をテクスチャとして３次元モデルに貼り込む合
成顔画像貼り込みステップとを少なくとも含んでいる。
【００１９】すなわち、本発明は、画像処理装置及び画
像処理方法だけでなく、これを実現するためのプログラ
ムを記録した記録媒体を包含するものである。
像処理方法だけでなく、これを実現するためのプログラ
ムを記録した記録媒体を包含するものである。
【００２０】
【発明の実施の形態】以下、本発明の実施形態を添付図
面を参照して説明する。
面を参照して説明する。
【００２１】図１は、本発明の画像処理装置の第１実施
形態を示すブロック図である。本実施形態の画像処理装
置は、顔画像を入力する顔画像入力部１０１と、予め設
定された複数の唇画像を記憶した唇画像記憶部１０２
と、顔画像と唇画像を合成して、合成顔画像を形成する
画像合成部１０３と、合成顔画像をテクスチャとして３
次元モデルに貼り込み、３次元の顔モデルを形成する顔
画像貼り込み部１０４とを備えている。
形態を示すブロック図である。本実施形態の画像処理装
置は、顔画像を入力する顔画像入力部１０１と、予め設
定された複数の唇画像を記憶した唇画像記憶部１０２
と、顔画像と唇画像を合成して、合成顔画像を形成する
画像合成部１０３と、合成顔画像をテクスチャとして３
次元モデルに貼り込み、３次元の顔モデルを形成する顔
画像貼り込み部１０４とを備えている。
【００２２】顔画像入力部１０１は、デジタルカメラ、
スキャナ、キャプチャボード等であり、顔画像を示す画
像データを記録媒体から読み取ったり、顔画像をフィル
ムから読み込んだり、顔画像を示す画像データをファイ
ルから入力する。
スキャナ、キャプチャボード等であり、顔画像を示す画
像データを記録媒体から読み取ったり、顔画像をフィル
ムから読み込んだり、顔画像を示す画像データをファイ
ルから入力する。
【００２３】唇画像記憶部１０２は、例えば図２
（ａ）、（ｂ）及び（ｃ）に示すそれぞれの唇画像１１
１，１１２，１１３を記憶している。これらの唇画像１
１１〜１１３は、撮影により得た画像から切り出された
ものである。ここでは、唇の輪郭に沿って、唇画像を切
り出しているが、唇画像を含む矩形領域や楕円領域を切
り出しても構わない。図２（ａ）の唇画像１１１は、図
３の画像１１４から切り出されたものであり、閉じられ
た口を示している。図２（ｂ）の唇画像１１２は半ば開
かれた口を示し、図２（ｃ）の唇画像１１３は開かれた
口を示している。更に、他の状態の唇画像を追加して記
憶しても構わない。
（ａ）、（ｂ）及び（ｃ）に示すそれぞれの唇画像１１
１，１１２，１１３を記憶している。これらの唇画像１
１１〜１１３は、撮影により得た画像から切り出された
ものである。ここでは、唇の輪郭に沿って、唇画像を切
り出しているが、唇画像を含む矩形領域や楕円領域を切
り出しても構わない。図２（ａ）の唇画像１１１は、図
３の画像１１４から切り出されたものであり、閉じられ
た口を示している。図２（ｂ）の唇画像１１２は半ば開
かれた口を示し、図２（ｃ）の唇画像１１３は開かれた
口を示している。更に、他の状態の唇画像を追加して記
憶しても構わない。
【００２４】この画像処理装置は、コンピュータを利用
することにより実現されるものであり、ＲＯＭ内のプロ
グラムをＣＰＵにより実行して、画像データをＲＡＭ上
で処理することにより、画像合成部１０３及び顔画像貼
り込み部１０４のそれぞれの役目が果たされる。
することにより実現されるものであり、ＲＯＭ内のプロ
グラムをＣＰＵにより実行して、画像データをＲＡＭ上
で処理することにより、画像合成部１０３及び顔画像貼
り込み部１０４のそれぞれの役目が果たされる。
【００２５】図４は、本実施形態の画像処理装置による
処理を示すフローチャートである。
処理を示すフローチャートである。
【００２６】まず、顔画像入力部１０１から例えば図５
に示す顔画像１２１が入力され（ステップＳ２０１）、
また図示されない操作キーの操作により、唇画像記憶部
１０２内の例えば図２（ｃ）の唇画像１１３が選択され
る。画像合成部１０３は、周知の方法により顔画像１２
１を処理して、顔画像１２１の口の位置を求め、この位
置に図２（ｃ）の唇画像１１３を重ね合わせて、図６に
示す合成顔画像１２２を形成する（ステップＳ２０
２）。口の位置を求める方法は、例えば「顔情報処理の
ための共通プラットホームの構築」コンピュータビジョ
ンとイメージメディア（1998.3.19 ）ｐ65- ｐ72に記載
されている。
に示す顔画像１２１が入力され（ステップＳ２０１）、
また図示されない操作キーの操作により、唇画像記憶部
１０２内の例えば図２（ｃ）の唇画像１１３が選択され
る。画像合成部１０３は、周知の方法により顔画像１２
１を処理して、顔画像１２１の口の位置を求め、この位
置に図２（ｃ）の唇画像１１３を重ね合わせて、図６に
示す合成顔画像１２２を形成する（ステップＳ２０
２）。口の位置を求める方法は、例えば「顔情報処理の
ための共通プラットホームの構築」コンピュータビジョ
ンとイメージメディア（1998.3.19 ）ｐ65- ｐ72に記載
されている。
【００２７】この後、顔画像貼り込み部１０４は、図７
に示す様に合成顔画像１２２をテクスチャとし、このテ
クスチャを予め設定された３次元モデル１２３に平行投
影して、このテクスチャを３次元モデル１２３に貼り込
み、図８に示す様な３次元の顔モデル１２４を形成す
る。このテクスチャの貼り込みは、一般的に知られてい
るテクスチャマッピングや３次元レンダリングの手法を
用いて行われる。例えば、マイクロソフト（Microsoft
）社製のオペレーティングシステムであるWindows98
（商品名）では、同社製のDirect 3D （商品名）を用い
て、顔画像をテクスチャマッピングし、任意のアングル
の３次元の顔モデルを形成することが可能である。
に示す様に合成顔画像１２２をテクスチャとし、このテ
クスチャを予め設定された３次元モデル１２３に平行投
影して、このテクスチャを３次元モデル１２３に貼り込
み、図８に示す様な３次元の顔モデル１２４を形成す
る。このテクスチャの貼り込みは、一般的に知られてい
るテクスチャマッピングや３次元レンダリングの手法を
用いて行われる。例えば、マイクロソフト（Microsoft
）社製のオペレーティングシステムであるWindows98
（商品名）では、同社製のDirect 3D （商品名）を用い
て、顔画像をテクスチャマッピングし、任意のアングル
の３次元の顔モデルを形成することが可能である。
【００２８】この様に本実施形態では、閉じられた口の
唇画像、開かれた口の唇画像等のいずれかを選択して顔
画像に合成しているので、合成顔画像の口をリアルに表
現することができる。また、この合成顔画像をテクスチ
ャとして３次元モデルに貼り込むだけで、３次元の顔モ
デルを得ることができる。
唇画像、開かれた口の唇画像等のいずれかを選択して顔
画像に合成しているので、合成顔画像の口をリアルに表
現することができる。また、この合成顔画像をテクスチ
ャとして３次元モデルに貼り込むだけで、３次元の顔モ
デルを得ることができる。
【００２９】尚、顔画像入力部１０１から入力された顔
画像１２１は、通常、その向きが真正面から外れている
ことが多い。このため、真正面に向く様に顔画像１２１
を変形しても構わない。例えば、本発明の出願人等は、
先に出願した特願平１１−２８３３８７号において顔画
像を正面に向けるための方法を提案している。ここで
は、顔画像の両目、鼻、口、顎の先、両耳等の各座標を
指定し、これらの座標から顔の大きさ、位置及び向きを
求め、これらの大きさ、位置及び向きの３次元モデルの
投影画像と、所定の大きさ、所定の位置及び真正面の該
３次元モデルの投影画像とを対比させ、この対比に基づ
いて、該顔画像から真正面に向いた顔画像を導出してい
る。
画像１２１は、通常、その向きが真正面から外れている
ことが多い。このため、真正面に向く様に顔画像１２１
を変形しても構わない。例えば、本発明の出願人等は、
先に出願した特願平１１−２８３３８７号において顔画
像を正面に向けるための方法を提案している。ここで
は、顔画像の両目、鼻、口、顎の先、両耳等の各座標を
指定し、これらの座標から顔の大きさ、位置及び向きを
求め、これらの大きさ、位置及び向きの３次元モデルの
投影画像と、所定の大きさ、所定の位置及び真正面の該
３次元モデルの投影画像とを対比させ、この対比に基づ
いて、該顔画像から真正面に向いた顔画像を導出してい
る。
【００３０】また、唇画像記憶部１０２内の各唇画像１
１１〜１１３を適宜の順番で選択して顔画像１２１に合
成し、一連の各合成顔画像１２２を形成すれば、口が開
閉する動画像を得ることができる。更に、各唇画像１１
１〜１１３によって唇の動きを表す代わりに、少なくと
も１つの唇画像と、その動きを示すデータにより、唇の
動画像を形成し、この唇の動画像を顔画像に合成しても
構わない。
１１〜１１３を適宜の順番で選択して顔画像１２１に合
成し、一連の各合成顔画像１２２を形成すれば、口が開
閉する動画像を得ることができる。更に、各唇画像１１
１〜１１３によって唇の動きを表す代わりに、少なくと
も１つの唇画像と、その動きを示すデータにより、唇の
動画像を形成し、この唇の動画像を顔画像に合成しても
構わない。
【００３１】更に、顔画像入力部１０１から一連の動き
を表す複数の顔画像１２１を順次入力し、これらの顔画
像１２１を唇画像に順次合成して、一連の動きを表す各
合成顔画像１２２を形成しても構わない。この場合も、
複数の顔画像によって顔の動きを表す代わりに、少なく
とも１つの顔画像と、その動きを示すデータにより、顔
の動画像を形成しても良い。
を表す複数の顔画像１２１を順次入力し、これらの顔画
像１２１を唇画像に順次合成して、一連の動きを表す各
合成顔画像１２２を形成しても構わない。この場合も、
複数の顔画像によって顔の動きを表す代わりに、少なく
とも１つの顔画像と、その動きを示すデータにより、顔
の動画像を形成しても良い。
【００３２】あるいは、唇の動画像と顔の動画画像を協
調させて、合成顔画像を形成すれば、より自然な動きを
表す合成顔画像を得ることができる。
調させて、合成顔画像を形成すれば、より自然な動きを
表す合成顔画像を得ることができる。
【００３３】図９は、本発明の画像処理装置の第２実施
形態を示すブロック図である。本実施形態の装置では、
図１に示す装置の画像合成部１０３の前段に、画像補正
部１０５を挿入している。
形態を示すブロック図である。本実施形態の装置では、
図１に示す装置の画像合成部１０３の前段に、画像補正
部１０５を挿入している。
【００３４】図１０は、本実施形態の装置による処理を
示すフローチャートである。ここでは、図４のフローチ
ャートの各ステップＳ２０１，２０２間に、ステップＳ
２０４を挿入している。
示すフローチャートである。ここでは、図４のフローチ
ャートの各ステップＳ２０１，２０２間に、ステップＳ
２０４を挿入している。
【００３５】尚、図９において、図１の装置と同様の作
用を果たす部位には同じ符号を付して説明を省略する。
また、図１０において、図４のフローチャートと同じス
テップには同じ符号を付している。
用を果たす部位には同じ符号を付して説明を省略する。
また、図１０において、図４のフローチャートと同じス
テップには同じ符号を付している。
【００３６】さて、顔画像入力部１０１から例えば図５
に示す顔画像１２１が入力され（ステップＳ２０１）、
また唇画像記憶部１０２内の例えば図２（ｃ）の唇画像
１１３が選択される。
に示す顔画像１２１が入力され（ステップＳ２０１）、
また唇画像記憶部１０２内の例えば図２（ｃ）の唇画像
１１３が選択される。
【００３７】画像補正部１０５は、唇画像１１３に応じ
て、顔画像１２１を補正したり、顔画像１２１に応じ
て、唇画像１１３を補正する（ステップＳ２０４）。例
えば、唇画像１１３の唇の横幅と顔画像１２１の唇の横
幅が一致する様に、顔画像１２１又は唇画像１１３を拡
大縮小する。あるいは、唇画像１１３の縦幅（口の開き
具合）に応じて、顔画像１２１の顎の縦幅や開閉角度
（顎の開き具合）を補正する。
て、顔画像１２１を補正したり、顔画像１２１に応じ
て、唇画像１１３を補正する（ステップＳ２０４）。例
えば、唇画像１１３の唇の横幅と顔画像１２１の唇の横
幅が一致する様に、顔画像１２１又は唇画像１１３を拡
大縮小する。あるいは、唇画像１１３の縦幅（口の開き
具合）に応じて、顔画像１２１の顎の縦幅や開閉角度
（顎の開き具合）を補正する。
【００３８】この後、画像合成部１０３は、補正された
顔画像１２１の口の位置に補正された唇画像１１３を重
ね合わせて、合成顔画像を形成する（ステップＳ２０
２）。更に、顔画像貼り込み部１０４は、合成顔画像を
テクスチャとし、このテクスチャを３次元モデルに平行
投影して、このテクスチャを３次元モデルに貼り込み、
３次元の顔モデルを形成する（ステップＳ２０３）。
顔画像１２１の口の位置に補正された唇画像１１３を重
ね合わせて、合成顔画像を形成する（ステップＳ２０
２）。更に、顔画像貼り込み部１０４は、合成顔画像を
テクスチャとし、このテクスチャを３次元モデルに平行
投影して、このテクスチャを３次元モデルに貼り込み、
３次元の顔モデルを形成する（ステップＳ２０３）。
【００３９】この様に唇画像及び顔画像の少なくとも一
方を、他方を用いて補正すれば、顔画像と唇画像を整合
させることができ、より自然な合成顔画像並びに３次元
の顔モデルを得ることができる。
方を、他方を用いて補正すれば、顔画像と唇画像を整合
させることができ、より自然な合成顔画像並びに３次元
の顔モデルを得ることができる。
【００４０】図１１は、本発明の画像処理装置の第３実
施形態を示すブロック図である。本実施形態の装置で
は、図１に示す装置の画像合成部１０３に、表情制御部
１０６を付加している。
施形態を示すブロック図である。本実施形態の装置で
は、図１に示す装置の画像合成部１０３に、表情制御部
１０６を付加している。
【００４１】図１２は、本実施形態の装置による処理を
示すフローチャートである。ここでは、図４のフローチ
ャートの各ステップＳ２０１，２０２間に、ステップＳ
２０５を挿入している。
示すフローチャートである。ここでは、図４のフローチ
ャートの各ステップＳ２０１，２０２間に、ステップＳ
２０５を挿入している。
【００４２】尚、図１１において、図１の装置と同様の
作用を果たす部位には同じ符号を付して説明を省略す
る。また、図１２において、図４のフローチャートと同
じステップには同じ符号を付している。
作用を果たす部位には同じ符号を付して説明を省略す
る。また、図１２において、図４のフローチャートと同
じステップには同じ符号を付している。
【００４３】まず、顔画像入力部１０１から例えば図５
に示す顔画像１２１が入力され（ステップＳ２０１）、
また唇画像記憶部１０２内の例えば図２（ｃ）の唇画像
１１３が選択される。
に示す顔画像１２１が入力され（ステップＳ２０１）、
また唇画像記憶部１０２内の例えば図２（ｃ）の唇画像
１１３が選択される。
【００４４】表情制御部１０６は、図示されない操作キ
ーの操作により、顔の表情が指示されると、画像合成部
１０３を通じ、唇画像１１３及び顔画像１２１の少なく
とも一方を変形させて、表情を作り出す（ステップＳ２
０５）。例えば、「笑い顔」や「哀しい顔」が指示され
ると、それぞれの表情に応じて、唇画像１１３もしくは
顔画像１２１上の予め設定された複数の特徴点を移動さ
せて、唇画像１１３もしくは顔画像１２１を変形せさ、
これにより表情を作り出す。各特徴点間の画素について
は、周知のモーフィングの技術により移動させれば良
い。より具体的には、唇画像１１３もしくは顔画像１２
１の変形により、唇を押し上げたり、眉をつり上げる
（例えば「顔情報処理のための共通プラットホームの構
築」コンピュータビジョンとイメージメディア（1998.
3.19 ）ｐ65- ｐ72を参照）。
ーの操作により、顔の表情が指示されると、画像合成部
１０３を通じ、唇画像１１３及び顔画像１２１の少なく
とも一方を変形させて、表情を作り出す（ステップＳ２
０５）。例えば、「笑い顔」や「哀しい顔」が指示され
ると、それぞれの表情に応じて、唇画像１１３もしくは
顔画像１２１上の予め設定された複数の特徴点を移動さ
せて、唇画像１１３もしくは顔画像１２１を変形せさ、
これにより表情を作り出す。各特徴点間の画素について
は、周知のモーフィングの技術により移動させれば良
い。より具体的には、唇画像１１３もしくは顔画像１２
１の変形により、唇を押し上げたり、眉をつり上げる
（例えば「顔情報処理のための共通プラットホームの構
築」コンピュータビジョンとイメージメディア（1998.
3.19 ）ｐ65- ｐ72を参照）。
【００４５】画像合成部１０３は、表情を与えられた顔
画像１２１の口の位置に、表情を与えられた唇画像１１
３を重ね合わせて、合成顔画像を形成する（ステップＳ
２０２）。更に、顔画像貼り込み部１０４は、合成顔画
像のテクスチャを３次元モデルに貼り込み、３次元の顔
モデルを形成する（ステップＳ２０３）。
画像１２１の口の位置に、表情を与えられた唇画像１１
３を重ね合わせて、合成顔画像を形成する（ステップＳ
２０２）。更に、顔画像貼り込み部１０４は、合成顔画
像のテクスチャを３次元モデルに貼り込み、３次元の顔
モデルを形成する（ステップＳ２０３）。
【００４６】この様に顔画像及び唇画像の少なくとも一
方を変形することにより、合成顔画像の表情を制御すれ
ば、よりリアルな合成顔画像並びに３次元の顔モデルを
得ることができる。
方を変形することにより、合成顔画像の表情を制御すれ
ば、よりリアルな合成顔画像並びに３次元の顔モデルを
得ることができる。
【００４７】尚、本発明は、上記各実施形態に限定され
るものでなく、多様に変形することができる。例えば、
第２実施形態における唇画像及び顔画像の補正と、第３
実施形態における表情制御を組み合わせても良い。更
に、真正面に向けるための顔画像の変形や、唇の動画像
もしくは顔の動画画像を適宜に組み合わせても構わな
い。
るものでなく、多様に変形することができる。例えば、
第２実施形態における唇画像及び顔画像の補正と、第３
実施形態における表情制御を組み合わせても良い。更
に、真正面に向けるための顔画像の変形や、唇の動画像
もしくは顔の動画画像を適宜に組み合わせても構わな
い。
【００４８】また、複数の人物毎に、相互に異なる状態
の各唇画像を予めサンプリングして記憶しておき、各人
物のいずれかを選択して、この選択された人物の各唇画
像を顔画像に合成しても構わない。あるいは、人の顔画
像及び唇画像だけでなく、動物の顔画像と唇に相当する
部位の画像を合成する場合にも、本発明を適用すること
ができる。
の各唇画像を予めサンプリングして記憶しておき、各人
物のいずれかを選択して、この選択された人物の各唇画
像を顔画像に合成しても構わない。あるいは、人の顔画
像及び唇画像だけでなく、動物の顔画像と唇に相当する
部位の画像を合成する場合にも、本発明を適用すること
ができる。
【００４９】更に、本発明は、画像処理装置及び画像処
理方法だけでなく、これらを実現するためのプログラム
を記録した記録媒体を包含するものである。記録媒体と
しては、マスクＲＯＭ、フラッシュＲＯＭといった半導
体記憶素子、ＩＣカード、ハードディスク、フロッピー
（登録商標）ディスク、ＭＯディスク、ＣＤＲＯＭ、Ｄ
ＶＤＲＯＭ等を挙げることができ、プログラムを記録す
ることが可能であれば他の種類の記録媒体であっても良
い。
理方法だけでなく、これらを実現するためのプログラム
を記録した記録媒体を包含するものである。記録媒体と
しては、マスクＲＯＭ、フラッシュＲＯＭといった半導
体記憶素子、ＩＣカード、ハードディスク、フロッピー
（登録商標）ディスク、ＭＯディスク、ＣＤＲＯＭ、Ｄ
ＶＤＲＯＭ等を挙げることができ、プログラムを記録す
ることが可能であれば他の種類の記録媒体であっても良
い。
【００５０】
【発明の効果】以上説明した様に本発明によれば、予め
設定された唇画像を顔画像に合成して、合成顔画像を形
成している。このため、閉じられた口の唇画像、開かれ
た口の唇画像等を準備しておき、これらの唇画像のいず
れかを選択して顔画像に合成すれば、合成顔画像の口を
リアルに表現することができる。また、この合成顔画像
をテクスチャとして３次元モデルに貼り込めば、閉じら
れた口の３次元の顔モデルや、開かれた口の３次元の顔
モデルを得ることができる。このため、従来の様に複数
種類の３次元モデルを準備したり、合成顔画像の口と３
次元モデルの口を多数のポイントで対応づける必要がな
い。
設定された唇画像を顔画像に合成して、合成顔画像を形
成している。このため、閉じられた口の唇画像、開かれ
た口の唇画像等を準備しておき、これらの唇画像のいず
れかを選択して顔画像に合成すれば、合成顔画像の口を
リアルに表現することができる。また、この合成顔画像
をテクスチャとして３次元モデルに貼り込めば、閉じら
れた口の３次元の顔モデルや、開かれた口の３次元の顔
モデルを得ることができる。このため、従来の様に複数
種類の３次元モデルを準備したり、合成顔画像の口と３
次元モデルの口を多数のポイントで対応づける必要がな
い。
【００５１】また、本発明によれば、顔画像に唇の動画
像を合成するので、口を開閉する３次元の顔モデルを得
ることができる。
像を合成するので、口を開閉する３次元の顔モデルを得
ることができる。
【００５２】更に、本発明によれば、顔の動画像に唇画
像を合成するので、顔が動く３次元の顔モデルを得るこ
とができる。また、顔の動画像と唇の動画像を合成する
ことにより、口の開閉と顔の動きが協調した３次元の顔
モデルを得ることができる。
像を合成するので、顔が動く３次元の顔モデルを得るこ
とができる。また、顔の動画像と唇の動画像を合成する
ことにより、口の開閉と顔の動きが協調した３次元の顔
モデルを得ることができる。
【００５３】また、本発明によれば、顔画像及び唇画像
の少なくとも一方を補正するので、顔画像と唇画像を整
合させて、自然な合成顔画像を得ることができる。
の少なくとも一方を補正するので、顔画像と唇画像を整
合させて、自然な合成顔画像を得ることができる。
【００５４】更に、本発明によれば、顔画像及び唇画像
の少なくとも一方を変形することにより、合成顔画像の
表情を制御するので、よりリアルな合成顔画像を得るこ
とができる。
の少なくとも一方を変形することにより、合成顔画像の
表情を制御するので、よりリアルな合成顔画像を得るこ
とができる。
【図１】本発明の画像処理装置の第１実施形態を示すブ
ロック図である。
ロック図である。
【図２】（ａ）は閉じられた口の唇画像を示す図であ
り、（ｂ）は半ば開かれた口の唇画像を示す図であり、
（ｃ）は開かれた口の唇画像を示す図である。
り、（ｂ）は半ば開かれた口の唇画像を示す図であり、
（ｃ）は開かれた口の唇画像を示す図である。
【図３】図２（ａ）の唇画像が切り出された元の画像を
示す図である。
示す図である。
【図４】図１の装置による処理を示すフローチャートで
ある。
ある。
【図５】顔画像を例示する図である。
【図６】合成顔画像を例示する図である。
【図７】合成顔画像を３次元モデルに貼り込む処理を説
明するために用いた斜視図である。
明するために用いた斜視図である。
【図８】３次元の顔モデルを示す斜視図である。
【図９】本発明の画像処理装置の第２実施形態を示すブ
ロック図である。
ロック図である。
【図１０】図９の装置による処理を示すフローチャート
である。
である。
【図１１】本発明の画像処理装置の第３実施形態を示す
ブロック図である。
ブロック図である。
【図１２】図１１の装置による処理を示すフローチャー
トである。
トである。
１０１ 顔画像入力部 １０２ 唇画像記憶部 １０３ 画像合成部 １０４ 顔画像貼り込み部 １０５ 画像補正部 １０６ 表情制御部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 紺矢 峰弘 大阪府大阪市阿倍野区長池町22番22号 シ ャープ株式会社内 Ｆターム(参考） 5B050 BA06 BA08 BA09 BA12 DA02 EA13 EA19 EA24 EA26 5B080 FA08 GA22 5C054 CC03 EH01 FA00 FC12 FD01 FE12 HA23
Claims (7)
- 【請求項１】 顔画像を入力する顔画像入力手段と、 予め設定された少なくとも１つの唇画像を記憶した唇画
像記憶手段と、 顔画像入力手段によって入力された顔画像に唇画像記憶
手段内の唇画像を合成して、合成顔画像を形成する画像
合成手段と、 合成顔画像をテクスチャとして３次元モデルに貼り込む
合成顔画像貼り込み手段とを備えることを特徴とする画
像処理装置。 - 【請求項２】 唇画像記憶手段には、唇画像として唇の
動画像が記憶され、 画像合成手段は、顔画像に唇の動画像を合成することを
特徴とする請求項１に記載の画像処理装置。 - 【請求項３】 顔画像入力手段には、顔画像として顔の
動画像が入力され、 画像合成手段は、顔の動画像に唇画像を合成することを
特徴とする請求項１又は２に記載の画像処理装置。 - 【請求項４】 顔画像及び唇画像の少なくとも一方を、
他方を用いて補正する画像補正手段を更に備えることを
特徴とする請求項１乃至３のいずれかに記載の画像処理
装置。 - 【請求項５】 顔画像及び唇画像の少なくとも一方を変
形することにより、合成顔画像の表情を制御する表情制
御手段を更に備えることを特徴とする請求項１乃至４の
いずれかに記載の画像処理装置。 - 【請求項６】 顔画像を入力する顔画像入力ステップ
と、 入力された顔画像に、予め設定された唇画像を合成し
て、合成顔画像を形成する画像合成ステップと、 合成顔画像をテクスチャとして３次元モデルに貼り込む
合成顔画像貼り込みステップとを含むことを特徴とする
画像処理方法。 - 【請求項７】 顔画像を入力する顔画像入力ステップ
と、 入力された顔画像に、予め設定された唇画像を合成し
て、合成顔画像を形成する画像合成ステップと、 合成顔画像をテクスチャとして３次元モデルに貼り込む
合成顔画像貼り込みステップとを少なくとも含む画像処
理用プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000354472A JP2002157605A (ja) | 2000-11-21 | 2000-11-21 | 画像処理装置、画像処理方法、及び画像処理用プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000354472A JP2002157605A (ja) | 2000-11-21 | 2000-11-21 | 画像処理装置、画像処理方法、及び画像処理用プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002157605A true JP2002157605A (ja) | 2002-05-31 |
Family
ID=18827053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000354472A Pending JP2002157605A (ja) | 2000-11-21 | 2000-11-21 | 画像処理装置、画像処理方法、及び画像処理用プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002157605A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007156945A (ja) * | 2005-12-07 | 2007-06-21 | Sony Corp | 画像処理装置および画像処理方法、プログラム、並びにデータ構造 |
| WO2023158370A3 (zh) * | 2022-02-16 | 2023-11-09 | 脸萌有限公司 | 表情包生成方法及设备 |
| WO2023158375A3 (zh) * | 2022-02-16 | 2023-11-09 | 脸萌有限公司 | 表情包生成方法及设备 |
-
2000
- 2000-11-21 JP JP2000354472A patent/JP2002157605A/ja active Pending
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007156945A (ja) * | 2005-12-07 | 2007-06-21 | Sony Corp | 画像処理装置および画像処理方法、プログラム、並びにデータ構造 |
| JP4760349B2 (ja) * | 2005-12-07 | 2011-08-31 | ソニー株式会社 | 画像処理装置および画像処理方法、並びに、プログラム |
| US8150205B2 (en) | 2005-12-07 | 2012-04-03 | Sony Corporation | Image processing apparatus, image processing method, program, and data configuration |
| WO2023158370A3 (zh) * | 2022-02-16 | 2023-11-09 | 脸萌有限公司 | 表情包生成方法及设备 |
| WO2023158375A3 (zh) * | 2022-02-16 | 2023-11-09 | 脸萌有限公司 | 表情包生成方法及设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6532011B1 (en) | Method of creating 3-D facial models starting from face images | |
| US6919892B1 (en) | Photo realistic talking head creation system and method | |
| US7200281B2 (en) | System and method for image-based surface detail transfer | |
| Benson et al. | Synthesising continuous-tone caricatures | |
| US7027054B1 (en) | Do-it-yourself photo realistic talking head creation system and method | |
| US8655152B2 (en) | Method and system of presenting foreign films in a native language | |
| JP6874772B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| US20100007665A1 (en) | Do-It-Yourself Photo Realistic Talking Head Creation System and Method | |
| US20070165022A1 (en) | Method and system for the automatic computerized audio visual dubbing of movies | |
| US7109993B2 (en) | Method and system for the automatic computerized audio visual dubbing of movies | |
| KR102215290B1 (ko) | 컴퓨터 그래픽 합성 시스템 및 방법 | |
| WO2002013144A1 (en) | 3d facial modeling system and modeling method | |
| US20040068408A1 (en) | Generating animation from visual and audio input | |
| US20180225882A1 (en) | Method and device for editing a facial image | |
| CN109717966B (zh) | 用于牙齿整形的影像仿真方法及其影像仿真装置 | |
| JP2009211513A (ja) | 画像処理装置及びその方法 | |
| JP3444148B2 (ja) | 眉描画方法 | |
| JP3538263B2 (ja) | 画像生成方法 | |
| JP7218769B2 (ja) | 画像生成装置、画像生成方法、およびプログラム | |
| JPH10240908A (ja) | 映像合成方法 | |
| KR20000051217A (ko) | 얼굴 텍스처 영상을 이용한 3차원 얼굴 모델링방법 | |
| JP2004509391A (ja) | 無表情顔面画像を利用したアバター動画変換方法及び装置 | |
| KR100422470B1 (ko) | 3차원 동화상 모델 얼굴 대체 방법 및 장치 | |
| JP2002157605A (ja) | 画像処理装置、画像処理方法、及び画像処理用プログラムを記録した記録媒体 | |
| JP2009043065A (ja) | 顔認証装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060328 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060822 |