JP2004246891A - 顔画像の生成方法および表示方法 - Google Patents
顔画像の生成方法および表示方法 Download PDFInfo
- Publication number
- JP2004246891A JP2004246891A JP2004031849A JP2004031849A JP2004246891A JP 2004246891 A JP2004246891 A JP 2004246891A JP 2004031849 A JP2004031849 A JP 2004031849A JP 2004031849 A JP2004031849 A JP 2004031849A JP 2004246891 A JP2004246891 A JP 2004246891A
- Authority
- JP
- Japan
- Prior art keywords
- face
- face image
- principal component
- facial
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
Abstract
【解決手段】 本発明の生成方法は、以下のステップを備える:
(1)顔画像における主成分の重みを操作する操作画面を表示するステップ;
(2)前記操作画面において操作された主成分の重みを用いて、顔画像を生成するステップ。
この方法は、さらに以下のステップを備えてもよい:
(3)前記生成された顔画像を前記操作画面と共に表示するステップ。
前記主成分の重みの操作は、印象の度合いを調整することにより行われてもよい。
【選択図】図6
Description
柴田大介、中村剛士、世木博久、伊藤英則 : 顔画像の線描画による表現手法について, 電子情報通信学会論文誌D-II, vol.J80-D-II, no.8, pp.2095-2101, Aug. 1997. 李元中、小畑秀文 : 顔のスケッチ画像の抽出, 電子情報通信学会論文誌D-II, vol.J80-D-II, no.8, pp.2161-2169, Aug. 1997. 村上和人、輿水大和 : 錯視を用いた似顔絵生成システムPICASSOについて, 情報処理学会論文誌, vol.34, no.10, pp.2106-2116, Oct. 1993. 塩野充、武田哲、村山智彦 : 顔画像からの似顔絵作成システム, テレビジョン学会誌, vol.42, no.12, pp.1380-1386, Dec. 1988. 徐光哲、金子正秀、榑松明 : 固有空間を利用した計算機による似顔絵の生成,電子情報通信学会論文誌D-II,vol.J84-D-II, no.7, pp.1279-1288,July 2001.
(1)顔画像における主成分の重みを操作する操作画面を表示するステップ;
(2)前記操作画面において操作された主成分の重みを用いて、顔画像を生成するステップ。
(3)前記生成された顔画像を前記操作画面と共に表示するステップ。
(1)初期の顔画像の入力を受け付けるステップ;
(2)前記顔画像における主成分の値を、前記顔画像と共に画面に表示するステップ。
1.1 固有空間法
固有空間法(多変量解析における主成分分析)[文献7][文献8]は、高次元のデータに対して、できるだけ本質的な情報を失うことなく要約して低次元のデータへ変換する手法である。特に、あるグループに属する対象の形状データを集め、それに対して共分散行列を用いた固有空間法を適用した場合、主成分の軸は平均形状を基準とした形状変化を表現する。人間の顔形状データに対して固有空間法を適用することによって得られた主成分は、人間の顔特徴を表している。
目、眉、口等の顔部品の形状はある程度独立していると考えられる。サンプル数対次元数の比を改善する意味でも、本実施形態では顔部品ごとに固有空間を求めている。具体的には、顔部品の輪郭線上から、目12点、鼻30点、口(唇)44点、眉10点、顔輪郭38点を抽出し、各点についてのx、y座標を用いて個別に計算する。眉・目に関しては左右の対称性を考慮して、右側の部品を左右反転して新たなサンプルとして採用することにより、サンプル数を倍にしている。
2.1 対話的操作システムの概略
固有空間による顔表現を行う場合、ある一つの顔は、各顔部品の形状及び配置の各々に対する固有空間を組合せた複合的な固有空間内の一点で表される。逆に、この固有空間内の点が決まると、それに対応する似顔絵を出力することができる。そこで、ここでは対話的に個々の主成分の重みを操作して似顔絵を作り出すことにより、各主成分が表す顔特徴を明確にすることを考える。図4に、固有空間を利用した似顔絵生成の全体の枠組みを示す。図5には、配置情報を分離した場合の、固有空間を利用した似顔絵生成の枠組みを示す。配置情報を分離しない場合には、ベースとなる顔(平均顔)に対し各主成分に重みを付けたものを足し合わせることにより似顔絵を実現する。一方、配置情報を分離した固有空間を利用する場合には、図5に示す様に固有空間もベースとなる顔(平均形状と平均配置)も形状情報と配置情報に分かれており、別々に操作したあと両者を統合することにより、最終的な似顔絵を得る。
図6のシステムでは、各主成分の重みを操作した結果が直ちに顔画像として表示されるため、各主成分が担っている性質を、表示された顔画像を通じて直感的に理解することができる。ここでは、主成分によって表現される全般的な顔特徴について述べる。
各顔部品に共通する配置に関わる成分について、形状特徴とは別個に扱えるようにした固有空間を求める。位置と傾きの成分について正規化を行い、分離された情報を配置情報としてまとめ、主成分分析を行う。
図11、12に顔輪郭の形状情報と顔部品の配置情報の各々について、上位4つの主成分の重みの値をそれぞれ±5 まで動かした場合の顔画像の例を示す。ベースとなる顔としては、平均顔を用いている。
第1主成分:顔の大小
第2主成分:顔の長さ(特に上側)と幅
第3主成分:顔の横幅と顎の長さ
第4主成分:三角顔か逆三角顔か
第1主成分:眉、目の釣り上がり
口と鼻の間隔
第2主成分:各顔部品が顔中央に集中するか、
逆に離れ離れになるか。
眉の傾きの大きな変化。
第3主成分:眉と目の傾きと間隔
口と鼻の間隔
第4主成分:眉の寄り具合と傾き
コンピュータによる似顔絵は、通常、実写の顔写真に基づいて作成される。一方、顔に対しては喜怒哀楽の感情に対応した表情に加えて、優しそうな顔、勇ましい顔、等々、顔印象を表現する様々な言語表現がある。顔印象を表現する言語表現に対して、対応する顔画像を直接生成することができれば、顔写真がなくても当該人物に対する印象の記憶に基づいて、或いは、任意に思い浮かべた顔特徴に基づいて顔画像を生成できる。更には、顔印象を定量的に扱うことも可能となる。
本実施形態では、複数の条件下で何らかの判断を下す際に用いられる、マムダニ(Mamdani)によるファジィ推論である直接法[文献11]を基にした処理によって、複数の顔感性表現を考慮した顔画像を生成する。マムダニによるファジィ推論は、基本的かつ実用的な価値の高い手法である。
「顔感性表現iが典型的である」場合に、各主成分の重みの値を記述するファジィ集合は次の様に設定する。各顔感性表現(印象語)iごとに、まず、図6のシステムを用いて、その印象に相等すると思われる典型的な顔画像(典型顔) iを対話的に生成する。この時、顔部品の形状や配置に対する主成分の重みのそれぞれの値rに対して、三角型ファジイ数r’による表現を行う。すなわち、典型顔iにおける顔特徴を表現するために、典型顔iに対応した各主成分の重みの曖昧さを三角形状の関数で表す。ここでは、対称形の三角形を用いている。三角形の中心軸の位置は各主成分の重みの値rとし、三角形のすその広がりは、rの絶対値が大きくなるほど広くなる様に定めている。但し、ファジィ集合の決め方は上記説明に限られるものではなく、状況に応じて適切に選べばよい。
図6のシステムの拡張により、3.1項に記載した推論規則による顔画像生成を実現する。図13に顔感性表現を操作するための対話画面の例を示す。印象語の一つ一つに応じたスライダを用意してある。0〜1に正規化された範囲で、各印象語に対応して典型的である度合いを変化させることができる。これはファジィ推論の入力に対応しており、複数の表現を動かすことにより、顔感性表現を混合した顔画像を対話的に生成できる。生成されたこれらの顔画像は、操作画面に隣接して表示される。また、これらの要素を操作したあと、各顔部品の形状及び配置の操作ボタンを選択し、各主成分の重みを調節するスライダを動かすことにより、顔形状、従って顔印象、に対する細かい調整を行うことができる。本システムを利用することにより、顔感性表現に対応した顔画像を自由に生成・追加することができる。
図6のシステムによって個人毎の顔特徴を操作した上で、顔印象語に対応した典型的な特徴を図13のシステムを用いて付与した顔画像の例を図15に示す。図15 (1)〜(3)の各々において、(a)は入力顔写真から取り出した顔形状、(b)は図6のシステムによって(a)に対する顔特徴操作を施した結果の例、(c)、(d)は(b)に対して、優しい、笑い、などの顔印象を更に付与した例である。図15は対話的操作を経て作成したものであるため、操作者の主観が入ってくるが、入力顔形状に対する特徴強調、顔印象付与に伴う図形的変化の様子を見てとることができる。
初期値としての顔画像を取り込んで、その顔画像における主成分を表示した例を以下に示す。図16は、平均顔を取り込んだ例を示す。主成分の値は、入力顔と平均顔との差に対して求められるため、平均顔を入力顔として取込んだ場合には差は零となり、各主成分の重みを表すスライダは全て中央(値0)に位置している。
(文献リスト)
文献6:http://tokyo.image-lab.or.jp/aa/ipa/
文献7:田中豊、脇本和昌 : 多変量統計解析法, 現代数学社, 1983.
文献8:有馬哲、石村貞夫 : 多変量解析のはなし, 東京図書, 1987.
文献9:岩下志乃、鬼沢武久 : 主観的印象を考慮した言語表現による似顔絵描写, 電子情報通信学会論文誌D-I,vol.J83-D-I,no.8, pp.891-900,Aug. 2000.
文献10:本多中二、大里有生 :ファジィ工学入門, 海文堂, 1989.
文献11:田中一男 : 応用をめざす人のためのファジィ理論入門,ラッセル社,1991.依依田
Claims (8)
- 以下のステップを備えることを特徴とする顔画像生成方法:
(1)顔画像における主成分の重みを操作する操作画面を表示するステップ;
(2)前記操作画面において操作された主成分の重みを用いて、顔画像を生成するステップ。 - さらに以下のステップを備えることを特徴とする、請求項1記載の顔画像生成方法:
(3)前記生成された顔画像を前記操作画面と共に表示するステップ。 - 前記主成分の重みの操作は、印象の度合いを調整することにより行われることを特徴とする請求項1または2に記載の顔画像の生成方法。
- 前記主成分においては、顔画像を形成する部品の形状情報と配置情報とが分離されていることを特徴とする請求項1〜3のいずれか1項に記載の顔画像の生成方法。
- 以下のステップを備えることを特徴とする顔画像の表示方法:
(1)初期の顔画像の入力を受け付けるステップ;
(2)前記顔画像における主成分の値を、前記顔画像と共に画面に表示するステップ。 - 請求項1〜4のいずれか1項記載の方法で生成された顔画像。
- 請求項6記載の顔画像を表示するためのデータ。
- 請求項1〜5のいずれか1項記載の方法をコンピュータに実行させるためのコンピュータプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US44704203P | 2003-02-11 | 2003-02-11 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004246891A true JP2004246891A (ja) | 2004-09-02 |
Family
ID=33098047
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004031849A Pending JP2004246891A (ja) | 2003-02-11 | 2004-02-09 | 顔画像の生成方法および表示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004246891A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013500771A (ja) * | 2009-07-29 | 2013-01-10 | マイクロソフト コーポレーション | 視覚表示の自動生成方法及びシステム |
JP2014035550A (ja) * | 2012-08-07 | 2014-02-24 | Nintendo Co Ltd | 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法 |
JP2022043272A (ja) * | 2021-03-24 | 2022-03-15 | 北京百度網訊科技有限公司 | アバタの生成方法及び装置、電子機器、記憶媒体及びコンピュータプログラム |
JP2022043244A (ja) * | 2021-03-24 | 2022-03-15 | 北京百度網訊科技有限公司 | アバタに用いられるスライダ処理方法及び装置、電子機器、記憶媒体及びコンピュータプログラム |
-
2004
- 2004-02-09 JP JP2004031849A patent/JP2004246891A/ja active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013500771A (ja) * | 2009-07-29 | 2013-01-10 | マイクロソフト コーポレーション | 視覚表示の自動生成方法及びシステム |
JP2014035550A (ja) * | 2012-08-07 | 2014-02-24 | Nintendo Co Ltd | 画像表示プログラム、画像表示装置、画像表示システム、および画像表示方法 |
JP2022043272A (ja) * | 2021-03-24 | 2022-03-15 | 北京百度網訊科技有限公司 | アバタの生成方法及び装置、電子機器、記憶媒体及びコンピュータプログラム |
JP2022043244A (ja) * | 2021-03-24 | 2022-03-15 | 北京百度網訊科技有限公司 | アバタに用いられるスライダ処理方法及び装置、電子機器、記憶媒体及びコンピュータプログラム |
US20220157036A1 (en) * | 2021-03-24 | 2022-05-19 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for generating virtual character, electronic device, and storage medium |
US11842457B2 (en) | 2021-03-24 | 2023-12-12 | Beijing Baidu Netcom Science Technology Co., Ltd. | Method for processing slider for virtual character, electronic device, and storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11736756B2 (en) | Producing realistic body movement using body images | |
CN107452049B (zh) | 一种三维头部建模方法及装置 | |
JP6574401B2 (ja) | モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム | |
TWI780919B (zh) | 人臉影像的處理方法、裝置、電子設備及儲存媒體 | |
CN111127309B (zh) | 肖像风格迁移模型训练方法、肖像风格迁移方法以及装置 | |
US20100231590A1 (en) | Creating and modifying 3d object textures | |
WO2022110790A1 (zh) | 重建人脸的方法、装置、计算机设备及存储介质 | |
CN109410131A (zh) | 基于条件生成对抗神经网络的人脸美颜方法及系统 | |
CN110322571B (zh) | 一种页面处理方法、装置及介质 | |
JP4474546B2 (ja) | 顔形状モデリングシステムおよび顔形状モデリング方法 | |
KR20110075372A (ko) | 개인성향을 반영한 과장표정 생성방법 | |
WO2022110855A1 (zh) | 人脸重建方法、装置、计算机设备及存储介质 | |
CN114529640A (zh) | 一种运动画面生成方法、装置、计算机设备和存储介质 | |
JP2004246891A (ja) | 顔画像の生成方法および表示方法 | |
CN109257590A (zh) | 一种裸眼3d沙盘显示系统及其方法 | |
JP2007108620A (ja) | 表情訓練器 | |
Chin et al. | Facial configuration and BMI based personalized face and upper body modeling for customer-oriented wearable product design | |
Li et al. | Digital human modeling pipeline with a 3D anthropometry database | |
Yang et al. | Example-based caricature generation with exaggeration control | |
Rowland | Computer graphic control over human face and head appearance, genetic optimisation of perceptual characteristics. | |
KR20000049906A (ko) | 사이버 공간에서 실질적인 사용자에 대응하는 가상인간생성 방법 및 그 시스템 | |
JP5650012B2 (ja) | 顔画像処理方法、美容カウンセリング方法および顔画像処理装置 | |
KR20010061051A (ko) | 가상공간에서 사용자를 대리하는 3차원 이미지를 제공 및이용하는 방법 및 장치 | |
Ciammaichella | This Person Does not Exist. Representation Theories and Practices of a Desired Face | |
US20240169634A1 (en) | Stylized animatable representation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070105 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090120 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090318 |
|
A02 | Decision of refusal |
Effective date: 20090413 Free format text: JAPANESE INTERMEDIATE CODE: A02 |