JP2002109555A - 仮想美容整形システム及び仮想美容整形方法 - Google Patents

仮想美容整形システム及び仮想美容整形方法

Info

Publication number
JP2002109555A
JP2002109555A JP2000363032A JP2000363032A JP2002109555A JP 2002109555 A JP2002109555 A JP 2002109555A JP 2000363032 A JP2000363032 A JP 2000363032A JP 2000363032 A JP2000363032 A JP 2000363032A JP 2002109555 A JP2002109555 A JP 2002109555A
Authority
JP
Japan
Prior art keywords
deformation
cosmetic surgery
characteristic
data
virtual cosmetic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000363032A
Other languages
English (en)
Inventor
Ryoji Arima
亮司 有馬
Hitoshi Fujimoto
仁志 藤本
Masatoshi Kameyama
正俊 亀山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2000363032A priority Critical patent/JP2002109555A/ja
Priority to TW090110719A priority patent/TW512282B/zh
Priority to US09/858,629 priority patent/US20020009214A1/en
Priority to KR10-2001-0029683A priority patent/KR100452075B1/ko
Priority to CN01119469A priority patent/CN1335582A/zh
Publication of JP2002109555A publication Critical patent/JP2002109555A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 従来システムは、専門的な要素が強く、変形
結果を正確に表示することに主眼を置いていたため、処
理に非常に時間がかかっていた。 【解決手段】 顔データをデジタルデータとして入力す
る画像入力手段2と、前記顔データを表示するととも
に、前記顔データの変形情報を入力する画像出力手段5
と、仮想美容整形プログラムを記憶するとともに、前記
変形情報に基づいて、前記顔データから、所定の変形を
行う特徴部分、及び前記特徴部分を囲うように存在して
変形によって生じる周辺とのずれを吸収する吸収部分か
らなる変形部分を抽出し、前記抽出した変形部分内で所
定の変形処理を行う端末1とを備えた。 【効果】 自身の顔の一部を自然に変形した画像を得る
ことができる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、顔画像を用いて
仮想的な美容整形サービスを提供する仮想美容整形シス
テムに関するものである。
【0002】
【従来の技術】顔の整形は、形成外科や美容外科におい
て行われている。該場所において、顧客に対し、整形後
の仮想画像を、画像処理を用いて見せることが一般的に
なりつつある。上記用途の場合、仮想画像は術後の顧客
の顔を正確に生成できることが至上命題である。そのた
め、処理するプログラムの大きさや処理時間、ユーザイ
ンタフェースは特に重要視されていなかった。
【0003】従来の美容整形システムについて図面を参
照しながら説明する。図33は、例えば特表平11−5
03540号公報に示された従来のエステテイック画像
システムの構成を示す図である。
【0004】図33において、91は該システムの表示
画面、92は該システムを操作するタブレットである。
【0005】つぎに、従来の美容整形システムの動作に
ついて図面を参照しながら説明する。
【0006】操作者は、画面91上の”DRAW”メニ
ューをタブレット92でドラッグし、変形モードにし、
変形部分を円で指定し、円内をフリーハンドモードに図
示しない手段で設定し、タブレット92を適切に操作す
ることで自由度の高い変形を行うことができる。
【0007】変形手法としてワーピングを用いている。
また、同様に、画面91上の”DRAW”メニューをド
ラッグして曲線描画モードを選択し、タブレット92上
で任意の曲線を書き、それを参照画像の指定箇所の変形
に適用することも可能になっている。変形を行った箇所
は変形前の箇所とカラーブレンディングを行い、変形完
了画像を生成している。
【0008】このため、操作者の整形に対する知識や、
該システムの操作に対する理解が十分な場合、非常に正
確、精密な変形を行うことが可能である。
【0009】
【発明が解決しようとする課題】しかし、従来の美容整
形システムは、専門的な要素が強く、変形結果を正確に
表示することに主眼を置いていたため、処理に非常に時
間がかかるという問題点があった。
【0010】また、変形プログラムを含むシステムは、
非常に高価であり、そのうえ操作が非常に複雑で、使用
者は上記システムに習熟した者に限られるという問題点
があった。
【0011】さらに、操作を容易にした美容整形システ
ムの場合、変形に使用する部分はシステムがあらかじめ
用意したデータの中から選択し、顔画像の一部を置き換
えるもので、顔画像の部分データを変形するものではな
いため、原画像とかけ離れた処理後画像ができてしまう
という問題点があった。
【0012】この発明は、前述した問題点を解決するた
めになされたもので、特別な訓練を必要とせずに誰もが
容易に顔画像の仮想美容整形処理の操作ができ、また、
顔画像中の部分データを抽出して変形することにより、
自然な処理画像を得ることができ、さらに、ネットワー
クを介して仮想美容整形プログラムやその他の情報を転
送することで、ネットワークを通したサービスを提供す
ることができる仮想美容整形システムを得ることを目的
とする。
【0013】
【課題を解決するための手段】この発明の請求項1に係
る仮想美容整形システムは、顔画像データを入力する顔
画像データ入力手段と、前記顔画像データの変形情報を
入力する変形情報入力手段と、前記変形情報に基づい
て、変形したい部分として選択された特徴部分と、この
特徴部分を取り囲む吸収部分とを前記顔画像データから
抽出し、前記特徴部分については所定の変形を行うと共
に、前記吸収部分については前記特徴部分の変形によっ
て生じる周辺とのずれを吸収するように変形する変形処
理手段とを備えたものである。
【0014】この発明の請求項2に係る仮想美容整形シ
ステムは、前記変形情報入力手段が、前記変形情報とし
て、前記顔画像データの変更部分及びその変更量を入力
するものである。
【0015】この発明の請求項3に係る仮想美容整形シ
ステムは、仮想美容整形プログラムを記憶するサーバ
と、顔画像データを入力する顔画像データ入力手段と、
前記顔画像データの変形情報を入力する変形情報入力手
段と、前記サーバからネットワークを介して前記仮想美
容整形プログラムを受信して、この仮想美容整形プログ
ラムを実行させる処理端末とを備え、前記処理端末は、
前記変形情報に基づいて、変形したい部分として選択さ
れた特徴部分と、この特徴部分を取り囲む吸収部分とを
前記顔画像データから抽出し、前記特徴部分については
所定の変形を行うと共に、前記吸収部分については前記
特徴部分の変形によって生じる周辺とのずれを吸収する
ように変形させるものである。
【0016】この発明の請求項4に係る仮想美容整形シ
ステムは、前記処理端末が、前記特徴部分については拡
大や回転の所定の変形処理を行うとともに、前記吸収部
分については前記特徴部分の処理に対応して前記特徴部
分とその周辺の画像の連続性が保たれるような変形処理
を行うものである。
【0017】この発明の請求項5に係る仮想美容整形シ
ステムは、顔画像データを入力する顔画像データ入力手
段と、前記顔画像データの変形情報を入力する変形情報
入力手段と、前記顔画像データ入力手段及び前記変形情
報入力手段により入力した前記顔画像データ及びその変
形情報を送信する処理端末と、前記処理端末より送信さ
れた前記顔画像データ及びその変形情報をネットワーク
を介して受信するサーバとを備え、前記サーバは、前記
変形情報に基づいて、変形したい部分として選択された
特徴部分と、この特徴部分を取り囲む吸収部分とを前記
顔画像データから抽出し、前記特徴部分については所定
の変形を行うと共に、前記吸収部分については前記特徴
部分の変形によって生じる周辺とのずれを吸収するよう
に変形させるものである。
【0018】この発明の請求項6に係る仮想美容整形シ
ステムは、前記サーバが、前記特徴部分については拡大
や回転の所定の変形処理を行うとともに、前記吸収部分
については前記特徴部分の処理に対応して前記特徴部分
とその周辺部分の画像の連続性が保たれるような変形処
理を行うものである。
【0019】この発明の請求項7に係る仮想美容整形シ
ステムは、前記サーバが、前記ネットワークを介してデ
ータを送受信する際に所定の課金を施す課金処理部を有
するものである。
【0020】この発明の請求項8に係る仮想美容整形シ
ステムは、前記処理端末が、前記ネットワークを介して
送受信するデータを圧縮/伸張する第1のデータ圧縮/
伸張部を有し、前記サーバは、前記ネットワークを介し
て送受信するデータを圧縮/伸張する第2のデータ圧縮
/伸張部を有するものである。
【0021】この発明の請求項9に係る仮想美容整形シ
ステムは、前記処理端末が、前記ネットワークを介して
送受信するデータを暗号化/暗号解除する第1のデータ
暗号化/暗号解除部を有し、前記サーバは、前記ネット
ワークを通じて送受信するデータを暗号化/暗号解除す
る第2のデータ暗号化/暗号解除部を有するものであ
る。
【0022】この発明の請求項10に係る仮想美容整形
方法は、顔画像データから、変形したい部分として選択
された特徴部分と、この特徴部分を取り囲む吸収部分と
を抽出し、前記特徴部分については所定の変形を行うと
共に、前記吸収部分については前記特徴部分の変形によ
って生じる周辺とのずれを吸収するように変形するもの
である。
【0023】この発明の請求項11に係る仮想美容整形
方法は、目や鼻などの変形したい部分が点で指定された
場合、この点を含んだ矩形領域が前記特徴部分として抽
出され、前記特徴部分を取り囲む矩形領域が前記吸収部
分として抽出されるものである。
【0024】この発明の請求項12に係る仮想美容整形
方法は、前記吸収部分は、前記特徴部分の変形によって
生じる歪みを、2次元補間を用いた座標変換によって滑
らかにするものである。
【0025】
【発明の実施の形態】実施の形態1.この発明の実施の
形態1に係る仮想美容整形システムについて図面を参照
しながら説明する。図1は、この発明の実施の形態1に
係る仮想美容整形システムの概念構成を示す図である。
なお、各図中、同一符号は同一又は相当部分を示す。
【0026】図1において、1は変形実行者が操作使用
する端末(処理端末)であり、パーソナルコンピュータ
のような汎用機でもよいし専用機として設置されている
ものでもよい。また、2は2次元または3次元の顔デー
タを端末1にデジタルデータとして送る画像入力手段
(顔画像データ入力手段、変形情報入力手段)である。
3は画像入力手段2で得るか、あらかじめ用意している
2次元または3次元の顔データである。この顔データ3
には、顔の部分の解像度がプログラムの要求する解像度
に達していれば、顔以外の部分が入っていても構わな
い。さらに、4は顔画像の仮想美容整形を行うプログラ
ム(変形処理手段)である。また、5はディスプレイや
プリンタなどの画像出力手段である。
【0027】つぎに、この実施の形態1に係る仮想美容
整形システムの動作について図面を参照しながら説明す
る。図2は、この発明の実施の形態1に係る仮想美容整
形システムの画面遷移を示す図である。
【0028】図2中のブロックに与えられているFに連
なる数字は、そのブロックを説明している図の番号を示
す。例えば、「F3」は、図3を示す。なお、図2にお
いて、例示画面で特に与えていない処理については矢印
を割愛しているが、基本的にどの画面も、矢印と逆方向
に進むことが可能なつくりにすると使用しやすいのはい
うまでもない。
【0029】本システムの画面の遷移は、図2に示すよ
うに、システム開始画面「F3」から始まって、顔デー
タ入力画面「F4」、特徴点入力画面「F5」、仮想美
容整形実行画面「F6」、及び、部分データ選択・変更
実行画面「F7」を経て、変更結果保存画面「F10」
で終了する。
【0030】変形実行者は、端末1上でプログラム4を
起動する。図3は、システム開始画面「F3」である起
動画面の一例を示す。図3で変形実行者に対し、仮想美
容整形システムを使用するかを問う。変形実行者は、シ
ステムを使用する意思を『ENTER』ボタン21を押
すことで示すことができ、この『ENTER』ボタン2
1による信号を受け取ったプログラム4は、仮想美容整
形準備画面へと移行する。
【0031】なお、本発明の実施の形態における”押
す”という行為は、カーソルなどに代表される画面操作
子を、マウスその他の画面操作子移動手段を用いて画面
上のある領域にカーソルを合わせ、マウスでクリックす
ること、キーボードのリターンキー、エンターキーを押
すこと、物理的なボタンを押すことなどでその領域に対
し動作要求を求めることを指す。
【0032】次に、変形実行者は、プログラム4に自身
の顔データを読みこませる。図4は、顔データ読み込み
画面の一例を示す。顔データ3は、デジタルデータにな
っていることが望ましい。この顔データ3は、一般的に
はデジタルデータのファイルとしてファイル名を指定す
る。
【0033】該ファイルはあらかじめ用意しておいても
よいし、画像入力手段2で入力してもよい。また、画像
入力手段2を使用する場合、専用のユーティリティプロ
グラムをあらかじめ用意しておき、画像入力手段2で得
たデジタルデータを自動でプログラム4が読み込む仕組
みにしてもよい。顔データ3のファイル形式は、プログ
ラムが認識できる形式であれば何でもよい。
【0034】図4において、22は画像のファイル名を
入力する入力領域、23は顔データ読み込み開始ボタン
(『決定』ボタン)で、この『決定』ボタン23を押す
と、入力領域22で指定した顔データ3をプログラム4
が読み込む。
【0035】プログラム4は、読み込んだ顔データ3を
もとに、所定の変形を行う特徴部分と、特徴部分を囲う
ように存在し、変形によって生じる周辺とのずれを吸収
する吸収部分からなる変形部分を抽出する。この抽出
は、プログラム4内によって自動で行うことができれば
望ましいが、処理に時間がかかる場合や正確な抽出がで
きない場合は変形実行者に特徴的な箇所を指定してもら
うとよい。
【0036】図5は、変形実行者に特徴的な箇所を指定
してもらう場合の画面の一例を示す。この図5では、変
形実行者に眉や目など9点を指定してもらう場合を示し
ている。変形実行者に特徴的な箇所を指定してもらう場
合、プログラム4が求めている点とできるだけ近いとこ
ろを指定するよう、変形実行者に対し補助的な情報を与
えることが望ましい。
【0037】特徴部分、及び変形部分の抽出は、まず指
定した点(特徴点という)がどの部分を示しているか特
定し、特定している部分に対して予め決められた矩形の
特徴部分、及び吸収部分を、特徴点を基準にして抽出す
る。
【0038】図6は、変形実行者が両眉、両目、鼻、
口、顎、及び両輪郭の計9点を指定した場合に、各点が
どの部分を指しているか特定する処理(プログラム4)
の一例を示すフローチャートである。
【0039】変形実行者が任意の順番で入力した特徴部
分の座標値として、X座標は配列posx[9]、Y座標
は配列posy[9]に格納されている。この座標は、左
上が原点で、X軸は右方向が正、Y軸は下方向が正であ
る。なお、画像は正面から撮像されているので、実際の
顔と画像上の顔の左右が逆転していることに注意が必要
である。
【0040】ステップ100において、入力特徴点座標
1乃至9番目の要素中、Y座標値が最大の点を「顎」と
みなし、配列の最後(9番目要素)と交換する。
【0041】ステップ200において、入力特徴点座標
1乃至8番目の要素中、X座標値が最大の点を「左輪
郭」とみなし、配列の8番目要素と交換する。
【0042】ステップ300において、入力特徴点座標
1乃至7番目の要素中、X座標値が最小の点を「右輪
郭」とみなし、配列の7番目要素と交換する。
【0043】ステップ400において、入力特徴点座標
1乃至6番目の要素中、Y座標値が最大の点を「口」と
みなし、配列の6番目要素と交換する。
【0044】ステップ500において、入力特徴点座標
1乃至5番目の要素中、Y座標値が最大の点を「鼻」と
みなし、配列の5番目要素と交換する。
【0045】ステップ600において、入力特徴点座標
1乃至4番目の要素中、Y座標値が大きい2点を「目」
とみなし、その中でも、X座標値が大きい点を「左目」
とみなし、配列の4番目要素と交換する。また、X座標
値が小さい点を「右目」とみなし、配列の3番目要素と
交換する。
【0046】ステップ700において、入力特徴点座標
1乃至2番目の要素中、X座標値が大きい点を「左眉」
とみなし、配列の2番目要素と交換する。また、配列の
1番目要素となっている、X座標値の小さい点を「右
眉」とみなす。
【0047】上記の一連の処理により、配列の要素は、
「右眉」、「左眉」、「右目」、「左目」、「鼻」、
「口」、「右輪郭」、「左輪郭」、「顎」に相当する順
に並べ替えられる。
【0048】図7、図8、図9、図10、図11、図1
2、及び図13は、それぞれ、ステップ100、ステッ
プ200、ステップ300、ステップ400、ステップ
500、ステップ600、及びステップ700の詳細な
処理動作を示すフローチャートである。
【0049】なお、図6で抽出した特徴部分は、10
代、20代女性の顔を両目間の距離で正規化した場合、
90%以上の人の目、口、鼻などが完全に含まれる。ま
た、図6で抽出した吸収部分は、あらかじめ想定される
特徴領域の変形による変位の範囲を全て含み、さらに上
下左右方向に数ドットの余裕を持たせたものである。
【0050】この特徴点特定処理は、指定する点によっ
て異なるが、図6に示した部分であれば図6の処理の簡
単な変更で行える。例えば、口を特定する場合、顎を特
定しているときは、ステップ100の判定を行った後に
ステップ400を行えばよいし、顎を特定していないと
きには、いきなりステップ400の判定を行うことで特
定可能となる。また、図6で指定していない部分も図6
の応用で特定可能である。例えば、耳を指定した場合、
ステップ200とステップ300を耳の特定に使用し、
その後にもう一度、ステップ200とステップ300を
行うことで左右輪郭の特定もできる。
【0051】次に、プログラム4は、変形実行者に対し
変形情報を要求する。図14は、変形部分選択画面の一
例を示す。図14において、24は『変更部分特定』ボ
タンで、『眉』ボタン、『目』ボタン、『鼻』ボタン、
『口』ボタン、『顎』ボタンなど各部分で分かれた複数
のボタンになっている。また、各部分データをある一定
の法則に基づいてまとめて変形する、総合変化を示す
『全体』ボタンも用意すると、変形実行者が容易に全体
の仮想美容整形を行えるためなおよい。さらに、変形を
すべて元に戻す『変形リセット』ボタンがあるとさらに
望ましい。
【0052】また、同図において、25a、及び25b
は変形実行者の顔データ表示領域である。25aは変形
を行う前の顔データ3を常に表示している表示領域であ
る。25bは変形結果が反映される表示領域である。表
示領域25bは、各部分の変形を指定するごとに表示し
てもよいし、『変形決定』ボタン26を用意しておき、
この『変形決定』ボタン26が押されたときに変形内容
をまとめて変形し、表示領域25bに表示するような方
法でも構わない。顔データ表示は、変形後の画像のみ表
示してもよいが、変形実行者が変形による効果を容易に
認識できるよう変形前と変形後の顔データを並列表示す
ることが望ましい。
【0053】さらに、同図において、27は変形画像の
『保存』ボタンである。変形実行者は、自身の顔で変形
したい部分を選択し、『変更部分特定』ボタン24のう
ち、該当するボタンを押す。すると、選択した部分の変
形量決定画面が画面に表示される。この変形量決定画面
は、同一ウィンドウ内においてもよいし、別のウィンド
ウを作成し、そこに表示してもよい。
【0054】図15は、目の変形量決定画面の一例を示
す。変形実行者は、入力領域28aに角度、入力領域2
8bに縦方向拡大率を、入力領域28cに横方向拡大率
をそれぞれ入力して、変形量を決定し、『変形決定』ボ
タン29を押す。同様に、鼻や口など、変形できる部分
に対し変形実行者は変形量を決定していく。
【0055】次に、プログラム4は、変形情報を元に画
像の変形を行う。変形部分例を図16に示す。図16に
おいて、30は変形部分であり、特徴部分31とそれを
囲うように存在する吸収部分32からなる。図示のよう
に、変形部分30に複数の特徴部分31が含まれている
こともある。特徴部分31には、変形実行者の決定した
変形を適用する。吸収部分32には、吸収部分32の外
枠の情報を保ちながら、特徴部分31と吸収部分32の
外枠との間が不自然にならないような変形を行う。
【0056】次に、吸収領域で特徴部分を2次元補間し
た場合の処理の一例を示す。図17は、特徴部分、及び
吸収部分の画素の変形後の座標を求める処理を示すフロ
ーチャートである。また、図18は、その処理順序を示
す図である。
【0057】図18は、図16と同様に、変形部分に特
徴部分が2つ縦列にある場合を示す。図18において、
31aは特徴部分a、31bは特徴部分b、32は吸収
部分A、B、C、D、Eを示す。抽出した変形部分30
の長方形の幅をX+1、高さをY+1とする。この長方
形の左上の座標を(0,0)とする。特徴部分31a、
31bの左上の座標を(Xn,Yn)、幅をWn+1、
高さHn+1とする(n=1,2)。変形部分30内の
点(i,j)(i=0〜X,j=0〜Y)には、顔デー
タの画素があり、例えばRGBの3色で表される。
【0058】まず、ステップ801において、特徴部分
a、bの変形を行う。このステップ801におけるx、
yは、特徴部分a、bに含まれる任意の画素を表す。変
形は、変形実行者が指定した内容に乗っ取って行う。こ
れによって、特徴部分a、bの画素の座標が変換される
(x’、y’)。
【0059】次に、ステップ802において、図18に
おける吸収部分Aの画素の座標変換を行う。図18にお
ける吸収部分Aの左側は、変形後の特徴部分31aの左
端と、変形部分30の左端の座標の間に、吸収部分Aの
画素を等間隔に再配置する。また、吸収部分Aの右側も
同様に、変形後の特徴部分aの右端と、変形部分30の
右端の座標の間に、吸収部分Aの画素を等間隔に再配置
する。再配置の際、吸収部分A端のy座標と、変形部分
30端の変形前のy座標は等しいものを使用する。
【0060】次に、ステップ803において、図18に
おける吸収部分Bの画素の座標変換を行う。特徴部分
a、吸収部分Aの上端と、変形部分30の上端の座標の
間に、吸収部分Bの画素を等間隔に再配置する。変形部
分30の上端の変形前のy座標と等しい吸収部分Aの変
形はステップ802で既に済んでおり、それを使用す
る。再配置の際、変形部分30上端のx座標と、変形部
分30、吸収部分A上端の変形前のx座標は等しいもの
を使用する。
【0061】次に、ステップ804において、図18に
おける吸収部分Cの画素の座標変換を行う。変換方法は
ステップ802と同様である。
【0062】次に、ステップ805において、図18に
おける吸収部分Dの画素の座標変換を行う。特徴部分
a、吸収部分Aの下端と、特徴部分b、吸収部分Cの上
端の間に、吸収部分Dの画素を等間隔に再配置する。特
徴部分aの下端の変形前のy座標と等しい吸収部分Aの
変形はステップ802で既に済んでおり、それを使用す
る。また、特徴部分bの上端の変形前のy座標と等しい
吸収部分Cの変形はステップ804で既に済んでおり、
それを使用する。再配置の際、両端の変形前のx座標は
等しいものを使用する。
【0063】最後に、ステップ806において、図18
における吸収部分Eの画素の座標変換を行う。特徴部分
b、吸収部分Cの下端と、変形部分30の下端の座標の
間に、吸収部分Eの画素を等間隔に再配置する。特徴部
分bの下端の変形前のy座標と等しい吸収部分Cの変形
はステップ804で既に済んでおり、それを使用する。
再配置の際、変形部分30下端のx座標と、吸収部分E
下端の変形前のx座標は等しいものを使用する。
【0064】以上をもって変形に伴う特徴部分31、吸
収部分32の座標変換を終了する。なお、本実施の形態
では変形部分30に特徴部分31が2つ縦列にある場合
を示しているが、変形部分30に特徴部分31が1つの
場合はステップ804、ステップ805が省略される。
また、特徴部分31が横に並んだ場合は、図18の縦と
横が反転するだけである。
【0065】座標変換を行った後の座標は、吸収領域の
上下左右端を除き、整数値でない場合がほとんどであ
る。しかし、画素は、xyそれぞれ整数の箇所にしか記
録することはできない。そのため、xとyが整数値の場
所の色データを算出する必要がある。
【0066】図19、及び図20は、画素の色データを
求める処理の一例を示すフローチャートである。また、
図21は、図19の処理による画素算出の概念図であ
る。図21において、61は図19の処理を行う前の画
素の位置、62は図19の処理後の画素の位置を示す。
図19のフローチャートに示す処理を行うことにより、
xの値が整数値となる座標の色データが生成される。し
かし、y座標は、全て整数値とは限らないため、図20
のフローチャートに示す処理を行うことにより、y座標
も整数値になった場所の色データを生成することがで
き、これが最終的な出力画像データとなる。
【0067】上記座標変換、色計算からも分かるよう
に、変形部分30の上下左右端の画像データは変化しな
い。さらに、上下左右どの方向でも変形前の画素が逆転
することがなく、画像の連続性が保たれている。そのた
め、変形後も不自然な輪郭や画像の歪みがない。
【0068】図22は、変形部分30の変形例を示す。
図22において、吸収部分32は、特徴部分31を二次
元線形補間しているが、補間の手法は処理時間や要求さ
れる画質に応じて適切なものを選択すればよく、特定す
るものはない。変形後の画像は、図14に示す表示領域
25bに表示されるが、変形実行者は変形結果に不満が
ある場合、直ちに変形を継続、変更することができる。
その際の操作は、最初の変形操作と同じである。
【0069】変形実行者が変形を完了し、表示領域25
bの変形後の画像を保存したい場合は『保存』ボタン2
7を押す。図23は、変形画像保存画面の一例を示す。
図23において、33は保存箇所を入力するための入力
領域である。34は保存ファイル形式を選択入力するた
めの入力領域、35は保存を開始するための『保存』ボ
タンである。
【0070】変形実行者は、入力領域33、34で、保
存したい箇所と保存ファイル形式を選択入力し、『保
存』ボタン35を押す。これで変形画像の保存が完了す
る。保存ファイル形式は、bmp(ビットマップファイ
ル)などの一般的なものに固定してもよいが、変形実行
者の便宜を考慮し、一般的な複数のファイル形式を選択
できることが望ましい。
【0071】なお、図4〜図23の各画面において、変
形実行者の操作を補助するような情報を与えるための図
示しない『HELP』ボタンを設け、変形実行者がそれ
を押すことにより各画面における操作が容易になるよう
な情報を提供できるように構成してもよいのはいうまで
もない。
【0072】以上のような構成により、変形実行者は、
仮想美容整形システムを操作することで、自身の顔の一
部を自然に変形した画像を得ることができる。
【0073】実施の形態2.この発明の実施の形態2に
係る仮想美容整形システムについて図面を参照しながら
説明する。図24は、この発明の実施の形態2に係る仮
想美容整形システムの構成を示す図である。
【0074】図24において、7はサーバで、端末1と
電話線などのネットワーク9を通じて接続する。このサ
ーバ7には、仮想美容変形のプログラム部6を含んでい
る。また、サーバ7は、データ圧縮/伸張部8aと、デ
ータ暗号化/暗号解除部8bから構成されるデータ変換
部8を有する。さらに、端末1は、データ圧縮/伸張部
10aと、データ暗号化/暗号解除部10bから構成さ
れるデータ変換部10を有する。
【0075】つぎに、この実施の形態2に係る仮想美容
整形システムの動作について図面を参照しながら説明す
る。図25は、この発明の実施の形態2に係る仮想美容
整形システムの画面遷移を示す図である。
【0076】図25中のブロックに与えられているFに
連なる数字はそのブロックを説明している図の番号を示
す。点線の矢印は、課金情報を利用する場合である。な
お、図25において、例示画面で特に与えていない処理
については矢印を割愛しているが、基本的にどの画面
も、矢印と逆方向に進むことが可能なつくりにすると使
用しやすいのはいうまでもない。
【0077】変形実行者は、端末1を用いてサーバ7と
接続し、仮想美容整形システムのプログラム部6をダウ
ンロードする。接続方法は、専用回線を用いてもよい
し、電話回線を通してインターネットに接続してもよ
い。ダウンロード方法は、一般的なネットワークブラウ
ザを用いてもよいし、端末1側で固有のシステムを起動
してサーバ7と固有のプロトコルで接続する形式をとっ
てもよく、接続方法、起動方法に制限はない。
【0078】本実施の形態2では、一般的なネットワー
クブラウザを用いて本システムの全部であるプログラム
部6をダウンロードする場合を示す。このプログラム部
6の形式は、端末1で仮想美容整形処理を行えるもので
あれば何でもよい。プログラム部6をサーバ7から端末
1に転送する際、サーバ7側のデータ変換部8で必要に
応じてデータを圧縮、暗号化し、端末1側のデータ変換
部10でデータを伸張、暗号解除し、復元する。
【0079】変形実行者は、端末1で仮想美容整形シス
テムを操作する。プログラム部6がサーバ7からダウン
ロードされて端末1に存在しているので、操作方法は上
記の実施の形態1と同様である。
【0080】また、プログラム部6や有料情報等を、サ
ーバ7から端末1に送る際、課金を行うことも可能であ
る。図26は、課金確認画面の一例を示す。図26にお
いて、41は変形実行者の名前、クレジットカード情報
等の課金情報を入力するための入力領域で、変形実行者
は自身の名前やクレジットカード番号等、課金するため
の情報を入力する。この情報の種類は、特に制限はない
が、変形実行者が特定でき、支払い先が変形実行者のも
のであることを確認できる最低限のものでよい。
【0081】また、同図において、42は課金確認ボタ
ンで、変形実行者が『はい』ボタンを押すと有料情報を
サーバ7から端末1に転送する際に、課金を行う。一
方、『いいえ』ボタンを押した場合には、変形実行者は
有料情報を入手できない。
【0082】変形実行者が課金情報を入力し、課金確認
ボタン42の『はい』ボタンを押すと、課金情報が端末
1からサーバ7に転送される。この転送の際、必要に応
じて端末1側のデータ変換部10でデータを圧縮、暗号
化し、サーバ7側のデータ変換部8でデータを伸張、暗
号解除して復元する。このため、データが漏洩しても個
人情報がもれにくくなっている。
【0083】課金を行う場合、有料情報は変形実行者が
容易に識別できるようにしておき、有料情報を要求する
ボタンを押した場合、つまり課金確認ボタン42で『い
いえ』ボタンを押しているときは、有料なので入手不可
能であることを示し、課金確認ボタン42で『はい』ボ
タンを押しているときには、その有料情報を入手するこ
とで課金されることと、課金金額を示すことが望まし
い。
【0084】図27は、本システムにおける課金画面の
一例を示す。この画面は、変形実行者が課金情報を利用
する場合にのみ表示される。変形実行者は、料金を確認
し、払う意思があれば『はい』ボタンを、払う意思がな
ければ『いいえ』ボタンを押す。『はい』ボタンが押さ
れると有料情報画面に移行し、『いいえ』ボタンが押さ
れると有料情報を選択する前の画面に戻る。
【0085】以上のような構成により、変形実行者は、
仮想美容整形システムを操作することで、自身の顔の一
部を自然に変形した画像を得ることができる。
【0086】また、仮想美容整形システムのプログラム
をサーバ7で所持し、必要に応じて端末1に転送するこ
とにより、端末1の負荷を常に大きくすることなく、仮
想美容整形システムを使用できる。また、転送する内容
の一部を有料にし、課金のシステムを導入することによ
り、変形実行者の処理に対応した課金を行うことができ
る。
【0087】本実施の形態2において、ネットワーク9
を介してデータを転送する場合に暗号化/暗号解除処理
を行っているが、暗号化の方式は問わない。しかし、あ
る一定の期間で暗号化方式を変更するとさらに情報の漏
洩を防ぐことができる。
【0088】さらに、端末1からサーバ7へ、またはサ
ーバ7から端末1へデータを転送するときに、データを
圧縮することにより、専用回線や、インターネットの負
荷を軽くすることができ、変形実行者は快適な操作が可
能になる。
【0089】実施の形態3.この発明の実施の形態3に
係る仮想美容整形システムについて図面を参照しながら
説明する。図28は、この発明の実施の形態3に係る仮
想美容整形システムの構成を示す図である。
【0090】図28において、7はサーバで、端末1と
電話線などのネットワーク9を通じて接続する。このサ
ーバ7には、仮想美容変形のプログラム部6と、端末1
から送られてくる顔データ3やその他の情報を記憶する
データ記憶部11を含んでいる。また、サーバ7は、デ
ータ圧縮/伸張部8aと、データ暗号化/暗号解除部8
bから構成されるデータ変換部8を有する。さらに、端
末1は、データ圧縮/伸張部10aと、データ暗号化/
暗号解除部10bから構成されるデータ変換部10を有
する。
【0091】つぎに、この実施の形態3に係る仮想美容
整形システムの動作について図面を参照しながら説明す
る。図29は、この発明の実施の形態3に係る仮想美容
整形システムの画面遷移を示す図である。
【0092】図29中のブロックに与えられているFに
連なる数字はそのブロックを説明している図の番号を示
す。点線の矢印は課金情報を利用する場合である。な
お、図29において、例示画面で特に与えていない処理
については矢印を割愛しているが、基本的にどの画面
も、矢印と逆方向に進むことが可能なつくりにすると使
用しやすいのはいうまでもない。
【0093】変形実行者は、端末1を用いてサーバ7と
接続し、仮想美容整形システムを起動する。接続方法
は、専用回線を用いてもよいし、電話回線を通してイン
ターネットに接続してもよい。また、起動方法は、一般
的なネットワークブラウザを用いてサーバ7側に用意し
たシステムを起動してもよいし、端末1側で固有のシス
テムを起動してサーバ7と固有のプロトコルで接続する
形式をとってもよく、接続方法、起動方法に制限はな
い。本実施の形態3では、端末1から、一般的なネット
ワークブラウザを用いてサーバ7側に用意した本システ
ムを起動する場合を示す。本システムを動作させるため
の必要最低限のコンテンツは、サーバ7側から端末1側
へ転送される。
【0094】図30は、起動画面の一例を示す。端末1
は、図30に示すような起動画面で、変形実行者に対
し、仮想美容整形システムを使用するかを問う。変形実
行者は、システムを使用する意思を『enter 』ボ
タン43を押すことで示すことができ、この『ente
r』ボタン43による信号を受け取った端末1とサーバ
7は、システムの供与を開始する。
【0095】次に、変形実行者は、ネットワーク9を通
して端末1からサーバ7へ自身の顔データ3を転送す
る。図31は、顔データ指定画面の一例を示す。顔デー
タ3は、デジタルデータになっていることが望ましい。
顔データ3は、一般的にはデジタルデータのファイルと
してファイル名を指定する。該ファイルは、あらかじめ
用意しておいてもよいし、画像入力手段2で入力しても
よい。また、画像入力手段2を使用する場合、画像入力
手段2で得たデジタルデータを自動でサーバ7に転送す
る仕組みにしてもよい。顔データ3のファイル形式は、
プログラムが認識できる形式であれば何でもよいが、イ
ンターネットを介す場合はjpegファイルやgifフ
ァイルが一般的である。
【0096】図31において、44は画像のファイル名
を入力する入力領域、45は顔データ3の転送を開始す
るための『送信』ボタンで、この『送信』ボタン45を
押すと入力領域44で指定した顔データ3を端末1から
ネットワーク9を通してサーバ7に転送する。転送の
際、必要に応じて端末1側のデータ変換部10で顔デー
タ3の圧縮、暗号化処理を行い、サーバ7側のデータ変
換部8で伸張、暗号解除処理を行って顔データ3を復元
し、データ記憶部11に一時保存する。このため、デー
タが漏洩しても個人情報がもれにくくなっている。
【0097】次に、サーバ7のプログラム部6は、転送
された顔データ3をもとに、特徴部分、吸収部分からな
る変形部分を抽出する。この抽出はプログラム6内によ
って自動で行うことができれば望ましいが、処理に時間
がかかる場合や正確な抽出ができない場合は変形実行者
に特徴的な箇所を指定してもらうとよい。
【0098】図32は、変形実行者に特徴的な箇所を指
定してもらう場合の画面の一例を示す。この図32で
は、変形実行者に眉や目など9点を指定してもらう場合
を示している。変形実行者に特徴的な箇所を指定しても
らう場合、プログラム6が求めている点とできるだけ近
いところを指定するよう、変形実行者に対し補助的な情
報を与えることが望ましい。
【0099】図32において、46は特徴点を転送する
ためのボタンを表し、この『送信』ボタン46を押す
と、指定された特徴点は、端末1からネットワーク9を
通してサーバ7に転送する。この転送の際、必要に応じ
て端末1側のデータ変換部10でデータの圧縮、暗号化
処理を行い、サーバ7側のデータ変換部8で伸張、暗号
解除処理を行ってデータを復元する。そして、データ記
憶部11で一時保存する。このため、データが漏洩して
も個人情報がもれにくくなっている。
【0100】次に、プログラム部6は、変形実行者に対
し変形情報を要求する。図14は、変形部分選択画面の
一例を示す。図14において、24は『変更部分特定』
ボタンで、『眉』ボタン、『目』ボタンなど各部分で分
かれた複数のボタンになっている。また、各部分データ
をある一定の法則に基づいてまとめて変形する、総合変
化を示す『全体』ボタンも用意すると、変形実行者が容
易に全体のメイクアップを行えるためなおよい。さら
に、変形をすべて元に戻す『変形リセット』ボタンがあ
るとさらに望ましい。
【0101】また、同図において、25a、25bは変
形実行者の顔データ表示領域である。25aは変形を行
う前の顔データ3を常に表示している表示領域である。
25bは変形結果が反映される表示領域である。表示領
域25bは、各部分の変形を指定するごとに表示しても
よいし、『変形決定』ボタン26を用意しておき、この
『変形決定』ボタン26が押されたときに変形内容をま
とめて変形し、表示領域25bに表示するような方法で
も構わない。顔データ表示は、変形後の画像のみ表示し
てもよいが、変形実行者が変形による効果を容易に認識
できるよう変形前と変形後の顔データを並列表示するこ
とが望ましい。
【0102】さらに、同図において、27は変形画像の
『保存』ボタンである。変形実行者は、自身の顔で変形
したい部分を選択し、『変更部分特定』ボタン24のう
ち、該当するボタンを押す。すると、選択した部分の変
形量決定画面が画面に表示される。この変形量決定画面
は、同一ウィンドウ内においてもよいし、別のウィンド
ウを作成し、そこに表示してもよい。
【0103】図15は、目の変形量決定画面の一例を示
す。変形実行者は、入力領域28aに角度、入力領域2
8bに縦方向拡大率を、入力領域28cに横方向拡大率
をそれぞれ入力して、変形量を決定し、『変形決定』ボ
タン29を押す。同様に、鼻や口など、変形できる部分
に対し変形実行者は変形量を決定していく。
【0104】変形情報は各部分の変形を入力終了ごと、
またはすべての変形情報の入力が完了し『変形決定』ボ
タン29が押されたときに、変形情報を端末1からネッ
トワーク9を通してサーバ7に転送する。転送の際、必
要に応じて端末1側のデータ変換部10でデータの圧
縮、暗号化処理を行い、サーバ7側のデータ変換部8で
伸張、暗号解除処理を行ってデータを復元する。このた
め、データが漏洩しても個人情報がもれにくくなってい
る。
【0105】次に、プログラム部6は、変形情報を元に
画像の変形を行う。変形方法は、上記実施の形態1と同
様である。変形後の画像は、サーバ7からネットワーク
9を通して端末1に転送され、表示領域25bに表示さ
れる。また、データ記憶部11に変形後の画像のコピー
を一時保存する。転送の際、必要に応じてサーバ7側の
データ変換部8でデータの圧縮、暗号化処理を行い、端
末1側のデータ変換部10で伸張、暗号解除処理を行っ
てデータを復元する。このため、データが漏洩しても個
人情報がもれにくくなっている。変形実行者は、変形結
果に不満がある場合、直ちに変形を継続、変更すること
ができる。その際の操作は最初の変形操作と同じであ
る。
【0106】変形実行者が変形を完了し、表示領域25
bの変形後の画像を保存したい場合は『保存』ボタン2
7を押す。図23は、変形画像保存画面の一例を示す。
図23において、33は保存箇所を入力するための入力
領域である。34は保存ファイル形式を選択入力するた
めの入力領域、35は保存を開始するための『保存』ボ
タンである。
【0107】変形実行者は、入力領域33、34で、保
存したい箇所と保存ファイル形式を選択入力し、『保
存』ボタン35を押す。これで変形画像の保存が完了す
る。保存ファイル形式は、jpegなどの一般的なもの
に固定してもよいが、変形実行者の便宜を考慮し、一般
的な複数のファイル形式を選択できることが望ましい。
【0108】なお、変形実行者の各操作画面において、
変形実行者の操作を補助するような情報を与えるための
図示しない『Help』ボタンを設け、変形実行者がそ
れを押すことにより各画面における操作が容易になるよ
うな情報を提供できるようにするとよいのはいうまでも
ない。
【0109】また、情報を端末1とサーバ7で送受信す
る際、課金を行うことも可能である。図26は、課金確
認画面の一例を示す。図26において、41は変形実行
者の名前、クレジットカード情報等の課金情報を入力す
るための入力領域で、変形実行者は自身の名前やクレジ
ットカード番号等、課金するための情報を入力する。こ
の情報の種類は、特に制限はないが、変形実行者が特定
でき、支払い先が変形実行者のものであることを確認で
きる最低限のものでよい。
【0110】また、同図において、42は課金確認ボタ
ンで、変形実行者が『はい』ボタンを押すと有料の処理
を行う際に課金を行う。一方、『いいえ』ボタンを押し
た場合には、変形実行者は有料の処理を実行できない。
【0111】変形実行者が課金情報を入力し、課金確認
ボタン42の『はい』ボタンを押すと、課金情報が端末
1からサーバ7に転送される。この転送の際、必要に応
じて端末1側のデータ変換部10でデータを圧縮、暗号
化し、サーバ7側のデータ変換部8でデータを伸張、暗
号解除して復元する。このため、データが漏洩しても個
人情報がもれにくくなっている。
【0112】課金を行う場合、有料情報は変形実行者が
容易に識別できるようにしておき、有料情報を要求する
ボタンを押した場合、つまり課金確認ボタン42で『い
いえ』ボタンを押しているときは、有料なので入手不可
能であることを示し、課金確認ボタン42で『はい』ボ
タンを押しているときには、その有料情報を入手するこ
とで課金されることと、課金金額を示すことが望まし
い。
【0113】図27は、本システムにおける課金画面の
一例を示す。この画面は、変形実行者が課金情報を利用
する場合にのみ表示される。変形実行者は、料金を確認
し、払う意思があれば『はい』ボタンを、払う意思がな
ければ『いいえ』ボタンを押す。『はい』ボタンが押さ
れると有料情報画面に移行し、『いいえ』ボタンが押さ
れると有料情報を選択する前の画面に戻る。
【0114】以上のような構成により、変形実行者は、
仮想美容整形システムを操作することで、自身の顔の一
部を自然に変形した画像を得ることができる。
【0115】本実施の形態3において、ネットワーク9
を介してデータを転送する場合に暗号化/暗号解除処理
を行っているが、暗号化の方式は問わない。しかし、あ
る一定の期間で暗号化方式を変更するとさらに情報の漏
洩を防ぐことができる。
【0116】さらに、端末1からサーバ7へ、またはサ
ーバ7から端末1へデータを転送するときに、データを
圧縮することにより、専用回線や、インターネットの負
荷を軽くすることができ、変形実行者は快適な操作が可
能になる。
【0117】
【発明の効果】この発明の請求項1に係る仮想美容整形
システムは、以上説明したとおり、顔画像データを入力
する顔画像データ入力手段と、前記顔画像データの変形
情報を入力する変形情報入力手段と、前記変形情報に基
づいて、変形したい部分として選択された特徴部分と、
この特徴部分を取り囲む吸収部分とを前記顔画像データ
から抽出し、前記特徴部分については所定の変形を行う
と共に、前記吸収部分については前記特徴部分の変形に
よって生じる周辺とのずれを吸収するように変形する変
形処理手段とを備えたので、自身の顔の一部を自然に変
形した画像を得ることができるという効果を奏する。
【0118】この発明の請求項2に係る仮想美容整形シ
ステムは、以上説明したとおり、前記変形情報入力手段
が、前記変形情報として、前記顔画像データの変更部分
及びその変更量を入力するので、自身の顔の一部を自然
に変形した画像を得ることができるという効果を奏す
る。
【0119】この発明の請求項3に係る仮想美容整形シ
ステムは、以上説明したとおり、仮想美容整形プログラ
ムを記憶するサーバと、顔画像データを入力する顔画像
データ入力手段と、前記顔画像データの変形情報を入力
する変形情報入力手段と、前記サーバからネットワーク
を介して前記仮想美容整形プログラムを受信して、この
仮想美容整形プログラムを実行させる処理端末とを備
え、前記処理端末は、前記変形情報に基づいて、変形し
たい部分として選択された特徴部分と、この特徴部分を
取り囲む吸収部分とを前記顔画像データから抽出し、前
記特徴部分については所定の変形を行うと共に、前記吸
収部分については前記特徴部分の変形によって生じる周
辺とのずれを吸収するように変形させるので、自身の顔
の一部を自然に変形した画像を得ることができるという
効果を奏する。
【0120】この発明の請求項4に係る仮想美容整形シ
ステムは、以上説明したとおり、前記処理端末が、前記
特徴部分については拡大や回転の所定の変形処理を行う
とともに、前記吸収部分については前記特徴部分の処理
に対応して前記特徴部分とその周辺の画像の連続性が保
たれるような変形処理を行うので、自身の顔の一部を自
然に変形した画像を得ることができるという効果を奏す
る。
【0121】この発明の請求項5に係る仮想美容整形シ
ステムは、以上説明したとおり、顔画像データを入力す
る顔画像データ入力手段と、前記顔画像データの変形情
報を入力する変形情報入力手段と、前記顔画像データ入
力手段及び前記変形情報入力手段により入力した前記顔
画像データ及びその変形情報を送信する処理端末と、前
記処理端末より送信された前記顔画像データ及びその変
形情報をネットワークを介して受信するサーバとを備
え、前記サーバは、前記変形情報に基づいて、変形した
い部分として選択された特徴部分と、この特徴部分を取
り囲む吸収部分とを前記顔画像データから抽出し、前記
特徴部分については所定の変形を行うと共に、前記吸収
部分については前記特徴部分の変形によって生じる周辺
とのずれを吸収するように変形させるので、自身の顔の
一部を自然に変形した画像を得ることができるという効
果を奏する。
【0122】この発明の請求項6に係る仮想美容整形シ
ステムは、以上説明したとおり、前記サーバが、前記特
徴部分については拡大や回転の所定の変形処理を行うと
ともに、前記吸収部分については前記特徴部分の処理に
対応して前記特徴部分とその周辺部分の画像の連続性が
保たれるような変形処理を行うので、自身の顔の一部を
自然に変形した画像を得ることができるという効果を奏
する。
【0123】この発明の請求項7に係る仮想美容整形シ
ステムは、以上説明したとおり、前記サーバが、前記ネ
ットワークを介してデータを送受信する際に所定の課金
を施す課金処理部を有するので、サービスに応じた課金
を行うことができるという効果を奏する。
【0124】この発明の請求項8に係る仮想美容整形シ
ステムは、以上説明したとおり、前記処理端末が、前記
ネットワークを介して送受信するデータを圧縮/伸張す
る第1のデータ圧縮/伸張部を有し、前記サーバは、前
記ネットワークを介して送受信するデータを圧縮/伸張
する第2のデータ圧縮/伸張部を有するので、ネットワ
ークや各部の負荷を軽くすることができるという効果を
奏する。
【0125】この発明の請求項9に係る仮想美容整形シ
ステムは、以上説明したとおり、前記処理端末が、前記
ネットワークを介して送受信するデータを暗号化/暗号
解除する第1のデータ暗号化/暗号解除部を有し、前記
サーバは、前記ネットワークを通じて送受信するデータ
を暗号化/暗号解除する第2のデータ暗号化/暗号解除
部を有するので、情報の漏洩を防ぐことができるという
効果を奏する。
【0126】この発明の請求項10に係る仮想美容整形
方法は、以上説明したとおり、顔画像データから、変形
したい部分として選択された特徴部分と、この特徴部分
を取り囲む吸収部分とを抽出し、前記特徴部分について
は所定の変形を行うと共に、前記吸収部分については前
記特徴部分の変形によって生じる周辺とのずれを吸収す
るように変形するので、自身の顔の一部を自然に変形し
た画像を得ることができるという効果を奏する。
【0127】この発明の請求項11に係る仮想美容整形
方法は、以上説明したとおり、目や鼻などの変形したい
部分が点で指定された場合、この点を含んだ矩形領域が
前記特徴部分として抽出され、前記特徴部分を取り囲む
矩形領域が前記吸収部分として抽出されるので、自身の
顔の一部を自然に変形した画像を得ることができるとい
う効果を奏する。
【0128】この発明の請求項12に係る仮想美容整形
方法は、以上説明したとおり、前記吸収部分は、前記特
徴部分の変形によって生じる歪みを、2次元補間を用い
た座標変換によって滑らかにするので、自身の顔の一部
を自然に変形した画像を得ることができるという効果を
奏する。
【図面の簡単な説明】
【図1】 この発明の実施の形態1に係る仮想美容整形
システムの構成を示すブロック図である。
【図2】 この発明の実施の形態1に係る仮想美容整形
システムの画面遷移を示す図である。
【図3】 この発明の実施の形態1に係る仮想美容整形
システムのシステム開始画面を示す図である。
【図4】 この発明の実施の形態1に係る仮想美容整形
システムの顔データ入力画面を示す図である。
【図5】 この発明の実施の形態1に係る仮想美容整形
システムの特徴点入力画面を示す図である。
【図6】 この発明の実施の形態1に係る仮想美容整形
システムにおいて変形実行者が指定している部分を特定
する処理の一例を示すフローチャートである。
【図7】 図6のステップ100の詳細な処理動作を示
すフローチャートである。
【図8】 図6のステップ200の詳細な処理動作を示
すフローチャートである。
【図9】 図6のステップ300の詳細な処理動作を示
すフローチャートである。
【図10】 図6のステップ400の詳細な処理動作を
示すフローチャートである。
【図11】 図6のステップ500の詳細な処理動作を
示すフローチャートである。
【図12】 図6のステップ600の詳細な処理動作を
示すフローチャートである。
【図13】 図6のステップ700の詳細な処理動作を
示すフローチャートである。
【図14】 この発明の実施の形態1に係る仮想美容整
形システムの仮想美容整形実行画面を示す図である。
【図15】 この発明の実施の形態1に係る仮想美容整
形システムの部分データ選択・変形実行画面を示す図で
ある。
【図16】 この発明の実施の形態1に係る仮想美容整
形システムの変形部分例を示す図である。
【図17】 この発明の実施の形態1に係る仮想美容整
形システムの特徴部分、及び吸収部分の画素の変形後の
座標を求める処理を示すフローチャートである。
【図18】 この発明の実施の形態1に係る仮想美容整
形システムの特徴部分、及び吸収部分の画素の変形後の
座標を求める処理の処理順序を示す図である。
【図19】 この発明の実施の形態1に係る仮想美容整
形システムの画素の色データを求める処理の一例を示す
フローチャートである。
【図20】 この発明の実施の形態1に係る仮想美容整
形システムの画素の色データを求める処理の一例を示す
フローチャートである。
【図21】 図19の処理による画素算出の概念を示す
図である。
【図22】 この発明の実施の形態1に係る仮想美容整
形システムの変形部分の変形例を示す図である。
【図23】 この発明の実施の形態1に係る仮想美容整
形システムの変更結果保存画面を示す図である。
【図24】 この発明の実施の形態2に係る仮想美容整
形システムの構成を示すブロック図である。
【図25】 この発明の実施の形態2に係る仮想美容整
形システムの画面遷移を示す図である。
【図26】 この発明の実施の形態2に係る仮想美容整
形システムの課金確認画面を示す図である。
【図27】 この発明の実施の形態2に係る仮想美容整
形システムの課金画面を示す図である。
【図28】 この発明の実施の形態3に係る仮想美容整
形システムの構成を示すブロック図である。
【図29】 この発明の実施の形態3に係る仮想美容整
形システムの画面遷移を示す図である。
【図30】 この発明の実施の形態3に係る仮想美容整
形システムのシステム開始画面を示す図である。
【図31】 この発明の実施の形態3に係る仮想美容整
形システムの顔データ入力画面を示す図である。
【図32】 この発明の実施の形態3に係る仮想美容整
形システムの特徴点入力画面を示す図である。
【図33】 従来の美容整形システムの構成を示す図で
ある。
【符号の説明】
1 端末、2 画像入力手段、3 顔データ、4 プロ
グラム、5 画像出力手段、6 プログラム部、7 サ
ーバ、8 データ変換部、8a データ圧縮/伸張部、
8b データ暗号化/暗号解除部、9 ネットワーク、
10 データ変換部、10a データ圧縮/伸張部、1
0b データ暗号化/暗号解除部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 亀山 正俊 東京都千代田区丸の内二丁目2番3号 三 菱電機株式会社内 Fターム(参考) 5B050 BA05 EA13 EA19 FA02 5B057 AA07 BA02 CA12 CA16 CB12 CB16 CE08

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 顔画像データを入力する顔画像データ入
    力手段と、 前記顔画像データの変形情報を入力する変形情報入力手
    段と、 前記変形情報に基づいて、変形したい部分として選択さ
    れた特徴部分と、この特徴部分を取り囲む吸収部分とを
    前記顔画像データから抽出し、前記特徴部分については
    所定の変形を行うと共に、前記吸収部分については前記
    特徴部分の変形によって生じる周辺とのずれを吸収する
    ように変形する変形処理手段とを備えたことを特徴とす
    る仮想美容整形システム。
  2. 【請求項2】 前記変形情報入力手段は、前記変形情報
    として、前記顔画像データの変更部分及びその変更量を
    入力することを特徴とする請求項1記載の仮想美容整形
    システム。
  3. 【請求項3】 仮想美容整形プログラムを記憶するサー
    バと、 顔画像データを入力する顔画像データ入力手段と、 前記顔画像データの変形情報を入力する変形情報入力手
    段と、 前記サーバからネットワークを介して前記仮想美容整形
    プログラムを受信して、この仮想美容整形プログラムを
    実行させる処理端末とを備え、 前記処理端末は、前記変形情報に基づいて、変形したい
    部分として選択された特徴部分と、この特徴部分を取り
    囲む吸収部分とを前記顔画像データから抽出し、前記特
    徴部分については所定の変形を行うと共に、前記吸収部
    分については前記特徴部分の変形によって生じる周辺と
    のずれを吸収するように変形させることを特徴とする仮
    想美容整形システム。
  4. 【請求項4】 前記処理端末は、前記特徴部分について
    は拡大や回転の所定の変形処理を行うとともに、前記吸
    収部分については前記特徴部分の処理に対応して前記特
    徴部分とその周辺の画像の連続性が保たれるような変形
    処理を行うことを特徴とする請求項3記載の仮想美容整
    形システム。
  5. 【請求項5】 顔画像データを入力する顔画像データ入
    力手段と、 前記顔画像データの変形情報を入力する変形情報入力手
    段と、 前記顔画像データ入力手段及び前記変形情報入力手段に
    より入力した前記顔画像データ及びその変形情報を送信
    する処理端末と、 前記処理端末より送信された前記顔画像データ及びその
    変形情報をネットワークを介して受信するサーバとを備
    え、 前記サーバは、前記変形情報に基づいて、変形したい部
    分として選択された特徴部分と、この特徴部分を取り囲
    む吸収部分とを前記顔画像データから抽出し、前記特徴
    部分については所定の変形を行うと共に、前記吸収部分
    については前記特徴部分の変形によって生じる周辺との
    ずれを吸収するように変形させることを特徴とする仮想
    美容整形システム。
  6. 【請求項6】 前記サーバは、前記特徴部分については
    拡大や回転の所定の変形処理を行うとともに、前記吸収
    部分については前記特徴部分の処理に対応して前記特徴
    部分とその周辺部分の画像の連続性が保たれるような変
    形処理を行うことを特徴とする請求項5記載の仮想美容
    整形システム。
  7. 【請求項7】 前記サーバは、前記ネットワークを介し
    てデータを送受信する際に所定の課金を施す課金処理部
    を有することを特徴とする請求項2又は請求項4記載の
    仮想美容整形システム。
  8. 【請求項8】 前記処理端末は、前記ネットワークを介
    して送受信するデータを圧縮/伸張する第1のデータ圧
    縮/伸張部を有し、 前記サーバは、前記ネットワークを介して送受信するデ
    ータを圧縮/伸張する第2のデータ圧縮/伸張部を有す
    ることを特徴とする請求項2又は請求項4記載の仮想美
    容整形システム。
  9. 【請求項9】 前記処理端末は、前記ネットワークを介
    して送受信するデータを暗号化/暗号解除する第1のデ
    ータ暗号化/暗号解除部を有し、 前記サーバは、前記ネットワークを通じて送受信するデ
    ータを暗号化/暗号解除する第2のデータ暗号化/暗号
    解除部を有することを特徴とする請求項2又は請求項4
    記載の仮想美容整形システム。
  10. 【請求項10】 顔画像データから、変形したい部分と
    して選択された特徴部分と、この特徴部分を取り囲む吸
    収部分とを抽出し、前記特徴部分については所定の変形
    を行うと共に、前記吸収部分については前記特徴部分の
    変形によって生じる周辺とのずれを吸収するように変形
    することを特徴とする仮想美容整形方法。
  11. 【請求項11】 目や鼻などの変形したい部分が点で指
    定された場合、この点を含んだ矩形領域が前記特徴部分
    として抽出され、前記特徴部分を取り囲む矩形領域が前
    記吸収部分として抽出されることを特徴とする請求項1
    0記載の仮想美容整形方法。
  12. 【請求項12】 前記吸収部分は、前記特徴部分の変形
    によって生じる歪みを、2次元補間を用いた座標変換に
    よって滑らかにすることを特徴とする請求項10又は請
    求項11記載の仮想美容整形方法。
JP2000363032A 2000-07-24 2000-11-29 仮想美容整形システム及び仮想美容整形方法 Pending JP2002109555A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2000363032A JP2002109555A (ja) 2000-07-24 2000-11-29 仮想美容整形システム及び仮想美容整形方法
TW090110719A TW512282B (en) 2000-07-24 2001-05-04 Cosmetology evaluation system and cosmetology evaluation method
US09/858,629 US20020009214A1 (en) 2000-07-24 2001-05-17 Virtual cosmetic surgery system
KR10-2001-0029683A KR100452075B1 (ko) 2000-07-24 2001-05-29 가상 미용 성형 시스템 및 가상 미용 성형 방법
CN01119469A CN1335582A (zh) 2000-07-24 2001-05-31 虚拟美容整形系统及其虚拟美容整形方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000221864 2000-07-24
JP2000-221864 2000-07-24
JP2000363032A JP2002109555A (ja) 2000-07-24 2000-11-29 仮想美容整形システム及び仮想美容整形方法

Publications (1)

Publication Number Publication Date
JP2002109555A true JP2002109555A (ja) 2002-04-12

Family

ID=26596512

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000363032A Pending JP2002109555A (ja) 2000-07-24 2000-11-29 仮想美容整形システム及び仮想美容整形方法

Country Status (5)

Country Link
US (1) US20020009214A1 (ja)
JP (1) JP2002109555A (ja)
KR (1) KR100452075B1 (ja)
CN (1) CN1335582A (ja)
TW (1) TW512282B (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005660A (ja) * 2002-05-31 2004-01-08 Eastman Kodak Co 肖像画像の強調方法及びシステム
JP2004265406A (ja) * 2003-02-28 2004-09-24 Eastman Kodak Co バッチモードで処理されるポートレート画像を向上する方法及びシステム
JP2013526934A (ja) * 2010-05-21 2013-06-27 マイ オーソドンティクス プロプライエタリー リミテッド 処置後の外観予測
US9117313B2 (en) 2004-06-30 2015-08-25 Kyocera Corporation Imaging apparatus and image processing method
CN111489403A (zh) * 2019-01-28 2020-08-04 斯特拉德视觉公司 利用gan来生成虚拟特征图的方法及装置

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7587075B1 (en) * 2004-11-01 2009-09-08 Novaptus Systems, Incorporated Virtual cosmetic and reconstructive surgery systems, methods, and apparatuses
US7424139B1 (en) 2004-11-01 2008-09-09 Novaplus Systems, Incorporated Virtual cosmetic and reconstructive systems, methods, and apparatuses
US7783099B1 (en) 2004-11-01 2010-08-24 Novaptus Systems, Incorporated Virtual cosmetic and reconstructive surgery
US8033832B1 (en) * 2004-12-27 2011-10-11 Stefan David B Systems and methods for performing virtual cosmetic and reconstructive surgery
US20080226144A1 (en) * 2007-03-16 2008-09-18 Carestream Health, Inc. Digital video imaging system for plastic and cosmetic surgery
TWI426450B (zh) * 2010-10-27 2014-02-11 Hon Hai Prec Ind Co Ltd 電子化妝品盒
CN104809323A (zh) * 2014-01-23 2015-07-29 国际商业机器公司 健康状况的个性虚拟化的方法和系统
CN105938627B (zh) * 2016-04-12 2020-03-31 湖南拓视觉信息技术有限公司 用于人脸虚拟整形的处理方法和系统
CN105976369B (zh) * 2016-05-03 2019-08-06 深圳市商汤科技有限公司 一种检测像素点到边缘距离的方法及系统
CN109189967A (zh) * 2018-08-24 2019-01-11 微云(武汉)科技有限公司 一种基于人脸识别的整容方案推荐方法、装置和存储介质
KR102533858B1 (ko) * 2019-11-13 2023-05-18 배재대학교 산학협력단 성형 시뮬레이션 서비스 시스템 및 방법
CN115282484A (zh) * 2022-08-17 2022-11-04 妮贝(上海)科技有限公司 一种家用射频美容仪的射频控制系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5687259A (en) * 1995-03-17 1997-11-11 Virtual Eyes, Incorporated Aesthetic imaging system
US6075905A (en) * 1996-07-17 2000-06-13 Sarnoff Corporation Method and apparatus for mosaic image construction
JP3912834B2 (ja) * 1997-03-06 2007-05-09 有限会社開発顧問室 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜
JP3436473B2 (ja) * 1997-06-20 2003-08-11 シャープ株式会社 画像処理装置
US5990901A (en) * 1997-06-27 1999-11-23 Microsoft Corporation Model based image editing and correction
KR100428605B1 (ko) * 1997-10-29 2004-06-16 주식회사 대우일렉트로닉스 가상 성형방법
US6250927B1 (en) * 1999-11-29 2001-06-26 Jean Narlo Cosmetic application training system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004005660A (ja) * 2002-05-31 2004-01-08 Eastman Kodak Co 肖像画像の強調方法及びシステム
JP2004265406A (ja) * 2003-02-28 2004-09-24 Eastman Kodak Co バッチモードで処理されるポートレート画像を向上する方法及びシステム
US9117313B2 (en) 2004-06-30 2015-08-25 Kyocera Corporation Imaging apparatus and image processing method
JP2013526934A (ja) * 2010-05-21 2013-06-27 マイ オーソドンティクス プロプライエタリー リミテッド 処置後の外観予測
CN111489403A (zh) * 2019-01-28 2020-08-04 斯特拉德视觉公司 利用gan来生成虚拟特征图的方法及装置
CN111489403B (zh) * 2019-01-28 2023-09-26 斯特拉德视觉公司 利用gan来生成虚拟特征图的方法及装置

Also Published As

Publication number Publication date
TW512282B (en) 2002-12-01
US20020009214A1 (en) 2002-01-24
KR100452075B1 (ko) 2004-10-12
KR20020008747A (ko) 2002-01-31
CN1335582A (zh) 2002-02-13

Similar Documents

Publication Publication Date Title
JP2002109555A (ja) 仮想美容整形システム及び仮想美容整形方法
WO2021129642A1 (zh) 图像处理方法、装置、计算机设备及存储介质
EP3839879B1 (en) Facial image processing method and apparatus, image device, and storage medium
US7876320B2 (en) Face image synthesis method and face image synthesis apparatus
CN110766777A (zh) 虚拟形象的生成方法、装置、电子设备及存储介质
US7715640B2 (en) Image processing device, image processing method, image processing program and computer-readable recording medium on which the program is recorded
WO2001080187A1 (fr) Processeur d'images, procede de traitement d'images et support d'enregistrement
JP6349962B2 (ja) 画像処理装置およびプログラム
JP3810943B2 (ja) 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
JP2019520663A (ja) 電子ブックサービスの提供方法及びそのためのコンピュータプログラム
KR20170102749A (ko) 이동 단말을 이용한 3차원 모델 생성 장치 및 방법
CN108038916B (zh) 一种增强现实的显示方法
JP5726421B2 (ja) 携帯端末機
JP2013243610A (ja) 画像データ送信装置、画像データ受信装置、画像データ伝送システム、画像データ送信方法、画像データ受信方法、送信画像データおよびプログラム
KR102388773B1 (ko) 3차원 모델링 서비스 제공 방법 및 이를 위한 장치
JP2010170219A (ja) 画像処理装置、画像処理方法、画像処理プログラムおよび印刷装置
JPH11175765A (ja) 3次元モデル作成方法、3次元モデル作成装置及び記憶媒体
CN113191322A (zh) 人脸皮肤肤质的检测方法、装置、存储介质及计算机设备
JP4148165B2 (ja) 画像を重ね合わせて合成画像を生成する画像合成
JP5484038B2 (ja) 画像処理装置およびその制御方法
JP3002971B2 (ja) 3次元モデル作成装置
JPH09138847A (ja) 画像処理方法及び装置
JP2009265726A (ja) 画像処理装置及び画像処理方法
US6901172B1 (en) Method and apparatus for drawing likeness
JP2001111804A (ja) 画像変換装置及び画像変換方法