JP2004265406A - バッチモードで処理されるポートレート画像を向上する方法及びシステム - Google Patents
バッチモードで処理されるポートレート画像を向上する方法及びシステム Download PDFInfo
- Publication number
- JP2004265406A JP2004265406A JP2004046789A JP2004046789A JP2004265406A JP 2004265406 A JP2004265406 A JP 2004265406A JP 2004046789 A JP2004046789 A JP 2004046789A JP 2004046789 A JP2004046789 A JP 2004046789A JP 2004265406 A JP2004265406 A JP 2004265406A
- Authority
- JP
- Japan
- Prior art keywords
- image
- skin
- face
- enhanced
- enhancement
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 238000012545 processing Methods 0.000 claims abstract description 24
- 210000004209 hair Anatomy 0.000 claims abstract description 20
- 210000004709 eyebrow Anatomy 0.000 claims abstract description 8
- 210000001508 eye Anatomy 0.000 claims description 79
- 230000001815 facial effect Effects 0.000 claims description 53
- 210000000887 face Anatomy 0.000 claims description 23
- 230000002452 interceptive effect Effects 0.000 claims description 22
- 238000012986 modification Methods 0.000 claims description 12
- 230000004048 modification Effects 0.000 claims description 12
- 238000003702 image correction Methods 0.000 claims description 8
- 238000010923 batch production Methods 0.000 claims description 7
- 238000003672 processing method Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 33
- 101000622137 Homo sapiens P-selectin Proteins 0.000 description 30
- 102100023472 P-selectin Human genes 0.000 description 30
- 230000006870 function Effects 0.000 description 26
- 238000001514 detection method Methods 0.000 description 23
- 230000008859 change Effects 0.000 description 21
- 239000003623 enhancer Substances 0.000 description 19
- 239000000203 mixture Substances 0.000 description 19
- 230000036548 skin texture Effects 0.000 description 16
- 238000003860 storage Methods 0.000 description 16
- 238000002156 mixing Methods 0.000 description 15
- 230000006872 improvement Effects 0.000 description 14
- 230000037303 wrinkles Effects 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 210000001061 forehead Anatomy 0.000 description 9
- 230000007547 defect Effects 0.000 description 8
- 230000000694 effects Effects 0.000 description 8
- 210000000214 mouth Anatomy 0.000 description 8
- 210000001331 nose Anatomy 0.000 description 8
- 230000002708 enhancing effect Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 4
- 230000002950 deficient Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000007639 printing Methods 0.000 description 4
- 208000034656 Contusions Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000007635 classification algorithm Methods 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000002087 whitening effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005282 brightening Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000010339 dilation Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000013179 statistical model Methods 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 208000032544 Cicatrix Diseases 0.000 description 1
- 101100010343 Drosophila melanogaster lobo gene Proteins 0.000 description 1
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000002902 bimodal effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000029052 metamorphosis Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 229910000498 pewter Inorganic materials 0.000 description 1
- 239000010957 pewter Substances 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000008961 swelling Effects 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/622—Retouching, i.e. modification of isolated colours only or in isolated picture areas only with simulation on a subsidiary picture reproducer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
- H04N1/628—Memory colours, e.g. skin or sky
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
【課題】バッチ処理中の多数の各ディジタル画像中に位置する顔の外見を向上する。
【解決手段】(a)選択された元ディジタル画像を識別し、その位置の命令を含むスクリプトファイルを与え、(b)その命令を用い、顔を含む元ディジタル画像を取得し、(c)顔の中の肌、目、眉、鼻、口、髪の1以上を含む顕著な特徴を識別する顔特徴点の位置を検出し、(d)顕著な特徴の1以上を含む異なる領域へ顔を分割すべく顔特徴点の位置を用い、(e)異なる領域の顔に関連のある特徴を決定し、(f)これに基づき、特定の領域についてカスタマイズされた向上フィルタを選択し、そのデフォルトパラメータを選択し、(g)特定の領域に向上フィルタを実行して元ディジタル画像から向上されたディジタル画像を生成し、(h)これを格納し、(i)これに対して行われた1以上の段階(c)乃至(f)中の1以上の操作を示す命令を有する出力スクリプトファイルを発生する。
【選択図】図2A
【解決手段】(a)選択された元ディジタル画像を識別し、その位置の命令を含むスクリプトファイルを与え、(b)その命令を用い、顔を含む元ディジタル画像を取得し、(c)顔の中の肌、目、眉、鼻、口、髪の1以上を含む顕著な特徴を識別する顔特徴点の位置を検出し、(d)顕著な特徴の1以上を含む異なる領域へ顔を分割すべく顔特徴点の位置を用い、(e)異なる領域の顔に関連のある特徴を決定し、(f)これに基づき、特定の領域についてカスタマイズされた向上フィルタを選択し、そのデフォルトパラメータを選択し、(g)特定の領域に向上フィルタを実行して元ディジタル画像から向上されたディジタル画像を生成し、(h)これを格納し、(i)これに対して行われた1以上の段階(c)乃至(f)中の1以上の操作を示す命令を有する出力スクリプトファイルを発生する。
【選択図】図2A
Description
本発明は、概してディジタル画像処理の分野に係り、特に人間である被写体のポートレートタイプの画像から得られる改善されたイメージング製品の作成に関する。
数世紀にわたり、社会の裕福層又は特権階級のみが、絵画、彫刻、及びデッサンで優れた肖像画を描く仕事をする腕の良い画家を雇う余裕があった。多くの場合、肖像画は、単に現実についての満足のいく肖像を作成することよりも大きな目的に役立つものであった。画家の作業は、微妙に、又は、はっきりと、描かれる人の望みや意図と互いに影響しあう。2番目の種類の芸術的に許される自由な表現は、現実に対する改善を伴うものであった。従って、描かれる人は、身体的に不完全な部分が最小限とされ、出来る限り最も魅力的な外見が表わされるよう描かれた。
近代社会では、肖像画はもはや裕福で権力のある者に限られる領域のものではない。全ての社会階層に写真技術がもたらされたことにより、肖像画の作成は人生の多くの重要な出来事の至る所で行われるものとなった。結婚式、卒業式、誕生日、子供の誕生等の全ての出来事や、更に多くの出来事は、西洋文化では比較的標準化された肖像(ポートレート)画像で一般的に捕捉される。最新の技術は、個人のアマチュアがこれらのような画像を捕捉し、更に向上することを可能とする一方で、より高い質のポートレート画像の作成を行うプロフェッショナルな写真家の分類の人もいる。驚くほどのことではないが、肖像画が目的とすることは過去数世紀におけるものと同じままであり、即ち、描かれている人を出来る限り最も満足のいく方法で表わすことである。基本的には、描かれる人は、自分たちの実際の姿ではなく、自分たちが望むような姿で見られたいのである。
人々が自分たちの実際の姿ではなく、自分たちが望むような姿で見られたいという願望に応えて、プロの写真家は、人々に自分たちが望む外見を与えるようポートレート画像に対して画像修正(リタッチ)を行うことがよくある。画像修正は、元の写真画像中には捕捉又は描写されていなかったように写真画像を変化させることを含む。ポートレート画像の画像修正の1つの目的は、人の個性を残しつつ、しみや目の下のくま等の一時的な不完全な部分又はほくろやしわ等の永久的な不完全な部分を取り除くことによって、人をより良く見えるようにすることである。ポートレート画像中で人の外見を改善又は向上するために行われる画像修正の例として、顔のしみ、ほくろ、及び傷跡の除去、しわや小じわを薄くすること、目の下のたるみを減らすこと、歯や白目を白くすることがある。
ディジタル時代の到来以前は、画像の修正は、ポートレート画像中の不完全な部分を隠すため又は変えるために顔料を用いて画像を変更することにより、ネガ又は印刷された画像のいずれかに対して行われていた。今日では、ディジタル画像捕捉(キャプチャ)装置はごく普通に入手可能であるため、望ましい画像修正の方法は、捕捉されたディジタル画像上で行われるディジタルイメージング技術を介して行われる。ディジタル方法により、アナログ画像に対して行うのは極めて困難であったか以前は不可能であった向上が行われることが可能となる。Adobe Photoshop(登録商標)等の画像編集ソフトウエアは、しみを除去し、鼻をまっすぐにし、目のバランスをとり、ディジタル処理で化粧を施すことによってポートレートを洗練させるために使用されうる。
コンピュータ技術及び画像処理アルゴリズムの改善により、新しい種類の自動化及び半自動化された画像向上が可能となる。ポートレート画像の被写体に関して、関連する技術的な開発は、顔の検出及び認識、顔特徴の検出及びマスキング、顔のポーズを再び決めること、赤目の検出及び補正を含む。
公開された特許文献16には、肌欠陥を検出し、肌状態の深刻さ(skin severity)の係数を計算するシステムが開示されている。このシステムは、化粧品及びスキンケアマーケットを対象とする。システムはまた、肌の欠陥を消すか隠す推奨される処置又は製品を使用すると実現されるであろう欠陥のある肌領域に対する改善をシミュレートしうる。肌の欠陥は、色情報を用いて検出され、欠陥のある肌領域中の改善をシミュレートするために標準モーフィング技術が用いられる。
公開された特許文献13(”Method of Correcting Face Image, Makeup Simulation Method, Makeup Method, Makeup Supporting Device and Foundation Transfer Film”)では、ウツギ(Utsugi)は、望ましい顔又はモデルの顔に基づく画像処理を通じて理想的な化粧後の顔を準備する方法を記載している。この技術は、ハイライトされた領域を作り、化粧による変更が可能である範囲内で眉、アイライン、及びリップラインの形を所望の顔又はモデルの顔に近くすることを含む。
米国特許公開第2002/0081003号明細書
米国特許第5,710,839号明細書
米国特許第5,781,650号明細書
米国特許第5,835,616号明細書
米国特許第5,933,543号明細書
米国特許第5,960,099号明細書
米国特許第5,974,189号明細書
米国特許第5,990,901号明細書
米国特許第6,101,000号明細書
米国特許第6,104,839号明細書
米国特許第6,160,923号明細書
米国特許第6,181,836 B1号明細書
欧州特許公開第1030267 A1号明細書
欧州特許公開第1134701 A2号明細書
国際公開第01/75796号パンフレット
国際公開第00/76398 A1号パンフレット
ビー・モガダム(B.Moghaddam)及びエム・エイチ・ヤン(M.H.Yang)、「サポート・ベクトル・マシンによる性別分類(Gender Classification with Support Vector Machines)」、IEEE 第4回 顔及びジェスチャ認識に関する国際会議 議事録、2000年3月
ヘンリー・シュナイダーマン(Henry Schneiderman)、「顔及び自動車に適用される3D対象検出用の統計的モデル(A Statistical Model for 3D Object Detection Applied to Faces and Cars)」、カーネギーメロン大学ロボット研究所(Robotics Institute)博士論文、2000年5月
エー・ラニティス(A.Lanitis)、シー・ジェイ・テイラー(C.J.Taylor)及びティー・エフ・クーテス(T.F.Cootes)、「フレキシブルモデルを用いた顔画像の自動解釈及びコーディング(Automatic interpretation and coding of face images using flexible models)」、IEEE PAMIに関する議事録、第19巻、第7号、p.743−756、1997年
ディー・イー・ピアソン(D.E.Pearson)及びジェイ・エイ・ロビンソン(J.A.Robinson)、「非常に低いデータレートでの視覚通信(Visual Communication at Very Low Data Rates)」、IEEE議事録、第73巻、第4号、1985年4月
ティー・ベイアー(T.Beier)及びエス・ニーリー(S.Neely)、「特徴に基づく画像メタモーフォシス(Feature−Based Image Metamorphosis)」、コンピュータグラフィックス誌、26(2)、35−42、米国ニューヨーク州ニューヨーク、1992年7月、SIGGRAPH ’92の議事録
ウィリアム・エス・プラット(William S.Pratt)著、「ディジタル画像処理(Digital Image Processing)」第2版、John Wiley&Sons出版、1991年
「ピラミッドベースのテクスチャ解析/合成(Pyramid−Based Texture Analysis/Synthesis)」,Computer Graphics議事録、1995年、p.229−238
エイ・ハーロー(A.Haro)、ビー・ギュエンター(B.Guenter)、及びアイ・エッサ(I.Essa)、「細かいスケールの人間の肌構造のリアルタイムなフォトリアリスティックな身体に基づくレンダリング(Real−time,Photo−realistic,Physically Based Rendering of Fine Scale Human Skin Structure)」、第12回レンダリングに関するユーログラフィックス・ワークショップ(Eurographics Workshop)の議事録、英国ロンドン、2001年6月
かかるシステムの、特に例えば結婚式、卒業式、学校及びスポーツ写真、誕生日、子供の誕生等のために使用されるバッチ肖像システムの不利な点は、好みや評価結果を入力するために、顧客に多くの対話が要求されることである。例えば、特許文献13では、例えば人気のあるタレント、女優、又は俳優から選択されるモデルの顔の上に落ち着くため、及びモデルの顔に達するために行われる様々な調整を決めるために、メイクアップ顧客が存在することが必要である。更に、満足できる結果を与えるためには熟練したオペレータが顧客とともに作業を行う必要がある。
従って、ディジタルイメージング法がもたらされても、ポートレートの画像修正は、それ自体に対する手作業であり、今日に至るまで科学というよりも芸術の分野のままである。更に、ポートレート画像の修正の処理は、熟練したオペレータによって行われる非常に手作業が多く時間のかかる処理である。従って、ポートレートの画像修正を容易とすることを可能とするよう自動化又は半自動化されたポートレート画像向上方法を用いるシステムを開発することが有利である。本発明は、画像中の人間である被写体の外観の自動化された向上のための方法及びシステムを与えることにより現在の技術の上述の欠点を解決するものである。
本発明は、上述の1つ又はそれ以上の問題を解決することを目的とする。概して、本発明の1つの面によれば、バッチ処理で処理されている多数のディジタル画像のうちの1つであるディジタル画像中に位置する顔の外見を向上するバッチ処理方法は、(a)向上のために選択された1又はそれ以上の元のディジタル画像を識別し、各元のディジタル画像の位置についての命令を含むスクリプトファイルを与える段階と、(b)スクリプトファイル中の命令を用いて、1つ又はそれ以上の顔を含む元のディジタル画像を取得する段階と、(c)1つ又はそれ以上の顔の中の、肌、目、眉、鼻、口、及び、髪のうちの1つ又はそれ以上を含む顕著な特徴を識別する点を含む顔特徴点の位置を検出する段階と、(d)顔を、肌、目、眉、鼻、口、首、及び、髪の領域のうちの1つ又はそれ以上を含む異なる領域へ分割するよう顔特徴点の位置を用いる段階と、(e)異なる領域の1つ又はそれ以上の顔について関連のある特徴を決定する段階と、(f)異なる領域の顔について関連のある特徴に基づいて、特定の領域について夫々が特にカスタマイズされた1つ又はそれ以上の向上フィルタを選択し、向上フィルタに対するデフォルトパラメータを選択する段階と、(g)特定の領域に対して向上フィルタを実行し、それにより元のディジタル画像から向上されたディジタル画像を生成する段階と、(h)向上されたディジタル画像を格納する段階と、(i)向上されたディジタル画像に対して行われた段階(c)乃至(f)のうちの1つ又はそれ以上における1つ又はそれ以上の操作を示す命令を有する出力スクリプトファイルを発生する段階とを有する。
本発明の利点は、画像修正の補正を行い監視するための熟練したオペレータの介在を必要とすることなくポートレートの画像修正を可能とするよう自動化及び半自動化されたポートレート画像向上方法をバッチプロセスにおいて効率的に用いることである。従って、熟練したオペレータによって行われる手作業の多い時間のかかる処理は回避され、画像修正方法はバッチプロセスで行われうる。
本発明の上述の及び他の面、目的、特徴、及び利点については、以下の望ましい実施例の詳細な説明及び特許請求の範囲を読むこと、並びに、添付の図面を参照することによって、より明らかに理解され認識されるであろう。
顔特徴検出及び特徴向上を用いた画像処理システムは周知であるため、本願の説明は、特に、本発明による方法及びシステムの一部をなす、又はより直接的に協働する特性に関連する。本願で特に図示又は説明しない特性は、従来技術で知られているものから選択されうる。以下の説明では、本発明の望ましい実施例は通常はソフトウエアプログラムとして実施されるが、当業者はかかるソフトウエアと均等のものがハードウエア中にも構築されうることを容易に認識するであろう。以下に本発明により示されるシステムが与えられているとき、本願に特に図示、提案、又は説明しないが、本発明の実施に有用なソフトウエアは従来通りであり、かかる技術分野の通常の技術範囲内である。本願に用いる用語に関して、向上(enhancement filter)フィルタを、ディジタル画像中の顔の視覚的な外見を向上させる方法と言及している。例えば、目向上フィルタは、目の白さ又は光彩の色を向上させる方法である。
本発明がコンピュータプログラムとして実施される場合、プログラムは、例えば、磁気ディスク(フロッピー(登録商標)ディスク又はハードドライブ等)又は磁気テープ等の磁気記憶媒体;光ディスク、光テープ、又は機械読み取り可能なバーコード等の光記憶媒体;ランダムアクセスメモリ(RAM)又は読み出し専用メモリ(ROM)等の固体電子記憶装置;又はコンピュータプログラムを格納するために使用される任意の他の物理的な装置又は媒体を含みうる、従来のコンピュータ読み取り可能な記憶媒体に格納されうる。
図1Aは、本発明を実行するのに有用なシステム10を示す。システム10は、本発明の方法を実行するときに一組の所定の段階を実行しうる中央処理装置(CPU)を含むパーソナルコンピュータPC12を含む。ディジタル記憶媒体20もまた、ディジタル画像を格納するためにPC12と関連して設けられる。ディジタル記憶媒体20は、RAM、ROM、ハードドライブ、フロッピー(登録商標)ドライブ等の異なる種類を含みうる。ディジタル記憶媒体20はまた、発生された向上された画像をローカルに格納するために使用されうる。更に、ディジタル画像の更なる源であるスキャナ28やディジタルカメラ30等のディジタル画像捕捉(キャプチャ)装置もまた、コンピュータ12に対して設けられ得る。しかしながら、ディジタル画像はいかなる源から得られてもよいことが理解されるべきである。ユーザは、マウス及び/又はキーボード等の入力装置40、並びに、コンピュータ12に接続されたディスプレイモニタ50を介してコンピュータ12と対話する。システム10はまた、画像をローカルに出力するためのプリンタ34等の装置を含みうる。一般的には、上述の構成要素は、直接接続されているという意味で、PC12上にあるものでありうる。
或いは、上述の構成要素は、全てがホストコンピュータ12上にあるものでなくともよく、通信網70を介してクライアントPC12に接続されうるサーバ62上にあってもよい。サーバはまた、本発明の方法を実行するための一組の所定の段階を実行しうる中央処理装置(CPU)を含みうる。サーバはまた、記憶媒体65及び1つ又はそれ以上のプリンタ60に接続されてもよい。これは、サーバ62に接続された記憶媒体65及びプリンタ60を用いて通信網70を介して、画像が遠隔に取得され、記憶され、印刷されることを可能としうる。本発明を実行するソフトウエアは、一般的には記憶媒体20上に格納される。或いは、このソフトウエアは、通信網70を介してサーバからダウンロードされうる。本発明を実行するためのソフトウエアは、PC12に含まれるCPUを用いてクライアント上で、又は、サーバ62に含まれるCPUを用いてサーバ側のいずれかで、実行されうる。通信網70は、ローカル・エリア・ネットワーク(LAN)等の専用網又はインターネット・サービス・プロバイダ(ISP)を用いる個人によってアクセスされうるインターネット等の公衆網を含みうる。かかる網において従来通りであるように、遠隔ネットワーク・サービス・プロバイダはまた、小売りキオスク又は任意の他の適切な通信装置を用いて顧客によってアクセスされてもよい。
図1Bは、本発明を実行するためのインタラクティブなソフトウエア用のグラフィック・ユーザ・インタフェース(GUI)の一例を示す図である。ソフトウエアは、システム10上でローカルに又はサーバ62上で遠隔に動作し、図1Bに示すようなGUI画面78を生成する。ユーザはソフトウエアを開始し、向上されるべき画像をダウンロードする。画像がダウンロードされると、ディスプレイ50上にグラフィック・ユーザ・インタフェース画面78が表示される。GUI画面78の左側の画像80は、本発明の方法によって向上されるべき顔を有する元のダウンロードされた画像である。右側には、向上された顔を有する画像82が表示される。1つの実施例では、画像がダウンロードされると、ユーザは向上されるべき顔80の目の上をクリックする。これに応じて、以下詳述するように、システムは顔の特徴点を自動的に見つけ、顔を異なる特徴(例えば目、眉等)及び首領域へセグメンテーションする。システムは、デフォルトパラメータを設定し、全ての向上フィルタを所定の順序で元の画像に対して適用する。
結果として得られる画像82は、GUI画面78の右側に表示される。スライダ90、92、94、96、及び98は、ユーザが異なる向上フィルタのパラメータを対話式に変化させることを可能とする。スライダの最初の位置は、システムによって自動的に設定されるデフォルト値に対応する。主外見エンハンサスライダ90は、全てのコンポーネント向上スライダを組み合わせる。コンポーネントスライダは、テクスチャエンハンサスライダ92、肌エンハンサスライダ94、目エンハンサスライダ96、及び歯エンハンサスライダ98を含む。テクスチャエンハンサスライダ92は、テクスチャ向上フィルタのパラメータを制御する。肌エンハンサスライダ94は、肌トーン向上フィルタのパラメータを制御する。目エンハンサスライダ96及び歯エンハンサスライダ98は、夫々、目及び歯を白くするフィルタのパラメータを制御する。全ての向上フィルタについては、以下の各セクションで詳述する。全てのスライダに対する最小値及び最大値は、「向上なし」(例えば各スライダの左端)と「最大の向上」(例えば各スライダの右端)に夫々設定される。
ユーザは、1つのグローバル外見エンハンサスライダ90又は別々のコンポーネントスライダ92乃至98を用いることによって顔のレベル又は見た目を制御しうる。ユーザが主外見エンハンサスライダ90の位置を変化させたときはいつでも、システムはスライダの位置を向上フィルタの適切なパラメータ値へマッピングし、全ての向上フィルタを所定の順序で元の画像に対して適用する。向上された画像82は次に、GUI画面78の右側に表示される。ユーザがコンポーネントエンハンサスライダ92乃至98のうちの一つを変化させたときはいつでも、システムは各コンポーネントスライダの位置に基づいて所定の順序で元の画像に対して全ての向上フィルタを適用する。向上された画像82は、GUI画面78の右側に表示される。望ましい実施例のGUI設計の一部は、顔特徴点と首領域の輪郭を変更するオプションである。ユーザがGUI画面78の上部のバーからプルダウンされた「Edit(編集)」メニューからそのオプションを選択すると、顔特徴点及び首領域の輪郭点は元の画像80上に重ね合わされ、ユーザは、ポインティングデバイス等のユーザ入力装置40を用いることによって表示された点の位置を変更しうる。ツールバー84は、ユーザが表示された画像と対話し変更するために使用しうる特別なツールを含む。例えば、ズームイン及びズームアウト用のツール、特徴点の編集用のツール、元の画像を向上された画像とローカルにブレンド(混ぜ合わせる)するためのブレンドツール、向上フィルタの結果を空間的に変更するためのツール等である。
図2Aは、本発明によるポートレート画像を向上する方法の一実施例を示すフローチャートである。段階200において処理を開始した後、取得及び表示段階205においてシステムによってディジタル画像が取得され、次にディスプレイモニタ50上に表示される。本発明では、ディジタル画像は、写真から得られる画像のみを示すものではなく、制限なしに、例えばディジタルカメラ、ハードコピー画像、又は他のソースから電子的に、任意のソースから得られるディジタル画像を示すものである。位置確認段階210では、画像中の個々の顔が検出され、各顔上の顔特徴点の位置が識別される。顔及びそれらの関連する特徴点の位置確認の処理は、ユーザによって手動で、又は半自動的に、又は画像処理技術を用いて自動的に行われうる。顔特徴点の位置は、顔(例えば肌、目、鼻、口、髪等)の様々な領域と首の領域を識別しセグメンテーションするために使用される。表示段階215では、顔特徴点は画像上に重ね合わされ、ディスプレイモニタ50上に表示される。任意に、首領域の画輪郭をなす特徴点もまた表示される。顔特徴点が自動的又は半自動的に決定された場合、ユーザは決定段階220において、特徴点が調整される必要があるかどうかを決定する機会がある。ユーザが特徴点は調整される必要があると決定すると、変更段階225において、ユーザは入力装置40を用いて顔特徴点を調整しうる。任意に、ユーザは、首領域の輪郭をなす特徴点も調整しうる。
デフォルト設定段階230において、システムは、肌、目、鼻、口、髪、顔の毛等の様々な領域を識別子セグメントするために顔特徴点の位置を使用し、向上フィルタ用の適切なデフォルトパラメータを決定する。望ましい実施例では、首領域は顔特徴点の位置に基づいて自動的にセグメントされる。首領域をセグメントする方法については後に詳述する。従って、段階230では、システムは首領域に対する向上フィルタ用の適切なデフォルトパラメータも決定する。任意に、この段階において、顔の性別及び年齢は、手動で、又は性別及び年齢分類アルゴリズムを用いて自動的に決定されうる。自動性別分類の例は、ここに参照として組み入れられる非特許文献1に記載されている。年齢分類のための典型的なアルゴリズムは、顔特徴比率及びしわの分析といった特定の詳細な顔特徴について被写体の顔のディジタル画像の分析を行うことによって動作する。本発明の実施に有用な自動年齢分類アルゴリズムは、ここに参照として組み入れられるロボ(Lobo)及びクォン(Kwon)による特許文献3に開示されている。性別及び年齢分類は、性別特有のパラメータとともにどの向上フィルタが実行されるべきかを決定するために使用されうる。例えば、デフォルトとして、女性の顔には男性の顔よりも多くの量のテクスチャ(きめ)及び肌向上が適用されうる。望ましいデフォルトパラメータは、画像クラスにも基づいて決定されうる。画像クラスは、種類(例えばポートレート)、内容(例えば家族ポートレート又は学校ポートレート)、解像度、及び構図に関して類似した画像のクラスである。ユーザは、例えば、GUI画面78(図1B)の一番上のバーから「Edit(編集)」メニューをプルダウンし、典型的な画像クラスのリスト用の「好み」サブメニューをチェックすることによって、画像クラスをチェックしうる。
次に、システムは、適切に選ばれたパラメータを用いて実行段階235において向上フィルタを実行する。或いは、破線で示すように、ユーザは、ユーザ選択段階240において、向上フィルタ用の適切なパラメータとともにどの向上フィルタが実行されるべきであるかを決定しうる。段階235においてシステムが向上フィルタの実行を終了した後、向上された画像がディスプレイモニタ50上のディスプレイに表示される(245)。この点で、ユーザは向上された画像が許容可能であるかどうかを決定しうる。画像が許容可能ではないとき、ユーザは、ユーザ選択段階240において向上フィルタ及び/又はそれらのパラメータを変更すること、又は変更段階225において顔特徴点の位置を調整することのいずれかを選びうる。1つの実施例では、ユーザは、ある向上フィルタが画像に与える影響を見るよう、様々な向上フィルタを順次に実行することを選びうる。この実施例では、ユーザは、許容可能な結果が得られるまで向上フィルタ及びパラメータを変化させながら段階240、235、245、250のサイクルを繰り返す。決定段階250において向上された画像が許容可能であると判断されると、ユーザは、ローカル印刷段階255においてプリンタ34でローカルに印刷を行うこと、或いは、ローカルアーカイブ段階260において記憶媒体20にローカルにアーカイブすることを選びうる。或いは、システムがサーバ62を介して通信リンク70に接続される場合、ユーザはまた、遠隔印刷段階265においてプリンタ60上に遠隔に印刷するか、遠隔アーカイブ段階270において記憶媒体65上に遠隔にアーカイブするかを選択しうる。適切なアクションが選ばれ完了した後、システムは、新しい画像が存在するかの問い合わせを行い(クエリー段階275)、応答に依存して、次の画像のために取得及び表示段階205へ戻るか、処理を終了する(終了段階280)。
図2Bは、商用写真施設における高度に自動化された効率的な製造のために、より役に立つ本発明によるポートレート画像を向上する他の実施例を示す図である。本実施例は、ユーザ介入の必要なしにポートレート向上システムを通じて多数の画像を処理する自動バッチ処理を示す。取得段階282では、画像は、向上されるべきとして選択されている画像の名前及び場所を含むスクリプトファイル(コンピュータファイル)から取得される。スクリプトファイルはまた、バッチプロセスを制御するために使用されうる更なる命令を含みうる。例えば、スクリプトは、画像の場所及び命令を含みうるだけでなく、向上された画像に対していかなる名前を付けるか及びどこに格納すべきか、並びに、向上された画像を発生した後に元の画像を削除すべきかに関する命令を含みうる。多種多様な命令セットは、様々な商用写真ラボによって、それらの特別なワークフロースキーム(以下参照)に当てはまるよう容易に使用されうるフレキシブルなバッチ処理を可能とする。顔検出及び位置確認段階284では、画像中の顔は自動的に検出され、各顔上の顔特徴点の場所は自動的に識別される。向上選択段階286では、システムは顔を特徴付け、向上フィルタに対する向上フィルタ及びデフォルトパラメータの適切な組み合わせを決定する。任意に、この段階において、顔の性別及び年齢は、(上述したような)性別及び年齢分類アルゴリズムを用いて自動的に決定されうる。
或いは、画像中の顔の年齢及び性別は、画像に関連付けられるメタデータを介してシステムへ供給されえ、例えば、年齢及び性別は、顧客から与えられた写真仕上げ用封筒から与えられてもよく、又はその他の方法でユーザに問い合わせを行うことによって与えられてもよい。デフォルトのフィルタ及びパラメータはまた、向上の処理が行われる前に画像依存のメタデータとして、又は、画像独立の設定として与えられうる。メタデータは、画像ファイルに直接組み入れられてもよく、スクリプトファイルから得られてもよい。図2Cは、本発明による自動バッチ処理を制御するのに用いられるスクリプトファイルの例を示す。
システムは、適切に選ばれたパラメータを用いて向上実行段階288中の向上フィルタの組み合わせを実行する。画像中に2以上の顔がある場合、このことは顔クエリー段階290で気づかれ、システムは画像中の全ての顔が向上されるまで段階286、288、及び290を繰り返す。この間、特定の段階においてその段階又は次の段階で使用されるために生成される画像情報(即ち、マスク、特徴マップ、特徴点等)を含む中間画像が形成されうる。記憶段階292において、向上された画像は記憶される。向上された画像の記憶に加え、出力スクリプトファイル(以下詳述する)及び中間画像(上述した)もまた記憶されうる。画像を向上する処理は、全ての入力画像が向上されるまで続けられる(画像クエリー段階294)。全ての画像が処理された後(終了段階296)、向上された画像は、図2Aに示す使用段階255−270へ適用される。任意に、全ての画像が処理された後(終了段階296)、向上された画像は、図2A,図2D,及び図2Eに示すように、向上された画像の許容可能性についてチェックされるべく、ユーザ対話システムへ入れられ、必要であれば使用段階(図2A中の段階255−270)の前に変更される。
図2Dは、本発明によるバッチ処理によって発生される向上されたポートレート画像の許容可能性をチェックする実施例を示す図である。商用写真ラボは、これらのラボを通じて処理される膨大な数の画像を処理するために非常に厳しい時間的な要求がある。従って、ユーザ対話型システムは、バッチ処理された画像が素早く見直され、必要であれば商用ラボの生産性の要求を満たすべく変更されるよう、バッチシステムの出力と効率的且つ最適に一体となる必要がある。この必要性を容易とするため、出力スクリプトファイルは、各処理された画像に対するバッチ処理から発生される。スクリプトファイルは、画像に対して行われる操作、並びに、元の画像、向上された画像、及び中間画像がどこに記憶されるかを記述する情報、また、向上された画像を受け入れたとき又は拒否したときに元の画像、向上された画像、及び中間画像に対して何をするかについての対話型システムに対する更なる命令も含む。或いは、出力スクリプト内のデータ又は出力スクリプトの場所は、画像ファイル内にメタデータとして格納されうる。
取得段階2000において、元の画像、向上された画像、及び中間画像は、出力スクリプトファイル内に含まれるデータを用いて、又は画像内に含まれるメタデータから取得される。出力スクリプトファイル又は画像の場所は、バッチシステムによって処理された出力スクリプトファイル又は画像の名前及び場所を含むスクリプトファイルから取得されうる。表示段階2010において、元の画像及び向上された画像は、ディスプレイモニタ50上に横に並べて表示される。受け入れ/拒否決定段階2020において、ユーザは、例えば受け入れボタン又は拒否ボタンのいずれかをクリックすることにより、バッチシステムで発生された向上された画像を受け入れるか受け入れないかを決定する。向上された画像が拒否されると、ユーザは、画像中の全ての顔が(ユーザにとって)向上されるまで段階286、288、及び290(図2B)をユーザが繰り返す対話式画像修正モード段階2030に入る。利用可能であれば、中間画像(即ち、マスク、特徴マップ、特徴点等)は、受け入れ可能でないと判断された向上された画像の素早い変更を可能とするために使用されうる。
中間画像の使用はまた、向上フィルタに適用するときに時間のかかる計算(これらを再計算すること)を実行する必要性を軽減する。受け入れ/拒否決定段階2040において、ユーザは、新たに向上された画像を受け入れるか拒否するかを決定する。クリーンアップ段階2050において、システムは、元の画像、向上された画像、及び中間画像の運命を扱う出力スクリプトファイル中の命令を実行する。現在の画像が受け入れ/拒否されるとすぐに、操作者が向上された画像の許容可能性について素早い決定を行うことを可能とするよう、リスト上の次の画像がその向上された画像とともにすぐに表示される。バッチ処理で向上された画像をチェックする処理は、全ての画像がチェックされるまで続けられる(クエリー段階2060)。
バッチ/対話型システムの生産性を更に向上するために、バッチ処理は、ユーザの注意を必要としうる向上された画像に自動的にフラグを付してもよい。これらのフラグは、対話型システムを用いてチェックされねばならない向上された画像の数を制限するためにシステムによって使用されうる。フラグは、向上された画像及び/又は向上された画像の状態のテキスト記述の許容可能性の確率を表わしうる。例えば、顔検出及び位置確認段階284において、システムが顔を見つけることに失敗した場合、システムは画像に、0.00の許容可能性を表わすフラグと、「顔が見つからなかった」フラグとを付しうる。他の例では、システムは、画像に対して行われる肌テクスチャの向上の量に比例する許容可能性フラグで画像にフラグを付しうる。肌テクスチャがより多く向上されると、許容可能性フラグはより低くなる。他の例では、システムが、顔に髭があることを判定すると、「顔の毛」フラグが設定され、人が眼鏡をかけていると、「眼鏡」フラグが設定される。所望であれば、所定の閾値よりも低い許容可能性の確率を有する画像及び/又は特定のテキストのフラグを有する画像のみが段階2000で取得され開かれ、高い確率の画像は飛ばされる(スキップされる)。当業者によれば、大容量の商用写真ラボのために本発明を実施するのに有用なバッチ/対話型システムの多くの他の実施例があることが明らかとなろう。
図2Aに示すポートレート向上システムの実施例は、消費者により操作される画像フルフィルメントキオスクで実施されうる。消費者は、そのように望まれるのであればポートレート向上システムを手動で開始しうる。図2Eは、プリント、ネガ、ディジタルファイル等からプリント(印画)を生じさせるための消費者により操作されるキオスクに役に立つ本発明によるポートレート画像を向上させる他の実施例を示す図である。この実施例は、向上されるべき画像の適切さを決定し、ユーザ介入あり又はなしで画像に対してポートレート向上を適用する半自動/自動処理を示す。消費者が、段階2100においてフルフィルメント処理を開始した後、取得段階2105においてシステムによってディジタル画像が取得される。画像は、写真又はネガのいずれかをスキャンすること、又は、ディジタル媒体上に入っているファイルから、又は、システムが通信リンクを介してサーバに接続される場合はネットワーク上のファイルから取得される。顔検出ステップ2110において、画像中の顔は、取得された画像が消費者に対して表示される前に自動的に検出され、顔が見つかった場合は、各顔の顔特徴点の場所が自動的に識別される。決定段階2120において、画像中に顔が見つからなかった場合、又は検出された顔がいずれも向上に適していない場合、取得された画像は表示され(2180)、ユーザは従来の画像フルフィルメントキオスク処理2190を使い続ける。顔が向上のために許容可能であると考えられることを判定するために多数の規準が用いられる。
望ましい実施例では、顔の寸法及び鮮鋭さは、顔が向上に適しているかどうかを測定するために使用される。顔の向上の利点を認識するために、顔はユーザが改善点を見ることができるよう十分に大きく十分に合焦していなくてはならない。向上のために許容可能であると考えられる顔が検出されれば、次にシステムは適切に選ばれたパラメータを用いて実行段階2130において適切な向上フィルタを実行する。システムが段階2130において向上フィルタの実行を終了した後、向上された画像が表示される(2140)。ユーザ非介入モードでは、ユーザは画像フルフィルメントキオスク処理(2190)の使用を続ける。ユーザ介入モードでは、ユーザは、向上された画像が許容可能であるかどうかを決定しうる。決定段階2150において、画像がユーザにとって許容可能なものであれば、ユーザは画像フルフィルメントキオスク処理2190を使用し続ける。そうではなく、画像が許容可能でなければ、ユーザは、決定段階2160において、向上段階を迂回しキオスク処理2190を使い続けるか、ポートレートシステムの対話型の変形例を始めるかを選びうる。この点で、対話型ポートレートシステム(図1B)のGUIが表示され(2170)、消費者は許容可能な結果が得られるまで画像を向上させるよう対話式の変形例を使用しうる。
図3は、図2A及び図2Bの顔検出及び点位置確認段階210のフローチャートを示す図であり、本発明による画像中に表示される顔の顕著な顔の点の位置を確認する処理を示す。顔検出モジュール310は、画像中に存在する全ての人間の顔の場所とおおまかな寸法をマークするためにディジタル画像に適用され、顔特徴検出器315は検出された顔上の顕著な顔特徴点の位置を確認する。顔検出段階は、ユーザによって手動で、又は学術文献に記録された多くの顔検出法のうちの1つを用いて自動的に行われうる。この適用のための望ましい自動顔検出方法は、ここに参照として組み入れられる非特許文献2に記載されている。或いは、顔を検出するために手動アプローチが用いられる場合、望ましい方法は、画像中に存在する1つ又はそれ以上の顔の両目の上をユーザがクリックするものである。目の空間的な隔たりは、顔の寸法を推定するのに用いられ得る。
1つ又はそれ以上の顔の検出に続き、各顔の画像座標及び推定される寸法は、顔特徴検出器315に与えられ、顔特徴検出器315は検出された顔上の顕著な顔特徴点の位置を確認するタスクを有する。望ましい実施例では、顔特徴検出器としてアクティブ形状モデルが用いられる。アクティブ形状モデルは、ここに参照として組み入れられる非特許文献3に記載されている。検出された特徴点は、顔の肌領域、目、鼻、口、眉、髪、顔の毛等といった顔の様々な領域を識別し、輪郭付け、セグメンテーションするために使用される。検出された領域は、対応する2値マスクによって識別される。領域の2値マスクは次に、アルファマスクを発生するよう空間的にフェザリングされる(feathered)。アルファマスクは、ステップ235及び288において向上フィルタ(例えばテクスチャ向上フィルタ)の結果を元の画像とブレンドするのに用いられる。2値マスクをフェザリングし、結果として得られるアルファマスクをブレンド操作に適用することは、向上された領域と向上されていない領域の間の平滑な遷移を確実とする。アルファマスクを発生するために、2値マスクは、ぼけ半径が顔の寸法に基づいて選ばれるぼけ関数で2値マスクをぼけさせることによってフェザリングされる。2値マスクは、図2A及び図2Bに示すように向上フィルタをどこに空間的に適用するかを決定するために用いられる。
図4を参照するに、検出された顔410上の顕著な特徴点420の場所の視覚的な例が示される。一般的には、これらの顔特徴点は、手動で、或いは画像処理技術を用いて自動的に位置が確認される。
多くの画像では、肌向上フィルタを、顔領域だけではなく首領域にも適用することが重要である。現在の望ましい実施例では、首領域は、変更された包括的(generic)な首領域形状モデルに肌色クラシファイア(classifier)を組み合わせることによって決定される。図5Aに、首領域を決定する方法のフローチャートを示す。包括的なマッピング段階550では、首領域に対する包括的な確率マップが作成される。包括的な首確率マップは、首の形状の事前の知識に基づく。望ましい実施例では、包括的な確率マップは、向上されるべき画像(例えばポートレートタイプの画像)の予想される集団を表す正規化された画像の標本集団を平均化することによって作成される。標本画像は、各画像を同じ所定の目の場所へスケーリングすることによって正規化される。各標本画像中、首領域は手動で輪郭付けされる。各画素についての最終的な首の確率は、全ての標本画像に対して、所与の画素が首領域の一部であれば1であり、その他の場合は0である、スコア関数の平均和である。包括的な首確率マップは、発見的な近似を用いて形成されうる。画像中の人の性別が分かっているとき、望ましい実施例では男性と女性に対して異なる確率マップが使用される。通常は、肌領域は、男性よりも女性のポートレートの中でより良く見える。スケーリング段階554では、包括的な首領域マップは、顎の線と顔の輪郭の個々の特徴点に当てはまるようスケーリングされる。
肌色分類段階556では、首確率マップは、色セグメントに基づいて作成される。肌色の特定の距離内にある全ての画素にマークするために監視された画素ベースの色クラシファイアが用いられる。肌に属する画素色Cの条件付き確率関数である画素ベースの色クラシファイアは、ガウシアンでモデル化され、
最終マップ発生段階558では、最終確率マップは、スケーリングされた首確率マップと肌色に基づく確率マップを組み合わせることによって形成される。望ましい実施例では、2つの確率マップは算術的に乗算される。結果として得られる首確率マップは、向上フィルタの結果をどのように元の画像とブレンドするかを決定するためのアルファチャネルとして用いられる。2値首領域マスクは、最終首確率マップを閾値処理することによって作成される。確率が所定の画素に対して1よりも大きい場合、対応するマスク値は1に等しく、従って首領域を示し、そうでない場合はマスク値は0に等しく、従って首でない領域を示す。2値首領域マスクは、どこに向上フィルタを適用するかを決定するために使用される。
図5B乃至図5Dは、最終首確率マップを作成する処理を視覚的に示す図である。図5Bを参照するに、スケーリングされた包括的な首確率マップが示される。包括的な確率マップは、顔の輪郭をなす個々の特徴点に一致するようスケーリングされる。包括的な首確率マップは、上述のセクションに記載したように顔の輪郭に対する首の場所の事前の知識に基づく。図5Bに示す包括的な首確率は、上述のセクションで推奨されたように統計的な解析を用いるのではなく発見的な規則に基づく1つの可能な例である。これは、処理の定性的な特徴を示す役割を果たす。包括的なマスク内の中央領域570は、首領域である確率が高いことに対応する高い値(例えば0.5よりも大きく、1以下)を有する。境界領域572は、首領域の確率がより低いことに対応するより低い値(例えば0よりも大きく、0.5よりも小さい)を有する。首領域の確率は、領域572の外側で0の値へと徐々に小さくなる。一般的に、確率は、水平方向には領域の中心570から領域の縁572へ、垂直方向には上から下へ連続的に減少する。顎の線の直下のマスクの中央領域は、それに関連する最も大きい確率を有する。
図5Cに、肌色クラシファイアによって決定される首確率マップの輪郭574を示す。肌色に基づく確率は、上述のセクションに記載のように式1に従って計算される。輪郭付けられた領域574の外側の確率値は0に等しい。領域574の中の確率値は、式1によって定義されるように0よりも大きい。2つの首確率マップ、即ちスケーリングされた包括的な首確率マップと肌色分類に基づく確率マップは、この2つを算術的に乗算することによって組み合わされる。図5Dは、結果として得られる最終首確率マップの輪郭を示す。中央領域576は、肌色確率領域574によってクロッピングされた高確率領域570に対応する。領域578は、肌色確率領域574によってクロッピングされる低確率領域572に対応する。
顔特徴点及び首領域の位置が確認されると、外見向上フィルタの組み合わせ(即ち2つ又はそれ以上)が、画像中の顔及び首領域に適用されうる。図6を参照するに、幾つかの異なる向上フィルタが示される。望ましい実施例では、以下の向上フィルタ、即ち、肌テクスチャ向上フィルタ610、肌トーン向上フィルタ620、歯向上フィルタ630、目向上フィルタ640、及び顔特徴形状向上フィルタ650、が実施される。これらの全てのフィルタは、明細書の以下のセクションで詳細に説明される。向上フィルタは、いかなる順序で適用されてもよい。1つの実施例では、ユーザは任意の向上フィルタを、自分がそれらを画像中の顔及び首領域に適用しようとする順序で選択しうる。しかしながら、望ましい実施例では、システムは、適切なパラメータと共に、向上フィルタを適用するデフォルトの順序を設定する。
ユーザがデフォルト設定を行わせることを選んだ場合、全ての向上フィルタはデフォルトパラメータと共にデフォルトの順序で適用され、向上された画像はモニタ上に表示される。向上フィルタのデフォルト順序は、肌のテクスチャ向上フィルタ、肌のトーン向上フィルタ、歯及び目を白くするフィルタ(いずれの順序でもよい)、並びに、顔特徴形状向上フィルタである。向上フィルタについて、次のセクションで、元の画像にフィルタを適用するデフォルトの順序と同じ順序で説明する。
デフォルトパラメータのうちの幾つかは、被写体のカテゴリに基づく画像クラスに依存するものであってもよい。例えば、一組のデフォルトパラメータは、学校ポートレート画像、家族ポートレート画像、赤ちゃんの写真等のカテゴリに対して最適化されうる。実施例のうちの1つでは、システムをバッチモードで作動させるとき、操作者は、制御スクリプト中で各フィルタに対するファイルパラメータを指定するか、単に画像クラスを指定するかのいずれかを行う。画像クラスが指定されると、与えられたクラスに対する望ましい一組のパラメータが用いられる。同様に、本発明の対話型ソフトウエア実施例に対して、ユーザは好みのメニューから画像クラスを選択し、デフォルト設定は向上フィルタのために自動的に設定される。
肌の外見を変化させる向上フィルタ(例えば肌のテクスチャのフィルタ)が適用されると、通常は髪及び顔の毛をマスク除去することが重要である。さもなければ、結果として得られた画像中で毛のテクスチャがないといったアーティファクトが非常に目立つものとなりうる。特徴ファインダアルゴリズムによって決定される特徴点は、通常は、不規則であり顔毎に非常に異なる髪の生え際といった非常に変化する特徴を正確には描かない。望ましい実施例では、額の肌領域に重なり合う髪をマスク除去するよう微細調整段階が加えられる。図6Bを参照するに、生え際マスクを微細調整するフローチャートが示される。段階670において、額を囲む領域が画成される。囲む領域は、決定された特徴点(目の場所)と、人間の解剖学的構造についての事前知識から知られている額の最大の可能な大きさに基づいて決定される。ステップ672において、額を囲む領域内に様々な特徴確率マップが形成される。特徴確率マップは、元の画像から導出されるテクスチャ(きめ)情報及び色情報を含む。望ましい実施例では、水平方向、垂直方向、及び対角方向に、方向性エッジマップが形成される。テクスチャマップを作成するために用いられる方向性エッジ検出器は、以下のセクションにおいてテクスチャ向上について詳述される。1つの望ましい実施例では、テクスチャ確率マップは以下の各段階で形成される。まず、垂直エッジグラジエントが、テクスチャ向上セクションに記載のように計算される。垂直エッジ検出器のカーネルのサイズは、目の隔たりの距離に依存する。第2の段階において、指定される閾値よりも大きいグラジエントの大きさを有する全ての垂直エッジに対して連結成分マップが形成される。次の段階では、式2及び式3に従って正規化された連結成分密度が計算される。
(外1)
は画素(x,y)における正規化された連結された成分の密度である。
次に、正規化された連結された成分の密度の値は、閾値処理される。指定された閾値(例えば0.3)よりも小さければ、密度値は0に設定され、そうでなければ保存される。閾値処理され正規化された連結された成分の密度のマップは、髪テクスチャ確率マップとして使用されうる。エッジ検出器カーネルサイズは、目の隔たりの距離に依存する。肌色確率マップは、上述のセクションの首色確率マップについて記載されたのと同じアプローチを用いて作成されうる。ステップ674において、確率マップは、確率の正規化され重み付けされた和によって組み合わされる。最終確率マップは、ブレンド処理に用いられる新しいアルファチャネルマップとして元の顔アルファチャネルと組み合わされる。同じ技術は、顔の毛に対して使用されうる。段階670において額を囲むボックスを画成する代わりに、関心領域は、特徴ファインダアルゴリズムによって決定される顔特徴点に基づいて髭及び/又は口髭に対して画成される。次に、特徴確率マップは特定の関心領域に対して形成される。予め性別が分かっていれば、顔の毛のマスク処理は、男性に対して有効、女性に対して無効とされうる。これはシステムの全体の速度を高め、誤って検出される顔の毛によって生ずるアーティファクトを排除しうる。
本発明の実施例では、顔に対して適用される向上は顔の非対称な外観を生じさせるか増加させるものではないことが重要である。例えば、笑いじわや目の下のしわ等の幾らかの対称的な特性の肌特徴は、除去される場合は、顔の両側で除去されねばならず、又は、向上される場合は、比例して対称的に向上されるべきである。関係があるときは、対称性の問題は以下のセクションにおいて各向上フィルタに対して特に説明される。
テクスチャ向上フィルタ
肌テクスチャ向上フィルタの役割は、肌の局所的なテクスチャ(きめ)を滑らかとし、しみや濃いしみ等を除去し、しわの範囲や深さを除去又は軽減することである。図7Aを参照するに、本発明による肌テクスチャ向上フィルタ用にフローチャートが示される。肌特徴発生段階710では、肌特徴点によって輪郭が描かれる肌領域内の肌特徴が検出される。次に、検出された肌特徴は、特徴変更段階720において変更される。肌特徴マップは、しみ、濃いしみ、しわ等の我々が変更したいと思う特徴を含む。
肌テクスチャ向上フィルタの役割は、肌の局所的なテクスチャ(きめ)を滑らかとし、しみや濃いしみ等を除去し、しわの範囲や深さを除去又は軽減することである。図7Aを参照するに、本発明による肌テクスチャ向上フィルタ用にフローチャートが示される。肌特徴発生段階710では、肌特徴点によって輪郭が描かれる肌領域内の肌特徴が検出される。次に、検出された肌特徴は、特徴変更段階720において変更される。肌特徴マップは、しみ、濃いしみ、しわ等の我々が変更したいと思う特徴を含む。
従来技術では、特定の肌の欠陥を見つけるために色分析が用いられる。また、従来技術では、肌欠陥の検出は、肌領域の上を滑らされる有限の2次元ウィンドウ内に含まれる画素に関連する色信号のヒストグラムを分析することによって行われる。領域は、それに関連付けられるヒストグラムが複峰性である場合は肌欠陥を含むと考えられる。これらの技術は、一次検出手段の一部として色情報を用いるため、イメージングシステムが色較正されること及び/又は分析されるべき画像が正しく色バランスがとられることを必要とする。色情報を用いる効果は、画像を捕捉するために制御された照明及び/又は色付きフィルタが用いられるとき向上される。更に、検出された欠陥が、欠陥の色に基づいてしみ、濃いしみ等として更に分類される場合は、正確な色再現が必要である。
写真では、しわ、しみ等の肌の完全でない部分は、本来あるべきでない場所にある(本当に単に)ハイライトや陰影として明らかとなる。肌の完全でない部分は、このように局所的な強度の最大値及び最小値に対応する。ハイライトは輝度画像中のピーク(peak)に対応し、影は輝度画像のバレー(valley)に対応する。従来技術から離れて、本発明の望ましい実施例によれば、肌の完全でない部分は、成分RGB信号から形成される輝度画像にピーク及びバレー検出器を適用することによって検出される。バレー/ピーク検出器は第2の差のオペレータである。輝度は、赤R信号、緑R信号、及び青B信号の加重線形組み合わせとして、以下の式、
L=k1R+k2G+k3B (式4)
として定義され、式中、k値は重みを表わす。輝度画像を発生するための重みの現在の望ましい選択は、k1=k2=k3=0.333である。バレー/ピークオペレータの例は、非特許文献4に記載されている。
L=k1R+k2G+k3B (式4)
として定義され、式中、k値は重みを表わす。輝度画像を発生するための重みの現在の望ましい選択は、k1=k2=k3=0.333である。バレー/ピークオペレータの例は、非特許文献4に記載されている。
現在の望ましいピーク/バレーオペレータは、非特許文献4で用いられる種類の一連の4つの方向性オペレータである。画素位置がa乃至yで示される図7B中に示される画素の5×5近傍の中央の画素mに適用される垂直オペレータVは、以下の式5、
V=f+k+p+j+o+t−2(h+m+r) (式5)
によって定義される。このオペレータは、輪郭が描かれた肌領域中の各画素位置で適用される。同様に、式6に示される形の水平オペレータHと、式7に示す右対角オペレータDR及び式8に示す左対角オペレータDLの対は、それぞれ、以下の式、
H=b+c+d+v+w+x−2(l+m+n) (式6)
DR=c+g+k+o+s+w−2(i+m+q) (式7)
DL=c+i+o+k+q+w−2(g+m+s) (式8)
に従って輪郭が描かれた領域中の各画素位置に適用される。これらのオペレータは、バレー/ピークを検出するだけでなく、エッジの足/肩に対する2次応答を有する。従って、これらはバルエッジ(valedge)/ピークエッジ(peakedge)検出器と称される。バルエッジ特徴はオペレータの出力の正の値に対応するのに対して、ピークエッジ特徴は負の値に対応する。バレー/ピークにのみ感応するバレー/ピーク検出器は、オペレータに対して論理条件を適用することによって得られる。垂直バレーに対して、論理バレー検出器対応は、
if(f+k+p)>(h+m+r)and(j+o+t)>(h+m+r)
then V=(f+k+p+j+o+t)−2(h+m+r)
else V=0 (式9)
で与えられる。垂直ピークに対して、論理ピーク検出器対応は、
if(f+k+p)<(h+m+r)and(j+o+t)<(h+m+r)
then V=(f+k+p+j+o+t)−2(h+m+r)
else V=0 (式10)
で与えられる。水平及び対角のバレー/ピークに対する論理検出器は同様の形を有する。
V=f+k+p+j+o+t−2(h+m+r) (式5)
によって定義される。このオペレータは、輪郭が描かれた肌領域中の各画素位置で適用される。同様に、式6に示される形の水平オペレータHと、式7に示す右対角オペレータDR及び式8に示す左対角オペレータDLの対は、それぞれ、以下の式、
H=b+c+d+v+w+x−2(l+m+n) (式6)
DR=c+g+k+o+s+w−2(i+m+q) (式7)
DL=c+i+o+k+q+w−2(g+m+s) (式8)
に従って輪郭が描かれた領域中の各画素位置に適用される。これらのオペレータは、バレー/ピークを検出するだけでなく、エッジの足/肩に対する2次応答を有する。従って、これらはバルエッジ(valedge)/ピークエッジ(peakedge)検出器と称される。バルエッジ特徴はオペレータの出力の正の値に対応するのに対して、ピークエッジ特徴は負の値に対応する。バレー/ピークにのみ感応するバレー/ピーク検出器は、オペレータに対して論理条件を適用することによって得られる。垂直バレーに対して、論理バレー検出器対応は、
if(f+k+p)>(h+m+r)and(j+o+t)>(h+m+r)
then V=(f+k+p+j+o+t)−2(h+m+r)
else V=0 (式9)
で与えられる。垂直ピークに対して、論理ピーク検出器対応は、
if(f+k+p)<(h+m+r)and(j+o+t)<(h+m+r)
then V=(f+k+p+j+o+t)−2(h+m+r)
else V=0 (式10)
で与えられる。水平及び対角のバレー/ピークに対する論理検出器は同様の形を有する。
バレー/ピーク及びバルエッジ/ピークエッジオペレータのいずれも、本発明による肌特徴マップの発生に有効である。この点から、バレー/ピークオペレータの用語は、バレー/ピーク、並びに、バルエッジ/ピークエッジオペレータのいずれも指すものとして用いる。
方向付けられたバレー/ピークフィルタを画像に適用する前に、画像中のノイズへの効果はノイズ低減フィルタを適用することによって抑制される。適切なノイズフィルタは、低域通過フィルタ、メジアンフィルタ、及び、ディジタル画像中のノイズを減少させるために一般的に使用される他の線形及び非線形フィルタである。
オペレータによって発生された方向付けられたバレー/ピーク画像は、(強い)関連のある肌特徴のみをそのままとするよう閾値処理される。バレー特徴マップに対して、指定される閾値Tvよりも小さい値を有する画素はゼロに設定される。ピーク特徴マップに対して、定される閾値Tpよりも大きい値を有する画素はゼロに設定される。閾値は、固定のグローバル閾値であるか、適応閾値のいずれかでありうる。現在の望ましい閾値方法は、以下の式11、即ち、
T=βLavg (式11)
で値が与えられる適応閾値を用いるものであり、式中、βは定数であり、Lavgは画素についての局所平均輝度である。垂直成分、水平成分、及び対角成分に対して、異なる値のβが使用されうる。局所平均輝度Lavgは、画素自体の値であってもよく、又は、例えば画素の3×3近傍といった画素の近傍の平均輝度であってもよい。
T=βLavg (式11)
で値が与えられる適応閾値を用いるものであり、式中、βは定数であり、Lavgは画素についての局所平均輝度である。垂直成分、水平成分、及び対角成分に対して、異なる値のβが使用されうる。局所平均輝度Lavgは、画素自体の値であってもよく、又は、例えば画素の3×3近傍といった画素の近傍の平均輝度であってもよい。
現在の望ましい段階は、個々に方向付けられた特徴マップを組み合わせることによって組み合わせた肌特徴マップFが発生されることである。
F=max{H,V,DR,DL} (式12)
更に、F中の各画素は、それがどの方向付けられたフィルタから生じたのかに従ってラベル付けされうる。方向付けられたラベルデータ及び/又は個々の方向付けられた肌特徴マップは、特定の方向の特徴が選択的に除去されるしわといった特徴を除去するのに有用でありうる。
更に、F中の各画素は、それがどの方向付けられたフィルタから生じたのかに従ってラベル付けされうる。方向付けられたラベルデータ及び/又は個々の方向付けられた肌特徴マップは、特定の方向の特徴が選択的に除去されるしわといった特徴を除去するのに有用でありうる。
肌テクスチャ向上フィルタのタスクは、肌の局所的なきめを滑らかとすることである。肌テクスチャ向上フィルタが滑らかとする肌テクスチャの空間的な大きさは、顔の大きさの関数である。従って、適切な肌特徴を検出するために、バレー/ピークフィルタの空間的な大きさは顔の大きさに基づいて適応的に決定される。更に、バレー/ピークフィルタの種類(方向性、等方性等)もまた、顔の大きさに基づいて適応的に選択されうる。特に、目の間の隔たりはバレー/ピークの大きさ及び種類を決定するために使用される。垂直バレー/ピークオペレータのための1つの包括的な表現は、
現在の望ましい等方性バレー/ピーク検出器は、輝度画像Iからぼけ画像Ibを差し引くことによって与えられる。
F(x,y)=I(x,y)−Ib(x,y) (式14)
ぼけのある輝度画像は、輝度画像に対してガウシアン又はボックスフィルタ等のぼけフィルタを適用することによって発生されうる。バレー/ピーク検出器の出力は、ピーク及びバレー特徴マップを発生するよう上述のように閾値処理される。ぼけフィルタの半径は、顔の大きさ(デフォルトパラメータの例)及び検出使用とする肌特徴の大きさの関数として選ばれる。
ぼけのある輝度画像は、輝度画像に対してガウシアン又はボックスフィルタ等のぼけフィルタを適用することによって発生されうる。バレー/ピーク検出器の出力は、ピーク及びバレー特徴マップを発生するよう上述のように閾値処理される。ぼけフィルタの半径は、顔の大きさ(デフォルトパラメータの例)及び検出使用とする肌特徴の大きさの関数として選ばれる。
特徴マップは、連結された成分ラベリングを介して互いに連結される画素をグループ化することによって更に微細調整される。連結された成分ラベリングは、画像を走査し、その画素を画素の連結性に基づいて成分へグループ分けし、即ち、連結された成分中の全ての画素は何らかの方法で互いに連結される。いったん全てのグループが決定されると、各画素はそれが割り当てられていた成分に従ってラベル付けされる。各連結された成分は肌の特徴に対応する。各肌特徴は特徴付けられ、肌領域中の大きさ、形状、及び位置といった特徴に基づく特性によって分類される。大きさは、成分中の画素の数(デフォルトパラメータの例である)に対応する。形状情報は、肌特徴の幾何学形状に関する特定の特性を記述する。形状情報の例は、空間的なモーメント、境界ボックス、向き、原理的な軸等である。形状分析に関する更なる情報は、非特許文献6に記載されている。更に、肌特徴マップ中で輪郭が描かれた特徴は、肌特徴であると識別された画素に関連する色情報を用いて更に分類されうる。形状及び色情報は、しわ、しみ、あざ、ほくろ、陰影、ハイライト等のより高次の特徴の輪郭を描くのに有用である。いったん肌特徴マップが発生されると、これらはステップ720で変更されるべき肌特徴を選択するために使用される。
図8を参照するに、本発明による肌特徴を選択し変更する望ましい実施例のフローチャートが図示されている。特徴選択段階810では、変更されるべき特徴は、それらの特性に基づいて選択される。上述のように、特徴の特性は、大きさ、形状、及び色に対応し、肌領域中のこれらの特徴の場所に基づいて選択される。肌特徴の選択は、対称性もまた考慮に入れねばならない。幾つかの肌特徴は、顔の右側と左側では対称である。顔の片側のみの幾つかの顕著な肌特徴のみを選択し変更することは、アーティファクトとして知覚されうる非対称性を生じさせうる。1つの例は、人が笑っているときによく目に見える目の下のひだ又は目立った鼻唇しわ(笑いじわ)でありうる。望ましい実施例では、これらの対称的な特徴は、それらの特徴(例えば場所、形状、色等)に基づいて自動的に識別される。これらの対称的な特徴のうちの1つが、例えばその大きさ又は/及び他の特性に基づいて、向上のために選択されたとき、顔の他方の側にある対応する対称的な特徴もまた、結果として得られる向上の対称性を確実とするようその特性にかかわらず自動的に選択される。
どの対称的な肌特徴が常に選択及び向上から除外されるか、また、どれが選択に適しているかは、望まれる向上の見かけに依存する。これは、年齢又は性別に基づいて決定されてもよい。他の実施例では、幾らかの対称的な肌特徴は、独自の種類の向上を必要としてもよい。
膨張段階820では、選択される肌特徴は(適応的に)膨張され、次にフィルタリング段階830において変更される。肌特徴に対する膨張の効果は、肌特徴の大きさを拡大することである。膨張の量は、全ての選択された肌特徴に対する一定の量又は肌特徴の特性に基づく適応的な量のいずれかでありうる。現在の望ましい実施例では、肌特徴はそれらの大きさ及び顔の大きさ(デフォルトパラメータの例である)に基づいて適応的に膨張される。より大きい肌特徴は、より小さい肌特徴よりも多く膨張される。膨張の処理は、標準的なモルフォロジカル・オペレータを用いて実行されうる。
全ての所望の肌特徴は段階810、820及び830の一回のサイクルで選択され変更されうるが、最適な肌向上は、変更されるべき肌特徴の種類を変化させつつ段階810、820及び830のサイクルを繰り返すことによって肌特徴を順次に変更することによって得られる。現在の望ましい実施例では、段階810−830においてバレー肌特徴がまず選択及び変更され、次に段階810−830を通る2回目の繰り返しのときに残るピーク肌特徴が選択され変更される。肌のきめを保つため、指定された最小と最大のサイズの間のサイズの肌特徴のみが変更される。或いは、肌のきめを保つため指定された最小のサイズよりも大きいサイズの肌特徴のみが変更される。更に、変更されるべき肌特徴の最小及び最大のサイズは、顔のサイズと直接的につりあっている。
段階830において、膨張された特徴の各画素にピンホイールフィルタが適用される。膨張された特徴の画素は特徴画素と称される。残る全ての画素は非特徴画素と称される。本発明の実施例では、特徴画素は2値マスクによって定義され、値0は特徴画素に対応し、値1は非特徴画素に対応する。ピンホイールフィルタは、特徴画素を中心とする線分に整列された近傍の非特徴画素を用いることによって所与の特徴画素の新しい値を補間する。ピンホイールフィルタは、ここに参照として組み入れられ、共通に譲渡された特許文献10に記載されている。ピンホイールフィルタの詳細な説明は、本願では、明瞭性のために、特許文献10に記載の元のアルゴリズムに対する幾らかの変更を特定するために含まれるものである。図9を参照するに、4つの線分930の組(SET)は、選択された特徴画素940に対して図式的に示されている(垂直V、水平H、2つの対角線分D1及びD2)。4つの線分は、45°の増分で互いに離れている。膨張された特徴920は、グレー(影付き)の色で表わされる。線910は顔の境界を表わす。SET中の各線分は画素940の両側の特徴画素及び非特徴画素のいずれもから構成される。線分中の非特徴画素及び特徴画素は、線分によって決められる所与の方向上に選択された特徴画素940に対して局所的な画素である。線分のSETを作成する方法については後に詳述する。
図10A及び図10Bを参照するに、ピンホイールフィルタを適用することにより画像中の各特徴画素に対する新しい値を計算する方法が示される。段階1004において、線分の数NL、線分の片側上の画素の最大数MAX_NP1、及び線分の片側上の画素の最小数MIN_NP1が設定される。これらのパラメータについては、図12を参照して詳述する。線分の片側上の画素の最大数MAX_NP1及び線分の片側上の画素の最小数MIN_NP1は、顔の大きさ(デフォルトパラメータの例)に基づいて設定される。顔の大きさが大きければ大きいほど、MAX_NP1及びMIN_NP1の値は大きくなる。顔の大きさに対するこれらの2つのパラメータの依存性は、特許文献10に記載の方法と比較して、本発明に独自のものである。段階1006において、第1の特徴画素PSELが選択される。ステップ1008において、NLの線分のSETが画素PSELを通じて作成される。望ましい実施例では、SET中の線分の数NLは、垂直、水平、及び2つの対角線分に対応して4である。
図12に、線分を作成する方法を示す。図12の段階1110において、第1の線分、例えば垂直線分(V)が選択される。段階1120において、線分の片側の方向が選択される。この方向は、画素PSELで開始する線分に画素が加えられる方向である。各線分について、画素PSELを中心とする線分の2つの側に対応する2つの方向が定義される。段階1130において、所定の方向に沿って第1の非特徴画素に達するまで線分に特徴画素が加えられる。段階1140において、第1の非特徴画素が線分に加えられ、所定の方向の近傍の非特徴画素が以下の条件のうちの1つが満たされるまで線分に加えられる。
・片側の非特徴点の最大数MAX_NP1に達したとき、
・顔境界又は顔特徴境界に達したとき、
・新しい特徴画素に達したとき。
・顔境界又は顔特徴境界に達したとき、
・新しい特徴画素に達したとき。
線分の片側の非特徴点の最大数MAX_NP1は、段階1004(図1A)において顔の大きさに基づいて設定される。線分は、顔境界又はテクスチャ向上処理から排除された領域(例えば目領域、口領域等)の境界を横切ってはならない。有効な線分を作成するための上述の制約条件は、特許文献10と比較して本発明に独自のものである。線分の片側へ画素を加えることが完了すると、段階1160において線分の第2の側に対して方向が設定され、処理は段階1130−1140において線分の第2の側に対して繰り返される。2つの側が完了すると(段階1150)、SETからの次の線分が選択され(段階1180)、処理は段階1120−1160において繰り返される。SET中の全てのNLの線分が作成されると(段階1170)、処理は完了する(段階1190)。
図10Aに戻って参照すると、上述のように段階1008においてNLの線分のSETを作成した後、少なくとも片側にMIN_NP1よりも少ない非特徴点を有する線分はSETから除去される(段階1010)。SET中に残る有効な線分が残っていなければ(段階(1014)、画素値は画素PSELに対しては変化されず(段階1052)、新しい特徴画素PSELが選択され(段階1046及び1048)、処理は繰り返される(段階1008から始まる)。SET中の残る有効線分の数Nが0よりも多ければ(段階1014)、各残る有効な線分に対して、各チャネルに対する有効線分中の非特徴画素に対して線形当てはめが計算される(段階1016)。段階1018において、先行する段階1016において計算された線形当てはめに基づいて各チャネルに対する非特徴画素に対して各有効線分に対して、平均平方当てはめ誤差が計算される。段階1020において、所与の有効線分に対する全てのチャネルに対する平均平方当てはめ誤差の平均値として各有効線分に対する総平均平方当てはめ誤差が、以下の式、
ステップ1022では、段階1016で計算された線形当てはめに基づいて各チャネルkに対する各有効線分nに対する画素PSELに対して、値PSELn,kが計算される。段階1024において、各チャネルkに対して新しい画素PSELkが計算される。向上された画素の最終画素値は、以前のセクションで発生されたアルファマスクに従って、各チャネルkに対する新しい画素値PSELkを元の画素値とブレンドすることによって決定される。ブレンド操作は、肌の向上された領域と向上されていない領域の間の平滑な遷移を保証する。段階1024におけるブレンド操作及びアルファマスクは、特許文献10に記載の発明と比較して、本発明に独自のものである。他の実施例では、向上された画像の最終画素値PSEL_OUTkは、各チャネルkについて新しい画素値PSELkを元の画素値PSEL_INkと適応的にブレンドすることによって決定される。
PSEL_OUTk=αPSELk+(1−α)PSEL_INk (式16)
新しい画素値と元の画素値をブレンドするために用いられるブレンド係数αは、画素が作り出されたもととなる肌特徴の特性に依存する。例えば、図17に示すように、ブレンド係数αは画素が作り出された元となる肌特徴の大きさの関数であり得る。図17を参照するに、minよりも小さい大きさを有する小さい肌特徴に対しては、元の画素値は変更されない。minとmidの間の大きさの肌特徴に対しては、新しい画素値が最終的な画素値として使用される。midよりも大きい大きさを有する大きい肌特徴に対しては、新しい画素値と元の画素値をブレンドすることによって最終的な画素値が決定される。min、mid、及びmaxの値は、結果として得られるテクスチャ向上のみかけを制御するテクスチャ向上フィルタのパラメータのうちの1つであり、例えばminの値が大きければ大きいほど、向上された肌領域に保たれる肌のテクスチャは多くなる。midの値が大きければ大きいほど、向上された肌領域からはより多くのしわ及びしみが除去される。min値を減少させ、mid値を増加させることは、向上された肌の滑らかさを高める。本発明の対話型の実施例では、min、mid、及びmaxの値は、GUI78のテクスチャエンハンサスライダ92によって変更される。1つの望ましい実施例では、図17に示すブレンド関数に対するmin、mid、及びmaxの値は、目の間の距離によって決定される。
新しい画素値と元の画素値をブレンドするために用いられるブレンド係数αは、画素が作り出されたもととなる肌特徴の特性に依存する。例えば、図17に示すように、ブレンド係数αは画素が作り出された元となる肌特徴の大きさの関数であり得る。図17を参照するに、minよりも小さい大きさを有する小さい肌特徴に対しては、元の画素値は変更されない。minとmidの間の大きさの肌特徴に対しては、新しい画素値が最終的な画素値として使用される。midよりも大きい大きさを有する大きい肌特徴に対しては、新しい画素値と元の画素値をブレンドすることによって最終的な画素値が決定される。min、mid、及びmaxの値は、結果として得られるテクスチャ向上のみかけを制御するテクスチャ向上フィルタのパラメータのうちの1つであり、例えばminの値が大きければ大きいほど、向上された肌領域に保たれる肌のテクスチャは多くなる。midの値が大きければ大きいほど、向上された肌領域からはより多くのしわ及びしみが除去される。min値を減少させ、mid値を増加させることは、向上された肌の滑らかさを高める。本発明の対話型の実施例では、min、mid、及びmaxの値は、GUI78のテクスチャエンハンサスライダ92によって変更される。1つの望ましい実施例では、図17に示すブレンド関数に対するmin、mid、及びmaxの値は、目の間の距離によって決定される。
本発明の他の実施例では、min、mid、及びmaxの各値は、対話型モードでは別個のスライダによって制御されうる。幾つかの肌領域は、例えば、額と頬と目の下の領域等の他の領域よりも高いレベルの平滑化を必要としてもよい。本発明の1つの実施例でこの問題を解決するために、図17に示すものと同じブレンド関数が全ての肌領域に対して使用されるが、min、mid、及びmaxのパラメータは肌の領域に依存する。本発明の他の実施例では、所望のみかけを作成するために異なる肌領域に対して異なる形状のブレンド関数とmin、mid、max以外のパラメータが定義される。幾つかの肌特徴は、同じ大きさを有してもよく、同じ肌領域に配置されてもよいが、大きく異なるブレンド係数を有するべきである。上述のように、幾つかの特定の肌特徴は、一定の見かけを保つため及び/又は顔の対称性(例えば鼻唇しわ)を保つために全てのテクスチャ向上から排除されてもよい(α=0)。或る領域(例えば目の周り)では、肌特徴を完全に除去するのではなく、その荒い見かけを変更することが望ましい場合がある。従って、他の実施例では、ブレンド係数αは、肌特徴の種類やそれが配置されている肌の領域にも依存する。肌特徴は、それらの形状、色、場所等に基づいて分析されえ、しみ、ほくろ、笑いじわ、カラスの足跡のようなしわ等の様々な種類へ分類され、様々な種類の肌特徴に対して様々なブレンド関数が適用される。目の下のしわのような幾つかの肌特徴に対するブレンド関数は、向上の適用(例えば濃さ、柔らかさ等)を適用した後に顔の両側の肌特徴の見かけを対称的に一致させるよう顔の右及び左側で異なりうる。新しい画素値PSELkを計算する様々な方法については後述する。選択された特徴画素PSELが最後の特徴画素ではない場合(段階1046)、次の特徴画素が選択され(段階1048)、処理は段階1008から始まって繰り返される。最後の特徴画素であれば、処理全体が完了する(段階1050)。
線分の数NLが4である望ましい実施例では、選択された特徴画素PSEL(図10中の段階1024)に対する新しい値PSELkを計算する段階は、図11に詳細に示される。本願の図11に示す方法は、特許文献10に示す方法と比較して本発明に独自のものである。SETには少なくとも1つの有効な線分がある(N>0)と想定される。図11を参照するに、SET中の有効な線分の数Nが1であれば(段階1026)、各チャネルkに対する新しい値PSELkはその線分に対して計算される値PSELl,kに等しい(段階1028)。そうでなければ、段階1030において、有効な線分のSETは、各線分nに対する平均平方根誤差値MSEnに基づいて降順でソートされる。段階1030におけるソートの結果、SET中の第1の有効な線分(n=1)は最も高い平均平方根誤差を有し、最後の有効な線分(n=N)はSET中の最も低い平均平方根誤差を有する。SET中の有効な線分の数Nが2であれば(段階1032)、各チャネルkに対する新しい値PSELkはPSEL1,kとPSEL2,kを平均した値に等しい(段階1034)。そうでなければ、SET中の有効な線分の数Nが3であれば(段階1036)、各チャネルkに対する新しい値PSELkは、平均平方根誤差の中央値を有する有効な線分(n=2)について計算されたPSEL2,kの値に等しい(段階1038)。そうでなければ、SET中の有効な線分の数Nは4であり、各チャネルkに対する新しい値PSELkは、PSEL2,kとPSEL3,kを平均した値に等しい(段階1040)。向上された画像の最終的な画素値は、上述のセクションで発生されたアルファマスクに従って、各チャネルkに対する新しい画素値PSELkを元の画素値とブレンドすることによって計算される(段階1024)。
新しい画素値を計算する第2の実施例では、各チャネルkに対する新しい画素値PSELk(図10中の段落1024)は、以下のように計算される。まず、式17に従って各チャネルkに対して各線分に対する重み値Wn,kが計算される。
多くの量のテクスチャ向上操作が肌に適用されたとき、結果として得られる肌のきめは顔全体に亘って非常に滑らか且つ均一でありうる。ひどいニキビを除去するために顔を向上させすぎると、顔を滑らかにしすぎることがある。向上された画像の所望の見かけに依存して、細かい構造のない肌は許容可能であることも許容可能でないこともある。これは、向上された画像の結果として得られる滑らかさが顔の様々な領域に亘って突然に変化する場合に特にいえる。ピンホイール補間を適用した後に肌の領域が滑らか過ぎるように見えるかテクスチャが全くない場合は、所望であれば、許容可能な見かけを与えるようこれらの領域に対して理想化されたテクスチャが加えられ得る。理想化されたテクスチャの機能は、理想化されたテクスチャが肌の滑らかな領域に与えられたときに視覚的に魅力的な画像を発生することである。
理想化されたテクスチャは、相関又は非相関されたノイズであっても、肌から得られたテクスチャであっても、視覚的に同様なテクスチャパターンであってもよい。理想化されたテクスチャは、肌のきめの良い人の写真から直接抽出されてもよく、又は、非特許文献7に記載のようなテクスチャ合成技術を用いて肌のテクスチャの代表的な画像から発生されてもよい。或いは、理想化されたテクスチャは、非特許文献8に記載のように人から直接発生されてもよい。現在の望ましい実施例では、視覚的に魅力的な画像を発生するために、理想化されたテクスチャを顔の大きさに基づいて空間的にスケーリングすることが望ましい。特に、目の間の隔たりは、スケーリングファクタを決定するために用いられる。
最も簡単な実施例では、肌領域は、特徴点420によって輪郭が描かれた肌領域に亘って均一に理想化されたテクスチャを加えることによって再テクスチャ化されえ、以下の式、
Sout(x,y)=Sin(x,y)+γTex(x,y) (式19)
で表すことができ、式中、Sin(x,y)は再テクスチャ処理前の位置(x,y)における肌画素であり、Sout(x,y)は再テクスチャ処理後の肌画素であり、Tex(x,y)は画素(x,y)において肌に加えられるべきテクスチャ成分であり、γはスケーリングファクタである。再テクスチャ操作は、全ての色チャネルに対して適用される。所望であれば、肌に加えられるテクスチャの大きさは、向上のレベルの関数として設定されうる。図20Aに示す再テクスチャ曲線を参照するに、向上のレベルが高まるにつれて、肌領域に加えられるテクスチャの量も増加する。対話型実施例では、肌に加えられるテクスチャの量はテクスチャ向上スライダ92に関連づけられる。再テクスチャ曲線の形状及び大きさを変化させることにより、向上された肌に対して異なる外見が与えられうる。
Sout(x,y)=Sin(x,y)+γTex(x,y) (式19)
で表すことができ、式中、Sin(x,y)は再テクスチャ処理前の位置(x,y)における肌画素であり、Sout(x,y)は再テクスチャ処理後の肌画素であり、Tex(x,y)は画素(x,y)において肌に加えられるべきテクスチャ成分であり、γはスケーリングファクタである。再テクスチャ操作は、全ての色チャネルに対して適用される。所望であれば、肌に加えられるテクスチャの大きさは、向上のレベルの関数として設定されうる。図20Aに示す再テクスチャ曲線を参照するに、向上のレベルが高まるにつれて、肌領域に加えられるテクスチャの量も増加する。対話型実施例では、肌に加えられるテクスチャの量はテクスチャ向上スライダ92に関連づけられる。再テクスチャ曲線の形状及び大きさを変化させることにより、向上された肌に対して異なる外見が与えられうる。
テクスチャ成分は、ゼロ付近で変動する高周波数成分である。テクスチャ成分はまた、肌の位置の関数としても変化しうる。肌の細かい構造の外見は、肌の各領域が非常に顕著な外観を有していても顔全体に亘って滑らかに変化する。例えば、額の細かい構造は、鼻の細かい構造とは明らかに異なる。
望ましい実施例では、再テクスチャ処理は、肌の局所的な滑らかさに基づいて肌に対して適応的に適用されえ、以下の式、
Sout(x,y)=Sin(x,y)+γ(x,y)Tex(x,y) (式20)
で表わすことができ、式中、スケーリングファクタγ(x,y)は、画素位置(x,y)における肌の滑らかさss(x,y)の関数である。肌の局所的な滑らかさss(x,y)を測定するために、多くの統計学的なテクスチャ測定値又は高域通過フィルタが使用されうる。例えば、分散フィルタ、エッジフィルタ、第2の差のフィルタ等は、肌の局所的な滑らかさを計算するのに有用である。図20Bを参照するに、本発明を実施するのに有用な2つの代表的な再テクスチャ関数が示されている。肌の局所的な滑らかさが増すにつれて、スケーリングファクタγもまた増加し、より多くのテクスチャを肌に加えさせる。再テクスチャ関数の形状及び大きさを変化させることにより、向上された肌に対して異なる見かけが与えられる。
Sout(x,y)=Sin(x,y)+γ(x,y)Tex(x,y) (式20)
で表わすことができ、式中、スケーリングファクタγ(x,y)は、画素位置(x,y)における肌の滑らかさss(x,y)の関数である。肌の局所的な滑らかさss(x,y)を測定するために、多くの統計学的なテクスチャ測定値又は高域通過フィルタが使用されうる。例えば、分散フィルタ、エッジフィルタ、第2の差のフィルタ等は、肌の局所的な滑らかさを計算するのに有用である。図20Bを参照するに、本発明を実施するのに有用な2つの代表的な再テクスチャ関数が示されている。肌の局所的な滑らかさが増すにつれて、スケーリングファクタγもまた増加し、より多くのテクスチャを肌に加えさせる。再テクスチャ関数の形状及び大きさを変化させることにより、向上された肌に対して異なる見かけが与えられる。
我々が変更しようと望む肌特徴の大多数は、バレー特徴、即ち明るい領域に囲まれる暗い領域、に対応する。殆どの場合、肌特徴は、肌特徴であると識別された画素に関連する色情報とは無関係に変更されるが、個人の写真からあざといった定義付ける顔の特性を除去することを望まない場合もある。これらの場合は、肌特徴画素に関連付けられる色情報は、除去されるべき肌特徴の種類と除去されるべきでない肌特徴の種類を決定するのに用いられうる。他のアプローチは、望ましくない変更(例えば望まれるあざの除去)を操作者が元に戻すことを可能とするツールをグラフィック・ユーザ・インタフェースに組み込むことである。望ましい実施例では、ユーザはツールのグラフィックなリスト84から元に戻す(undo)/やり直す(redo)ツールを選択し、マウス等のポインティングデバイス40を介して元に戻す(undo)/やり直す(redo)ツールを、ユーザが復元しようとする元の画像80上の肌特徴の位置へ動かす。左側に表示される元の画像80の肌特徴をクリックすることにより、特徴は、右側に表示される向上された画像82に再び加えられる。元の画像中の復元された肌特徴の上を再びクリックすることにより、肌特徴は向上された画像から除去される。このように、元に戻す(undo)/やり直す(redo)ツールは、前後にトグルすることによって、肌特徴が向上された画像中にある場合は肌特徴を向上された画像から除去すること、或いは、肌特徴が向上された画像中にない場合は肌特徴を向上された画像へ戻すことによって機能する。他の実施例では、テクスチャエンハンサスライダ92は、向上なしに設定されてもよく、ツール84はユーザがどの肌特徴を除去するかを選択することを可能とするために使用されてもよい。
他の実施例では、グラフィック・ユーザ・インタフェースは、1つ又はそれ以上の顔を含むディジタル画像を取得し表示する。肌特徴マップは、肌特徴を識別しマッピングするための任意の上述の技術を使用することによって発生され、従って肌特徴マップはディジタル画像中の1つ又はそれ以上の顔上の肌特徴を表わす。ポインティングデバイス40は、次に特定の肌特徴を指すために用いられる。ポインティングデバイスのポイント・アンド・クリック動作に応じて、肌特徴マップは特定の特徴に対して参照され、指されている肌特徴に対して、適切な向上フィルタによって与えられるその特徴に対する適切な向上が開始される。
肌トーン向上フィルタ
肌トーン向上フィルタ620(図6)のタスクは、肌トーンの全体的な外見を改善することである。肌トーンフィルタは、バランスのとれていない肌トーンをバランスのとれたものとし、更にバランスにとれた色の肌トーンを作成する。更に、肌トーンフィルタは、より望ましい肌色再現を生じさせるよう肌トーンの色を変更するために用いられる。これは、肌の輝度とクロミナンスの両方を肌トーンの表現の個人的及び文化上の好みに合うよう変更することに対応する。更に、肌トーンの問題はテクスチャよりも大きい空間的な大きさである傾向がある。ハイライト又は陰影のない顔は平たくつまらないものとなるため、肌トーンをならしすぎないことが重要である。
肌トーン向上フィルタ620(図6)のタスクは、肌トーンの全体的な外見を改善することである。肌トーンフィルタは、バランスのとれていない肌トーンをバランスのとれたものとし、更にバランスにとれた色の肌トーンを作成する。更に、肌トーンフィルタは、より望ましい肌色再現を生じさせるよう肌トーンの色を変更するために用いられる。これは、肌の輝度とクロミナンスの両方を肌トーンの表現の個人的及び文化上の好みに合うよう変更することに対応する。更に、肌トーンの問題はテクスチャよりも大きい空間的な大きさである傾向がある。ハイライト又は陰影のない顔は平たくつまらないものとなるため、肌トーンをならしすぎないことが重要である。
図13を参照するに、本発明による肌トーン向上フィルタの現在の望ましい実施例のフローチャートが示されている。肌トーン向上フィルタは、以下の式、
O(x)=α(x)Ib(x)+(1−α(x))I(x) (式21)
、但し、α(x)は係数発生段階1230から得られるブレンド係数、x=(x,y)は画素の位置である、に示すように、入力画像I(x)をブレンド段階1210から得られる入力画像のぼけた変形Ib(x)と(ブレンド段階1240において)適応的にブレンドすることにより、ハイライトと陰影を適応的に圧縮する。ブレンド操作は、全ての色チャネルに適用される。ブレンド係数は、以下の式、
α(x)=f[SH(x)] (式22)
に示すように、陰影/ピーク発生段階1220から得られるxにおける陰影/ハイライトSH(x)の強さ画像の関数である。
O(x)=α(x)Ib(x)+(1−α(x))I(x) (式21)
、但し、α(x)は係数発生段階1230から得られるブレンド係数、x=(x,y)は画素の位置である、に示すように、入力画像I(x)をブレンド段階1210から得られる入力画像のぼけた変形Ib(x)と(ブレンド段階1240において)適応的にブレンドすることにより、ハイライトと陰影を適応的に圧縮する。ブレンド操作は、全ての色チャネルに適用される。ブレンド係数は、以下の式、
α(x)=f[SH(x)] (式22)
に示すように、陰影/ピーク発生段階1220から得られるxにおける陰影/ハイライトSH(x)の強さ画像の関数である。
図14を参照するに、本発明による陰影/ハイライト強さ画像を計算する現在の望ましい実施例が示される。段階1220からの陰影/ハイライト強さ画像は、輝度画像1310から平均輝度画像1320を差し引くことによって発生される。輝度画像は、式2を用いて計算される。平均輝度画像は、局所(ローカル)平均輝度画像又は大局(グローバル)平均輝度画像のいずれかでありうる。局所平均輝度画像は、ガウシアン又はボックスフィルタといったぼけフィルタを輝度画像に適用することによって発生されえ、一方、大局平均輝度は、特徴点によって輪郭が描かれる肌領域内の肌の平均輝度を決定することによって計算される。陰影/ハイライト強さは、陰影/ハイライト画像を計算するために局所平均画像を用いる場合はバレー/ピーク画像に似ている。望ましい実施例では、陰影/ハイライトマップを計算するために用いられるぼけ半径は、テクスチャ向上フィルタに用いられるバレー/ピーク検出器のボケ半径又は範囲よりも大きいべきである。いずれの場合も、ぼけ範囲は、顔の大きさ(デフォルトパラメータの例である)に依存する。
最も単純な実施例では、ブレンド係数は、デフォルトパラメータの例である定数f[SH(x)]=α(x)=αであり、図15Aに示すような陰影/ハイライト強さ画像に依存しない。図15B及び図15Cに示すブレンド関数は、陰影領域を変えないままとして、ハイライトや、光及び/又は脂気のある肌によって生ずるホットスポットのトーンを下げるのに有用である。
肌トーンフィルタはまた、肌の演色を変更するのにも使用されうる。現在の望ましい実施例では、肌領域といった領域の色Cは、領域の色分布の平均及び分散を以下の式、即ち、
(外2)
は現在の平均色ベクトルであり、kは0と1の間で変化する定数である、に従ってシフトすることによって変更されうるCmod。望ましい色ベクトルCpreferred(x,y)は、変更されるべき肌の領域に空間的に依存して変化しうる。
肌領域を明るくする又は暗くする望ましい実施例は、以下の式、
Cmod(x,y)=Cγ(x,y) (式24)
、但し、γの値が1よりも小さい場合は肌色を明るくすることに対応し、γの値が1よりも大きいことは肌色を暗くすることに対応する、に従って肌領域のコントラストを変化させることである。
Cmod(x,y)=Cγ(x,y) (式24)
、但し、γの値が1よりも小さい場合は肌色を明るくすることに対応し、γの値が1よりも大きいことは肌色を暗くすることに対応する、に従って肌領域のコントラストを変化させることである。
肌領域を明るくする他の実施例は、以下の式、
上述のアプローチは、Cが他の色空間、例えば、CIELAB,YUV,HSV等で表されるときにも適用可能である。更に、これらの式は、Cの成分の全て又はその部分集合に対して適用されうる。これは、Cが色空間(例えばCIELAB)で表され、成分が輝度(L*)とクロミナンス(a*b*)に関連するときに特にいえる。
歯及び目向上フィルタ
歯及び目向上フィルタ630及び640(図6)のタスクは、歯及び目の輝度及び白さを高めることである。図16を参照するに、本発明による歯及び目向上フィルタの現在の望ましい実施例のフローチャートが示される。目/歯マスク発生段階1510では、顕著な顔特徴点420(図4)は、目領域及び歯領域に対応する画素を識別するマスクを発生する。バレー/ピークマップ発生段階1520において入力画像を使用して、バレー/ピークマップは、ぼけの半径が目の隔たり(デフォルトパラメータの例である)によって決定される式14を用いて発生される。スケーリングファクタ発生段階1530では、バレー/ピークマップ及び色情報は、目及び歯マスク内の画素の輝度及びクロミナンス値に対するスケーリングファクタ(デフォルトパラメータの例である)を計算するために用いられる。次に、画素変更段階1540において、スケーリングファクタは、目及び歯領域内の画素の輝度及びクロミナンス値に適用され、新しい輝度及びクロミナンス値を発生する。
歯及び目向上フィルタ630及び640(図6)のタスクは、歯及び目の輝度及び白さを高めることである。図16を参照するに、本発明による歯及び目向上フィルタの現在の望ましい実施例のフローチャートが示される。目/歯マスク発生段階1510では、顕著な顔特徴点420(図4)は、目領域及び歯領域に対応する画素を識別するマスクを発生する。バレー/ピークマップ発生段階1520において入力画像を使用して、バレー/ピークマップは、ぼけの半径が目の隔たり(デフォルトパラメータの例である)によって決定される式14を用いて発生される。スケーリングファクタ発生段階1530では、バレー/ピークマップ及び色情報は、目及び歯マスク内の画素の輝度及びクロミナンス値に対するスケーリングファクタ(デフォルトパラメータの例である)を計算するために用いられる。次に、画素変更段階1540において、スケーリングファクタは、目及び歯領域内の画素の輝度及びクロミナンス値に適用され、新しい輝度及びクロミナンス値を発生する。
現在の望ましい実施例では、マスク領域内の画素に対するRGB値は、CIELAB(L*a*b*)空間へ変換され、輝度及びクロミナンス値は、以下の式、
L*=L*・(1+kP) (式27)
a*=a*/(1+kP) (式28)
b*=b*/(1+kP) (式29)
、但し、kは上述のデフォルトパラメータであり、Pは画素が白目又は歯に属する確率を示す、に従って変更される。確率Pに対する現在の望ましい式は、
L*=L*・(1+kP) (式27)
a*=a*/(1+kP) (式28)
b*=b*/(1+kP) (式29)
、但し、kは上述のデフォルトパラメータであり、Pは画素が白目又は歯に属する確率を示す、に従って変更される。確率Pに対する現在の望ましい式は、
幾つかの画像では、歯の色の非常に不均一であり及び/又は2つの個々の目の白の色は互いに非常に異なる。これらの場合、歯及び目の輝度及び白さを高めることにより、歯及び/又は目の不均一な色を目立たせる望ましくない悪影響が生じうる。歯及び目の色及び均一性のバランスをとることは、通常は与えられた顔の画像の主観的な許容可能性を高める。
歯及び白目の色及び均一性のバランスをとるための現在の望ましい実施例は、肌の演色を変更するのに用いられる技術(上記参照)に基づく。歯又は白目を定義する画素の色Cは、これらの画素の色分布の平均及び分散を式23に従ってシフトすることによって変更されうるCmod。ベクトルC(x,y)が画素の色信号(L,a,b)に対応するとき、Cpreferredは望ましい色ベクトル(Lp,ap,bp)であり、
(外3)
は現在の平均ベクトル
(外4)
であり、kは0と1の間で変化しうる定数である。式23に示すように、この変更は全ての3つの色チャネルに適用されてもよく、或いは色チャネルの下位集合(例えばLチャネルのみ)に適用されてもよい。明るさ及び白さを高めるため、望ましい色は
(外3)
は現在の平均ベクトル
(外4)
であり、kは0と1の間で変化しうる定数である。式23に示すように、この変更は全ての3つの色チャネルに適用されてもよく、或いは色チャネルの下位集合(例えばLチャネルのみ)に適用されてもよい。明るさ及び白さを高めるため、望ましい色は
形状向上フィルタ
形状向上フィルタ650(図6に示す)の役割は、目、鼻、及び口といった顔の特徴の形状を変更することである。顔特徴の形状は、標準的な曲げ(warping)技術を用いてそれらの形状を変更することによって向上される。本発明を実施するために有用な曲げ技術の例は、ここに参照として組み入れられる非特許文献5に記載されている。
形状向上フィルタ650(図6に示す)の役割は、目、鼻、及び口といった顔の特徴の形状を変更することである。顔特徴の形状は、標準的な曲げ(warping)技術を用いてそれらの形状を変更することによって向上される。本発明を実施するために有用な曲げ技術の例は、ここに参照として組み入れられる非特許文献5に記載されている。
形状変更は、顔に対してより望ましい見かけを与えるよう設計される。例えば、画像中で目が僅かに閉じている場合、モーフィング技術を用いて目をある程度開けることが望ましい。また、顔特徴の対称性を向上させることは、通常は与えられた顔の画像の主観的な許容可能性を高める。例えば、両目の形状を等しくすることにより、顔の画像は通常はより高い主観的な許容可能性がある。同様に、口の形状を変化させることは、顔の表情全体を変更することによってより望まし見かけを作りうる。
図19を参照するに、本発明による形状向上フィルタ650の現在の望ましい実施例のフローチャートが示される。制御起点決定段階1910では、画像を曲げるために用いられる制御起点1810(図18A参照)が、形状向上されるべき顔特徴(例えば目)の輪郭を描く特徴点420(図4参照)によって決定される。制御目的地点決定段階1920では、制御目的地点1820が決定される。制御目的地点1820の位置は、形状変更された画像中の制御起点1810の新しい場所を定義する。制御目的地点1820(D1,D2,D3及びD4)は、夫々、制御起点1810(S1,S2,S3及びS4)の新しい位置である。曲げ段階1930では、制御起点及び制御目的地点は画像を曲げるために用いられる。制御目的地点1820は、顔特徴形状の所望の変化によって定義される。例えば、目の大きさを大きくすることが望まれる場合、制御目的地点1820は図18Aに示すように配置される。形状の変化をよりよく制御するため、制御点のうちのいくつかは図18Bに示すような特徴点を含みうる。制御起点S5,S6,S7,S8は目特徴点に対応する。制御目的地点D5,D6,S7,D8は、曲げの結果として作られる新しい目の形状を定義する。制御起点及び制御目的地点S1及びD1、S2及びD2、S3及びD3、S4及びD4は、境界矩形(S1,S2,S3,S4)内の領域へ曲げるために作られる変化を制限するよう同じである。望ましい実施例では、目の形状を等しくするために、一方の目の制御目的地点(D5,D6,S7,D8)は、他方の目の特徴点の相対的な位置に一致せねばならない。望ましい実施例では、目の形状を変更するとき(例えば目を開けるとき)、左目の制御目的地点(D5,D6,S7,D8)と右目の制御目的地点(D5’,D6’,S7’,D8’、即ち図18Bに用いられるものと同じ参照文字であるが右目を指すためにプライム符号(’)が付されている)は、左目と右目の間の対応する線分[S5,D5],[S5’,D5’],[S6,D6],[S6’,D6’],[S7,D7],[S7’,D7’],[S8,D8],[S8’,D8’]の長さと方向を一致させることにより両目に対する形状の等しい変化を保証するよう定義される。
現在の望ましい実施例では、形状向上フィルタのパラメータは、制御目的地点1820の位置を特定することにより、顔特徴形状が増加されたか減少されたかを決めるために用いられる。形状向上フィルタは、追加的なスライダ制御によりGUI画面78(図1B参照)へ組み入れられ得る。更に、各顔特徴に対して独自の形状向上スライダがあってもよい。システムは、スライダの位置を形状向上フィルタの適切なパラメータ値へマッピングする。スライダを一方向へ動かすことは顔特徴の大きさを減少させ、一方、スライダを反対方向へ動かすことは顔特徴の大きさを増加させる。顔の外見にとって対称性は非常に重要であるため、望ましい実施例では、目等の対称的な顔特徴の形状を操作するとき、形状の対称性は上述のように保証される。夫々のスライダのデフォルト位置は、(スライダが一方向又は他方向へ動かされるまでは)形状向上を全く生じさせないニュートラルな位置であってもよい。
上述の説明を通じて、幾つかのパラメータは、例えば向上フィルタの初期設定及びグラフィック・ユーザ・インタフェースで用いられる向上スライダの初期設定を決定するデフォルトパラメータに対する候補として特定された。これらのパラメータは、制限なしに、適切なデフォルトパラメータの例として選択されたものであり、限定的又は制限的なパラメータの組として理解されるべきではない。当業者によれば、本願に記載された他のパラメータを含む多くの他のパラメータがデフォルトパラメータとして選択及び/又は設計されることが明らかとなるべきである。
10 システム
12 パーソナルコンピュータ(PC)
20 記憶媒体
28 スキャナ
30 ディジタルカメラ
40 入力装置
50 ディスプレイモニタ
60 プリンタ
62 サーバ
65 記憶媒体
70 通信網
78 グラフィックユーザインタフェース(GUI)画面
80 元の画像
82 向上された画像
90 外見エンハンサ
92 テクスチャエンハンサ
94 肌エンハンサ
96 目エンハンサ
98 歯エンハンサ
200 初期化段階
205 取得及び表示段階
210 位置確認段階
215 表示段階
220 決定段階
230 デフォルト設定段階
235 実行段階
240 ユーザ選択段階
245 表示段階
250 決定段階
255 ローカル印刷段階
260 ローカルアーカイブ段階
265 遠隔印刷段階
270 遠隔アーカイブ段階
275 クエリー段階
280 終了段階
282 取得段階
284 顔検出及び位置確認段階
286 向上選択段階
288 向上実行段階
290 顔クエリー段階
292 記憶段階
294 画像クエリー段階
310 顔検出モジュール
315 顔特徴検出器
410 検出された顔
420 顕著な特徴点
550 包括的マッピング段階
554 スケーリング段階
556 肌カラーマッピング段階
558 マップ組合せ段階
570 包括的マスクを有する中央領域
572 境界領域
574 首確率マップの外形
576 中央領域
610 肌テクスチャ向上フィルタ
620 肌トーン向上フィルタ
630 歯向上フィルタ
640 目向上フィルタ
650 顔特徴形状向上フィルタ
670 額を囲む領域を定める
672 確率特徴マップを作成する段階
674 確率マップを組み合わせる段階
710 肌特徴発生段階
720 特徴変更段階
810 特徴選択段階
820 膨張段階
830 フィルタリング段階
910 顔境界
920 膨張された特徴
930 線分
940 特徴画素
1190 ピンホイールフィルタ段階
1210 ぼけ段階
1220 陰影/ピーク発生段階
1230 係数発生段階
1240 ブレンド段階
1310 輝度画像
1320 平均輝度画像
1330 減算段階
1510 目/歯マスク発生段階
1520 谷/ピークマップ発生段階
1530 スケーリングファクタ発生段階
1540 画素変更段階
1810 制御起点
1820 制御目的地点
1910 制御起点決定段階
1920 制御目的地点決定段階
1930 曲げ段階
2000 取得段階
2010 表示段階
2020 許容/拒否決定段階
2030 対話式画像修正モード
2040 許容/拒否決定段階
2050 クリーンアップ段階
2060 クエリー段階
2100 フルフィルメント開始
2105 取得段階
2110 顔検出
2120 顔が適切であるか決定
2130 フィルタ実行段階
2140 向上された画像表示
2150 画像許容可能性決定
2160 向上された決定
2170 対話式向上段階
2180 顔でない画像を表示
2190 従来の画像フルフィルメントキオスク処理
12 パーソナルコンピュータ(PC)
20 記憶媒体
28 スキャナ
30 ディジタルカメラ
40 入力装置
50 ディスプレイモニタ
60 プリンタ
62 サーバ
65 記憶媒体
70 通信網
78 グラフィックユーザインタフェース(GUI)画面
80 元の画像
82 向上された画像
90 外見エンハンサ
92 テクスチャエンハンサ
94 肌エンハンサ
96 目エンハンサ
98 歯エンハンサ
200 初期化段階
205 取得及び表示段階
210 位置確認段階
215 表示段階
220 決定段階
230 デフォルト設定段階
235 実行段階
240 ユーザ選択段階
245 表示段階
250 決定段階
255 ローカル印刷段階
260 ローカルアーカイブ段階
265 遠隔印刷段階
270 遠隔アーカイブ段階
275 クエリー段階
280 終了段階
282 取得段階
284 顔検出及び位置確認段階
286 向上選択段階
288 向上実行段階
290 顔クエリー段階
292 記憶段階
294 画像クエリー段階
310 顔検出モジュール
315 顔特徴検出器
410 検出された顔
420 顕著な特徴点
550 包括的マッピング段階
554 スケーリング段階
556 肌カラーマッピング段階
558 マップ組合せ段階
570 包括的マスクを有する中央領域
572 境界領域
574 首確率マップの外形
576 中央領域
610 肌テクスチャ向上フィルタ
620 肌トーン向上フィルタ
630 歯向上フィルタ
640 目向上フィルタ
650 顔特徴形状向上フィルタ
670 額を囲む領域を定める
672 確率特徴マップを作成する段階
674 確率マップを組み合わせる段階
710 肌特徴発生段階
720 特徴変更段階
810 特徴選択段階
820 膨張段階
830 フィルタリング段階
910 顔境界
920 膨張された特徴
930 線分
940 特徴画素
1190 ピンホイールフィルタ段階
1210 ぼけ段階
1220 陰影/ピーク発生段階
1230 係数発生段階
1240 ブレンド段階
1310 輝度画像
1320 平均輝度画像
1330 減算段階
1510 目/歯マスク発生段階
1520 谷/ピークマップ発生段階
1530 スケーリングファクタ発生段階
1540 画素変更段階
1810 制御起点
1820 制御目的地点
1910 制御起点決定段階
1920 制御目的地点決定段階
1930 曲げ段階
2000 取得段階
2010 表示段階
2020 許容/拒否決定段階
2030 対話式画像修正モード
2040 許容/拒否決定段階
2050 クリーンアップ段階
2060 クエリー段階
2100 フルフィルメント開始
2105 取得段階
2110 顔検出
2120 顔が適切であるか決定
2130 フィルタ実行段階
2140 向上された画像表示
2150 画像許容可能性決定
2160 向上された決定
2170 対話式向上段階
2180 顔でない画像を表示
2190 従来の画像フルフィルメントキオスク処理
Claims (10)
- バッチ処理で処理されている多数のディジタル画像のうちの1つであるディジタル画像中に位置する顔の外見を向上するバッチ処理方法であって、
(a)向上のために選択された1又はそれ以上の元のディジタル画像を識別し、各元のディジタル画像の位置についての命令を含むスクリプトファイルを与える段階と、
(b)前記スクリプトファイル中の命令を用いて、1つ又はそれ以上の顔を含む元のディジタル画像を取得する段階と、
(c)前記1つ又はそれ以上の顔の中の、肌、目、眉、鼻、口、及び、髪のうちの1つ又はそれ以上を含む顕著な特徴を識別する点を含む顔特徴点の位置を検出する段階と、
(d)前記顔を、肌、目、眉、鼻、口、首、及び、髪の領域のうちの1つ又はそれ以上を含む異なる領域へ分割するよう前記顔特徴点の位置を用いる段階と、
(e)前記異なる領域の1つ又はそれ以上の顔について関連のある特徴を決定する段階と、
(f)前記異なる領域の前記顔について関連のある特徴に基づいて、特定の領域について夫々が特にカスタマイズされた1つ又はそれ以上の向上フィルタを選択し、前記向上フィルタに対するデフォルトパラメータを選択する段階と、
(g)前記特定の領域に対して前記向上フィルタを実行し、それにより前記元のディジタル画像から向上されたディジタル画像を生成する段階と、
(h)前記向上されたディジタル画像を格納する段階と、
(i)前記向上されたディジタル画像に対して行われた前記段階(c)乃至(f)のうちの1つ又はそれ以上における1つ又はそれ以上の操作を示す命令を有する出力スクリプトファイルを発生する段階とを有する方法。 - 前記スクリプトファイルは、各画像に関する前記バッチ処理の操作を制御する更なる命令を含む、請求項1記載の方法。
- 前記更なる命令は、前記処理に利用可能な前記向上フィルタを識別する、請求項2記載の方法。
- 前記段階(c)乃至(e)のうちの1つ又はそれ以上は、保存される中間画像を生成し、前記スクリプトファイルは前記保存された中間画像の位置についての命令を含む、請求項1記載の方法。
- 前記スクリプトファイルは、前記元の画像、前記中間画像、及び前記向上された画像のうちの1つ又はそれ以上の削除についての命令を含む、請求項4記載の方法。
- 前記元のディジタル画像はメタデータで前記バッチ処理へ供給され、前記スクリプトファイルは前記画像の位置を確認することについての命令を含む、請求項1記載の方法。
- ユーザ支援バッチ処理における対話式画像修正に更に適しており、
前記方法は、
前記元のディジタル画像及び前記向上されたディジタル画像の位置を確認することについての前記出力スクリプトファイル及び命令を取得する段階と、
前記向上されたディジタル画像及び前記元のディジタル画像を取得する段階と、
前記向上されたディジタル画像及び前記元のディジタル画像を比較して表示するよう前記出力スクリプトファイル中のデータを用いる段階と、
前記画像を見直すための対話モードを与え、前記向上された画像を受け入れるか拒否するかを決定する段階と、
先行する段階からの決定結果が前記向上された画像を拒否するというものである場合、画像修正された画像を与えるよう請求項1に記載の段階(c)乃至(f)のうちの1つ又はそれ以上を対話式に調整することによって前記画像を変更するための対話式画像修正モードを与える段階と、
前記画像修正されたディジタル画像を格納する段階とを更に含む、請求項1記載の方法。 - 前記向上された画像の許容可能性の確率を表わすようフラグを発生する段階を請求項1に更に含み、前記フラグは請求項7における対話式画像修正のためにどの向上された画像が取得されるかを決定するためにアクセス可能である、請求項7記載の方法。
- 前記許容可能性の確率は、前記ディジタル画像に与えられる向上の量に関連する、請求項8記載の方法。
- 前記向上された画像の状態のテキストによる記述を表わすようフラグを発生する段階を請求項1に更に含み、前記フラグは請求項7における対話式画像修正のためにどの向上された画像が取得されるかを決定するためにアクセス可能である、請求項7記載の方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/376,562 US7039222B2 (en) | 2003-02-28 | 2003-02-28 | Method and system for enhancing portrait images that are processed in a batch mode |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004265406A true JP2004265406A (ja) | 2004-09-24 |
Family
ID=32771501
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004046789A Pending JP2004265406A (ja) | 2003-02-28 | 2004-02-23 | バッチモードで処理されるポートレート画像を向上する方法及びシステム |
Country Status (8)
Country | Link |
---|---|
US (6) | US7039222B2 (ja) |
EP (1) | EP1453002A3 (ja) |
JP (1) | JP2004265406A (ja) |
CN (1) | CN100350431C (ja) |
AU (1) | AU2004200313A1 (ja) |
CA (1) | CA2455088A1 (ja) |
HK (1) | HK1069242A1 (ja) |
TW (1) | TWI325567B (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006133875A (ja) * | 2004-11-02 | 2006-05-25 | Canon Inc | 画像処理方法及びその装置と、プリントサービスシステム |
JP2008160474A (ja) * | 2006-12-22 | 2008-07-10 | Canon Inc | 画像処理装置およびその方法 |
JP2008192138A (ja) * | 2007-02-01 | 2008-08-21 | Toshiba Corp | 画像の顔領域を修整するシステムおよび方法 |
JP2009500736A (ja) * | 2005-07-06 | 2009-01-08 | トムソン ライセンシング | 視覚量から生成された複数の顕著性マップから一つの顕著性マップを得る方法 |
WO2009090948A1 (ja) * | 2008-01-17 | 2009-07-23 | Shiseido Company, Ltd. | 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体 |
JP2011529649A (ja) * | 2008-07-30 | 2011-12-08 | テセラ テクノロジーズ アイルランド リミテッド | 顔検知を用いた顔及び肌の自動美化 |
JP2014142836A (ja) * | 2013-01-24 | 2014-08-07 | Ricoh Co Ltd | 処理装置、処理システム、処理方法及びプログラム |
JP2014157428A (ja) * | 2013-02-14 | 2014-08-28 | Panasonic Corp | 画像表示装置、画像表示方法、及び、プログラム |
WO2023162131A1 (ja) * | 2022-02-25 | 2023-08-31 | 日本電信電話株式会社 | 画像変換装置、画像変換方法及び画像変換プログラム |
Families Citing this family (315)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6684209B1 (en) * | 2000-01-14 | 2004-01-27 | Hitachi, Ltd. | Security method and system for storage subsystem |
JP2004062651A (ja) * | 2002-07-30 | 2004-02-26 | Canon Inc | 画像処理装置、画像処理方法、その記録媒体およびそのプログラム |
EP1413972B1 (de) * | 2002-10-24 | 2008-10-22 | L-1 Identity Solutions AG | Prüfung von Bildaufnahmen von Personen |
GB2395781A (en) * | 2002-11-29 | 2004-06-02 | Sony Uk Ltd | Face detection |
US7466870B2 (en) * | 2003-01-16 | 2008-12-16 | Acoustic Technology Llc | Apparatus and method for creating effects in video |
JP2004302500A (ja) * | 2003-03-28 | 2004-10-28 | Matsushita Electric Ind Co Ltd | 画像処理装置及び画像処理方法 |
US7424164B2 (en) * | 2003-04-21 | 2008-09-09 | Hewlett-Packard Development Company, L.P. | Processing a detected eye of an image to provide visual enhancement |
US20040208388A1 (en) * | 2003-04-21 | 2004-10-21 | Morgan Schramm | Processing a facial region of an image differently than the remaining portion of the image |
US7343028B2 (en) * | 2003-05-19 | 2008-03-11 | Fujifilm Corporation | Method and apparatus for red-eye detection |
US8363951B2 (en) | 2007-03-05 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Face recognition training method and apparatus |
US7269292B2 (en) | 2003-06-26 | 2007-09-11 | Fotonation Vision Limited | Digital image adjustable compression and resolution using face detection information |
US8682097B2 (en) | 2006-02-14 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Digital image enhancement with reference images |
US8498452B2 (en) | 2003-06-26 | 2013-07-30 | DigitalOptics Corporation Europe Limited | Digital image processing using face detection information |
US8155397B2 (en) | 2007-09-26 | 2012-04-10 | DigitalOptics Corporation Europe Limited | Face tracking in a camera processor |
US7565030B2 (en) * | 2003-06-26 | 2009-07-21 | Fotonation Vision Limited | Detecting orientation of digital images using face detection information |
US7844076B2 (en) | 2003-06-26 | 2010-11-30 | Fotonation Vision Limited | Digital image processing using face detection and skin tone information |
US9692964B2 (en) | 2003-06-26 | 2017-06-27 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US8948468B2 (en) | 2003-06-26 | 2015-02-03 | Fotonation Limited | Modification of viewing parameters for digital images using face detection information |
US8593542B2 (en) | 2005-12-27 | 2013-11-26 | DigitalOptics Corporation Europe Limited | Foreground/background separation using reference images |
US8553949B2 (en) | 2004-01-22 | 2013-10-08 | DigitalOptics Corporation Europe Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US8494286B2 (en) | 2008-02-05 | 2013-07-23 | DigitalOptics Corporation Europe Limited | Face detection in mid-shot digital images |
US8330831B2 (en) | 2003-08-05 | 2012-12-11 | DigitalOptics Corporation Europe Limited | Method of gathering visual meta data using a reference image |
US7471846B2 (en) | 2003-06-26 | 2008-12-30 | Fotonation Vision Limited | Perfecting the effect of flash within an image acquisition devices using face detection |
US7792970B2 (en) | 2005-06-17 | 2010-09-07 | Fotonation Vision Limited | Method for establishing a paired connection between media devices |
US7440593B1 (en) | 2003-06-26 | 2008-10-21 | Fotonation Vision Limited | Method of improving orientation and color balance of digital images using face detection information |
US7606417B2 (en) | 2004-08-16 | 2009-10-20 | Fotonation Vision Limited | Foreground/background segmentation in digital images with differential exposure calculations |
US9129381B2 (en) | 2003-06-26 | 2015-09-08 | Fotonation Limited | Modification of post-viewing parameters for digital images using image region or feature information |
US8989453B2 (en) | 2003-06-26 | 2015-03-24 | Fotonation Limited | Digital image processing using face detection information |
US8189927B2 (en) | 2007-03-05 | 2012-05-29 | DigitalOptics Corporation Europe Limited | Face categorization and annotation of a mobile phone contact list |
US8896725B2 (en) | 2007-06-21 | 2014-11-25 | Fotonation Limited | Image capture device with contemporaneous reference image capture mechanism |
US7574016B2 (en) | 2003-06-26 | 2009-08-11 | Fotonation Vision Limited | Digital image processing using face detection information |
US7620218B2 (en) | 2006-08-11 | 2009-11-17 | Fotonation Ireland Limited | Real-time face tracking with reference images |
US7596284B2 (en) * | 2003-07-16 | 2009-09-29 | Hewlett-Packard Development Company, L.P. | High resolution image reconstruction |
JP4307301B2 (ja) * | 2003-07-31 | 2009-08-05 | キヤノン株式会社 | 画像処理装置およびその方法 |
US7333653B2 (en) * | 2003-08-29 | 2008-02-19 | Hewlett-Packard Development Company, L.P. | Detecting and correcting redeye in an image |
US7870504B1 (en) | 2003-10-01 | 2011-01-11 | TestPlant Inc. | Method for monitoring a graphical user interface on a second computer display from a first computer |
US7474790B2 (en) * | 2003-10-02 | 2009-01-06 | Siemens Medical Solutions Usa, Inc. | Multiscale detection of local image structures |
JP4329475B2 (ja) * | 2003-10-02 | 2009-09-09 | セイコーエプソン株式会社 | 装飾画像の選択 |
US7295700B2 (en) * | 2003-10-24 | 2007-11-13 | Adobe Systems Incorporated | Object extraction based on color and visual texture |
US7430329B1 (en) * | 2003-11-26 | 2008-09-30 | Vidiator Enterprises, Inc. | Human visual system (HVS)-based pre-filtering of video data |
US7558433B1 (en) * | 2003-12-30 | 2009-07-07 | Adobe Systems Incorporated | Healing by texture synthesis in differential space |
JP4541714B2 (ja) * | 2004-01-21 | 2010-09-08 | キヤノン株式会社 | 撮影装置及びその制御方法、プログラム |
US7555148B1 (en) * | 2004-01-22 | 2009-06-30 | Fotonation Vision Limited | Classification system for consumer digital images using workflow, face detection, normalization, and face recognition |
US7809061B1 (en) | 2004-01-22 | 2010-10-05 | Vidiator Enterprises Inc. | Method and system for hierarchical data reuse to improve efficiency in the encoding of unique multiple video streams |
US7551755B1 (en) * | 2004-01-22 | 2009-06-23 | Fotonation Vision Limited | Classification and organization of consumer digital images using workflow, and face detection and recognition |
US7564994B1 (en) | 2004-01-22 | 2009-07-21 | Fotonation Vision Limited | Classification system for consumer digital images using automatic workflow and face detection and recognition |
US7558408B1 (en) * | 2004-01-22 | 2009-07-07 | Fotonation Vision Limited | Classification system for consumer digital images using workflow and user interface modules, and face detection and recognition |
WO2005073909A1 (ja) * | 2004-01-30 | 2005-08-11 | Digital Fashion Ltd. | 化粧シミュレーションプログラム、化粧シミュレーション装置、及び化粧シミュレーション方法 |
US20050168595A1 (en) * | 2004-02-04 | 2005-08-04 | White Michael F. | System and method to enhance the quality of digital images |
US7366323B1 (en) * | 2004-02-19 | 2008-04-29 | Research Foundation Of State University Of New York | Hierarchical static shadow detection method |
US7995239B2 (en) * | 2004-03-29 | 2011-08-09 | Fujifilm Corporation | Image output apparatus, method and program |
US7636489B2 (en) * | 2004-04-16 | 2009-12-22 | Apple Inc. | Blur computation algorithm |
US7602369B2 (en) | 2004-05-04 | 2009-10-13 | Sharp Laboratories Of America, Inc. | Liquid crystal display with colored backlight |
US7872631B2 (en) | 2004-05-04 | 2011-01-18 | Sharp Laboratories Of America, Inc. | Liquid crystal display with temporal black point |
US8395577B2 (en) | 2004-05-04 | 2013-03-12 | Sharp Laboratories Of America, Inc. | Liquid crystal display with illumination control |
US7777714B2 (en) | 2004-05-04 | 2010-08-17 | Sharp Laboratories Of America, Inc. | Liquid crystal display with adaptive width |
JP4831941B2 (ja) * | 2004-06-08 | 2011-12-07 | オリンパス株式会社 | 撮像処理システム、プログラム及び記憶媒体 |
US7688988B2 (en) * | 2004-06-17 | 2010-03-30 | Fujifilm Corporation | Particular image area partitioning apparatus and method, and program for causing computer to perform particular image area partitioning processing |
US20050281464A1 (en) * | 2004-06-17 | 2005-12-22 | Fuji Photo Film Co., Ltd. | Particular image area partitioning apparatus and method, and program for causing computer to perform particular image area partitioning processing |
JP4180027B2 (ja) * | 2004-08-27 | 2008-11-12 | 株式会社豊田中央研究所 | 顔部品位置検出装置及び方法並びにプログラム |
US20060053478A1 (en) * | 2004-09-08 | 2006-03-09 | International Business Machines Corporation | System, method and computer program product for control of a service request |
US7599093B2 (en) * | 2004-09-30 | 2009-10-06 | Fujifilm Corporation | Image processing apparatus, method and program |
US7898519B2 (en) | 2005-02-17 | 2011-03-01 | Sharp Laboratories Of America, Inc. | Method for overdriving a backlit display |
WO2007011395A2 (en) * | 2004-10-19 | 2007-01-25 | Sri International | Method and apparatus for person identification |
US8320641B2 (en) | 2004-10-28 | 2012-11-27 | DigitalOptics Corporation Europe Limited | Method and apparatus for red-eye detection using preview or other reference images |
US8050512B2 (en) | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
US8050511B2 (en) | 2004-11-16 | 2011-11-01 | Sharp Laboratories Of America, Inc. | High dynamic range images from low dynamic range images |
JP4449723B2 (ja) * | 2004-12-08 | 2010-04-14 | ソニー株式会社 | 画像処理装置、画像処理方法、およびプログラム |
US7315631B1 (en) | 2006-08-11 | 2008-01-01 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US8503800B2 (en) | 2007-03-05 | 2013-08-06 | DigitalOptics Corporation Europe Limited | Illumination detection using classifier chains |
US7715597B2 (en) | 2004-12-29 | 2010-05-11 | Fotonation Ireland Limited | Method and component for image recognition |
US20060217925A1 (en) * | 2005-03-23 | 2006-09-28 | Taron Maxime G | Methods for entity identification |
US7612794B2 (en) * | 2005-05-25 | 2009-11-03 | Microsoft Corp. | System and method for applying digital make-up in video conferencing |
JP2006350498A (ja) * | 2005-06-14 | 2006-12-28 | Fujifilm Holdings Corp | 画像処理装置および方法並びにプログラム |
WO2007002406A2 (en) * | 2005-06-20 | 2007-01-04 | The Trustees Of Columbia University In The City Of New York | Interactive diagnostic display system |
US7209577B2 (en) * | 2005-07-14 | 2007-04-24 | Logitech Europe S.A. | Facial feature-localized and global real-time video morphing |
US8139068B2 (en) * | 2005-07-29 | 2012-03-20 | Autodesk, Inc. | Three-dimensional animation of soft tissue of characters using controls associated with a surface mesh |
JP5254790B2 (ja) | 2005-08-12 | 2013-08-07 | ティーシーエムエス トランスペアレント ビューティー エルエルシー | ヒトの皮膚の視覚的魅力を改善するために、反射変性剤を塗布するためのシステムおよび方法 |
US8803886B2 (en) * | 2005-08-12 | 2014-08-12 | Sony Corporation | Face image display, face image display method, and face image display program |
CN101326545B (zh) * | 2005-08-19 | 2012-05-30 | 松下电器产业株式会社 | 图像处理方法和图像处理系统 |
DE102005040664A1 (de) * | 2005-08-26 | 2007-03-01 | Siemens Ag | Verfahren zur Sortierung von unadressierten Postsendungen |
JP2007080184A (ja) * | 2005-09-16 | 2007-03-29 | Canon Inc | 画像処理装置及び方法 |
JP4750520B2 (ja) * | 2005-09-21 | 2011-08-17 | 富士フイルム株式会社 | 人物画像補正装置および方法 |
KR100731356B1 (ko) * | 2005-09-21 | 2007-06-21 | 삼성전자주식회사 | 자연색 보정기능을 구비한 단말장치 및 자연색 보정방법 |
JP2007096405A (ja) * | 2005-09-27 | 2007-04-12 | Fujifilm Corp | ぶれ方向判定方法および装置ならびにプログラム |
JP2009510877A (ja) * | 2005-09-30 | 2009-03-12 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 顔検出を利用したストリーミングビデオにおける顔アノテーション |
FR2891641B1 (fr) * | 2005-10-04 | 2007-12-21 | Lvmh Rech | Procede et appareil de caracterisation des imperfections de la peau et procede d'appreciation de l'effet anti-vieillissement d'un produit cosmetique. |
US7453454B2 (en) * | 2005-10-26 | 2008-11-18 | Hewlett-Packard Development Company, L.P. | Image display system and method |
JP2007166456A (ja) * | 2005-12-16 | 2007-06-28 | Fuji Xerox Co Ltd | 画像調整装置、画像調整方法及びプログラム |
US9143657B2 (en) | 2006-01-24 | 2015-09-22 | Sharp Laboratories Of America, Inc. | Color enhancement technique using skin color detection |
US8121401B2 (en) | 2006-01-24 | 2012-02-21 | Sharp Labortories of America, Inc. | Method for reducing enhancement of artifacts and noise in image color enhancement |
US7634108B2 (en) * | 2006-02-14 | 2009-12-15 | Microsoft Corp. | Automated face enhancement |
JP2007235506A (ja) * | 2006-03-01 | 2007-09-13 | Pioneer Electronic Corp | 画像調整装置および画像調整方法 |
JP2007257585A (ja) * | 2006-03-27 | 2007-10-04 | Fujifilm Corp | 画像処理方法および装置ならびにプログラム |
US8577166B1 (en) * | 2006-03-31 | 2013-11-05 | Google Inc. | Optimizing web site images using a focal point |
JP5239126B2 (ja) * | 2006-04-11 | 2013-07-17 | 株式会社ニコン | 電子カメラ |
US8194074B2 (en) | 2006-05-04 | 2012-06-05 | Brown Battle M | Systems and methods for photogrammetric rendering |
GB2451050B (en) * | 2006-05-05 | 2011-08-31 | Parham Aarabi | Method, system and computer program product for automatic and semiautomatic modification of digital images of faces |
US8660319B2 (en) * | 2006-05-05 | 2014-02-25 | Parham Aarabi | Method, system and computer program product for automatic and semi-automatic modification of digital images of faces |
JP2007306259A (ja) | 2006-05-10 | 2007-11-22 | Sony Corp | 設定画面表示制御装置、サーバー装置、画像処理システム、印刷装置、撮像装置、表示装置、設定画面表示制御方法、プログラム及びデータ構造 |
TWI403912B (zh) * | 2006-06-08 | 2013-08-01 | Univ Nat Chiao Tung | 圖像檢索之方法及系統 |
DE602007012246D1 (de) | 2006-06-12 | 2011-03-10 | Tessera Tech Ireland Ltd | Fortschritte bei der erweiterung der aam-techniken aus grauskalen- zu farbbildern |
US7730043B1 (en) | 2006-06-29 | 2010-06-01 | Adobe Systems Incorporated | Incremental batch-mode editing of digital media objects |
JP4757116B2 (ja) * | 2006-06-30 | 2011-08-24 | キヤノン株式会社 | パラメータ学習方法及びその装置、パターン識別方法及びその装置、プログラム |
TW200805197A (en) * | 2006-07-10 | 2008-01-16 | Imagetech Co Ltd | Video generation system and method thereof |
US8077931B1 (en) | 2006-07-14 | 2011-12-13 | Chatman Andrew S | Method and apparatus for determining facial characteristics |
US8494210B2 (en) * | 2007-03-30 | 2013-07-23 | Optosecurity Inc. | User interface for use in security screening providing image enhancement capabilities and apparatus for implementing same |
US7515740B2 (en) | 2006-08-02 | 2009-04-07 | Fotonation Vision Limited | Face recognition with combined PCA-based datasets |
US7916897B2 (en) | 2006-08-11 | 2011-03-29 | Tessera Technologies Ireland Limited | Face tracking for controlling imaging parameters |
US7403643B2 (en) | 2006-08-11 | 2008-07-22 | Fotonation Vision Limited | Real-time face tracking in a digital image acquisition device |
US8184901B2 (en) * | 2007-02-12 | 2012-05-22 | Tcms Transparent Beauty Llc | System and method for applying a reflectance modifying agent to change a person's appearance based on a digital image |
US8942775B2 (en) * | 2006-08-14 | 2015-01-27 | Tcms Transparent Beauty Llc | Handheld apparatus and method for the automated application of cosmetics and other substances |
US7855732B2 (en) * | 2006-09-05 | 2010-12-21 | Pc Connection, Inc. | Hand producer for background separated images |
US7931380B2 (en) * | 2006-09-05 | 2011-04-26 | Williams Robert C | Imaging apparatus for providing background separated images |
US7953277B2 (en) | 2006-09-05 | 2011-05-31 | Williams Robert C | Background separated images for print and on-line use |
US7720284B2 (en) * | 2006-09-08 | 2010-05-18 | Omron Corporation | Method for outlining and aligning a face in face processing of an image |
US7889242B2 (en) * | 2006-10-26 | 2011-02-15 | Hewlett-Packard Development Company, L.P. | Blemish repair tool for digital photographs in a camera |
WO2008064349A1 (en) * | 2006-11-22 | 2008-05-29 | Nik Software, Inc. | Method for dynamic range editing |
US8941580B2 (en) | 2006-11-30 | 2015-01-27 | Sharp Laboratories Of America, Inc. | Liquid crystal display with area adaptive backlight |
US20080136811A1 (en) * | 2006-12-06 | 2008-06-12 | Oluwaseun Adedayo | Image displaying system |
JP2008165561A (ja) * | 2006-12-28 | 2008-07-17 | Fuji Xerox Co Ltd | 画像処理装置、情報管理システム及び画像処理プログラム |
US8035747B2 (en) * | 2007-01-05 | 2011-10-11 | Eastman Kodak Company | Image digital processing based on edit status |
US8055067B2 (en) | 2007-01-18 | 2011-11-08 | DigitalOptics Corporation Europe Limited | Color segmentation |
WO2008100880A1 (en) * | 2007-02-12 | 2008-08-21 | Yeager Rick B | System and method for applying agent electrostatically to human skin |
WO2008099938A1 (ja) * | 2007-02-16 | 2008-08-21 | Kao Corporation | 毛髪画像表示方法及び表示装置 |
DE602008001607D1 (de) | 2007-02-28 | 2010-08-05 | Fotonation Vision Ltd | Trennung der direktionalen beleuchtungsvariabilität in der statistischen gesichtsmodellierung auf basis von texturraumzerlegungen |
JP4931219B2 (ja) * | 2007-03-02 | 2012-05-16 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
WO2008107002A1 (en) | 2007-03-05 | 2008-09-12 | Fotonation Vision Limited | Face searching and detection in a digital image acquisition device |
JP4289415B2 (ja) * | 2007-03-27 | 2009-07-01 | セイコーエプソン株式会社 | 画像変形のための画像処理 |
US8615112B2 (en) * | 2007-03-30 | 2013-12-24 | Casio Computer Co., Ltd. | Image pickup apparatus equipped with face-recognition function |
US20080263449A1 (en) * | 2007-04-20 | 2008-10-23 | Microsoft Corporation | Automated maintenance of pooled media content |
JP4289420B2 (ja) * | 2007-05-10 | 2009-07-01 | セイコーエプソン株式会社 | 画像処理装置および画像処理方法 |
US7916971B2 (en) | 2007-05-24 | 2011-03-29 | Tessera Technologies Ireland Limited | Image processing method and apparatus |
US8031961B2 (en) * | 2007-05-29 | 2011-10-04 | Hewlett-Packard Development Company, L.P. | Face and skin sensitive image enhancement |
US10092082B2 (en) * | 2007-05-29 | 2018-10-09 | Tcms Transparent Beauty Llc | Apparatus and method for the precision application of cosmetics |
FR2917931A1 (fr) * | 2007-06-22 | 2008-12-26 | France Telecom | Procede et systeme de mise en relation entre des personnes dans un systeme de telecommunications. |
US7933454B2 (en) * | 2007-06-25 | 2011-04-26 | Xerox Corporation | Class-based image enhancement system |
KR101378372B1 (ko) * | 2007-07-12 | 2014-03-27 | 삼성전자주식회사 | 디지털 이미지 처리장치, 그 제어방법 및 제어방법을실행시키기 위한 프로그램을 저장한 기록매체 |
JP2009064423A (ja) * | 2007-08-10 | 2009-03-26 | Shiseido Co Ltd | メイクアップシミュレーションシステム、メイクアップシミュレーション装置、メイクアップシミュレーション方法およびメイクアップシミュレーションプログラム |
US9202243B2 (en) * | 2007-08-23 | 2015-12-01 | Dside Technologies, Llc | System, method, and computer program product for comparing decision options |
US7801020B2 (en) * | 2007-08-29 | 2010-09-21 | Intel Corporation | Mobile channel estimation algorithm for DVB-H COFDM demodulator |
JP4930298B2 (ja) * | 2007-09-11 | 2012-05-16 | セイコーエプソン株式会社 | 画像領域の指定 |
US8184925B1 (en) | 2007-10-22 | 2012-05-22 | Berridge & Associates | System for converting a photograph into a portrait-style image |
WO2010082942A1 (en) * | 2008-02-01 | 2010-07-22 | Canfield Scientific, Incorporated | Automatic mask design and registration and feature detection for computer-aided skin analysis |
WO2009096987A1 (en) * | 2008-02-01 | 2009-08-06 | Hewlett-Packard Development Company, L.P. | Teeth locating and whitening in a digital image |
US8340452B2 (en) | 2008-03-17 | 2012-12-25 | Xerox Corporation | Automatic generation of a photo guide |
US7855737B2 (en) | 2008-03-26 | 2010-12-21 | Fotonation Ireland Limited | Method of making a digital camera image of a scene including the camera user |
EP2297697A4 (en) * | 2008-06-26 | 2014-05-07 | Hewlett Packard Development Co | FACE DETECTION PROCESSING METHODS, IMAGE PROCESSING DEVICES, AND ARTICLES OF MANUFACTURE |
TWI413003B (zh) * | 2008-07-23 | 2013-10-21 | Altek Corp | Face recognition of the automatic camera method |
US8520089B2 (en) * | 2008-07-30 | 2013-08-27 | DigitalOptics Corporation Europe Limited | Eye beautification |
US9053524B2 (en) * | 2008-07-30 | 2015-06-09 | Fotonation Limited | Eye beautification under inaccurate localization |
US8520979B2 (en) * | 2008-08-19 | 2013-08-27 | Digimarc Corporation | Methods and systems for content processing |
US9165388B2 (en) * | 2008-09-22 | 2015-10-20 | International Business Machines Corporation | Method of automatic cropping |
KR101475684B1 (ko) * | 2008-10-17 | 2014-12-23 | 삼성전자주식회사 | 디지털 영상 처리기에서 얼굴 영상 개선 장치 및 방법 |
US8270682B2 (en) * | 2008-11-25 | 2012-09-18 | Eastman Kodak Company | Hair segmentation |
WO2010063463A2 (en) | 2008-12-05 | 2010-06-10 | Fotonation Ireland Limited | Face recognition using face tracker classifier data |
US8320662B2 (en) * | 2009-01-07 | 2012-11-27 | National Instruments Corporation | Distinguishing colors of illuminated objects using machine vision |
US9036693B2 (en) * | 2009-01-08 | 2015-05-19 | Sri International | Method and system for providing region-of-interest video compression |
US8295557B2 (en) * | 2009-01-12 | 2012-10-23 | Arcsoft Hangzhou Co., Ltd. | Face image processing method |
US9258458B2 (en) * | 2009-02-24 | 2016-02-09 | Hewlett-Packard Development Company, L.P. | Displaying an image with an available effect applied |
US20100235152A1 (en) * | 2009-03-11 | 2010-09-16 | Kimura Mitsunori | Interactive contact lens simulation system and method |
WO2010138121A1 (en) * | 2009-05-28 | 2010-12-02 | Hewlett-Packard Development Company, L.P. | Image processing |
US8265410B1 (en) * | 2009-07-11 | 2012-09-11 | Luxand, Inc. | Automatic correction and enhancement of facial images |
US8498456B2 (en) * | 2009-07-13 | 2013-07-30 | Stylecaster, Inc. | Method and system for applying cosmetic and/or accessorial enhancements to digital images |
JP5666852B2 (ja) * | 2009-09-02 | 2015-02-12 | Necプラットフォームズ株式会社 | カラー判定装置、画像処理装置、カラー判定方法、カラー判定プログラム |
US8896622B2 (en) * | 2009-09-04 | 2014-11-25 | Adobe Systems Incorporated | Methods and apparatus for marker-based stylistic rendering |
US8379917B2 (en) | 2009-10-02 | 2013-02-19 | DigitalOptics Corporation Europe Limited | Face recognition performance using additional image features |
JP2011090569A (ja) * | 2009-10-23 | 2011-05-06 | Sony Corp | 画像処理装置および画像処理方法 |
US8687015B2 (en) * | 2009-11-02 | 2014-04-01 | Apple Inc. | Brushing tools for digital image adjustments |
US8625908B2 (en) * | 2009-11-02 | 2014-01-07 | Apple Inc. | Managing raw and processed image file pairs |
US8810596B2 (en) | 2009-11-11 | 2014-08-19 | Apple Inc. | Cursor for application of image adjustments |
IL202788A (en) * | 2009-12-17 | 2016-08-31 | Elta Systems Ltd | Method and system for improving radar image |
US8300938B2 (en) * | 2010-04-09 | 2012-10-30 | General Electric Company | Methods for segmenting objects in images |
US8363085B2 (en) | 2010-07-06 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Scene background blurring including determining a depth map |
KR101357262B1 (ko) | 2010-08-13 | 2014-01-29 | 주식회사 팬택 | 필터 정보를 이용한 객체 인식 장치 및 방법 |
TWI432010B (zh) * | 2010-10-22 | 2014-03-21 | Silicon Motion Inc | 電子系統和疤痕影像修補方法 |
US20120148119A1 (en) * | 2010-12-14 | 2012-06-14 | Dayan Steven H | Method and system for estimating the perceived age of an individual |
US8744119B2 (en) * | 2011-01-12 | 2014-06-03 | Gary S. Shuster | Graphic data alteration to enhance online privacy |
US8379999B2 (en) * | 2011-01-18 | 2013-02-19 | Chanan Gabay | Methods, circuits, devices, apparatuses and systems for providing image composition rules, analysis and improvement |
JP5291735B2 (ja) * | 2011-02-24 | 2013-09-18 | ソネットエンタテインメント株式会社 | 似顔絵作成装置、配置情報生成装置、配置情報生成方法、及びプログラム |
US20120243731A1 (en) * | 2011-03-25 | 2012-09-27 | Chen-Leh Wang | Image processing method and image processing apparatus for detecting an object |
JP2012244526A (ja) * | 2011-05-23 | 2012-12-10 | Sony Corp | 情報処理装置、情報処理方法及びコンピュータプログラム |
JP5273208B2 (ja) | 2011-06-07 | 2013-08-28 | オムロン株式会社 | 画像処理装置、画像処理方法、および制御プログラム |
US9111130B2 (en) * | 2011-07-08 | 2015-08-18 | Microsoft Technology Licensing, Llc | Facilitating face detection with user input |
US8655096B2 (en) | 2011-09-30 | 2014-02-18 | Apple Inc. | Automatic image sharpening using entropy-based blur radius |
JP5569504B2 (ja) * | 2011-10-31 | 2014-08-13 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
TWI478080B (zh) * | 2011-12-08 | 2015-03-21 | Chunghwa Telecom Co Ltd | Differentiation Performance Target Value Assignment Method and Its Program Storage Media |
CN102622613B (zh) * | 2011-12-16 | 2013-11-06 | 彭强 | 一种基于双眼定位和脸型识别的发型设计方法 |
US8731248B2 (en) * | 2012-02-16 | 2014-05-20 | Arcsoft (Hangzhou) Multimedia Technology Co., Ltd. | Method of performing eye circle correction an image and related computing device |
CN102622581B (zh) * | 2012-02-20 | 2013-09-25 | 华焦宝 | 人脸检测方法及系统 |
CN102622580A (zh) * | 2012-02-20 | 2012-08-01 | 华焦宝 | 一种人脸检测识别方法及系统 |
US8831371B2 (en) | 2012-03-02 | 2014-09-09 | Adobe Systems Incorporated | Methods and apparatus for applying blur patterns to images |
US8971623B2 (en) | 2012-03-06 | 2015-03-03 | Apple Inc. | Overlaid user interface tools for applying effects to image |
US10282055B2 (en) | 2012-03-06 | 2019-05-07 | Apple Inc. | Ordered processing of edits for a media editing application |
US9159144B2 (en) * | 2012-03-06 | 2015-10-13 | Apple Inc. | Color adjustors for color segments |
US9131192B2 (en) | 2012-03-06 | 2015-09-08 | Apple Inc. | Unified slider control for modifying multiple image properties |
US9202433B2 (en) | 2012-03-06 | 2015-12-01 | Apple Inc. | Multi operation slider |
US9118876B2 (en) * | 2012-03-30 | 2015-08-25 | Verizon Patent And Licensing Inc. | Automatic skin tone calibration for camera images |
US8837787B2 (en) | 2012-04-05 | 2014-09-16 | Ancestry.Com Operations Inc. | System and method for associating a photo with a data structure node |
US8705853B2 (en) * | 2012-04-20 | 2014-04-22 | Apple Inc. | Detecting skin tone |
CN102810200A (zh) * | 2012-06-15 | 2012-12-05 | 成都平行视野科技有限公司 | 一种图像批处理的方法 |
CN103810674B (zh) * | 2012-11-13 | 2016-09-21 | 清华大学 | 基于依赖感知对象位置重构的图像增强方法 |
CN103235797B (zh) * | 2013-04-09 | 2015-12-23 | 四三九九网络股份有限公司 | 一种批量处理图片大小的方法和装置 |
EP3028632A4 (en) * | 2013-07-31 | 2016-07-27 | Panasonic Ip Corp America | SKIN ANALYSIS METHOD, SKIN ANALYSIS DEVICE AND METHOD FOR CONTROLLING THE SKIN ANALYSIS DEVICE |
US9779527B2 (en) * | 2013-08-15 | 2017-10-03 | Xiaomi Inc. | Method, terminal device and storage medium for processing image |
US9645923B1 (en) | 2013-09-10 | 2017-05-09 | Google Inc. | Generational garbage collector on multiple heaps |
US20150089446A1 (en) * | 2013-09-24 | 2015-03-26 | Google Inc. | Providing control points in images |
US9639956B2 (en) * | 2013-12-19 | 2017-05-02 | Google Inc. | Image adjustment using texture mask |
CN104751167A (zh) * | 2013-12-31 | 2015-07-01 | 西门子医疗保健诊断公司 | 尿液有形成分分类方法和装置 |
EP3100226A4 (en) * | 2014-01-31 | 2017-10-25 | Empire Technology Development LLC | Augmented reality skin manager |
KR101821982B1 (ko) | 2014-01-31 | 2018-01-25 | 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 | 증강 현실 스킨의 평가 |
US10192359B2 (en) | 2014-01-31 | 2019-01-29 | Empire Technology Development, Llc | Subject selected augmented reality skin |
EP3100256A4 (en) | 2014-01-31 | 2017-06-28 | Empire Technology Development LLC | Augmented reality skin evaluation |
US10438631B2 (en) | 2014-02-05 | 2019-10-08 | Snap Inc. | Method for real-time video processing involving retouching of an object in the video |
CN103885706B (zh) * | 2014-02-10 | 2017-07-28 | 广东欧珀移动通信有限公司 | 一种人脸图像美化的方法及装置 |
JP6241320B2 (ja) * | 2014-02-28 | 2017-12-06 | 富士ゼロックス株式会社 | 画像処理装置、画像処理方法、画像処理システムおよびプログラム |
TWI520101B (zh) * | 2014-04-16 | 2016-02-01 | 鈺創科技股份有限公司 | 美化影像中人體膚色的方法、美化影像中人體膚色的裝置、調整影像中人體膚色亮度的方法及調整影像中人體膚色亮度的裝置 |
US9444999B2 (en) | 2014-08-05 | 2016-09-13 | Omnivision Technologies, Inc. | Feature detection in image capture |
CN105374055B (zh) * | 2014-08-20 | 2018-07-03 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置 |
US10664686B2 (en) * | 2014-11-04 | 2020-05-26 | Samsung Electronics Co., Ltd. | Electronic device, and method for analyzing face information in electronic device |
US9613288B2 (en) * | 2014-11-14 | 2017-04-04 | Adobe Systems Incorporated | Automatically identifying and healing spots in images |
US10116901B2 (en) | 2015-03-18 | 2018-10-30 | Avatar Merger Sub II, LLC | Background modification in video conferencing |
EP3254283B1 (en) * | 2015-03-27 | 2021-05-12 | Google LLC | User sliders for simplified adjustment of images |
CN104794275A (zh) * | 2015-04-16 | 2015-07-22 | 北京联合大学 | 一种移动终端的人脸与发型匹配模型 |
CN104918107B (zh) * | 2015-05-29 | 2018-11-02 | 小米科技有限责任公司 | 视频文件的标识处理方法及装置 |
KR102490438B1 (ko) * | 2015-09-02 | 2023-01-19 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
US20170078585A1 (en) * | 2015-09-14 | 2017-03-16 | Melinda Wells | Process and system in which the user can enhance their selfie photos before they are taken |
US9864901B2 (en) * | 2015-09-15 | 2018-01-09 | Google Llc | Feature detection and masking in images based on color distributions |
US9646195B1 (en) * | 2015-11-11 | 2017-05-09 | Adobe Systems Incorporated | Facial feature liquifying using face mesh |
US10140522B2 (en) * | 2015-12-16 | 2018-11-27 | Intel Corporation | Fully convolutional pyramid networks for pedestrian detection |
WO2017108635A1 (en) * | 2015-12-21 | 2017-06-29 | Thomson Licensing | Method and apparatus for calculating a 3d density map associated with a 3d scene |
GB2547220A (en) | 2016-02-10 | 2017-08-16 | Testplant Europe Ltd | Method of, and apparatus for, testing computer hardware and software |
GB2547222A (en) | 2016-02-10 | 2017-08-16 | Testplant Europe Ltd | Method of, and apparatus for, testing computer hardware and software |
CN108701323B (zh) | 2016-03-21 | 2023-11-10 | 宝洁公司 | 用于提供定制的产品推荐的系统和方法 |
CN106056562B (zh) | 2016-05-19 | 2019-05-28 | 京东方科技集团股份有限公司 | 一种人脸图像处理方法、装置及电子设备 |
US10009536B2 (en) | 2016-06-12 | 2018-06-26 | Apple Inc. | Applying a simulated optical effect based on data received from multiple camera sensors |
US10559111B2 (en) * | 2016-06-23 | 2020-02-11 | LoomAi, Inc. | Systems and methods for generating computer ready animation models of a human head from captured data images |
US10062198B2 (en) | 2016-06-23 | 2018-08-28 | LoomAi, Inc. | Systems and methods for generating computer ready animation models of a human head from captured data images |
JP6872742B2 (ja) * | 2016-06-30 | 2021-05-19 | 学校法人明治大学 | 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム |
US10373348B2 (en) * | 2016-08-05 | 2019-08-06 | Optim Corporation | Image processing apparatus, image processing system, and program |
CN106327438B (zh) * | 2016-08-12 | 2019-02-26 | 武汉秀宝软件有限公司 | 一种对高光和重复纹理消除的增强现实方法及爬行垫应用 |
US11986252B2 (en) * | 2017-08-10 | 2024-05-21 | Biosense Webster (Israel) Ltd. | ENT image registration |
US11120495B2 (en) * | 2016-09-15 | 2021-09-14 | GlamST LLC | Generating virtual makeup products |
US11315173B2 (en) | 2016-09-15 | 2022-04-26 | GlamST LLC | Applying virtual makeup products |
US10748579B2 (en) | 2016-10-26 | 2020-08-18 | Adobe Inc. | Employing live camera feeds to edit facial expressions |
GB2558000B (en) * | 2016-12-21 | 2020-06-10 | Apical Ltd | Display control |
US10096089B2 (en) * | 2017-01-04 | 2018-10-09 | Facebook, Inc. | Accelerated skin smoothing effect |
CA3058606A1 (en) * | 2017-02-02 | 2018-08-09 | Edward C. Meagher | Systems and methods for image enhancement |
US10621771B2 (en) | 2017-03-21 | 2020-04-14 | The Procter & Gamble Company | Methods for age appearance simulation |
US10614623B2 (en) * | 2017-03-21 | 2020-04-07 | Canfield Scientific, Incorporated | Methods and apparatuses for age appearance simulation |
WO2018203555A1 (ja) * | 2017-05-02 | 2018-11-08 | 日本電信電話株式会社 | 信号検索装置、方法、及びプログラム |
US11288851B2 (en) * | 2017-05-02 | 2022-03-29 | Nippon Telegraph And Telephone Corporation | Signal change apparatus, method, and program |
KR102287043B1 (ko) | 2017-05-22 | 2021-08-06 | 삼성전자주식회사 | 카메라를 이용하여 획득한 이미지를 처리하는 전자 장치 및 그 동작 방법 |
JP6849825B2 (ja) | 2017-05-31 | 2021-03-31 | ザ プロクター アンド ギャンブル カンパニーThe Procter & Gamble Company | 見掛け肌年齢を判定するためのシステム及び方法 |
WO2018222812A1 (en) | 2017-05-31 | 2018-12-06 | The Procter & Gamble Company | System and method for guiding a user to take a selfie |
DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
CN110582717B (zh) | 2017-06-14 | 2022-04-15 | 苹果公司 | 显示器照明系统 |
CN107358573A (zh) * | 2017-06-16 | 2017-11-17 | 广东欧珀移动通信有限公司 | 图像美颜处理方法和装置 |
JP7003558B2 (ja) * | 2017-10-12 | 2022-01-20 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN108009470B (zh) * | 2017-10-20 | 2020-06-16 | 深圳市朗形网络科技有限公司 | 一种图像提取的方法和装置 |
CN107680128B (zh) | 2017-10-31 | 2020-03-27 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN208044756U (zh) * | 2017-12-18 | 2018-11-02 | 上海云拿智能科技有限公司 | 无人售货系统 |
CN107958231B (zh) * | 2017-12-25 | 2022-01-11 | 深圳云天励飞技术有限公司 | 光场图像过滤方法、人脸分析方法及电子设备 |
CN107895358A (zh) * | 2017-12-25 | 2018-04-10 | 科大讯飞股份有限公司 | 人脸图像的增强方法及系统 |
KR20190096748A (ko) * | 2018-02-09 | 2019-08-20 | 삼성전자주식회사 | 외부 전자 장치를 이용한 이미지 보정 방법 및 전자 장치 |
GB2572435B (en) * | 2018-03-29 | 2022-10-05 | Samsung Electronics Co Ltd | Manipulating a face in an image |
US20190325567A1 (en) * | 2018-04-18 | 2019-10-24 | Microsoft Technology Licensing, Llc | Dynamic image modification based on tonal profile |
CN108647600B (zh) * | 2018-04-27 | 2021-10-08 | 深圳爱酷智能科技有限公司 | 人脸识别方法、设备及计算机可读存储介质 |
US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
TWI719305B (zh) * | 2018-05-08 | 2021-02-21 | 瑞昱半導體股份有限公司 | 能夠對臉部資料做差異化處理的影像處理方法 |
US10198845B1 (en) | 2018-05-29 | 2019-02-05 | LoomAi, Inc. | Methods and systems for animating facial expressions |
CN110580676A (zh) * | 2018-06-07 | 2019-12-17 | 富泰华工业(深圳)有限公司 | 人脸漫画形象制作方法、电子装置和存储介质 |
DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
US10645294B1 (en) | 2019-05-06 | 2020-05-05 | Apple Inc. | User interfaces for capturing and managing visual media |
US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
SG11202102961YA (en) | 2018-10-26 | 2021-04-29 | Soul Machines Ltd | Digital character blending and generation system and method |
US10761818B2 (en) * | 2018-10-31 | 2020-09-01 | Salesforce.Com, Inc. | Automatic identification of types of user interface components |
CN113039781A (zh) * | 2018-11-22 | 2021-06-25 | 索尼半导体解决方案公司 | 图像处理装置、相机系统和图像处理方法 |
BR112021005358A2 (pt) * | 2018-12-13 | 2021-06-15 | Andritz Inc. | controlador de instalação industrial |
US11049310B2 (en) * | 2019-01-18 | 2021-06-29 | Snap Inc. | Photorealistic real-time portrait animation |
US10937200B2 (en) * | 2019-03-19 | 2021-03-02 | Adobe Inc. | Object-based color adjustment |
WO2020197268A1 (en) | 2019-03-25 | 2020-10-01 | Samsung Electronics Co., Ltd. | Method and electronic device for processing facial images |
CN113711277A (zh) | 2019-04-23 | 2021-11-26 | 宝洁公司 | 用于确定美容皮肤属性的设备和方法 |
KR20210139309A (ko) | 2019-04-23 | 2021-11-22 | 더 프록터 앤드 갬블 캄파니 | 미용 피부 속성을 시각화하기 위한 장치 및 방법 |
CN111881709A (zh) | 2019-05-03 | 2020-11-03 | 爱唯秀股份有限公司 | 人脸图像处理方法及装置 |
US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
US11551393B2 (en) | 2019-07-23 | 2023-01-10 | LoomAi, Inc. | Systems and methods for animation generation |
CN112396573A (zh) * | 2019-07-30 | 2021-02-23 | 纵横在线(广州)网络科技有限公司 | 基于图像识别的面部皮肤分析方法及系统 |
CN110532965B (zh) * | 2019-08-30 | 2022-07-26 | 京东方科技集团股份有限公司 | 年龄识别方法、存储介质及电子设备 |
CN112446832A (zh) * | 2019-08-31 | 2021-03-05 | 华为技术有限公司 | 一种图像处理方法及电子设备 |
US11868437B1 (en) * | 2019-09-30 | 2024-01-09 | Sighthound, Inc. | Training set enhancement for neural networks |
CN111064942B (zh) * | 2019-10-18 | 2022-05-27 | 海信视像科技股份有限公司 | 图像处理方法和设备 |
CN110796617B (zh) * | 2019-10-24 | 2022-09-02 | 北京小米智能科技有限公司 | 面部图像的增强方法及装置、电子设备 |
CN110852967B (zh) * | 2019-11-06 | 2023-09-12 | 成都品果科技有限公司 | 一种人像照片快速祛瑕疵的方法 |
CN110969599B (zh) * | 2019-11-07 | 2023-04-07 | 成都傅立叶电子科技有限公司 | 基于图像属性的目标检测算法性能总体测评方法及系统 |
CN111179156B (zh) * | 2019-12-23 | 2023-09-19 | 北京中广上洋科技股份有限公司 | 一种基于人脸检测的视频美化方法 |
CN111291642B (zh) * | 2020-01-20 | 2023-11-28 | 深圳市商汤科技有限公司 | 一种妆容处理方法、装置、电子设备及存储介质 |
CN113496470B (zh) * | 2020-04-02 | 2024-04-09 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
CN111507991B (zh) * | 2020-04-20 | 2023-03-21 | 西安邮电大学 | 特征区域的遥感图像分割方法及装置 |
CN112368738B (zh) * | 2020-05-18 | 2024-01-16 | 上海联影医疗科技股份有限公司 | 用于图像优化的系统和方法 |
US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
CN112184569A (zh) * | 2020-09-08 | 2021-01-05 | 杭州三坛医疗科技有限公司 | 图像修复方法和图像修复装置 |
US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
CN112686800B (zh) * | 2020-12-29 | 2023-07-07 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN112882781A (zh) * | 2021-02-05 | 2021-06-01 | 瑞芯微电子股份有限公司 | 一种智能边框检测和同屏的方法和存储设备 |
US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
US20230096833A1 (en) * | 2021-08-02 | 2023-03-30 | Abdullalbrahim ABDULWAHEED | Body part color measurement detection and method |
US20230298234A1 (en) * | 2022-02-03 | 2023-09-21 | Home Depot Product Authority, Llc | Digital image surface editing with user-selected color |
CN114842029B (zh) * | 2022-05-09 | 2024-06-18 | 江苏科技大学 | 一种融合通道和空间注意力的卷积神经网络息肉分割方法 |
CN114638994B (zh) * | 2022-05-18 | 2022-08-19 | 山东建筑大学 | 基于注意力的多交互网络的多模态图像分类系统及方法 |
CN116563615B (zh) * | 2023-04-21 | 2023-11-07 | 南京讯思雅信息科技有限公司 | 基于改进多尺度注意力机制的不良图片分类方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002109555A (ja) * | 2000-07-24 | 2002-04-12 | Mitsubishi Electric Corp | 仮想美容整形システム及び仮想美容整形方法 |
JP2003044837A (ja) * | 2001-07-30 | 2003-02-14 | Digital Fashion Ltd | 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Family Cites Families (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3298072B2 (ja) * | 1992-07-10 | 2002-07-02 | ソニー株式会社 | ビデオカメラシステム |
EP0691011B1 (en) * | 1993-03-25 | 2002-09-04 | MGI Software Corporation | Method and system for image processing |
US5974189A (en) * | 1993-05-24 | 1999-10-26 | Eastman Kodak Company | Method and apparatus for modifying electronic image data |
US5781650A (en) * | 1994-02-18 | 1998-07-14 | University Of Central Florida | Automatic feature detection and age classification of human faces in digital images |
US5835616A (en) * | 1994-02-18 | 1998-11-10 | University Of Central Florida | Face detection using templates |
JP3370770B2 (ja) | 1994-04-15 | 2003-01-27 | 松下電器産業株式会社 | 映像信号の肌色再生回路 |
US5710839A (en) * | 1994-04-20 | 1998-01-20 | Eastman Kodak Company | Method and apparatus for obscuring features of an image |
US5629752A (en) * | 1994-10-28 | 1997-05-13 | Fuji Photo Film Co., Ltd. | Method of determining an exposure amount using optical recognition of facial features |
US5710833A (en) * | 1995-04-20 | 1998-01-20 | Massachusetts Institute Of Technology | Detection, recognition and coding of complex objects using probabilistic eigenspace analysis |
US6263101B1 (en) * | 1995-09-01 | 2001-07-17 | Cerulean Colorization Llc | Filtering in picture colorization |
US6104839A (en) * | 1995-10-16 | 2000-08-15 | Eastman Kodak Company | Method and apparatus for correcting pixel values in a digital image |
US5835618A (en) * | 1996-09-27 | 1998-11-10 | Siemens Corporate Research, Inc. | Uniform and non-uniform dynamic range remapping for optimum image display |
US5960099A (en) * | 1997-02-25 | 1999-09-28 | Hayes, Jr.; Carl Douglas | System and method for creating a digitized likeness of persons |
JP3912834B2 (ja) | 1997-03-06 | 2007-05-09 | 有限会社開発顧問室 | 顔画像の修正方法、化粧シミュレーション方法、化粧方法、化粧サポート装置及びファンデーション転写膜 |
EP1619876A3 (en) * | 1997-06-17 | 2006-02-01 | Seiko Epson Corporation | Colour image processing apparatus and method |
US5990901A (en) * | 1997-06-27 | 1999-11-23 | Microsoft Corporation | Model based image editing and correction |
US6236101B1 (en) * | 1997-11-05 | 2001-05-22 | Texas Instruments Incorporated | Metallization outside protective overcoat for improved capacitors and inductors |
US6160923A (en) * | 1997-11-05 | 2000-12-12 | Microsoft Corporation | User directed dust and compact anomaly remover from digital images |
US6101000A (en) * | 1998-01-30 | 2000-08-08 | Eastman Kodak Company | Photographic processing apparatus and method |
US6850249B1 (en) * | 1998-04-03 | 2005-02-01 | Da Vinci Systems, Inc. | Automatic region of interest tracking for a color correction system |
CA2252170A1 (en) * | 1998-10-27 | 2000-04-27 | Bruno Bessette | A method and device for high quality coding of wideband speech and audio signals |
US6304277B1 (en) * | 1999-01-15 | 2001-10-16 | Colorcentric.Com, Inc. | Remote modification of digital images using scripts |
US6571003B1 (en) | 1999-06-14 | 2003-05-27 | The Procter & Gamble Company | Skin imaging and analysis systems and methods |
JP3319727B2 (ja) | 1999-10-20 | 2002-09-03 | 日本放送協会 | 画像処理装置 |
US6583792B1 (en) * | 1999-11-09 | 2003-06-24 | Newag Digital, Llc | System and method for accurately displaying superimposed images |
WO2001063558A2 (en) * | 2000-02-22 | 2001-08-30 | Visualgold.Com, Inc. | System and method for image processing |
US6940545B1 (en) * | 2000-02-28 | 2005-09-06 | Eastman Kodak Company | Face detecting camera and method |
JP2001268594A (ja) | 2000-03-15 | 2001-09-28 | Infiniteface.Com Inc | 三次元ビューティーシミュレーション用クライアントサーバシステム |
EP1136869A1 (en) * | 2000-03-17 | 2001-09-26 | Kabushiki Kaisha TOPCON | Eyeglass frame selecting system |
WO2001077976A2 (en) * | 2000-03-28 | 2001-10-18 | Eyeweb, Inc. | Image segmenting to enable electronic shopping for wearable goods and cosmetic services |
WO2001075796A1 (fr) | 2000-03-30 | 2001-10-11 | Lucette Robin | Systeme teleinformatique et numerique pour la transformation d'une image, notamment de l'image d'un visage humain |
US6925205B2 (en) * | 2000-08-07 | 2005-08-02 | Digital Colour Measurement Limited | Methods, systems and computer program products for color matching |
US6728401B1 (en) * | 2000-08-17 | 2004-04-27 | Viewahead Technology | Red-eye removal using color image processing |
US6791584B1 (en) * | 2000-09-05 | 2004-09-14 | Yiling Xie | Method of scaling face image with spectacle frame image through computer |
US6711286B1 (en) * | 2000-10-20 | 2004-03-23 | Eastman Kodak Company | Method for blond-hair-pixel removal in image skin-color detection |
US6690822B1 (en) * | 2000-10-20 | 2004-02-10 | Eastman Kodak Company | Method for detecting skin color in a digital image |
US20020081003A1 (en) * | 2000-12-27 | 2002-06-27 | Sobol Robert E. | System and method for automatically enhancing graphical images |
JP3529759B2 (ja) | 2001-01-26 | 2004-05-24 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理プログラム、画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体、プログラム実行装置、画像処理装置、及び画像処理方法 |
US20020172419A1 (en) * | 2001-05-15 | 2002-11-21 | Qian Lin | Image enhancement using face detection |
US20020181801A1 (en) * | 2001-06-01 | 2002-12-05 | Needham Bradford H. | Feature-based image correction |
US7058209B2 (en) * | 2001-09-20 | 2006-06-06 | Eastman Kodak Company | Method and computer program product for locating facial features |
US20030063102A1 (en) | 2001-10-01 | 2003-04-03 | Gilles Rubinstenn | Body image enhancement |
US7362354B2 (en) * | 2002-02-12 | 2008-04-22 | Hewlett-Packard Development Company, L.P. | Method and system for assessing the photo quality of a captured image in a digital still camera |
-
2003
- 2003-02-28 US US10/376,562 patent/US7039222B2/en not_active Expired - Fee Related
-
2004
- 2004-01-09 CA CA002455088A patent/CA2455088A1/en not_active Abandoned
- 2004-01-19 TW TW093101424A patent/TWI325567B/zh not_active IP Right Cessation
- 2004-01-28 AU AU2004200313A patent/AU2004200313A1/en not_active Abandoned
- 2004-02-19 EP EP04075549A patent/EP1453002A3/en not_active Withdrawn
- 2004-02-23 JP JP2004046789A patent/JP2004265406A/ja active Pending
- 2004-02-27 CN CNB2004100076399A patent/CN100350431C/zh not_active Expired - Fee Related
-
2005
- 2005-02-28 HK HK05101691A patent/HK1069242A1/xx not_active IP Right Cessation
-
2006
- 2006-01-31 US US11/343,833 patent/US7184578B2/en not_active Expired - Fee Related
- 2006-06-07 US US11/448,949 patent/US7212657B2/en not_active Expired - Lifetime
- 2006-06-07 US US11/448,388 patent/US7187788B2/en not_active Expired - Lifetime
- 2006-06-07 US US11/448,507 patent/US7636485B2/en not_active Expired - Fee Related
- 2006-06-07 US US11/448,268 patent/US7602949B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002109555A (ja) * | 2000-07-24 | 2002-04-12 | Mitsubishi Electric Corp | 仮想美容整形システム及び仮想美容整形方法 |
JP2003044837A (ja) * | 2001-07-30 | 2003-02-14 | Digital Fashion Ltd | 化粧シミュレーション装置、化粧シミュレーション制御方法、化粧シミュレーションプログラムを記録したコンピュータ読み取り可能な記録媒体 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006133875A (ja) * | 2004-11-02 | 2006-05-25 | Canon Inc | 画像処理方法及びその装置と、プリントサービスシステム |
JP2009500736A (ja) * | 2005-07-06 | 2009-01-08 | トムソン ライセンシング | 視覚量から生成された複数の顕著性マップから一つの顕著性マップを得る方法 |
JP2008160474A (ja) * | 2006-12-22 | 2008-07-10 | Canon Inc | 画像処理装置およびその方法 |
JP2008192138A (ja) * | 2007-02-01 | 2008-08-21 | Toshiba Corp | 画像の顔領域を修整するシステムおよび方法 |
WO2009090948A1 (ja) * | 2008-01-17 | 2009-07-23 | Shiseido Company, Ltd. | 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体 |
JP2009169758A (ja) * | 2008-01-17 | 2009-07-30 | Shiseido Co Ltd | 肌色評価方法、肌色評価装置、肌色評価プログラム、及び該プログラムが記録された記録媒体 |
JP2011529649A (ja) * | 2008-07-30 | 2011-12-08 | テセラ テクノロジーズ アイルランド リミテッド | 顔検知を用いた顔及び肌の自動美化 |
US8681241B2 (en) | 2008-07-30 | 2014-03-25 | DigitalOptics Corporation Europe Limited | Automatic face and skin beautification using face detection |
US8902326B2 (en) | 2008-07-30 | 2014-12-02 | DigitalOptics Corporation Europe Limited | Automatic face and skin beautification using face detection |
JP2014142836A (ja) * | 2013-01-24 | 2014-08-07 | Ricoh Co Ltd | 処理装置、処理システム、処理方法及びプログラム |
JP2014157428A (ja) * | 2013-02-14 | 2014-08-28 | Panasonic Corp | 画像表示装置、画像表示方法、及び、プログラム |
WO2023162131A1 (ja) * | 2022-02-25 | 2023-08-31 | 日本電信電話株式会社 | 画像変換装置、画像変換方法及び画像変換プログラム |
Also Published As
Publication number | Publication date |
---|---|
US7187788B2 (en) | 2007-03-06 |
AU2004200313A1 (en) | 2004-09-16 |
US7039222B2 (en) | 2006-05-02 |
EP1453002A2 (en) | 2004-09-01 |
US20060153470A1 (en) | 2006-07-13 |
US7184578B2 (en) | 2007-02-27 |
US20040170337A1 (en) | 2004-09-02 |
US20060228038A1 (en) | 2006-10-12 |
US20060228039A1 (en) | 2006-10-12 |
US20060228037A1 (en) | 2006-10-12 |
CA2455088A1 (en) | 2004-08-28 |
HK1069242A1 (en) | 2005-05-13 |
US7602949B2 (en) | 2009-10-13 |
CN100350431C (zh) | 2007-11-21 |
TWI325567B (en) | 2010-06-01 |
EP1453002A3 (en) | 2010-11-10 |
US7212657B2 (en) | 2007-05-01 |
US20060228040A1 (en) | 2006-10-12 |
TW200416622A (en) | 2004-09-01 |
CN1525401A (zh) | 2004-09-01 |
US7636485B2 (en) | 2009-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2004265406A (ja) | バッチモードで処理されるポートレート画像を向上する方法及びシステム | |
EP1372109B1 (en) | Method and system for enhancing portrait images | |
US9142054B2 (en) | System and method for changing hair color in digital images | |
US8902326B2 (en) | Automatic face and skin beautification using face detection | |
US8520089B2 (en) | Eye beautification | |
US20090252435A1 (en) | Cartoon personalization | |
US8406519B1 (en) | Compositing head regions into target images | |
US9092889B2 (en) | Image processing apparatus, image processing method, and program storage medium | |
JP2004240622A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
JP2004242068A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
CN116612036A (zh) | 一种基于Unity实现人像磨皮和美白的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070117 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091215 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20100413 |