JP2017220078A - 画像処理装置、画像処理方法及びプログラム - Google Patents
画像処理装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2017220078A JP2017220078A JP2016115100A JP2016115100A JP2017220078A JP 2017220078 A JP2017220078 A JP 2017220078A JP 2016115100 A JP2016115100 A JP 2016115100A JP 2016115100 A JP2016115100 A JP 2016115100A JP 2017220078 A JP2017220078 A JP 2017220078A
- Authority
- JP
- Japan
- Prior art keywords
- skin
- measurement
- unit
- image processing
- beautification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 283
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000005259 measurement Methods 0.000 claims abstract description 165
- 238000000034 method Methods 0.000 claims abstract description 160
- 238000000691 measurement method Methods 0.000 claims abstract description 61
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 210000000056 organ Anatomy 0.000 claims abstract description 33
- 230000001815 facial effect Effects 0.000 claims abstract description 29
- 238000006243 chemical reaction Methods 0.000 claims description 21
- 238000003384 imaging method Methods 0.000 abstract description 50
- 239000002131 composite material Substances 0.000 description 14
- 230000037303 wrinkles Effects 0.000 description 10
- 206010014970 Ephelides Diseases 0.000 description 8
- 208000003351 Melanosis Diseases 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000009499 grossing Methods 0.000 description 8
- 238000002834 transmittance Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000002156 mixing Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 206010013786 Dry skin Diseases 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Abstract
Description
画像内よりヒトの顔領域及び顔器官の位置を検出する検出手段と、
前記検出手段により検出されたヒトの顔領域に対して所定の美肌化手法に対応する画像処理を施す美肌処理手段と、
前記検出手段により検出されたヒトの顔領域の肌状態を所定の計測手法により計測する計測手段と、
前記計測手段により計測された肌状態に応じて、前記美肌処理手段による画像処理のパラメータ値を制御する制御手段と、
前記検出手段により検出されたヒトの顔領域内で顔器官の位置を基準とする特定部分に、前記計測手段による肌状態の計測領域を設定する設定手段と、
を備え、
前記計測領域は、前記計測手段による肌状態の計測手法及び前記美肌処理手段による美肌化手法のうち、少なくとも一方に基づいて決められたものである
ことを特徴としている。
図1に示すように、本実施形態の撮像装置100は、具体的には、中央制御部1と、メモリ2と、撮像部3と、撮像制御部4と、テーブル記憶部5と、画像処理部6と、記憶媒体制御部7と、表示部8と、操作入力部9とを備えている。
また、中央制御部1、メモリ2、撮像部3、撮像制御部4、テーブル記憶部5と、画像処理部6、記憶媒体制御部7及び表示部8は、バスライン10を介して接続されている。
具体的には、撮像部3は、レンズ部3aと、電子撮像部3b等を備えている。
電子撮像部3bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサ(撮像素子)から構成されている。そして、電子撮像部3bは、レンズ部3aの各種レンズを通過した光学像を二次元の画像信号に変換する。
なお、撮像部3は、レンズ部3a及び電子撮像部3bに加えて、レンズ部3aを通過する光の量を調整する絞り(図示略)を備えても良い。
また、撮像制御部4は、AF(自動合焦処理)、AE(自動露出処理)、AWB(自動ホワイトバランス)等の被写体を撮像する際の条件の調整制御を行っても良い。
処理内容テーブルTは、図2に示すように、複数の美肌モード毎に、肌状態計測部6d(後述)による肌状態の計測処理の処理内容を表す「肌状態計測手法」と、美肌処理部6f(後述)による美肌化処理の処理内容を表す「美肌化手法」と、全体処理強度制御部6e(後述)による肌状態に応じて変化する全体処理強度(全体パラメータ値)の変換情報を表す「処理強度情報」とが対応付けられている。
ここで、化粧の影響を軽減させるとは、例えば、顔の中で目立たせたくない箇所(例えば、しわ、しみ、そばかす等)の印象が弱くなるように化粧が施される場合に、化粧が濃い(厚化粧)と、肌本来の肌状態や色とは乖離した状態となる。また、相対的に大きなしわやしみ等は、化粧で目立たせないようにすることが困難な場合もある。このため、より自然な美肌化処理を行う上では、化粧の影響がより少ない肌本来の肌状態や色を特定する必要がある。さらに、相対的に大きなしわやしみ等についても目立たせないようにすることが好ましい。
また、体調の影響を軽減させるとは、例えば、目のクマが表されている顔のように体調が悪い場合、同様に、肌本来の肌状態や色とは乖離した状態となる。このため、より自然な美肌化処理を行う上では、体調の影響がより少ない肌本来の肌状態や色を特定する必要がある。また、目のクマを上記した化粧で目立たせないようにすることが困難な場合もあるため、この場合には、目のクマについても目立たせないようにすることが好ましい。
一方、デフォルトとして設定されている「美肌モード(デフォルト)」では、化粧や体調の影響が軽減されないが、例えば、化粧が薄い(薄化粧)場合や体調が悪くない(体調の悪さが顔に表れていない)場合等には、美肌化処理を施しても化粧や体調の影響が相対的に少なく許容可能であると考えられる。
「肌状態計測エリア」としては、例えば、肌状態の計測領域A1を顔領域F全体とする「肌状態計測エリア:全体」、顔領域F内の特定部分とする「肌状態計測エリア:1」や「肌状態計測エリア:2」等が挙げられる。なお、肌状態の計測領域A1の具体的な設定方法については、後述する。
「肌色計測エリア」としては、例えば、肌色の計測領域A2を顔領域F全体とする「肌色計測エリア:全体」、顔領域F内の特定部分とする「肌色計測エリア:1」や「肌色計測エリア:2」等が挙げられる。なお、肌色の計測領域A2の具体的な設定方法については、後述する。
図3には、肌状態指数と、美肌化処理の全体処理強度との対応関係の一例を模式的に示している。
肌状態指数は、肌状態計測部6d(後述)による肌状態の計測処理にて特定される肌状態を表すものであり、例えば、肌荒れが大きくなる(ひどくなる)ほど高くなるようになっている。
「処理強度情報」としては、肌状態指数と、美肌化処理の全体処理強度との対応関係を異ならせた複数の処理強度変換データ(例えば、「処理強度変換データ:1」、「処理強度変換データ:2」、「処理強度変換データ:3」等)が挙げられる。また、これらの処理強度変換データは、複数の美肌モード毎、すなわち、肌状態計測部6dによる肌状態の計測手法と美肌処理部6fによる美肌化手法との組み合わせに応じて異なっている。つまり、テーブル記憶部5には、肌状態計測部6dによる「肌状態計測手法」と美肌処理部6fによる「美肌化手法」との複数の組み合わせの各々に対応させて、全体処理強度制御部6e(後述)による肌状態に応じて変化する全体処理強度の変換情報を表す「処理強度情報」が複数記憶されている。
さらに、各美肌モード毎に対応付けられている「肌状態計測手法」、「美肌化手法」、「処理強度情報」の内容も、一例であってこれらに限られるものではなく、適宜任意に変更可能である。
なお、画像処理部6の各部は、例えば、所定のロジック回路から構成されているが、当該構成は一例であってこれに限られるものではない。
すなわち、画像取得部(取得手段)6aは、撮像部3により撮像された画像を画像生成処理の処理対象として取得する。具体的には、画像取得部6aは、例えば、電子撮像部3bから出力されて入力された画像(元画像I)の所定のカラーフィルタの配列(例えば、ベイヤー配列)に従った画像データ(RGBデータ)を取得する。また、画像取得部6aは、元画像IのRGBデータの複製を生成し、例えば、ホワイトバランス調整処理やカラープロセス処理等を行って、元画像IのYUVデータを生成して取得する。
ここで、後述する合成画像生成部6iにより合成美肌処理画像を生成しない場合には、画像取得部6aは、必ずしも元画像Iの画像データを複製する必要はない。
なお、画像取得部6aは、記憶媒体Mに記憶されている画像を処理対象として、その画像データを取得しても良い。
すなわち、顔検出部(検出手段)6bは、画像取得部6aにより取得された元画像Iの画像データに対して所定の顔検出処理を行って、当該元画像I内からヒトの顔が含まれる顔領域F(図6参照)を検出する。そして、顔検出部6bは、例えば、AAM(Active Appearance Model)を用いた処理により、目、鼻、口、眉、顔輪郭等の主要な顔器官の位置を検出する。なお、以下の説明では、顔領域Fとは、顔輪郭と髪の毛により囲まれた、主として肌色の領域のことを言う。
また、上記した顔検出処理やAAMは、公知の技術であるので、ここでは詳細な説明を省略する。また、AAMを用いて顔器官の検出を行うようにしたが、一例であってこれに限られるものではなく、例えば、エッジ抽出処理、非等方拡散処理、テンプレートマッチング等適宜任意に変更可能である。
すなわち、計測領域設定部(設定手段)6cは、顔検出部6bにより検出されたヒトの顔領域F内で顔器官の位置を基準とする特定部分に、肌状態計測部6dによる肌状態の計測領域A1を設定する。具体的には、処理内容テーブルTに規定されている複数の美肌モードの中で、何れか一の美肌モードがユーザによる操作入力部9の所定操作に基づいて、或いは、デフォルトとして自動的に指定されると、計測領域設定部6cは、指定されている美肌モードに対応する「肌状態計測手法」の欄の「肌状態計測エリア」を参照し、顔検出部6bにより検出されたヒトの顔領域F全体や、顔領域F内での顔器官の位置を基準とする特定部分を肌状態の計測領域A1として設定する。つまり、複数の美肌モードの各々に対応する肌状態計測部6dによる肌状態の計測手法と美肌処理部6fによる美肌化手法との組み合わせ毎に、顔領域F内で設定可能な肌状態の計測候補領域が規定されており、計測領域設定部6cは、これらの計測候補領域の中から、指定されている美肌モードに対応する肌状態の計測領域(肌状態の計測手法及び美肌化手法に対応する顔領域F内の領域)A1を設定する。
ここで、例えば、図6に示すように、顔領域Fの略中央の部分を肌状態の計測領域A1とする場合、計測領域設定部6cは、顔領域F内で顔器官としての鼻の位置を基準とする所定範囲を特定部分として、肌状態の計測領域A1を設定する。また、図示は省略するが、顔領域Fの額の部分を肌状態の計測領域A1とする場合には、左右の目の位置を基準とし、同様に、顔領域Fの顎の部分を肌状態の計測領域A1とする場合には、口の位置を基準とし、同様に、顔領域Fの頬の部分を肌状態の計測領域A1とする場合には、目、鼻、口等の複数の顔器官の位置を基準とする所定範囲(特定部分)が肌状態の計測領域A1となる。
すなわち、処理内容テーブルTに規定されている複数の美肌モードの中で、何れか一の美肌モードが指定されている場合、計測領域設定部6cは、指定されている美肌モードに対応する「肌色計測手法」の欄の「肌色計測エリア」を参照し、顔検出部6bにより検出されたヒトの顔領域F全体や、顔領域F内での顔器官の位置を基準とする特定部分を肌色の計測領域A2として設定する。
なお、顔領域F内で肌色の計測領域A2を設定する方法は、上記した肌状態の計測領域A1を設定する方法とほぼ同様であり、詳細な説明は省略する。
すなわち、計測領域設定部(設定手段)6cは、肌状態計測部6dによる肌状態の計測手法及び美肌処理部6fによる美肌化手法のうち、少なくとも一方に基づいて、顔検出部6bにより検出されたヒトの顔領域F内で顔器官の位置を基準とする特定部分に、肌色の計測領域A2を設定する。
すなわち、肌状態計測部(計測手段)6dは、顔検出部6bにより検出されたヒトの顔領域Fの肌状態を所定の計測手法により計測する。例えば、肌状態計測部6dは、顔検出部6bにより検出された元画像Iの顔領域Fに対して二次元フーリエ変換を行い、ノイズの周波数毎にそのレベルを算出する。そして、肌状態計測部6dは、算出されたノイズの周波数のレベルに応じて、予め決められた重みを乗算して(重み付けして)積分することにより、肌状態指数を算出する。
具体的には、肌状態計測部6dは、計測領域設定部6cにより設定された顔領域F内の肌状態の計測領域A1について、上記した肌状態指数の算出を行う。さらに、肌状態計測部6dは、処理内容テーブルTに規定されている複数の美肌モードの中で指定されている何れか一の美肌モードに対応する「肌状態計測手法」の欄の「対象周波数」を参照し、処理したい対象(例えば、しわ、しみ、そばかす、ほくろ、目のクマ等)に対応する二次元フーリエ変換画像の周波数を特定する。そして、肌状態計測部6dは、特定された周波数のノイズについては、重み付けの際の重み値を相対的に大きくして、肌状態指数を算出する。
このように、肌状態計測部6dによる肌状態の計測手法には、肌状態の計測方法を異ならせた複数の計測手法がある。
すなわち、全体処理強度制御部(制御手段)6eは、肌状態計測部6dにより計測された肌状態に応じて、美肌処理部6fによる画像処理の全体処理強度(全体パラメータ値)を制御する。
具体的には、処理内容テーブルTに規定されている複数の美肌モードの中で、何れか一の美肌モードが指定されている場合、全体処理強度制御部6eは、指定されている美肌モードに対応する「処理強度情報」の欄の「処理強度変換データ」(例えば、「処理強度変換データ:1」等)を参照して、肌状態計測部6dにより算出された肌状態指数を美肌処理部6fによる画像処理の処理強度に変換し、ヒトの顔領域F全体に対応する美肌処理部6fによる画像処理の全体処理強度として決定する。
ここで、画像処理の全体処理強度としては、例えば、美肌処理部6fによる画像処理に用いられるフィルタ(例えば、平滑化フィルタ等)の重みを表すフィルタ係数等が挙げられる。
すなわち、美肌処理部(美肌処理手段)6fは、顔検出部6bにより検出されたヒトの顔領域Fに対して所定の美肌化手法に対応する画像処理を施す。例えば、美肌処理部6fは、顔検出部6bにより検出された元画像Iの顔領域Fに対してフィルタ処理(例えば、平滑化処理等)を施すことで、顔領域Fのノイズを除去する。
具体的には、美肌処理部6fは、処理内容テーブルTに規定されている複数の美肌モードの中で指定されている何れか一の美肌モードに対応する「美肌化手法」の欄の「フィルタサイズ」を参照して、処理したい対象(例えば、しわ、しみ、そばかす、ほくろ、目のクマ等)に対応する画像処理フィルタ(例えば、平滑化フィルタ等)の大きさを特定する。続けて、美肌処理部6fは、特定された大きさの画像処理フィルタを用いて、全体処理強度制御部6eにより決定された全体処理強度(例えば、フィルタ係数等)で元画像Iの顔領域Fに対してフィルタ処理(例えば、平滑化処理等)を施すことで、顔領域F全体のノイズを除去する。そして、美肌処理部6fは、例えば、ホワイトバランス調整処理やカラープロセス処理等を行って、全体美肌処理画像のYUVデータを生成する。
このように、美肌処理部6fによる美肌化手法には、美肌化に係る画像処理を異ならせた複数の美肌化手法がある。
すなわち、肌色特定部(特定手段)6gは、顔検出部6bにより検出された元画像I内のヒトの顔領域Fに対応する肌の色を特定する。具体的には、処理内容テーブルTに規定されている複数の美肌モードの中で、何れか一の美肌モードが指定されている場合、肌色特定部6gは、計測領域設定部6cにより設定されたヒトの顔領域Fにおける肌色の計測領域A2内の各画素の画素値に基づいて、肌の基本色(例えば、色相Hの平均値や中央値等)を特定する。
なお、肌の色の特定は、公知の技術であるのでここでは詳細な説明は省略するが、例えば、元画像Iの画像データをHSV色空間に変換したHSVデータに対して行われても良いし、YUV色空間に変換したYUVデータに対して行われても良い。
すなわち、部分処理強度制御部(制御手段)6hは、肌色特定部6gにより特定された肌の色に応じて、顔検出部6bにより検出されたヒトの顔領域Fの所定部分毎(例えば、画素毎等)に美肌処理部6fによる画像処理の部分処理強度(部分パラメータ値)を決定する。
具体的には、部分処理強度制御部6hは、元画像Iのヒトの顔領域Fの各画素について、肌色特定部6gにより特定された肌色の計測領域A2内の各画素の基本色を基準とする所定の色範囲を所定の階調(例えば、8bit[0〜255]等)で表した顔マップを生成する。この顔マップの階調値が、後述する合成画像生成部6iによる全体美肌処理画像と元画像Iとの合成の比率、すなわち、全体美肌処理画像の各画素について、元画像Iに対してアルファブレンディングする際の重みを表している。例えば、顔マップの階調値が「255」に対応する全体美肌処理画像の画素は、元画像Iに対する透過率が0%となり、顔マップの階調値が「0」に対応する全体美肌処理画像の画素は、元画像Iに対する透過率が100%となる。
つまり、顔マップの階調値により全体美肌処理画像と元画像Iとの肌に相当する部分の合成の比率が変化し、これにより、ヒトの顔領域Fの各画素毎に美肌処理部6fによる画像処理の部分処理強度(部分パラメータ値)が変化することとなる。
すなわち、合成画像生成部6iは、美肌処理部6fにより生成された全体美肌処理画像と画像取得部6aにより取得された元画像Iとを、部分処理強度制御部6hにより生成され、顔領域Fの透過率が設定されている顔マップを用いて合成して、合成美肌処理画像の画像データを生成する。例えば、合成画像生成部6iは、全体美肌処理画像の各画素について、顔マップに設定されている階調値(透過率)が「0」の画素は元画像Iに対して透過させ、階調値が「255」の画素は当該全体美肌処理画像の対応する画素の画素値で元画像Iの画素を上書きし、さらに、階調値が「1〜254」の画素は当該透過率に応じて全体美肌処理画像の画素の画素値と元画像Iの対応する画素の画素値とでブレンドする(アルファブレンディング)。
なお、上記したアルファブレンディングは、公知の技術であるので、ここでは詳細な説明を省略する。
なお、記憶媒体Mは、例えば、不揮発性メモリ(フラッシュメモリ)等により構成されるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
表示パネル8aは、表示画面内に画像を表示する。なお、表示パネル8aとしては、例えば、液晶表示パネルや有機EL表示パネルなどが挙げられるが、一例であってこれらに限られるものではない。
次に、撮像装置100による画像生成処理について、図4〜図6を参照して説明する。
図4は、画像生成処理に係る動作の一例を示すフローチャートである。
なお、画像生成処理は、例えば、記憶媒体Mに記憶されている画像を処理対象としても良い。
また、ステップS2にて、顔検出部6bは、例えば、AAMを用いた処理により、顔領域F内で目、鼻、口、眉、顔輪郭等の主要な顔器官の位置を検出する処理も行う。
ここで、美肌モードの指定自体は、被写体の撮像前に行われても良いし、被写体の撮像後に所定のタイミング(例えば、顔領域Fの検出後等)で行われても良い。
そして、画像処理部6は、処理内容テーブルTを参照して、特定された美肌モードに対応する「肌状態計測手法」、「美肌化手法」及び「処理強度情報」の各々を特定する(ステップS5)。
その後、画像処理部6は、ヒトの顔領域Fに対して美肌化処理(図5参照)を施す(ステップS9)。
以下に、美肌化処理について、図5を参照して説明する。図5は、美肌化処理に係る動作の一例を示すフローチャートである。
その後、記憶媒体制御部7は、画像処理部6から合成美肌処理画像の画像データを取得して、記憶媒体Mの所定の格納領域に記憶させて(ステップS17)、画像生成処理を終了する。
また、合成美肌処理画像を生成する美肌モードでは、生成された合成美肌処理画像と対応付けて全体美肌処理画像も記憶するようにし、ユーザがこれらの画像どうしの比較を行うことができるようにしても良い。
具体的には、「肌状態計測手法」と「美肌化手法」との組み合わせに応じて、「処理強度情報」の内容が異なるので、これら「肌状態計測手法」と「美肌化手法」との組み合わせ毎に、例えば、化粧や体調などの影響により変化する肌状態に応じて、美肌化手法に対応する画像処理の全体処理強度(全体パラメータ値)を適正に変換することができる。
また、肌状態の計測手法や美肌化手法に基づいて、ヒトの顔領域F内で肌状態の計測領域A1を変化させるので、例えば、化粧や体調などの影響により肌状態が変化しても肌状態の計測手法や美肌化手法を考慮して肌本来の肌状態の計測を適正に行うことができる。
さらに、「肌状態計測手法」と「美肌化手法」との組み合わせに応じて、ヒトの顔領域F内で設定可能な計測候補領域の中から肌状態の計測領域A1を設定することで、例えば、化粧や体調などの影響により肌状態が変化する場合にも肌状態の計測領域A1の設定を適正に行うことができ、結果として、肌本来の肌状態の計測を適正に行うことができる。
また、ヒトの顔領域Fに対応する肌の色を特定し、特定された肌の色に応じて、ヒトの顔領域Fの所定部分毎に美肌処理部6fによる画像処理の部分処理強度(部分パラメータ値)を決定することで、例えば、顔領域Fの所定部分毎に化粧や体調などの影響により変化する肌状態を考慮して顔の美肌化処理を適正に行うことができる。特に、肌状態の計測手法や美肌化手法に基づいて、ヒトの顔領域F内で顔器官の位置を基準とする特定部分に肌色の計測領域A2を設定して、設定された肌色の計測領域A2内の肌の色を特定することで、例えば、化粧や体調などの影響により肌の色が変化する場合にも肌色の計測領域A2の設定を適正に行うことができ、結果として、肌本来の色の計測を適正に行うことができる。
例えば、上記実施形態では、肌状態の計測領域A1の設定に処理内容テーブルTを用いるようにしたが、一例であってこれに限られるものではなく、肌状態の計測手法や美肌化手法に基づいて肌状態の計測領域A1を設定可能な手法であれば必ずしも処理内容テーブルTを利用する必要はない。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、検出処理ルーチン、美肌処理ルーチン、計測処理ルーチン、制御処理ルーチン、設定処理ルーチンを含むプログラムを記憶しておく。そして、検出処理ルーチンにより中央制御部1のCPUを、画像(元画像I)内よりヒトの顔領域F及び顔器官の位置を検出する手段として機能させるようにしても良い。また、美肌処理ルーチンにより中央制御部1のCPUを、検出されたヒトの顔領域Fに対して所定の美肌化手法に対応する画像処理を施す手段として機能させるようにしても良い。また、計測処理ルーチンにより中央制御部1のCPUを、検出されたヒトの顔領域Fの肌状態を所定の計測手法により計測する手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部1のCPUを、計測された肌状態に応じて、所定の美肌化手法に対応する画像処理のパラメータ値を制御する手段として機能させるようにしても良い。また、設定処理ルーチンにより中央制御部1のCPUを、検出されたヒトの顔領域F内で顔器官の位置を基準とする特定部分に、肌状態の計測手法及び美肌化手法のうち、少なくとも一方に基づいて決められた肌状態の計測領域A1を設定する手段として機能させるようにしても良い。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
<請求項1>
画像内よりヒトの顔領域及び顔器官の位置を検出する検出手段と、
前記検出手段により検出されたヒトの顔領域に対して所定の美肌化手法に対応する画像処理を施す美肌処理手段と、
前記検出手段により検出されたヒトの顔領域の肌状態を所定の計測手法により計測する計測手段と、
前記計測手段により計測された肌状態に応じて、前記美肌処理手段による画像処理のパラメータ値を制御する制御手段と、
前記検出手段により検出されたヒトの顔領域内で顔器官の位置を基準とする特定部分に、前記計測手段による肌状態の計測領域を設定する設定手段と、
を備え、
前記計測領域は、前記計測手段による肌状態の計測手法及び前記美肌処理手段による美肌化手法のうち、少なくとも一方に基づいて決められたものである
ことを特徴とする画像処理装置。
<請求項2>
前記計測手段による肌状態の計測手法と、前記美肌処理手段による美肌化手法と、前記制御手段による前記肌状態に応じた前記パラメータ値の変換情報とを対応付けて記憶する記憶手段を更に備えることを特徴とする請求項1に記載の画像処理装置。
<請求項3>
前記制御手段による前記肌状態に応じた前記パラメータ値の変換情報は、前記計測手段による肌状態の計測手法と前記美肌処理手段による美肌化手法との組み合わせに応じて異ならせてなることを特徴とする請求項2に記載の画像処理装置。
<請求項4>
前記記憶手段は、前記計測手段による肌状態の計測手法と前記美肌処理手段による美肌化手法との複数の組み合わせの各々に対応させて、前記制御手段による前記肌状態に応じた前記パラメータ値の変換情報を複数記憶することを特徴とする請求項2又は3に記載の画像処理装置。
<請求項5>
前記記憶手段は、複数の美肌モードの各々に対応させて、前記計測手段による肌状態の計測手法と、前記美肌処理手段による美肌化手法と、前記制御手段による前記肌状態に応じた前記パラメータ値の変換情報とを対応付けて複数記憶することを特徴とする請求項2〜4の何れか一項に記載の画像処理装置。
<請求項6>
前記設定手段は、前記計測手段による肌状態の計測方法が異なる複数の計測手法及び前記美肌処理手段による美肌化に係る画像処理が異なる複数の美肌化手法のうちの予め決められた計測手法及び美肌化手法に対応した顔領域内の領域を、前記計測手段による肌状態の計測領域として設定することを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
<請求項7>
前記設定手段は、前記計測手段による肌状態の計測手法及び前記美肌処理手段による美肌化手法のうち、少なくとも一方に基づいて、前記検出手段により検出されたヒトの顔領域内で前記計測手段による肌状態の計測領域を変化させて設定することを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
<請求項8>
前記設定手段は、前記計測手段による肌状態の計測手法と前記美肌処理手段による美肌化手法との複数の組み合わせの各々と対応付けられ、前記検出手段により検出されたヒトの顔領域内で設定可能な計測候補領域の中から、前記計測手段による肌状態の計測領域を設定することを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。
<請求項9>
前記制御手段は、前記計測手段により計測された肌状態に応じて、前記検出手段により検出されたヒトの顔領域の全体に対応する前記美肌処理手段による画像処理の全体パラメータ値を決定することを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。
<請求項10>
前記検出手段により検出されたヒトの顔領域に対応する肌の色を特定する特定手段を更に備え、
前記制御手段は、前記特定手段により特定された肌の色に応じて、前記検出手段により検出されたヒトの顔領域の所定部分毎に前記美肌処理手段による画像処理における部分パラメータ値を決定することを特徴とする請求項1〜9の何れか一項に記載の画像処理装置。
<請求項11>
前記設定手段は、更に、
前記計測手段による肌状態の計測手法及び前記美肌処理手段による美肌化手法のうち、少なくとも一方に基づいて、前記検出手段により検出されたヒトの顔領域内で顔器官の位置を基準とする特定部分に、肌色の計測領域を設定し、
前記特定手段は、前記検出手段により検出されたヒトの顔領域における前記設定手段により設定された肌色の計測領域内の肌の色を特定することを特徴とする請求項10に記載の画像処理装置。
<請求項11>
画像処理装置を用いた画像処理方法であって、
画像内よりヒトの顔領域及び顔器官の位置を検出するステップと、
検出されたヒトの顔領域に対して所定の美肌化手法に対応する画像処理を施すステップと、
検出されたヒトの顔領域の肌状態を所定の計測手法により計測するステップと、
計測された肌状態に応じて、所定の美肌化手法に対応する画像処理のパラメータ値を制御するステップと、
検出されたヒトの顔領域内で顔器官の位置を基準とする特定部分に、肌状態の計測領域を設定するステップと、
を含み、
前記計測領域は、肌状態の計測手法及び美肌化手法のうち、少なくとも一方に基づいて決められたものである
ことを特徴とする画像処理方法。
<請求項12>
画像処理装置のコンピュータを、
画像内よりヒトの顔領域及び顔器官の位置を検出する検出手段、
前記検出手段により検出されたヒトの顔領域に対して所定の美肌化手法に対応する画像処理を施す美肌処理手段、
前記検出手段により検出されたヒトの顔領域の肌状態を所定の計測手法により計測する計測手段、
前記計測手段により計測された肌状態に応じて、前記美肌処理手段による画像処理のパラメータ値を制御する制御手段、
前記検出手段により検出されたヒトの顔領域内で顔器官の位置を基準とする特定部分に、前記計測手段による肌状態の計測領域を設定する設定手段、
として機能させ、
前記計測領域は、前記計測手段による肌状態の計測手法及び前記美肌処理手段による美肌化手法のうち、少なくとも一方に基づいて決められたものである
ことを特徴とするプログラム。
1 中央制御部
3 撮像部
5 テーブル記憶部
6 画像処理部
6a 画像取得部
6b 顔検出部
6c 計測領域設定部
6d 肌状態計測部
6e 全体処理強度制御部
6f 美肌処理部
6g 肌色特定部
6h 部分処理強度制御部
6i 合成画像生成部
T 処理内容テーブル
Claims (13)
- 画像内よりヒトの顔領域及び顔器官の位置を検出する検出手段と、
前記検出手段により検出されたヒトの顔領域に対して所定の美肌化手法に対応する画像処理を施す美肌処理手段と、
前記検出手段により検出されたヒトの顔領域の肌状態を所定の計測手法により計測する計測手段と、
前記計測手段により計測された肌状態に応じて、前記美肌処理手段による画像処理のパラメータ値を制御する制御手段と、
前記検出手段により検出されたヒトの顔領域内で顔器官の位置を基準とする特定部分に、前記計測手段による肌状態の計測領域を設定する設定手段と、
を備え、
前記計測領域は、前記計測手段による肌状態の計測手法及び前記美肌処理手段による美肌化手法のうち、少なくとも一方に基づいて決められたものである
ことを特徴とする画像処理装置。 - 前記計測手段による肌状態の計測手法と、前記美肌処理手段による美肌化手法と、前記制御手段による前記肌状態に応じた前記パラメータ値の変換情報とを対応付けて記憶する記憶手段を更に備えることを特徴とする請求項1に記載の画像処理装置。
- 前記制御手段による前記肌状態に応じた前記パラメータ値の変換情報は、前記計測手段による肌状態の計測手法と前記美肌処理手段による美肌化手法との組み合わせに応じて異ならせてなることを特徴とする請求項2に記載の画像処理装置。
- 前記記憶手段は、前記計測手段による肌状態の計測手法と前記美肌処理手段による美肌化手法との複数の組み合わせの各々に対応させて、前記制御手段による前記肌状態に応じた前記パラメータ値の変換情報を複数記憶することを特徴とする請求項2又は3に記載の画像処理装置。
- 前記記憶手段は、複数の美肌モードの各々に対応させて、前記計測手段による肌状態の計測手法と、前記美肌処理手段による美肌化手法と、前記制御手段による前記肌状態に応じた前記パラメータ値の変換情報とを対応付けて複数記憶することを特徴とする請求項2〜4の何れか一項に記載の画像処理装置。
- 前記設定手段は、前記計測手段による肌状態の計測方法が異なる複数の計測手法及び前記美肌処理手段による美肌化に係る画像処理が異なる複数の美肌化手法のうちの予め決められた計測手法及び美肌化手法に対応した顔領域内の領域を、前記計測手段による肌状態の計測領域として設定することを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
- 前記設定手段は、前記計測手段による肌状態の計測手法及び前記美肌処理手段による美肌化手法のうち、少なくとも一方に基づいて、前記検出手段により検出されたヒトの顔領域内で前記計測手段による肌状態の計測領域を変化させて設定することを特徴とする請求項1〜5の何れか一項に記載の画像処理装置。
- 前記設定手段は、前記計測手段による肌状態の計測手法と前記美肌処理手段による美肌化手法との複数の組み合わせの各々と対応付けられ、前記検出手段により検出されたヒトの顔領域内で設定可能な計測候補領域の中から、前記計測手段による肌状態の計測領域を設定することを特徴とする請求項1〜7の何れか一項に記載の画像処理装置。
- 前記制御手段は、前記計測手段により計測された肌状態に応じて、前記検出手段により検出されたヒトの顔領域の全体に対応する前記美肌処理手段による画像処理の全体パラメータ値を決定することを特徴とする請求項1〜8の何れか一項に記載の画像処理装置。
- 前記検出手段により検出されたヒトの顔領域に対応する肌の色を特定する特定手段を更に備え、
前記制御手段は、前記特定手段により特定された肌の色に応じて、前記検出手段により検出されたヒトの顔領域の所定部分毎に前記美肌処理手段による画像処理における部分パラメータ値を決定することを特徴とする請求項1〜9の何れか一項に記載の画像処理装置。 - 前記設定手段は、更に、
前記計測手段による肌状態の計測手法及び前記美肌処理手段による美肌化手法のうち、少なくとも一方に基づいて、前記検出手段により検出されたヒトの顔領域内で顔器官の位置を基準とする特定部分に、肌色の計測領域を設定し、
前記特定手段は、前記検出手段により検出されたヒトの顔領域における前記設定手段により設定された肌色の計測領域内の肌の色を特定することを特徴とする請求項10に記載の画像処理装置。 - 画像処理装置を用いた画像処理方法であって、
画像内よりヒトの顔領域及び顔器官の位置を検出するステップと、
検出されたヒトの顔領域に対して所定の美肌化手法に対応する画像処理を施すステップと、
検出されたヒトの顔領域の肌状態を所定の計測手法により計測するステップと、
計測された肌状態に応じて、所定の美肌化手法に対応する画像処理のパラメータ値を制御するステップと、
検出されたヒトの顔領域内で顔器官の位置を基準とする特定部分に、肌状態の計測領域を設定するステップと、
を含み、
前記計測領域は、肌状態の計測手法及び美肌化手法のうち、少なくとも一方に基づいて決められたものである
ことを特徴とする画像処理方法。 - 画像処理装置のコンピュータを、
画像内よりヒトの顔領域及び顔器官の位置を検出する検出手段、
前記検出手段により検出されたヒトの顔領域に対して所定の美肌化手法に対応する画像処理を施す美肌処理手段、
前記検出手段により検出されたヒトの顔領域の肌状態を所定の計測手法により計測する計測手段、
前記計測手段により計測された肌状態に応じて、前記美肌処理手段による画像処理のパラメータ値を制御する制御手段、
前記検出手段により検出されたヒトの顔領域内で顔器官の位置を基準とする特定部分に、前記計測手段による肌状態の計測領域を設定する設定手段、
として機能させ、
前記計測領域は、前記計測手段による肌状態の計測手法及び前記美肌処理手段による美肌化手法のうち、少なくとも一方に基づいて決められたものである
ことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016115100A JP6859611B2 (ja) | 2016-06-09 | 2016-06-09 | 画像処理装置、画像処理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016115100A JP6859611B2 (ja) | 2016-06-09 | 2016-06-09 | 画像処理装置、画像処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017220078A true JP2017220078A (ja) | 2017-12-14 |
JP6859611B2 JP6859611B2 (ja) | 2021-04-14 |
Family
ID=60656487
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016115100A Active JP6859611B2 (ja) | 2016-06-09 | 2016-06-09 | 画像処理装置、画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6859611B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109451235A (zh) * | 2018-10-29 | 2019-03-08 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
CN110020990A (zh) * | 2018-01-10 | 2019-07-16 | 中兴通讯股份有限公司 | 一种移动终端的全局美肤方法、装置、设备及存储介质 |
CN110796617A (zh) * | 2019-10-24 | 2020-02-14 | 北京小米智能科技有限公司 | 面部图像的增强方法及装置、电子设备 |
CN111047520A (zh) * | 2018-10-11 | 2020-04-21 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法以及记录介质 |
JP2020062374A (ja) * | 2018-10-17 | 2020-04-23 | 麗寶大數據股▲フン▼有限公司 | 電子化粧鏡装置および表示方法 |
CN111275650A (zh) * | 2020-02-25 | 2020-06-12 | 北京字节跳动网络技术有限公司 | 美颜处理方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004303193A (ja) * | 2003-03-20 | 2004-10-28 | Omron Corp | 画像処理装置 |
JP2005327009A (ja) * | 2004-05-13 | 2005-11-24 | Omron Corp | 画像補正装置 |
JP2010211497A (ja) * | 2009-03-10 | 2010-09-24 | Nikon Corp | デジタルカメラおよび画像処理プログラム |
-
2016
- 2016-06-09 JP JP2016115100A patent/JP6859611B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004303193A (ja) * | 2003-03-20 | 2004-10-28 | Omron Corp | 画像処理装置 |
JP2005327009A (ja) * | 2004-05-13 | 2005-11-24 | Omron Corp | 画像補正装置 |
JP2010211497A (ja) * | 2009-03-10 | 2010-09-24 | Nikon Corp | デジタルカメラおよび画像処理プログラム |
Non-Patent Citations (1)
Title |
---|
CHANGHYUNG LEE ET AL.: "An algorithm for automatic skin smoothing in digital portraits", 2009 16TH IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), JPN6020033432, 7 November 2009 (2009-11-07), pages 3149 - 3152, XP031629094, ISSN: 0004397315 * |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110020990A (zh) * | 2018-01-10 | 2019-07-16 | 中兴通讯股份有限公司 | 一种移动终端的全局美肤方法、装置、设备及存储介质 |
CN110020990B (zh) * | 2018-01-10 | 2023-11-07 | 中兴通讯股份有限公司 | 一种移动终端的全局美肤方法、装置、设备及存储介质 |
CN111047520B (zh) * | 2018-10-11 | 2024-01-26 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法以及记录介质 |
CN111047520A (zh) * | 2018-10-11 | 2020-04-21 | 卡西欧计算机株式会社 | 图像处理装置、图像处理方法以及记录介质 |
JP2020062374A (ja) * | 2018-10-17 | 2020-04-23 | 麗寶大數據股▲フン▼有限公司 | 電子化粧鏡装置および表示方法 |
CN109451235A (zh) * | 2018-10-29 | 2019-03-08 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
KR20210049649A (ko) * | 2019-10-24 | 2021-05-06 | 베이징 시아오미 인텔리전트 테크놀로지 컴퍼니 리미티드 | 얼굴 이미지를 강화하는 방법 및 장치, 전자 기기 |
KR102273059B1 (ko) * | 2019-10-24 | 2021-07-07 | 베이징 시아오미 인텔리전트 테크놀로지 컴퍼니 리미티드 | 얼굴 이미지를 강화하는 방법 및 장치, 전자 기기 |
US11250547B2 (en) | 2019-10-24 | 2022-02-15 | Beijing Xiaomi Intelligent Technology Co., Ltd. | Facial image enhancement method, device and electronic device |
CN110796617B (zh) * | 2019-10-24 | 2022-09-02 | 北京小米智能科技有限公司 | 面部图像的增强方法及装置、电子设备 |
CN110796617A (zh) * | 2019-10-24 | 2020-02-14 | 北京小米智能科技有限公司 | 面部图像的增强方法及装置、电子设备 |
US11769286B2 (en) | 2020-02-25 | 2023-09-26 | Beijing Bytedance Network Technology Co., Ltd. | Beauty processing method, electronic device, and computer-readable storage medium |
CN111275650B (zh) * | 2020-02-25 | 2023-10-17 | 抖音视界有限公司 | 美颜处理方法及装置 |
CN111275650A (zh) * | 2020-02-25 | 2020-06-12 | 北京字节跳动网络技术有限公司 | 美颜处理方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6859611B2 (ja) | 2021-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6859611B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US10885616B2 (en) | Image processing apparatus, image processing method, and recording medium | |
JP6421794B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5949331B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
KR20110033980A (ko) | 얼굴 검출 기능을 사용한 얼굴 및 피부의 자동 미화 | |
JP6111723B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
US20170154437A1 (en) | Image processing apparatus for performing smoothing on human face area | |
JP6677221B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6720882B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2016213718A (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
CN109639959A (zh) | 图像处理装置、图像处理方法以及记录介质 | |
US10861140B2 (en) | Image processing apparatus, image processing method, and recording medium | |
CN109104601B (zh) | 检测装置、图像处理装置、检测方法以及图像处理方法 | |
JP2012003324A (ja) | 画像処理装置、撮像装置、画像処理プログラム及び記憶媒体 | |
JP2015184701A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7279741B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2014174855A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2018032442A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP7318251B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2012113338A (ja) | 印画物作製システム及び印画物作製方法 | |
JP7383891B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5927972B2 (ja) | 画像生成装置、画像生成方法及びプログラム | |
JP2020074100A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2005228138A (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
JP2017120998A (ja) | 画像処理装置、画像処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190604 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200806 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201201 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210224 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210309 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6859611 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |