JP2016148933A - Image processing system and image processing method - Google Patents
Image processing system and image processing method Download PDFInfo
- Publication number
- JP2016148933A JP2016148933A JP2015024484A JP2015024484A JP2016148933A JP 2016148933 A JP2016148933 A JP 2016148933A JP 2015024484 A JP2015024484 A JP 2015024484A JP 2015024484 A JP2015024484 A JP 2015024484A JP 2016148933 A JP2016148933 A JP 2016148933A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- face
- skin
- roughness
- degree
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像データを取得し、画像データに含まれる被写体人物の顔領域に対して、肌のざらつき度合が減少するようにノイズリダクション処理を行う画像処理に関する。 The present invention relates to image processing that acquires image data and performs noise reduction processing on a face area of a subject person included in the image data so that the degree of skin roughness is reduced.
従来より人物撮影において肌をきれいに撮りたいというニーズがある。また、近年ではスマートフォンの普及や、電子ビューファインダーの液晶画面を自分の方に向けられるデジタルカメラの開発によって、自分撮りという撮影方法が広がっている。そのため、一人で自分自身とともに複数人で撮影する機会が増えており、複数人をきれいに写したいというニーズもある。 Conventionally, there is a need for taking beautiful skin in portrait photography. In recent years, the self-portrait photography method has been spreading due to the spread of smartphones and the development of digital cameras that can point the LCD screen of the electronic viewfinder toward you. For this reason, there are increasing opportunities to shoot with multiple people by themselves, and there is a need to photograph multiple people beautifully.
以下の特許文献1には、複数人を撮影する際に、構図内に収まる複数の被写体人物に対して、画像処理により肌のざらつき度合を減少させる美肌画像処理を行う技術が開示されている。
しかしながら、特許文献1に開示された美肌画像処理の技術は、単に、構図に含まれる複数の被写体人物に対して一律の美肌処理効果を施すものであって、被写体人物ごとに個別に美肌処理効果の強度を異ならせるものではない。従って、たとえば画像処理後の被写体人物の肌のざらつき度合を一定に揃えるなどの処理を行うことはできないという課題があった。
However, the skin-beautifying image processing technique disclosed in
本発明の実施形態によれば、画像データを取得する取得手段、前記画像データから顔を検出する顔検出手段、前記顔の肌領域に対して肌のざらつき度合を小さくする画像処理を行う処理手段、を有する画像処理装置であって、前記顔検出手段が前記画像データから複数の顔を検出した場合、前記処理手段は、検出された複数の顔の各々について肌のざらつき度合を判定し、前記複数の顔の画像処理後の肌のざらつき度合が近くなるように、顔ごとに異なる強度で画像処理を行うことを特徴とする画像処理装置である。 According to an embodiment of the present invention, an acquisition unit that acquires image data, a face detection unit that detects a face from the image data, and a processing unit that performs image processing that reduces the degree of skin roughness on the skin area of the face When the face detection means detects a plurality of faces from the image data, the processing means determines the degree of skin roughness for each of the detected faces, An image processing apparatus is characterized in that image processing is performed with different intensities for each face so that the degree of skin roughness after image processing of a plurality of faces is close.
本発明によれば、複数の被写体人物を含む画像について、肌のざらつき度合を減少させる画像処理の強度を被写体人物ごとに異ならせて適用することが可能となる。よって、たとえば複数の被写体人物の処理後の肌のざらつき度合を揃えることができる。 According to the present invention, for an image including a plurality of subject persons, it is possible to apply different image processing intensities for reducing the degree of skin roughness for each subject person. Therefore, for example, the roughness of the skin after processing of a plurality of subject persons can be made uniform.
図面を参照して、本発明の実施形態にかかる画像処理装置について詳細に説明する。以下の説明において、本発明の画像処理装置をデジタルカメラに適用した例を用いて説明するが、これに限定されない。 An image processing apparatus according to an embodiment of the present invention will be described in detail with reference to the drawings. In the following description, the image processing apparatus of the present invention will be described using an example applied to a digital camera, but the present invention is not limited to this.
(第1実施形態)
図1は、本実施形態の画像処理装置100であるデジタルカメラの構成を示している。
(First embodiment)
FIG. 1 shows the configuration of a digital camera that is an
10はフォーカスレンズを含む撮影レンズであり、12は絞り機能を備える機械式シャッターである。14は撮影レンズ10及びシャッター12などの光学系から入射される光学像を電気信号に変換する撮像素子であり、16は撮像素子14のアナログ信号出力をデジタル信号に変換するA/D(アナログ/デジタル)変換器である。
18は、撮像素子14、A/D変換器16にクロック信号や制御信号を供給するタイミング発生回路であり、タイミング発生回路18はメモリ制御回路22及びシステム制御回路50により制御される。12の機械式シャッター以外にも、18の撮像素子のリセットタイミングの制御によって、電子シャッターとして、蓄積時間を制御することが可能であり、動画撮影などに使用可能である。
A
20は画像処理回路であり、A/D変換器16からのデータ或いはメモリ制御回路22からのデータに対して所定の画素補間処理や色変換処理を行う。また画像処理回路20は撮像した画像データから一部領域の切り出し、変倍処理を行うことで電子ズーム機能が実現することができる。また、画像処理回路20においては、撮像した画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路50が露光制御手段40、測距制御手段42を制御して、AF(オートフォーカス)処理、AE(自動露光)処理、EF(フラッシュ調光)処理を行う。
An
さらに、画像処理回路20はAWB(オートホワイトバランス)処理も行っている。さらに、画像処理回路20は被写体検出回路を含む。被写体検出方法としてはパターンマッチング、特徴点抽出など、公知の方法を適用可能で特に限定されない。
Further, the
また、検出する被写体の例として本実施形態では被写体人物の顔とするが、公知の被写体検出方法を用いて他の被写体(被写体領域)を検出するものであってもよく、検出される被写体は限定されない。本実施形態では被写体検出回路は顔検出回路とし、検出結果の出力として顔領域の座標(領域情報)、目の座標などを出力する。 In this embodiment, the face of the subject person is used as an example of a subject to be detected. However, other subjects (subject regions) may be detected using a known subject detection method. It is not limited. In this embodiment, the subject detection circuit is a face detection circuit, and outputs the coordinates of the face area (area information), the eye coordinates, etc. as the output of the detection result.
22はメモリ制御回路であり、A/D変換器16、タイミング発生回路18、画像処理回路20、メモリ30、圧縮・伸長回路32を制御する。A/D変換器16のデータが画像処理回路20、メモリ制御回路22を介して、或いはA/D変換器16のデータが直接メモリ制御回路22を介して、メモリ30に書き込まれる。
A
28はTFT、LCD等から成る画像表示部であり、メモリ20に書き込まれた表示用の画像データはメモリ制御回路22を介して画像表示部28により表示される。画像表示部28を用いて撮像した画像データを逐次表示すれば、電子ビューファインダー機能を実現することが可能である。また、画像表示部28は、システム制御回路50の指示により任意に表示をON/OFFすることが可能であり、表示をOFFにした場合には画像処理装置100の電力消費を大幅に低減することが出来る。
30は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ30に対して行うことが可能となる。また、メモリ30はシステム制御回路50の作業領域としても使用することが可能である。
31はFlashROM等で構成された不揮発性メモリである。システム制御回路50が実行するプログラムコードは不揮発性メモリ31に書き込まれ、逐次読み出しながらプログラムコードを実行する。また、不揮発性メモリ内にはシステム情報を記憶する領域や、ユーザー設定情報を記憶する領域を設け、さまざまな情報や設定を次回起動時に読み出して、復元することを実現している。
Reference numeral 31 denotes a non-volatile memory composed of a flash ROM or the like. The program code executed by the
32は適応離散コサイン変換(ADCT)等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ30に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ30に書き込む。
40は絞り機能を備えるシャッター12を制御する露光制御手段であり、フラッシュ48と連動することによりフラッシュ調光機能も有するものである。
42は撮影レンズ10のフォーカシングを制御する測距制御手段、44は撮影レンズ10のズーミングを制御するズーム制御手段である。
Reference numeral 42 denotes distance measurement control means for controlling the focusing of the photographing
48はフラッシュであり、AF補助光の投光機能、フラッシュ調光機能も有する。露光制御手段40、測距制御手段42はTTL方式を用いて制御されており、撮像した画像データを画像処理回路20によって演算した演算結果に基づき、システム制御回路50が露光制御手段40、測距制御手段42に対して制御を行う。
A
50は画像処理装置100全体を制御するシステム制御回路である。
A
60、62、64、66、70及び72のそれぞれは、システム制御回路50の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。
ここで、これらの操作手段の具体的な説明を行う。 Here, a specific description of these operating means will be given.
60はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、HDR撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、PC接続モード等の各機能モードを切り替え設定することが出来る。
62はシャッタースイッチSW1で、シャッターボタンの操作途中でONとなり、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理等の動作開始を指示する。
64はシャッタースイッチSW2で、シャッターボタンの操作完了でONとなる。フラッシュ撮影の場合、EF(フラッシュプリ発光)処理を行った後に、AE処理で決定された露光時間分、撮像素子14を露光させる。フラッシュ撮影の場合、この露光期間中にフラッシュを発光させ、露光期間終了と同時に露光制御手段40により遮光することで、撮像素子14への露光を終了させる。また、撮像素子14から読み出した信号を記録媒体200に書き込む記録処理までの一連の処理の動作開始を指示する。より具体的には、A/D変換器16、メモリ制御回路22を介してメモリ30に画像データを書き込む読み出し処理、画像処理回路20やメモリ制御回路22での演算を用いた現像処理、メモリ30から画像データを読み出し、圧縮・伸長回路32での圧縮を行う、などである。
A shutter switch SW2 64 is turned on when the operation of the shutter button is completed. In the case of flash photography, after performing EF (flash pre-emission) processing, the
66は表示切替スイッチで、画像表示部28の表示切替をすることが出来る。この機能により、光学ファインダー104を用いて撮影を行う際に、TFTやLCD等から成る画像表示部28への電流供給を遮断することにより、省電力を図ることが可能となる。
70は各種ボタン、タッチパネルや回転式ダイアル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン等がある。またメニュー移動+(プラス)ボタン、メニュー移動−(マイナス)ボタン、再生画像移動+(プラス)ボタン、再生画像−(マイナス)ボタン、撮影画質選択ボタン、露出補正ボタン、日付/時間設定ボタン等もある。 Reference numeral 70 denotes an operation unit composed of various buttons, a touch panel, a rotary dial, and the like, and includes a menu button, a set button, a macro button, a multi-screen playback page break button, a flash setting button, a single shooting / continuous shooting / self timer switching button, and the like. . Menu move + (plus) button, menu move-(minus) button, playback image move + (plus) button, playback image-(minus) button, shooting quality selection button, exposure compensation button, date / time setting button, etc. is there.
72はユーザーが撮像画像の倍率変更指示を行うズーム操作手段としてのズームスイッチ部である。以下、ズームスイッチ72ともいう。このズームスイッチ72は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ72を用いることにより、ズーム制御手段44に撮影レンズ10の撮像画角の変更を指示し光学ズーム操作を行うトリガとなる。また、画像処理回路20による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更のトリガともなる。
86はアルカリ電池の一次電池やNiCd電池やNiMH電池、Liイオン電池等の二次電池、ACアダプター等からなる電源手段である。
90はメモリカードやハードディスク等の記録媒体とのインタフェース、92はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。
102は、画像処理装置100のレンズ10を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。
Reference numeral 102 denotes protection means that is a barrier that prevents the imaging unit from being soiled or damaged by covering the imaging unit including the
104は光学ファインダであり、画像表示部28による電子ファインダー機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。
110は通信手段でUSB、IEEE1394、LAN、無線通信、等の各種通信機能を有する。
A
112は通信手段110により画像処理装置100を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。
200はメモリカードやハードディスク等の記録媒体である。記録媒体200は、半導体メモリや磁気ディスク等から構成される記録部202、画像処理装置100とのインタフェース204、画像処理装置100と接続を行うコネクタ206を備えている。
Reference numeral 200 denotes a recording medium such as a memory card or a hard disk. The recording medium 200 includes a
210はメモリカードやハードディスク等の記録媒体である。 Reference numeral 210 denotes a recording medium such as a memory card or a hard disk.
上述した画像処理装置100内の各構成は一例であって、ハードウェアで構成しても、その一部あるいは全部をソフトウェアモジュールとして構成しても良い。
Each configuration in the
図2は、本実施形態の画像処理回路20の構成を説明する図である。
FIG. 2 is a diagram illustrating the configuration of the
画像処理装置20は、撮像素子14から出力される画像信号(RGB信号)を入力として、画像信号から輝度信号成分を抽出し、ガンマ変換、ノイズリダクション等の処理を行って輝度信号を生成する輝度生成部201、画像信号から色信号成分を抽出し、ガンマ変換、色マトリクス処理等の処理を行って色信号を生成する色生成部202、画像の高周波成分を抽出し、高周波成分を強調するエッジ強調部203からなる現像処理部204にてYUV信号に変換する。RGBからYUVの変換の一例を式(1)に示す。
Y=0.299R+0.587G+0.114B
U=−0.169R−0.331G+0.500B
V=0.500R−0.419G−0.081B ・・・(1)
The
Y = 0.299R + 0.587G + 0.114B
U = −0.169R−0.331G + 0.500B
V = 0.500R-0.419G-0.081B (1)
さらに、画像処理回路20は、顔パターンを予め持ち、パターンマッチングにより画像から被写体人物の顔を検出する顔検出部205、輝度信号Yと色差信号UVのそれぞれに対して一定の所定範囲を設け、輝度信号Yと色差信号UVがともに一定の所定範囲内である領域を肌領域と判定する肌領域検出部206、式(2)で求まる指定領域内の輝度信号Yの分散値σ2を取得する分散値取得部207から構成される。
Further, the
ここで、式(2)のnは肌領域から肌のざらつき度合を判定するための指定領域の画素数、 Here, n in Equation (2) is the number of pixels in the designated area for determining the degree of skin roughness from the skin area,
は指定領域の平均値である。また、分散値は顔のざらつき度合を示す指標値である。 Is the average value of the specified area. The variance value is an index value indicating the degree of roughness of the face.
図3は、本実施形態における画像処理の動作の概要を説明する図である。 FIG. 3 is a diagram for explaining the outline of the image processing operation in the present embodiment.
図3(a)の構図において、人物301、302、303がいる場合、顔検出部205による顔検出結果として、それぞれの人物の顔を示す顔枠304、305、306が検出される。ここで、画像処理回路20は、検出された複数の顔に対して優先順位付けを行い、最も優先順位が高い被写体人物の顔を主顔とし、その他の被写体人物の顔を副顔として特定する。図3(a)において、顔枠304、つまり人物301の顔が主顔である。
In the composition of FIG. 3A, when there are
ここで、優先順位付けは、さまざま方法を用いることができる。たとえば予め登録された被写体人物を被写体認識によって認識した場合は、その被写体人物に最も優先順位を高く設定することができる。他に画像における被写体の位置や大きさによって、優先順位付けを行っても良い。 Here, various methods can be used for prioritization. For example, when a subject person registered in advance is recognized by subject recognition, the highest priority can be set for the subject person. Alternatively, prioritization may be performed according to the position and size of the subject in the image.
次に、図3(b)は主顔304で肌領域検出を行なった結果であり、肌領域を示す図(以降、肌Mapと称する)である。肌領域検出部206は、主顔304の領域における輝度信号Yと色差信号UVの平均値(以降、肌YUVと称する)を求め、肌YUVから一定のYUVレベルの範囲に該当する領域を肌領域として検出することにより、主顔の顔肌311、副顔の顔肌312、副顔の腕313、314を肌領域として検出でき、それ以外の領域315は肌領域でないと判定する。
Next, FIG. 3B shows a result of skin area detection performed on the
図3(c)は、副顔305に基づいて肌領域検出を行なった肌Mapであり、同様に、副顔の肌YUVを求め、肌YUVにある範囲を設定したYUVレベルに該当した領域を肌領域として検出することにより、副顔の顔肌321、副顔の腕322、323、主顔の顔肌324が肌領域として検出でき、それ以外の領域325は肌領域でないと判定する。
FIG. 3C shows a skin Map obtained by detecting the skin area based on the
図3(d)は、副顔306に基づいて肌領域検出を行なった肌Mapであり、同様に、副顔の肌YUVを求め、肌YUVにある範囲を設定したYUVレベルに該当した領域を肌領域として検出することにより、副顔の顔肌331が肌領域として検出でき、それ以外の領域332は肌領域でないと判定する。
FIG. 3D shows a skin Map obtained by detecting the skin area based on the
図3(e)は、図3(b)と主顔の顔枠304をマージした結果であり、マージして残った肌領域が顔肌領域341で、それ以外の領域342からなる。顔肌領域341内に分散値取得枠343を設定し、主顔304の分散値を取得する。図3(f)は、図3(c)と副顔の顔枠305をマージした結果であり、マージして残った肌領域が顔肌領域351で、それ以外の領域352からなる。顔肌領域351内に分散値取得枠353を設定し、副顔305の分散値を取得する。図3(g)は、図3(d)と副顔の顔枠306をマージした結果であり、マージして残った肌領域が顔肌領域361で、それ以外の領域362からなる。顔肌領域361内に分散値取得枠363を設定し、副顔306の分散値を取得する。
FIG. 3E shows the result of merging the
図4は、本実施形態の動作フローを説明する図である。 FIG. 4 is a diagram for explaining the operation flow of this embodiment.
最初に顔検出及び肌領域検出のためにたとえば画像全体から定まる初期パラメータにて現像を行う(S401)。次に、撮影した画像に対して顔検出S402にて顔検出を行ない、検出された複数の顔から優先順位付けして、主顔1つ及び残りの副顔複数を検出する。 First, for face detection and skin area detection, for example, development is performed with initial parameters determined from the entire image (S401). Next, face detection is performed on the photographed image in face detection S402, and priority is given to the detected plurality of faces to detect one main face and the remaining sub-faces.
顔があるかをS403で判定し、顔が1つも検出されない場合はそのまま画像を保存して終了する。顔が検出された場合は検出した顔の数を取得する(S404)。主顔の輝度信号と色差信号の平均値(以降、肌YUV)を求め、肌YUVにある範囲を設定したYUVレベルに該当した領域を肌領域として検出することにより肌Mapを取得する(S405)。YUV範囲の例を式(3)に示す。
主顔のY=121、U=−15、V=20
のとき、
Y=121±10%、−15±5%、V=20±5% ・・・(3)
In step S403, it is determined whether there is a face. If no face is detected, the image is saved as it is, and the process ends. If a face is detected, the number of detected faces is acquired (S404). An average value (hereinafter referred to as skin YUV) of the luminance signal and color difference signal of the main face is obtained, and a skin Map is obtained by detecting a region corresponding to the YUV level in which a range in the skin YUV is set as a skin region (S405). . An example of the YUV range is shown in Equation (3).
Main face Y = 121, U = -15, V = 20
When,
Y = 121 ± 10%, −15 ± 5%, V = 20 ± 5% (3)
主顔の肌YUVにより得られた肌Mapと主顔の顔枠をマージすることにより、顔枠内の肌領域のみ検出した肌Map(以降、顔肌Mapと称する)を取得する(S406)。主顔の顔肌領域内に分散値取得枠を設定し、主顔の顔肌分散値を取得する(S407)。顔数をカウントし(S408)、顔数だけ分散値を取得していなければS405の肌Map取得、S406の顔肌Map取得、S407の分散値取得を副顔の数だけ繰り返す。分散値は顔のざらつき度合を示す指標値であり、分散値を比較することで各顔のざらつき度合を比較することができる。各顔肌分散値が得られたら各顔肌分散値を比較し(S409)、主顔及び副顔の分散値が予め決定した、もしくはユーザが指定した主顔の分散値の目標値に揃うように各顔領域におけるノイズリダクションの強度のシフト量を決定する(S410)。ここでノイズリダクションの強度を顔ごとに個別に決定することで、それぞれの顔のざらつき度合に応じた処理を行うことができる。上記処理により、画像処理後の肌のざらつき度合が近くなるように、顔ごとに異なる強度で画像処理を行うことができる。 By merging the skin Map obtained from the skin YUV of the main face and the face frame of the main face, a skin Map (hereinafter referred to as a face skin Map) in which only the skin area within the face frame is detected is acquired (S406). A dispersion value acquisition frame is set in the face skin area of the main face, and the face skin dispersion value of the main face is acquired (S407). The number of faces is counted (S408), and if the variance value is not acquired for the number of faces, the skin map acquisition in S405, the face skin Map acquisition in S406, and the variance value acquisition in S407 are repeated for the number of sub-faces. The variance value is an index value indicating the degree of roughness of the face, and the degree of roughness of each face can be compared by comparing the variance values. When the facial skin dispersion values are obtained, the facial skin dispersion values are compared (S409), so that the dispersion values of the main face and the sub-face are determined in advance or match the target values of the dispersion values of the main face specified by the user. Then, the shift amount of the noise reduction intensity in each face area is determined (S410). Here, by determining the intensity of noise reduction individually for each face, it is possible to perform processing according to the degree of roughness of each face. With the above processing, image processing can be performed with different intensities for each face so that the degree of roughness of the skin after image processing is close.
次に、主顔のノイズリダクションの強度のシフト量で現像し(S411)、顔数をカウントし(S412)、顔数だけ現像を完了していなければS411で副顔のノイズリダクションの強度のシフト量で現像を繰り返す。顔肌領域以外は初期パラメータで現像した画像を使用し、顔肌領域はそれぞれのノイズリダクションの強度のシフト量で現像した画像を合成し、画像を保存する(S413)。 Next, development is performed with the shift amount of the noise reduction intensity of the main face (S411), the number of faces is counted (S412), and if development is not completed for the number of faces, the intensity reduction intensity of the subface is shifted in S411. Repeat development with amount. An image developed with initial parameters is used for areas other than the face skin area. For the face skin area, images developed with the respective shift amounts of noise reduction are combined, and the image is stored (S413).
ここで、本実施形態では肌分散値取得(S407)は顔領域全体で取得すると説明したが、顔のサイズにより領域の大きさや位置を変更してもよい。例えば顔が小さい場合は顔全体で、顔が大きい場合は目の下の頬の部分で分散値を取得してもよい。 Here, in the present embodiment, it has been described that the skin variance value acquisition (S407) is acquired for the entire face area, but the size and position of the area may be changed depending on the size of the face. For example, the variance value may be acquired for the entire face when the face is small, and the cheek portion under the eyes when the face is large.
また、本実施形態では、分散値の取得と美肌画像処理の反映をともに顔肌Map(S406)のみの領域と説明したが、美肌画像処理の反映は顔肌のみに限らず、肌Map(S405)で行なってもよい。つまり顔以外の肌領域に対しても処理を行ってもよい。 In the present embodiment, the acquisition of the dispersion value and the reflection of the beautiful skin image processing are both described as the region of the facial skin Map (S406). However, the reflection of the beautiful skin image processing is not limited to the facial skin, but the skin Map (S405). ). That is, the process may be performed on a skin region other than the face.
さらに、本実施形態では、得られた肌Mapをそのまま用いるように説明したが、肌Mapにおいて、ノイズリダクション処理を行う肌領域と処理を行わないそれ以外の領域との境界が急峻だと境界が認識でき、不自然な画像となってしまう。そのため、境界をぼかす処理を実施するが、その境界は一定の傾斜でもよく、ノイズリダクションの強度に連動させてもよい。たとえば、ノイズリダクション処理の強度が強いほど境界が不自然になるので、ぼかす処理の強度を強くすることで自然な画像にすることができる。 Furthermore, in the present embodiment, it has been described that the obtained skin Map is used as it is. However, in the skin Map, if the boundary between the skin region where noise reduction processing is performed and the other region where processing is not performed is steep, the boundary is It can be recognized, resulting in an unnatural image. For this reason, the process of blurring the boundary is performed, but the boundary may have a constant slope or may be linked to the intensity of noise reduction. For example, since the boundary becomes unnatural as the noise reduction processing intensity increases, a natural image can be obtained by increasing the intensity of the blurring process.
なお、本実施形態では、シフト量決定S410で分散値に応じたノイズリダクションの強度を変更するが、特に顔の輝度レベルが大きくことなると平均値がかわるため、分散値の比較を行い難い。そのため、主顔から輝度レベルが一定範囲内である副顔のみに対してノイズリダクション処理などの美肌画像処理を実施するなど、取得した顔YUV値の値を主顔と比較して閾値を設定して処理に制限を設けてもよい。また、本実施形態では、全ての顔に対し美肌画像処理を実施しているが、主顔より分散値の小さい副顔に対しては美肌処理を行なわないようにしてもよい。 In the present embodiment, the intensity of noise reduction according to the variance value is changed in the shift amount determination S410. However, since the average value changes especially when the luminance level of the face increases, it is difficult to compare the variance values. Therefore, the threshold value is set by comparing the acquired face YUV value with the main face, such as performing skin-beautifying image processing such as noise reduction only for the sub-face whose luminance level is within a certain range from the main face. The processing may be limited. Further, in this embodiment, the skin beautification image processing is performed on all the faces, but the skin beautification processing may not be performed on the sub-face whose variance value is smaller than that of the main face.
(第2の実施形態)
図5は、本実施形態の動作フローを説明する図である。
(Second Embodiment)
FIG. 5 is a diagram for explaining the operation flow of this embodiment.
最初に顔検出及び肌領域検出のために初期パラメータにて現像を行なう(S501)。撮影した画像に対し、顔検出S502にて顔検出を行ない、検出された複数の顔から優先順位付けして、主顔1つ及び残りの副顔複数を検出する。 First, development is performed with initial parameters for face detection and skin area detection (S501). Face detection is performed on the photographed image in face detection S502, and priority is given to the detected plurality of faces to detect one main face and the remaining sub-faces.
顔があるかをS503で判定し、顔が1つも検出されない場合はそのまま画像を保存して終了する。顔が検出された場合は検出した顔の数を取得する(S504)。S505のシフト現像は、予め指定した複数の異なるノイズリダクションの強度(画像処理パラメータ)で現像して画像処理を行なう。初期パラメータにて現像した画像において、主顔の輝度信号と色差信号の平均値(肌YUV)を求め、肌YUVにある範囲を設定したYUVレベルに該当した領域を肌領域として検出することにより肌Mapを取得する(S506)。 In step S503, it is determined whether there is a face. If no face is detected, the image is saved as it is, and the process ends. If a face is detected, the number of detected faces is acquired (S504). The shift development in S505 performs image processing by developing with a plurality of different noise reduction intensities (image processing parameters) designated in advance. In the image developed with the initial parameters, the average value (skin YUV) of the luminance signal and color difference signal of the main face is obtained, and the area corresponding to the YUV level in which the range in the skin YUV is set is detected as the skin area. Map is acquired (S506).
主顔の肌YUVにより得られた肌Mapと主顔の顔枠をマージすることにより、顔枠内の肌領域のみ検出した肌Map(顔肌Map)を取得する(S507)。初期パラメータにて現像した画像、及び複数の異なるノイズリダクションの強度に可変して現像した画像それぞれに対し、主顔の顔肌領域内に分散値取得枠を設定し、主顔の肌のざらつき度合を示す顔肌分散値を取得する(S508)。 By merging the skin Map obtained from the skin YUV of the main face and the face frame of the main face, a skin Map (face skin Map) in which only the skin area within the face frame is detected is acquired (S507). For each of the images developed with the initial parameters and the images developed by varying the intensity of different noise reductions, a dispersion value acquisition frame is set in the face skin area of the main face, and the degree of roughness of the main face skin Is obtained (S508).
顔数をカウントし(S509)、顔数だけ分散値を取得していなければ、S506の肌Map取得、S507の顔枠と肌Mapのマージ、S508の分散値取得の一連の処理を副顔の数だけ繰り返す。 The number of faces is counted (S509), and if the variance value is not acquired for the number of faces, a series of processes of obtaining the skin map in S506, merging the face frame and the skin Map in S507, and obtaining the variance value in S508 are performed. Repeat as many times as you like.
次に、各顔肌分散値が得られたら各顔肌分散値を比較し(S510)、初期パラメータにて現像した画像、及び複数の異なるノイズリダクションの強度で現像した画像のうち、主顔及び副顔の分散値が予め決定した、もしくはユーザが指定した主顔の分散値の目標値に揃うように画像を主顔及び副顔それぞれにおいて選択する(S511)。顔肌領域以外は初期パラメータで現像した画像を使用し、顔肌領域はそれぞれのノイズリダクションの強度のシフト量で現像した画像を合成し、画像を保存する(S512)。 Next, when the facial skin dispersion values are obtained, the facial skin dispersion values are compared (S510). Among the images developed with the initial parameters and the images developed with a plurality of different noise reduction intensities, The image is selected for each of the main face and the sub-face so that the sub-face dispersion value is determined in advance or is matched with the target value of the main face dispersion value designated by the user (S511). An image developed with initial parameters is used for areas other than the face skin area. For the face skin area, images developed with the respective shift amounts of noise reduction are combined, and the image is stored (S512).
なお、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。 The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads the program code. It is a process to be executed. In this case, the program and the storage medium storing the program constitute the present invention.
以上が本発明の実施形態の説明であるが、本発明は、本発明の技術思想の範囲内において、上記実施形態に限定されるものではなく、特許請求の範囲に示した範囲で種々の変更が可能である。 The above is the description of the embodiments of the present invention. However, the present invention is not limited to the above-described embodiments within the scope of the technical idea of the present invention, and various modifications can be made within the scope shown in the claims. Is possible.
14 撮像素子
20 画像処理回路
28 画像表示部
50 システム制御部
204 現像処理部
205 顔検出部
206 肌領域検出部
207 分散値取得部
DESCRIPTION OF
Claims (9)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015024484A JP2016148933A (en) | 2015-02-10 | 2015-02-10 | Image processing system and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015024484A JP2016148933A (en) | 2015-02-10 | 2015-02-10 | Image processing system and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016148933A true JP2016148933A (en) | 2016-08-18 |
JP2016148933A5 JP2016148933A5 (en) | 2018-03-29 |
Family
ID=56688384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015024484A Pending JP2016148933A (en) | 2015-02-10 | 2015-02-10 | Image processing system and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016148933A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107730465A (en) * | 2017-10-09 | 2018-02-23 | 武汉斗鱼网络科技有限公司 | Face U.S. face method and device in a kind of image |
CN113080874A (en) * | 2021-04-17 | 2021-07-09 | 北京美医医学技术研究院有限公司 | Multi-angle cross validation intelligent skin measuring system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004246456A (en) * | 2003-02-12 | 2004-09-02 | Omron Corp | Apparatus and method for image editing |
JP2006338377A (en) * | 2005-06-02 | 2006-12-14 | Fujifilm Holdings Corp | Image correction method, apparatus, and program |
JP2009207027A (en) * | 2008-02-29 | 2009-09-10 | Olympus Imaging Corp | Imaging apparatus and imaging method |
JP2010200312A (en) * | 2009-01-28 | 2010-09-09 | Nikon Corp | Electronic camera and image processing program |
JP2013137406A (en) * | 2011-12-28 | 2013-07-11 | Furyu Kk | Image processing system, image processing method, and program |
JP2013179550A (en) * | 2012-02-29 | 2013-09-09 | Nikon Corp | Image processing device, imaging device, and program |
-
2015
- 2015-02-10 JP JP2015024484A patent/JP2016148933A/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004246456A (en) * | 2003-02-12 | 2004-09-02 | Omron Corp | Apparatus and method for image editing |
JP2006338377A (en) * | 2005-06-02 | 2006-12-14 | Fujifilm Holdings Corp | Image correction method, apparatus, and program |
JP2009207027A (en) * | 2008-02-29 | 2009-09-10 | Olympus Imaging Corp | Imaging apparatus and imaging method |
JP2010200312A (en) * | 2009-01-28 | 2010-09-09 | Nikon Corp | Electronic camera and image processing program |
JP2013137406A (en) * | 2011-12-28 | 2013-07-11 | Furyu Kk | Image processing system, image processing method, and program |
JP2013179550A (en) * | 2012-02-29 | 2013-09-09 | Nikon Corp | Image processing device, imaging device, and program |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107730465A (en) * | 2017-10-09 | 2018-02-23 | 武汉斗鱼网络科技有限公司 | Face U.S. face method and device in a kind of image |
CN107730465B (en) * | 2017-10-09 | 2020-09-04 | 武汉斗鱼网络科技有限公司 | Face beautifying method and device in image |
CN113080874A (en) * | 2021-04-17 | 2021-07-09 | 北京美医医学技术研究院有限公司 | Multi-angle cross validation intelligent skin measuring system |
CN113080874B (en) * | 2021-04-17 | 2023-02-07 | 北京美医医学技术研究院有限公司 | Multi-angle cross validation intelligent skin measuring system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9485436B2 (en) | Image processing apparatus and image processing method | |
JP6460721B2 (en) | Image processing apparatus, image processing method, and program | |
JP6116299B2 (en) | Imaging apparatus and control method thereof | |
JP6472183B2 (en) | Image processing apparatus, control method thereof, and program | |
JP2019106045A (en) | Image processing device, method, and program | |
JP5889247B2 (en) | Image processing apparatus, image processing method, image processing program, and imaging apparatus | |
JP2018056702A (en) | Image processing device, image processing method and program | |
JP7154758B2 (en) | Image processing device and its control method | |
JP6192416B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
JP6116436B2 (en) | Image processing apparatus and image processing method | |
JP5370555B2 (en) | Imaging apparatus, imaging method, and program | |
JP2014103643A (en) | Imaging device and subject recognition method | |
EP4199528A1 (en) | Image processing apparatus, image capture apparatus, and image processing method | |
JP2016148933A (en) | Image processing system and image processing method | |
JP5414216B2 (en) | Imaging apparatus, control method thereof, and program | |
JP4818130B2 (en) | Imaging apparatus and control method thereof | |
JP2012090041A (en) | Image processing device, method, and program | |
JP2015097322A (en) | Imaging apparatus, control method of the same, program, and storage medium | |
JP6353585B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
JP6433177B2 (en) | Image processing apparatus and image processing method | |
JP2015053652A (en) | Imaging apparatus, and control method and control program for the same | |
JP6289068B2 (en) | Imaging apparatus and control method thereof | |
JP2017038300A (en) | Image processing apparatus and method | |
JP2020088663A (en) | Imaging apparatus | |
JP2020145538A (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180209 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180209 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190225 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190402 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190528 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191015 |