JP2012048344A - Face image processing system, face image processing method, and face image processing program - Google Patents
Face image processing system, face image processing method, and face image processing program Download PDFInfo
- Publication number
- JP2012048344A JP2012048344A JP2010187914A JP2010187914A JP2012048344A JP 2012048344 A JP2012048344 A JP 2012048344A JP 2010187914 A JP2010187914 A JP 2010187914A JP 2010187914 A JP2010187914 A JP 2010187914A JP 2012048344 A JP2012048344 A JP 2012048344A
- Authority
- JP
- Japan
- Prior art keywords
- face image
- component
- processing
- output
- components
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、顔画像情報を入力し美観化処理を施して出力する顔画像処理システム、顔画像処理方法及び顔画像処理プログラムに関する。 The present invention relates to a face image processing system, a face image processing method, and a face image processing program for inputting face image information, performing an aesthetic process, and outputting the result.
従来より、人の顔画像を表す顔画像情報を入力し、この顔画像情報に対して例えば肌色を明るくしたり肌領域の平滑化を行ったりする美観化処理を施して、実際の顔画像よりも奇麗に見えるように処理した顔画像を出力することができるシステムが知られている（例えば、非特許文献１参照）。 Conventionally, face image information representing a person's face image is input, and the face image information is subjected to an aesthetic process such as brightening the skin color or smoothing the skin region. There is known a system that can output a face image processed so that it looks beautiful (see Non-Patent Document 1, for example).
このシステムは、いわゆるε−フィルタバンクなる非線形ディジタルフィルタバンクにインタラクティブ進化計算（Ｉｎｔｅｒａｃｔｉｖｅ Ｅｖｏｌｕｔｉｏｎａｒｙ Ｃｏｍｐｕｔｉｎｇ：ＩＥＣ）を導入し、更にアンシャープマスキングによる画像強調フィルタを導入して顔画像の輪郭を強調し、画像全体のぼけを抑制するように構成されている。 This system introduces interactive evolutionary computing (IEC) into a nonlinear digital filter bank, which is a so-called ε-filter bank, and further introduces an image enhancement filter by unsharp masking to enhance the contour of a face image. It is configured to suppress overall blurring.
しかしながら、上述した非特許文献１に開示されているシステムでは、顔画像の輪郭を強調して画像全体のぼけを抑制することはできるが、これと共に顔画像がはっきりし過ぎて場合によってはきつい感じに見られる顔画像が生成されてしまうという問題があった。 However, in the system disclosed in Non-Patent Document 1 described above, it is possible to suppress the blur of the entire image by emphasizing the contour of the face image. There is a problem in that the face image seen in is generated.
この発明は、上述した従来技術による問題点を解消するため、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見える顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することができる顔画像処理システム、顔画像処理方法及び顔画像処理プログラムを提供することを目的とする。 In order to eliminate the above-mentioned problems caused by the prior art, the present invention generates a face image that enhances the shadows and enhances the shadows and deeply and clearly engraves the face image. It is an object of the present invention to provide a face image processing system, a face image processing method, and a face image processing program that can output a face image that looks beautiful.
本発明の一態様に係る顔画像処理システムは、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割し、前記第１、第２及び第５の成分を抽出すると共に前記第３及び第４の成分を除去するフィルタ手段と、前記フィルタ手段によって抽出された第１の成分に対して非線形勾配処理を施す非線形処理手段と、前記非線形処理手段によって非線形勾配処理が施された第１の成分と、前記フィルタ手段によって抽出された第２及び第５の成分とを合成する合成手段と、前記合成手段によって合成された合成成分に対して輪郭強調処理を施して出力される顔画像を表す顔画像情報を生成する強調処理手段と、前記強調処理手段によって生成された顔画像情報に基づく出力顔画像を出力する出力手段とを備えたことを特徴とする。 The face image processing system according to an aspect of the present invention is configured to convert the face image information constituting the input face image into first and second components indicating a face structural component in an amplitude-frequency space, and the facial skin information. The first component is divided into a third component indicating a stain component, a fourth component indicating a wrinkle component of the facial skin, and a fifth component indicating a natural uneven component of the facial skin. Filter means for extracting a fifth component and removing the third and fourth components; Non-linear processing means for applying non-linear gradient processing to the first component extracted by the filter means; and the non-linear processing A synthesizing unit that synthesizes the first component subjected to nonlinear gradient processing by the unit and the second and fifth components extracted by the filter unit; and a contour for the synthesized component synthesized by the synthesizing unit Output with emphasis processing And emphasis processing means for generating a facial image information representing a face image, characterized by comprising an output means for outputting the output face image based on the facial image information generated by the enhancement processing unit.
前記顔画像情報は、例えば前記フィルタ手段、前記非線形処理手段及び前記強調処理手段を介して複数生成され、前記出力手段は、例えば複数生成された顔画像情報に基づく複数の出力顔画像を表示画面上に表示し、前記表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを受け付ける入力手段と、前記入力手段によって前記出力顔画像の選択指示が受け付けられた場合に、選択された出力顔画像を表す顔画像情報に基づき前記フィルタ手段、前記非線形処理手段及び前記強調処理手段における各処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する演算手段とを更に備えた構成であっても良く、前記フィルタ手段、前記非線形処理手段及び前記強調処理手段は、前記演算手段によって設定されたパラメータに基づく顔画像情報の生成を、前記入力手段によって前記出力顔画像の決定指示が受け付けられるまで繰り返し行うものでも良い。 For example, a plurality of face image information is generated via the filter means, the nonlinear processing means, and the enhancement processing means, and the output means displays a plurality of output face images based on the generated face image information, for example. One of a selection instruction of a desired output face image designated by a user and an instruction to determine a final output face image is received from the plurality of output face images displayed above. Each of the filtering means, the non-linear processing means, and the enhancement processing means based on face image information representing the selected output face image when an instruction to select the output face image is received by the input means and the input means. And computing means for setting processing parameters by interactive evolutionary computation by performing crossover processing and mutation processing based on a genetic algorithm. The filter means, the nonlinear processing means, and the enhancement processing means may generate face image information based on the parameters set by the computing means, and the input means may generate the face image information. It may be repeated until a decision instruction is accepted.
前記入力手段によって前記出力顔画像の決定指示が受け付けられた場合に、決定された出力顔画像を表す顔画像情報を生成したときの前記パラメータを基準パラメータとして記憶する記憶手段を更に備えた構成であっても良い。 In a configuration further comprising storage means for storing, as a reference parameter, the parameter when generating face image information representing the determined output face image when an instruction to determine the output face image is received by the input means. There may be.
前記フィルタ手段は、ε−分離型非線形フィルタバンクにより構成され、前記非線形処理手段は、シグモイド関数を用いて非線形勾配処理を行うものでも良い。 The filter means may be composed of an ε-separated nonlinear filter bank, and the nonlinear processing means may perform nonlinear gradient processing using a sigmoid function.
前記非線形処理手段は、例えば非線形勾配処理によって前記第１の成分の明暗の差を強めて陰影を強調する。これにより、顔画像の彫りを深くすることができる。 The nonlinear processing means enhances the shadow by enhancing the difference in brightness of the first component by, for example, nonlinear gradient processing. Thereby, the engraving of the face image can be deepened.
前記フィルタ手段の前段に前記顔画像情報の輝度及び色情報の少なくとも１つが所定の範囲である肌色領域部を抽出する肌色抽出手段を更に備え、前記フィルタ手段、前記非線形処理手段、前記合成手段、及び前記強調処理手段は、前記肌色抽出手段によって抽出された前記肌色領域部を示す顔画像情報のみに対して各処理を施す構成としても良い。このようにすれば、顔画像情報の処理対象領域を肌色領域部に対してのみと限定することができ、肌色領域部以外の顔画像領域への余計な影響を抑え、処理時間を短縮することができる。 The filter means further comprises a skin color extraction means for extracting a skin color area portion in which at least one of the luminance and color information of the face image information is within a predetermined range, the filter means, the nonlinear processing means, the synthesis means, The enhancement processing unit may perform each process only on face image information indicating the skin color area extracted by the skin color extraction unit. In this way, the processing target area of the face image information can be limited to only the skin color area part, and an unnecessary influence on the face image area other than the skin color area part can be suppressed, and the processing time can be shortened. Can do.
前記出力手段は、前記強調処理手段から出力された前記肌色領域部を示す顔画像情報と、前記肌色抽出手段によって前記肌色領域部が抽出された顔画像情報とを合成して前記出力顔画像を出力するものでも良い。 The output means combines the face image information indicating the skin color area portion output from the enhancement processing means and the face image information from which the skin color area portion has been extracted by the skin color extraction means, and outputs the output face image. It may be output.
本発明の一態様に係る顔画像処理方法は、フィルタ手段、非線形処理手段、合成手段、強調処理手段、及び出力手段を備えた顔画像処理システムにおける顔画像処理方法であって、前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割し、前記第１、第２及び第５の成分を抽出すると共に前記第３及び第４の成分を除去する工程と、前記非線形処理手段によって、前記抽出された第１の成分に対して非線形勾配処理を施す工程と、前記合成手段によって、前記非線形勾配処理が施された第１の成分と、前記抽出された第２及び第５の成分とを合成する工程と、前記強調処理手段によって、前記合成された合成成分に対して輪郭強調処理を施して出力される顔画像を表す顔画像情報を生成する工程と、前記出力手段によって、前記生成された顔画像情報に基づく出力顔画像を出力する工程とを備えたことを特徴とする。 A face image processing method according to an aspect of the present invention is a face image processing method in a face image processing system including a filter unit, a nonlinear processing unit, a synthesis unit, an enhancement processing unit, and an output unit. The face image information constituting the input face image is a first component and a second component indicating a facial structural component in an amplitude-frequency space; a third component indicating a facial skin stain component; Dividing into a fourth component indicating a wrinkle component of the skin and a fifth component indicating a natural uneven component of the skin of the face, extracting the first, second and fifth components and the third and A step of removing a fourth component, a step of applying a non-linear gradient process to the extracted first component by the non-linear processing means, and a first step of applying the non-linear gradient process by the synthesizing means. The ingredients and the extracted A step of combining the second component and the fifth component, a step of generating face image information representing a face image output by performing an edge enhancement process on the combined component by the enhancement processing unit, A step of outputting an output face image based on the generated face image information by the output means.
本発明の一態様に係る顔画像処理プログラムは、フィルタ手段、非線形処理手段、合成手段、強調処理手段、及び出力手段を備えたコンピュータを有する顔画像処理システムにて顔画像処理を実行させるための顔画像処理プログラムであって、前記コンピュータに、前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割させ、前記第１、第２及び第５の成分を抽出させると共に前記第３及び第４の成分を除去させるステップと、前記非線形処理手段によって、前記抽出された第１の成分に対して非線形勾配処理を施させるステップと、前記合成手段によって、前記非線形勾配処理が施された第１の成分と、前記抽出された第２及び第５の成分とを合成させるステップと、前記強調処理手段によって、前記合成された合成成分に対して輪郭強調処理を施させて出力される顔画像を表す顔画像情報を生成させるステップと、前記出力手段によって、前記生成された顔画像情報に基づく出力顔画像を出力させるステップとを実行させることを特徴とする。 A face image processing program according to one aspect of the present invention is for causing a face image processing to be executed in a face image processing system having a computer including a filter unit, a non-linear processing unit, a synthesis unit, an enhancement processing unit, and an output unit. A face image processing program comprising: first and second components indicating facial structure components in an amplitude-frequency space, the face image information constituting the face image input to the computer by the filter means; The first component representing a facial skin stain component, the fourth component representing the facial skin wrinkle component, and the fifth component representing the natural unevenness component of the facial skin are divided into the first component, Extracting the second and fifth components and removing the third and fourth components; and applying nonlinear gradient processing to the extracted first component by the nonlinear processing means. Combining the first component that has been subjected to the nonlinear gradient processing and the extracted second and fifth components by the combining unit, and the combining unit by the enhancement processing unit. Generating face image information representing a face image to be output by performing contour enhancement processing on the synthesized component, and outputting an output face image based on the generated face image information by the output means Are executed.
本発明によれば、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見える顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することができる。更に、入力された顔画像から輝度及び色情報などを用いて肌色領域部を抽出し、抽出した肌色領域部を示す顔画像情報のみに対して各処理を施すことにより、顔画像における処理対象領域を限定することができ肌色領域以外の顔画像領域への余計な影響を防いだり、処理時間を短縮したりすることができる。 According to the present invention, it is possible to generate a face image that enhances the difference in brightness of the face image, emphasizes the shadow, looks deeply and clearly tightened, and outputs a face image that looks more beautiful than the actual face image. it can. Further, a skin color area portion is extracted from the input face image using luminance and color information, and each process is performed only on the face image information indicating the extracted skin color area portion, thereby processing areas in the face image. Can be limited, and an unnecessary influence on the face image area other than the skin color area can be prevented, and the processing time can be shortened.
以下に、添付の図面を参照して、この発明に係る顔画像処理システム、顔画像処理方法及び顔画像処理プログラムの実施の形態を詳細に説明する。 Embodiments of a face image processing system, a face image processing method, and a face image processing program according to the present invention will be described below in detail with reference to the accompanying drawings.
図１は、本発明の一実施形態に係る顔画像処理システムの全体構成を示すブロック図である。図２は、この顔画像処理システムの画像情報処理部の構成を示すブロック図である。図３は、この画像情報処理部の具体的な構成を示すブロック図である。図４は、この画像処理部における非線形関数の例を示す図である。 FIG. 1 is a block diagram showing the overall configuration of a face image processing system according to an embodiment of the present invention. FIG. 2 is a block diagram showing the configuration of the image information processing unit of this face image processing system. FIG. 3 is a block diagram showing a specific configuration of the image information processing unit. FIG. 4 is a diagram illustrating an example of a nonlinear function in the image processing unit.
図１に示すように、顔画像処理システムは、図示しないコンピュータやワークステーション等のハードウェア上で実現されるものである。この顔画像処理システムは、例えば入力された顔画像を構成する入力顔画像情報（画像データ）に基づき各種画像処理を行う画像情報処理部１０と、画像情報処理部１０によって画像処理された顔画像情報に対して輪郭強調処理を行って出力される顔画像を表す出力顔画像情報を生成する強調処理部２０とを備えて構成されている。 As shown in FIG. 1, the face image processing system is realized on hardware such as a computer or a workstation (not shown). The face image processing system includes, for example, an image information processing unit 10 that performs various image processing based on input face image information (image data) that constitutes an input face image, and a face image that has undergone image processing by the image information processing unit 10. And an enhancement processing unit 20 that generates output face image information representing a face image output by performing contour enhancement processing on the information.
画像情報処理部１０は、図２に示すように、具体的には入力された顔画像情報を振幅−周波数空間において所定の成分に分割し、抽出・除去するフィルタ処理部１１と、このフィルタ処理部１１から出力された特定の成分に対して非線形処理の一種である非線形勾配処理を施す非線形勾配処理部１２と、この非線形勾配処理部１２から出力された成分とフィルタ処理部１１にて抽出された成分とを加算する加算器１３とを備えて構成されている。 As shown in FIG. 2, specifically, the image information processing unit 10 divides input face image information into predetermined components in the amplitude-frequency space, and extracts and removes the filter processing unit 11, and this filter processing A non-linear gradient processing unit 12 that performs non-linear gradient processing, which is a kind of non-linear processing, on the specific component output from the unit 11, and the component output from the non-linear gradient processing unit 12 and the filter processing unit 11 extract the specific component. And an adder 13 for adding the added components.
フィルタ処理部１１は、例えば図３に示すように、より具体的にはε−分離型非線形フィルタバンク（以下、「ε−フィルタバンク」と呼ぶ。）１１Ａにより構成される。また、非線形勾配処理部１２は、より具体的にはシグモイド関数を用いた非線形勾配処理を行うシグモイド処理部（以下、「ＳＩＧＭ処理部」と略記する。）１２Ａにより構成される。 For example, as illustrated in FIG. 3, the filter processing unit 11 is more specifically configured by an ε-separation type nonlinear filter bank (hereinafter referred to as “ε-filter bank”) 11 </ b> A. More specifically, the non-linear gradient processing unit 12 includes a sigmoid processing unit (hereinafter abbreviated as “SIGM processing unit”) 12A that performs non-linear gradient processing using a sigmoid function.
なお、フィルタ処理部１１は、ε−フィルタを用いたε−フィルタバンク１１Ａの他にも種々の非線形フィルタを用いたフィルタバンクにより構成することができ、非線形勾配処理部１２は、シグモイド関数の他にも種々の非線形関数を用いた非線形勾配処理を行うように構成することができる。 The filter processing unit 11 can be configured by a filter bank using various nonlinear filters in addition to the ε-filter bank 11A using the ε-filter, and the nonlinear gradient processing unit 12 can be a sigmoid function. In addition, it can be configured to perform nonlinear gradient processing using various nonlinear functions.
ここで、まず、ε−フィルタバンク１１Ａで用いられるε−フィルタの原理について説明する。本実施形態に係る顔画像処理システムにおいて、それぞれ第ｎ時点における入力された顔画像情報を入力信号ｘ（ｎ）とし、出力される顔画像情報を出力信号ｙ（ｎ）とすると、ε−フィルタは、次式（１）からなる非再帰型低域通過フィルタに非線形関数Ｆを導入することにより実現され、次式（２）のように表される。 Here, first, the principle of the ε-filter used in the ε-filter bank 11A will be described. In the face image processing system according to the present embodiment, assuming that the input face image information at the nth time point is the input signal x (n) and the output face image information is the output signal y (n), an ε-filter Is realized by introducing a non-linear function F into a non-recursive low-pass filter composed of the following equation (1), and is expressed as the following equation (2).
上記式（１），（２）において、ａｉは、総和が１なる非再帰型低域通過フィルタ係数であり、Ｆは図４（ａ），（ｂ）に示すような非線形関数であって、その絶対値はある値ε以下に制限されている。このとき、入力信号ｘ（ｎ）と出力信号ｙ（ｎ）との差は、次式（３）のようにある値ε’以下に制限される。 In the above equations (1) and (2), a i is a non-recursive low-pass filter coefficient whose sum is 1, and F is a nonlinear function as shown in FIGS. The absolute value is limited to a certain value ε or less. At this time, the difference between the input signal x (n) and the output signal y (n) is limited to a value ε ′ or less as shown in the following equation (3).
このとき、特に全てのａｉが正とすると、ε’＝εである。振幅が十分小さな加法性高周波雑音が入力信号に含まれている場合は、εを雑音の振幅ピーク・ピーク値程度に設定すると、その雑音は上記式（１）により表される低域通過フィルタで平滑される。また、出力信号は入力信号±ε以内となるので、大きな振幅変化を保ちながら雑音の除去を行うことが可能である。 At this time, if all a i are positive in particular, ε ′ = ε. When additive high frequency noise with sufficiently small amplitude is included in the input signal, if ε is set to about the amplitude peak / peak value of the noise, the noise is a low-pass filter expressed by the above equation (1). Smoothed. Further, since the output signal is within the input signal ± ε, it is possible to remove noise while maintaining a large amplitude change.
図５は、顔画像処理システムの画像情報処理部におけるε−フィルタ及び線形低域通過フィルタの振幅−周波数空間の分割例を示す図である。このようなε−フィルタでは、出力信号ｙ（ｎ）としては入力における低周波数成分又は大振幅成分が得られ、それに対し振幅ε以下の小振幅高周波成分は、ｙ（ｎ）−ｘ（ｎ）として得られる。 FIG. 5 is a diagram illustrating an example of division of the amplitude-frequency space of the ε-filter and the linear low-pass filter in the image information processing unit of the face image processing system. In such an ε-filter, a low-frequency component or a large-amplitude component at the input is obtained as the output signal y (n), whereas a small-amplitude high-frequency component having an amplitude ε or less is y (n) −x (n). As obtained.
従って、ｙ（ｎ）−ｘ（ｎ）をｕ（ｎ）と表すと、このε−フィルタは、入力信号ｘ（ｎ）に対して、その振幅−周波数空間を図５（ａ）に示すように分ける。なお、通常の線形低域通過フィルタは、その振幅−周波数空間を図５（ｂ）に示すように分けるものに相当する。 Therefore, when y (n) -x (n) is expressed as u (n), the ε-filter has an amplitude-frequency space as shown in FIG. 5A with respect to the input signal x (n). Divide into In addition, a normal linear low-pass filter is equivalent to what divides the amplitude-frequency space as shown in FIG.5 (b).
図６は、顔画像処理システムのε−フィルタバンクの構成を示す図である。上記のようなε−フィルタをフィルタバンク状に組み合わせると、その入力信号ｘ（ｎ）をその振幅−周波数に応じて複数の領域に分割することができる。従って、これをε−フィルタバンク１１Ａとして、図６に示すように構成することができる。ここで、図６に示すように、ε−フィルタバンク１１Ａは、線形低域通過フィルタとε−フィルタとを組み合わせた構造からなる。 FIG. 6 is a diagram illustrating a configuration of the ε-filter bank of the face image processing system. When the above ε-filters are combined in a filter bank shape, the input signal x (n) can be divided into a plurality of regions according to the amplitude-frequency. Therefore, this can be configured as an ε-filter bank 11A as shown in FIG. Here, as shown in FIG. 6, the ε-filter bank 11A has a structure in which a linear low-pass filter and an ε-filter are combined.
このε−フィルタバンク１１Ａにおいて、Ｌは線形低域通過フィルタであり、Ｅ１，Ｅ２，Ｅ３はε−フィルタである。各フィルタは二次元フィルタとし、ｎは二次元平面における画素の位置（ｉ，ｊ）を表すものとする。なお、各出力信号ｙ１（ｎ）〜ｙ５（ｎ）の総和は入力信号ｘ（ｎ）に等しく、線形低域通過フィルタＬとε−フィルタＥ２の窓サイズは等しくｗ０とし、更にε−フィルタＥ１，Ｅ３の窓サイズも等しくｗ１とする。また、各ε−フィルタＥ１，Ｅ２，Ｅ３の値ε（これを順にε１，ε２，ε３とする。）は、ε１＞ε２＞ε３の関係にあるとする。 In the ε-filter bank 11A, L is a linear low-pass filter, and E1, E2, and E3 are ε-filters. Each filter is a two-dimensional filter, and n represents a pixel position (i, j) in a two-dimensional plane. The sum of the output signals y1 (n) to y5 (n) is equal to the input signal x (n), the window sizes of the linear low-pass filter L and the ε-filter E2 are equal to w0, and the ε-filter E1. , E3 also have the same window size w1. In addition, it is assumed that the values ε of the ε-filters E1, E2, and E3 (which are sequentially referred to as ε1, ε2, and ε3) have a relationship of ε1> ε2> ε3.
図７は、顔画像処理システムのε−フィルタバンクによる振幅−周波数空間における顔画像情報の各成分の分割例を示す図である。このように構成されたε−フィルタバンク１１Ａは、入力信号ｘ（ｎ）の振幅−周波数空間を図７に示すような領域に分割する。顔画像を表す顔画像情報においては、例えば目、鼻、口、眉などの顔の主要部分は一般的に大振幅信号として表されることが知られている。 FIG. 7 is a diagram illustrating an example of division of each component of face image information in the amplitude-frequency space by the ε-filter bank of the face image processing system. The ε-filter bank 11A configured in this manner divides the amplitude-frequency space of the input signal x (n) into regions as shown in FIG. In face image information representing a face image, it is known that main parts of the face such as eyes, nose, mouth, and eyebrows are generally represented as large amplitude signals.
また、顔のベース部分（例えば、頬など）は低周波数信号として表され、顔のしわ（特に、小じわ）部分やしみ部分などの肌の美観を損ねる要因となる成分は、比較的小振幅で周波数が高い信号として表される。更に、顔の自然な凹凸成分はより振幅の小さな高周波数信号として表される。 In addition, the base part of the face (for example, cheeks) is expressed as a low frequency signal, and the components that cause the skin aesthetics such as wrinkles (particularly fine lines) and spots on the face to have a relatively small amplitude. Expressed as a high frequency signal. Furthermore, the natural concavo-convex component of the face is expressed as a high-frequency signal with a smaller amplitude.
そこで、本実施形態に係る顔画像処理システムにおいては、ε−フィルタバンク１１Ａは、入力信号ｘ（ｎ）を図７に示すような振幅−周波数空間にて分割する。すなわち、ε−フィルタバンク１１Ａは、顔の構造成分を示す第１の成分ｙ１（ｎ）及び第２の成分ｙ２（ｎ）と、顔の肌のしみ成分を示す第３の成分ｙ３（ｎ）と、顔の肌のしわ成分を示す第４の成分ｙ４（ｎ）と、顔の肌の自然な凹凸成分を示す第５の成分ｙ５（ｎ）とに分割する。 Therefore, in the face image processing system according to the present embodiment, the ε-filter bank 11A divides the input signal x (n) in an amplitude-frequency space as shown in FIG. In other words, the ε-filter bank 11A includes the first component y1 (n) and the second component y2 (n) indicating the structural component of the face, and the third component y3 (n) indicating the stain component of the facial skin. And the fourth component y4 (n) indicating the wrinkle component of the facial skin and the fifth component y5 (n) indicating the natural uneven component of the facial skin.
そして、顔の構造成分を示す第１及び第２の成分（すなわち、ｙ１（ｎ），ｙ２（ｎ））並びに顔の肌の自然な凹凸成分を示す第５の成分（すなわち、ｙ５（ｎ））を抽出する。これと共に、顔の肌のしみ成分及びしわ成分に相当する振幅周波数成分（すなわち、第３及び第４の成分ｙ３（ｎ），ｙ４（ｎ））のみを除去する。これにより、まず、ε−フィルタバンク１１Ａを通過した段階で肌を滑らかに見せることができるような顔画像情報を構築する。 The first and second components (that is, y1 (n), y2 (n)) indicating the structural components of the face and the fifth component (that is, y5 (n)) indicating the natural unevenness component of the facial skin. ). At the same time, only the amplitude frequency components (that is, the third and fourth components y3 (n) and y4 (n)) corresponding to the stain component and the wrinkle component of the facial skin are removed. Thereby, first, face image information is constructed so that the skin can be made smooth when it passes through the ε-filter bank 11A.
具体的には、図６に示したε−フィルタバンク１１Ａにおいて、線形低域通過フィルタＬ及びε−フィルタＥ１，Ｅ２，Ｅ３の窓サイズｗ０，ｗ１と、ε−フィルタＥ１，Ｅ２，Ｅ３のεの値ε１，ε２，ε３とを適切な値に設定する。すると、図７に示すように、第１の成分ｙ１（ｎ）及び第２の成分ｙ２（ｎ）を顔の主要部分及びベース部分とし、第３の成分ｙ３（ｎ）を肌のしみ成分及び第４の成分ｙ４（ｎ）を肌のしわ成分とし、第５の成分ｙ５（ｎ）を肌の自然な凹凸成分とすることができる。 Specifically, in the ε-filter bank 11A shown in FIG. 6, the linear low-pass filter L and the window sizes w0, w1 of the ε-filters E1, E2, E3 and the ε-filters E1, E2, E3 Values ε1, ε2, and ε3 are set to appropriate values. Then, as shown in FIG. 7, the first component y1 (n) and the second component y2 (n) are the main part and base part of the face, and the third component y3 (n) The fourth component y4 (n) can be a skin wrinkle component, and the fifth component y5 (n) can be a natural uneven component of the skin.
ここで、窓サイズｗ０は肌のしみ成分と顔のベース部分との周波数帯を分けるものとし、窓サイズｗ１は肌のしみ成分と肌の自然な凹凸成分との周波数帯を分けるものとする。また、ε−フィルタＥ１のεの値ε１は、除去すべき肌のしわ成分の振幅（ピーク−ピーク）の最大値程度とし、ε−フィルタＥ２のεの値ε２は、肌のしみ成分の振幅（ピーク−ピーク）の最大値程度、及びε−フィルタＥ３のεの値ε３は、肌の自然な凹凸成分の振幅（ピーク−ピーク）の最大値程度とする。 Here, it is assumed that the window size w0 divides the frequency band between the skin blot component and the face base portion, and the window size w1 divides the frequency band between the skin blot component and the natural unevenness component of the skin. Further, the ε value ε1 of the ε-filter E1 is about the maximum value of the amplitude (peak-peak) of the skin wrinkle component to be removed, and the ε value ε2 of the ε-filter E2 is the amplitude of the skin blot component. The maximum value of (peak-peak) and the ε value ε3 of the ε-filter E3 are about the maximum value of the amplitude (peak-peak) of the natural unevenness component of the skin.
このように構成されたε−フィルタバンク１１Ａにおいては、上述したように入力信号ｘ（ｎ）から顔の肌のしみ及びしわ成分を示す第３及び第４の成分ｙ３（ｎ），ｙ４（ｎ）が除去される。そして、出力される第１、第２及び第５の成分ｙ１（ｎ），ｙ２（ｎ），ｙ５（ｎ）のうち、特定の成分である顔の構造成分を示す第１の成分ｙ１（ｎ）のみがＳＩＧＭ処理部１２Ａに入力される。 In the ε-filter bank 11A configured as described above, as described above, the third and fourth components y3 (n), y4 (n) indicating the facial skin blotches and wrinkle components from the input signal x (n). ) Is removed. Of the first, second, and fifth components y1 (n), y2 (n), and y5 (n) that are output, the first component y1 (n) indicating the structural component of the face that is a specific component ) Is input to the SIGM processing unit 12A.
なお、例えば図２に示す顔構造成分ｕ（ｎ）として、例えば上記の顔の構造成分を示す第１の成分ｙ１（ｎ）のような顔の大まかな構造を表す成分を採用する。そして、これに対して非線形勾配処理部１２（例えば、ＳＩＧＭ処理部１２Ａ）にてコントラスト強調を行い、その後ε−フィルタバンク１１Ａにより除去された成分以外の成分の合成を行うと、顔画像の明るい箇所と暗い箇所の違いが際立ち、顔の陰影を強調することが可能となる。 For example, as the face structure component u (n) shown in FIG. 2, for example, a component representing the rough structure of the face such as the first component y1 (n) indicating the face structure component described above is employed. Then, when contrast enhancement is performed by a non-linear gradient processing unit 12 (for example, a SIGM processing unit 12A) and then components other than the components removed by the ε-filter bank 11A are synthesized, the face image becomes bright. The difference between the part and the dark part stands out, and the shadow of the face can be emphasized.
これにより、ε−フィルタバンク１１Ａを通過したことで肌を滑らかに見せることができるようになった顔画像情報が表す顔画像の奥行き感が、ＳＩＧＭ処理部１２Ａにて強調されて彫りの深い顔立ちを生成することができる。その結果、頬の影が強調されて小顔化されて見える顔画像を生成することができる。 Thereby, the depth feeling of the face image represented by the face image information that can make the skin appear smooth by passing through the ε-filter bank 11A is emphasized by the SIGM processing unit 12A and has a deeply carved feature. Can be generated. As a result, it is possible to generate a face image that looks like a small face with the cheek shadow enhanced.
ここで、コントラスト強調の度合いを調整できるようにするために、例えば顔構造成分ｕ（ｎ）を次式（４）のように変換する。 Here, in order to be able to adjust the degree of contrast enhancement, for example, the face structure component u (n) is converted as shown in the following equation (4).
なお、式（４）中ａは［０，１］のパラメータで、ａが大きい程コントラスト強調が強く施され、ａが０ならコントラスト強調は行われない。このコントラスト強調は、例えば顔構造成分ｕ（ｎ）に対して次に説明する非線形関数Ｆを用いることにより施すことができる。 In equation (4), a is a parameter of [0, 1], and the greater the value of a, the stronger the contrast enhancement. If a is 0, no contrast enhancement is performed. This contrast enhancement can be performed, for example, by using a nonlinear function F described below for the face structure component u (n).
図８及び図９は、顔画像処理システムの非線形勾配処理に用いられる非線形関数の一例を示す図である。ＳＩＧＭ処理部１２Ａは、非線形勾配処理として、具体的には第１の成分ｙ１（ｎ）に対してコントラスト強調を行う。このコントラスト強調には、図８及び図９に示すような強調関数の一種である非線形関数Ｆを用いることができる。 8 and 9 are diagrams illustrating an example of a nonlinear function used for nonlinear gradient processing of the face image processing system. Specifically, the SIGM processing unit 12A performs contrast enhancement on the first component y1 (n) as the nonlinear gradient processing. For this contrast enhancement, a nonlinear function F which is a kind of enhancement function as shown in FIGS. 8 and 9 can be used.
また、この非線形関数Ｆとしては、例えばシグモイド関数ＳＩＧＭを用いることができる。そして、コントラスト強調における輝度の最大値を２５５とすると、第１の成分ｙ１（ｎ）を次式（５）によりｙ１’（ｎ）に置き換える。 As the nonlinear function F, for example, a sigmoid function SIGM can be used. When the maximum luminance value in contrast enhancement is 255, the first component y1 (n) is replaced with y1 '(n) by the following equation (5).
ここで、シグモイド関数ＳＩＧＭとしては、具体的には、例えば次式（６）のようなものを用いることができる。 Here, as the sigmoid function SIGM, specifically, for example, the following equation (6) can be used.
こうして、ＳＩＧＭ処理部１２Ａにて非線形勾配処理が施された第１の成分ｙ１’（ｎ）と、ε−フィルタバンク１１Ａにより抽出された第２及び第５の成分ｙ２（ｎ），ｙ５（ｎ）とを、加算器１３にて加算する。これにより、画像情報処理部１０からの出力信号ｙ１’（ｎ）＋ｙ２（ｎ）＋ｙ５（ｎ）を得ることができる。 Thus, the first component y1 ′ (n) subjected to the nonlinear gradient processing in the SIGM processing unit 12A, and the second and fifth components y2 (n), y5 (n) extracted by the ε-filter bank 11A. ) Is added by the adder 13. Thereby, the output signal y1 '(n) + y2 (n) + y5 (n) from the image information processing unit 10 can be obtained.
なお、上記式（６）のβは、ＳＩＧＭ（ｙ）がｙ＝０で０、ｙ＝２５５で２５５に近くなるような値として１／３０に設定しておく。また、非線形関数Ｆは、例えば図８に示すような曲線形のものであっても、輝度が高いところについては顔のテカリを防止するために一部直線形とするなど、上記の他にも種々の非線形関数を用いることができる。 Note that β in the above equation (6) is set to 1/30 as a value such that SIGM (y) is 0 when y = 0 and close to 255 when y = 255. In addition to the above, the nonlinear function F may have a curved shape as shown in FIG. 8, for example, in a portion where the luminance is high to be partially linear in order to prevent facial shine. Various nonlinear functions can be used.
画像情報処理部１０の出力信号により、上記のように入力顔画像と比べると顔の頬の影が強調されて小顔化されて見える顔画像が生成される。しかし、このままでは画像全体としては多少ぼけた感じの顔画像となってしまう。このため、本実施形態に係る顔画像処理システムでは、更に強調処理部２０において、輪郭強調処理としてアンシャープマスキングを行い、顔画像の輪郭を鮮明にする（例えば、強調度合いのパラメータをγとした）処理が行われる。 The output signal of the image information processing unit 10 generates a face image that looks like a small face by emphasizing the shadow of the cheek of the face as compared with the input face image as described above. However, if it remains as it is, the entire image will be a slightly blurred face image. For this reason, in the face image processing system according to the present embodiment, the enhancement processing unit 20 further performs unsharp masking as contour enhancement processing to sharpen the contour of the face image (for example, the enhancement degree parameter is γ). ) Processing is performed.
そして、各処理において用いられる上述した窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３、αやγなどの各パラメータは、例えば公知の遺伝的アルゴリズム（Ｇｅｎｅｔｉｃ Ａｌｇｏｒｉｔｈｍ：ＧＡ）を用いたインタラクティブ進化計算（ＩＥＣ）により最適値が設定される。 The window sizes w0, w1, ε values ε1, ε2, ε3, α, γ, and other parameters used in each process are interactively evolved using, for example, a known genetic algorithm (GA). An optimum value is set by calculation (IEC).
ここで、アンシャープマスキングは、例えば強調処理部２０への入力信号ｙ（ｉ）（ｊ）に対して出力信号ｚ（ｉ）（ｊ）を得ることにより行われ、このときの画像強調フィルタとしては、次式（７）で表すものを用いることができる。なお、式（７）中のγは強調の程度を決めるパラメータである。 Here, unsharp masking is performed, for example, by obtaining an output signal z (i) (j) with respect to an input signal y (i) (j) to the enhancement processing unit 20, and as an image enhancement filter at this time. Can be represented by the following formula (7). In Expression (7), γ is a parameter that determines the degree of enhancement.
図１０Ａは、顔画像処理システムの顔画像処理前の顔画像を示す図である。図１０Ｂ及び図１０Ｃは、顔画像処理システムの顔画像処理による結果の顔画像を示す図である。なお、顔画像処理に用いられた原画像の大きさは２５６×２５６のＲＧＢ各８ビットのカラー画像であり、出力された結果もカラー画像であるが、図１０Ａ〜Ｃにおいてはカラー画像をモノクロ画像に変更している。 FIG. 10A is a diagram illustrating a face image before face image processing of the face image processing system. 10B and 10C are diagrams illustrating face images obtained as a result of face image processing of the face image processing system. The size of the original image used for the face image processing is a 256 × 256 RGB 8-bit color image, and the output result is also a color image. In FIGS. The image has been changed.
図１０Ａは、顔画像処理システムに入力された顔画像情報により表される入力顔画像を示している。また、図１０Ｂは、ε−フィルタバンク１１Ａにより抽出された第１、第２及び第５の成分ｙ１（ｎ），ｙ２（ｎ），ｙ５（ｎ）に対し、強調処理部２０にて輪郭強調処理を施した結果の顔画像を示している。更に、図１０Ｃは、本実施形態にて説明したように非線形勾配処理が施された第１の成分ｙ１’（ｎ）と第２及び第５の成分とを加算したものに、強調処理部２０にて輪郭強調処理を施した結果の顔画像を示している。 FIG. 10A shows an input face image represented by face image information input to the face image processing system. Further, FIG. 10B shows the outline enhancement by the enhancement processing unit 20 for the first, second and fifth components y1 (n), y2 (n), y5 (n) extracted by the ε-filter bank 11A. The face image obtained as a result of processing is shown. Further, FIG. 10C shows the enhancement processing unit 20 added to the sum of the first component y1 ′ (n) subjected to the nonlinear gradient processing and the second and fifth components as described in the present embodiment. Shows a face image as a result of the contour enhancement processing.
図１０Ｂに示すように、第１、第２及び第５の成分ｙ１（ｎ），ｙ２（ｎ），ｙ５（ｎ）のすべてに対して輪郭強調を施したものは、図１０Ａに示す入力顔画像よりは客観的に奇麗に見える結果となった。しかし、印象としては全体が幾分はっきりし過ぎて場合によってはきつい感じに見られる顔画像となった。すなわち、図１０Ｂに示す顔画像では、画像全体の輪郭強調はされているが、上述したような顔の陰影は強調されていない。 As shown in FIG. 10B, all the first, second, and fifth components y1 (n), y2 (n), and y5 (n) are contour-enhanced to obtain the input face shown in FIG. 10A. The result looked more objectively beautiful than the image. However, the impression is a face image that is somewhat too clear as a whole and can be seen as a tight feeling in some cases. That is, in the face image shown in FIG. 10B, the outline of the entire image is emphasized, but the shadow of the face as described above is not emphasized.
これに対し、図１０Ｃに示すように、第１の成分ｙ１（ｎ）に対してコントラスト強調を行い陰影を強めた後に、第２及び第５の成分ｙ２（ｎ），ｙ５（ｎ）と合成したものに輪郭強調を施したものは、陰影が強調された上で輪郭強調がされている。このため、図１０Ｂに示すものよりも柔らかい印象を与えつつも彫りが深くはっきりと引き締まって見える顔画像となった。これにより、小顔化された印象を与えることができるような顔画像となった。 On the other hand, as shown in FIG. 10C, after contrast enhancement is performed on the first component y1 (n) to enhance the shadow, the second component and the fifth component y2 (n), y5 (n) are combined. In the case where the outline is emphasized, the outline is emphasized after the shadow is emphasized. Therefore, the face image was deeply and clearly tightened while giving a softer impression than that shown in FIG. 10B. As a result, a face image capable of giving a small face impression was obtained.
このように、本実施形態に係る顔画像処理システムによれば、入力された顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見える顔画像を生成することができる。これにより、実際の顔画像（入力顔画像）よりもより奇麗に見える顔画像を出力することができる。 As described above, according to the face image processing system according to the present embodiment, it is possible to generate a face image in which the difference between the brightness and darkness of the input face image is strengthened to emphasize the shadow and the engraving is deeply and clearly tightened. Thereby, it is possible to output a face image that looks more beautiful than an actual face image (input face image).
図１１は、本発明の一実施形態に係る顔画像処理方法による画像処理手順を示すフローチャートである。図１２は、同顔画像処理方法による画像処理手順の一部の処理内容を示すフローチャートである。なお、以降において既に説明した部分と重複する箇所には同一の符号を附して説明を割愛する。 FIG. 11 is a flowchart showing an image processing procedure by the face image processing method according to the embodiment of the present invention. FIG. 12 is a flowchart showing part of the processing contents of the image processing procedure according to the facial image processing method. In the following description, the same reference numerals are assigned to portions that overlap the portions that have already been described, and description thereof is omitted.
この顔画像処理方法は、例えば予め用意された顔画像処理プログラムを顔画像処理システムのコンピュータ（図示せず）に実行させることにより実現する。このコンピュータは、ＣＰＵやＨＤＤ等の各種装置を備える本体と、出力手段として情報を表示画面上に表示するディスプレイと、入力手段として受け付けられた情報をＣＰＵ等に入力する入力インタフェース（入力Ｉ／Ｆ）及びキーボードやマウス等の入力デバイスとを備えた一般的な構成により実現されている。以下、処理主体は特に明記しない場合はコンピュータであるとする。 This face image processing method is realized, for example, by causing a computer (not shown) of the face image processing system to execute a face image processing program prepared in advance. This computer includes a main body including various devices such as a CPU and an HDD, a display that displays information on a display screen as output means, and an input interface (input I / F) that inputs information received as input means to the CPU or the like. ) And an input device such as a keyboard and a mouse. Hereinafter, the processing entity is assumed to be a computer unless otherwise specified.
図１１に示すように、まず、図１０Ａに示すような入力顔画像を表す顔画像情報（画像データ）を入力Ｉ／Ｆを介して入力する（ステップＳ１００）。次に、入力された顔画像情報に基づき、画像情報処理部１０及び強調処理部２０によって複数の初期候補顔画像を生成し（ステップＳ１０２）、これらの候補顔画像をディスプレイ上に表示する（ステップＳ１０４）。ここで、上述したようなｗ０，ｗ１，ε１，ε２，ε３，α，γなどの各パラメータの値の組をランダムにＭ通り作成し、各パラメータの値の組毎に１つの処理画像を求める。結果的にＭ個の出力画像（候補顔画像）が表示される。 As shown in FIG. 11, first, face image information (image data) representing an input face image as shown in FIG. 10A is input via the input I / F (step S100). Next, based on the input face image information, a plurality of initial candidate face images are generated by the image information processing unit 10 and the enhancement processing unit 20 (step S102), and these candidate face images are displayed on the display (step S102). S104). Here, M sets of parameter values such as w0, w1, ε1, ε2, ε3, α, and γ as described above are randomly generated, and one processed image is obtained for each parameter value set. . As a result, M output images (candidate face images) are displayed.
このとき、顔画像処理システムの利用者（ユーザ）は、入力デバイスを利用して、表示された複数の候補顔画像の中から、最も望ましいと主観的に思える顔画像がなかった場合は所望の出力顔画像の選択指示を行う。また、最も望ましいと主観的に思える顔画像があった場合は最終的な出力顔画像の決定指示を行う。 At this time, the user (user) of the face image processing system uses the input device to select a desired face image that does not seem to be the most desirable among the plurality of displayed candidate face images. Instructs selection of output face image. Further, when there is a face image that seems subjectively the most desirable, a final output face image determination instruction is given.
従って、コンピュータは、入力デバイスからの情報に基づき、出力顔画像が決定されたか否かを判断する（ステップＳ１０６）。最終的な出力顔画像の決定指示が受け付けられて出力顔画像が決定された場合（ステップＳ１０６のＹｅｓ）は、その顔画像を表す顔画像情報を画像情報処理部１０及び強調処理部２０にて生成したときの各種パラメータを基準パラメータとして決定し（ステップＳ１０８）、記憶手段に記憶して顔画像情報を出力し（ステップＳ１１０）、本フローチャートによる一連の処理を終了する。なお、ステップＳ１１０における顔画像情報の出力は、画像データを出力したり、ディスプレイ上に表示出力したり、紙面上に印刷出力したりする種々の出力形態が含まれる。 Therefore, the computer determines whether or not an output face image has been determined based on information from the input device (step S106). When the final instruction for determining the output face image is received and the output face image is determined (Yes in step S106), the image information processing unit 10 and the enhancement processing unit 20 store the face image information representing the face image. Various parameters at the time of generation are determined as reference parameters (step S108), stored in the storage means and face image information is output (step S110), and a series of processing according to this flowchart ends. Note that the output of face image information in step S110 includes various output forms such as outputting image data, displaying and displaying on a display, and printing and outputting on paper.
一方、上記ステップＳ１０６にて、出力顔画像が決定されなかった場合（ステップＳ１０６のＮｏ）は、ＧＡを用いたＩＥＣを行って（ステップＳ１２０）次世代の候補顔画像を複数生成する。そして、これら候補顔画像のパラメータを記憶手段に一時記憶して（ステップＳ１３０）、上記ステップＳ１０４に移行し、以降の処理を繰り返す。 On the other hand, when the output face image is not determined in step S106 (No in step S106), IEC using GA is performed (step S120), and a plurality of next-generation candidate face images are generated. Then, the parameters of these candidate face images are temporarily stored in the storage means (step S130), the process proceeds to step S104, and the subsequent processing is repeated.
上記ステップＳ１２０のＩＥＣは、図１２に示すように行われる。すなわち、上記ステップＳ１０６にて出力顔画像が決定されなかった場合は、ユーザによって所望の出力顔画像の選択指示がなされたからである。従って、コンピュータは、所望の出力顔画像の選択により指定された候補顔画像の選択を受け付け（ステップＳ１２２）、受け付けた候補顔画像に適用されたパラメータに基づいて交叉処理（ステップＳ１２４）及び突然変異処理（ステップＳ１２６）を行う。 The IEC in step S120 is performed as shown in FIG. That is, when the output face image is not determined in step S106, the user has instructed the selection of a desired output face image. Therefore, the computer accepts the selection of the candidate face image designated by the selection of the desired output face image (step S122), and performs the crossover process (step S124) and mutation based on the parameters applied to the accepted candidate face image. Processing (step S126) is performed.
ここで、顔画像処理システムにおけるＧＡを用いたＩＥＣについて簡単に説明する。このＩＥＣにおいては、図示は省略するが、まず前提として、例えば上記窓サイズｗ０，ｗ１やεの値ε１，ε２，ε３、その他の各種パラメータを連結して二進数表現する。そして、連結したものを１つの染色とし、その染色体が１つの個体を表すものとする。 Here, IEC using GA in the face image processing system will be briefly described. In this IEC, although not shown, first, as a premise, for example, the window sizes w0 and w1, the values ε1, ε2, and ε3 of ε and other various parameters are connected and expressed as a binary number. Then, the connected one is regarded as one staining, and the chromosome represents one individual.
次に、この個体に対してＧＡを適用する。具体的には、例えばディスプレイ上に表示されたＭ個の候補顔画像（ステップＳ１０４）の中から、例えばユーザが好ましいと思うものをＳ個選択して貰う（例えば、ステップＳ１０６のＮｏ及びステップＳ１２２）。そして、選択されたＳ個の候補顔画像を表す顔画像情報に適用された各種パラメータ、窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３等を再び連結して二進数表現の染色体とみなす。そして、選択されたＳ個の個体に対して交叉処理（ステップＳ１２４）を行い、Ｔ１個の個体を新たに生成する。更に、選択されたＳ個の個体と生成されたＴ１個の個体に対し突然変異処理（ステップＳ１２６）を行い、新たにＴ２個の個体を生成する。ここで、Ｓ＋Ｔ１＋Ｔ２はＭに等しいとする。 Next, GA is applied to this individual. Specifically, for example, out of M candidate face images (step S104) displayed on the display, for example, S items that the user thinks are preferable are selected (for example, No in step S106 and step S122). ). Then, various parameters applied to the face image information representing the selected S candidate face images, window sizes w0, w1, ε values ε1, ε2, ε3, etc. are connected again to be regarded as a binary representation of the chromosome. . Then, a crossover process (step S124) is performed on the selected S individuals to newly generate T1 individuals. Further, a mutation process (step S126) is performed on the selected S individuals and the generated T1 individuals to newly generate T2 individuals. Here, it is assumed that S + T1 + T2 is equal to M.
これら交叉処理及び突然変異処理で得られたＳ＋Ｔ１＋Ｔ２個の個体がそれぞれ表す各種パラメータ、窓サイズｗ０，ｗ１、εの値ε１，ε２，ε３等を用いて顔画像を表す顔画像情報を処理する。これにより、Ｓ＋Ｔ１＋Ｔ２個の顔画像出力（すなわち、候補顔画像）が得られることとなる。 Face image information representing a face image is processed using various parameters represented by the S + T1 + T2 individuals obtained by the crossover process and the mutation process, window sizes w0, w1, ε values ε1, ε2, ε3, and the like. As a result, S + T1 + T2 face image outputs (that is, candidate face images) are obtained.
こうして得られたＳ＋Ｔ１＋Ｔ２個の候補顔画像をディスプレイ上に表示し、ユーザが最も望ましいと主観的に思える顔画像があればそれを出力顔画像として決定し、そうでなければ所望の出力顔画像をＳ個選択する。 The S + T1 + T2 candidate face images obtained in this way are displayed on the display, and if there is a face image that the user seems subjectively most desirable, it is determined as an output face image. Otherwise, a desired output face image is obtained. Select S.
その後、再びＳ個の個体を生成して交叉処理や突然変異処理を行うことを、ユーザが満足する最終的な出力顔画像が決定される（ステップＳ１０６のＹｅｓ）まで繰り返す。このような処理により、ユーザの主観的評価に基づき効果的に美観化された顔画像を生成することが可能となる。 Thereafter, S individuals are generated again and the crossover process and the mutation process are repeated until a final output face image that satisfies the user is determined (Yes in step S106). By such processing, it is possible to generate a face image that is effectively beautified based on the subjective evaluation of the user.
以上述べたように、本実施形態に係る顔画像処理システム、顔画像処理方法及び顔画像処理プログラムによれば、顔画像の明暗の差を強めて陰影を強調し彫りが深くはっきりと引き締まって見える顔画像を生成し、実際の顔画像よりもより奇麗に見える顔画像を出力することが可能となる。 As described above, according to the face image processing system, the face image processing method, and the face image processing program according to the present embodiment, the difference in brightness of the face image is enhanced to emphasize the shadow and the engraving looks deep and clear. It is possible to generate a face image and output a face image that looks more beautiful than the actual face image.
なお、本実施形態で説明した顔画像処理方法は、予め用意された顔画像処理プログラムをコンピュータで実行することにより実現することができることは言うまでもなく、この顔画像処理プログラムは、ＨＤ、ＣＤ−ＲＯＭ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。また、この顔画像処理プログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であっても良い。 Needless to say, the face image processing method described in the present embodiment can be realized by executing a face image processing program prepared in advance on a computer. The program is recorded on a computer-readable recording medium such as a DVD, and is executed by being read from the recording medium by the computer. Further, the face image processing program may be a transmission medium that can be distributed via a network such as the Internet.
また、図示は省略するが、上述した顔画像処理システムにおいて、例えば画像情報処理部１０の前段に、入力顔画像情報の輝度や色情報（例えば、Ｒ，Ｇ，Ｂ成分やＹ信号など）が所定の範囲である肌色領域部を顔画像情報から抽出する肌色抽出部を設けても良い。この場合、画像情報処理部１０や強調処理部２０は、この肌色抽出部で抽出された肌色領域部を示す顔画像情報に対してのみ上述したような処理を行うようにすると、顔画像の肌色領域以外への処理の影響を抑えることができ、処理も迅速になるので、より効果的である。 Although not shown, in the above-described face image processing system, for example, the luminance and color information (for example, R, G, B component, Y signal, etc.) of the input face image information are provided at the front stage of the image information processing unit 10. You may provide the skin color extraction part which extracts the skin color area | region part which is a predetermined range from face image information. In this case, if the image information processing unit 10 or the enhancement processing unit 20 performs the above-described processing only on the face image information indicating the skin color area extracted by the skin color extraction unit, the skin color of the face image Since the influence of processing outside the area can be suppressed and the processing becomes quick, it is more effective.
１０ 画像情報処理部
１１ フィルタ処理部
１１Ａ ε−フィルタバンク
１２ 非線形勾配処理部
１２Ａ ＳＩＧＭ処理部
１３ 加算器
DESCRIPTION OF SYMBOLS 10 Image information processing part 11 Filter processing part 11A (epsilon) -filter bank 12 Nonlinear gradient processing part 12A SIGM processing part 13 Adder
Claims (9)
前記フィルタ手段によって抽出された第１の成分に対して非線形勾配処理を施す非線形処理手段と、
前記非線形処理手段によって非線形勾配処理が施された第１の成分と、前記フィルタ手段によって抽出された第２及び第５の成分とを合成する合成手段と、
前記合成手段によって合成された合成成分に対して輪郭強調処理を施して出力される顔画像を表す顔画像情報を生成する強調処理手段と、
前記強調処理手段によって生成された顔画像情報に基づく出力顔画像を出力する出力手段と
を備えたことを特徴とする顔画像処理システム。 First and second components indicating facial structural components in the amplitude-frequency space, a third component indicating a stain component of the facial skin, and the facial skin. A fourth component indicating a wrinkle component and a fifth component indicating a natural unevenness component of the facial skin, and extracting the first, second and fifth components and the third and third components Filter means for removing four components;
Nonlinear processing means for applying nonlinear gradient processing to the first component extracted by the filtering means;
Combining means for combining the first component subjected to nonlinear gradient processing by the nonlinear processing means and the second and fifth components extracted by the filter means;
Enhancement processing means for generating face image information representing a face image output by performing contour enhancement processing on the synthesized component synthesized by the synthesis means;
An output means for outputting an output face image based on the face image information generated by the enhancement processing means.
前記出力手段は、複数生成された顔画像情報に基づく複数の出力顔画像を表示画面上に表示し、
前記表示された複数の出力顔画像の中から、ユーザにより指定された所望の出力顔画像の選択指示及び最終的な出力顔画像の決定指示のうちのいずれか一つを受け付ける入力手段と、
前記入力手段によって前記出力顔画像の選択指示が受け付けられた場合に、選択された出力顔画像を表す顔画像情報に基づき前記フィルタ手段、前記非線形処理手段及び前記強調処理手段における各処理のパラメータを、遺伝的アルゴリズムに基づく交叉処理及び突然変異処理を行ってインタラクティブ進化計算により設定する演算手段とを更に備え、
前記フィルタ手段、前記非線形処理手段及び前記強調処理手段は、前記演算手段によって設定されたパラメータに基づく顔画像情報の生成を、前記入力手段によって前記出力顔画像の決定指示が受け付けられるまで繰り返し行う
ことを特徴とする請求項１記載の顔画像処理システム。 A plurality of the face image information is generated through the filter means, the nonlinear processing means and the enhancement processing means,
The output means displays a plurality of output face images based on a plurality of generated face image information on a display screen,
Input means for receiving one of a selection instruction of a desired output face image designated by a user and a final instruction of determination of a final output face image from among the plurality of displayed output face images;
When the selection instruction of the output face image is received by the input means, the parameters of each process in the filter means, the nonlinear processing means, and the enhancement processing means are determined based on the face image information representing the selected output face image. An arithmetic means for performing crossover processing and mutation processing based on a genetic algorithm and setting by interactive evolutionary calculation,
The filter means, the non-linear processing means, and the enhancement processing means repeatedly generate face image information based on the parameters set by the calculation means until an instruction to determine the output face image is received by the input means. The face image processing system according to claim 1.
ことを特徴とする請求項２記載の顔画像処理システム。 And a storage unit that stores the parameter when the face image information representing the determined output face image is generated as a reference parameter when an instruction to determine the output face image is received by the input unit. The face image processing system according to claim 2, characterized in that:
前記非線形処理手段は、シグモイド関数を用いて非線形勾配処理を行う
ことを特徴とする請求項１〜３のいずれか１項記載の顔画像処理システム。 The filter means is constituted by an ε-separated nonlinear filter bank,
The face image processing system according to claim 1, wherein the nonlinear processing unit performs nonlinear gradient processing using a sigmoid function.
ことを特徴とする請求項１〜４のいずれか１項記載の顔画像処理システム。 The face image processing system according to claim 1, wherein the non-linear processing means enhances a shadow by enhancing a difference in brightness of the first component by non-linear gradient processing.
前記フィルタ手段、前記非線形処理手段、前記合成手段、及び前記強調処理手段は、前記肌色抽出手段によって抽出された前記肌色領域部を示す顔画像情報のみに対して各処理を施す
ことを特徴とする請求項１〜５のいずれか１項記載の顔画像処理システム。 A skin color extracting means for extracting a skin color area part in which at least one of the luminance and color information of the face image information is in a predetermined range in the previous stage of the filter means;
The filter unit, the non-linear processing unit, the synthesis unit, and the enhancement processing unit perform each process only on face image information indicating the skin color area extracted by the skin color extraction unit. The face image processing system according to claim 1.
ことを特徴とする請求項６記載の顔画像処理システム。 The output means combines the face image information indicating the skin color area portion output from the enhancement processing means and the face image information from which the skin color area portion has been extracted by the skin color extraction means, and outputs the output face image. The face image processing system according to claim 6, wherein the face image processing system is output.
前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割し、前記第１、第２及び第５の成分を抽出すると共に前記第３及び第４の成分を除去する工程と、
前記非線形処理手段によって、前記抽出された第１の成分に対して非線形勾配処理を施す工程と、
前記合成手段によって、前記非線形勾配処理が施された第１の成分と、前記抽出された第２及び第５の成分とを合成する工程と、
前記強調処理手段によって、前記合成された合成成分に対して輪郭強調処理を施して出力される顔画像を表す顔画像情報を生成する工程と、
前記出力手段によって、前記生成された顔画像情報に基づく出力顔画像を出力する工程とを備えたことを特徴とする顔画像処理方法。 A face image processing method in a face image processing system comprising a filter means, a nonlinear processing means, a synthesis means, an enhancement processing means, and an output means,
First and second components indicating facial structural components in amplitude-frequency space, and third components indicating facial skin stain components in the face-frequency information constituting the facial image input by the filter means And dividing into a fourth component indicating a wrinkle component of the facial skin and a fifth component indicating a natural uneven component of the facial skin, and extracting the first, second and fifth components Removing the third and fourth components;
Applying nonlinear gradient processing to the extracted first component by the nonlinear processing means;
Synthesizing the first component subjected to the nonlinear gradient processing and the extracted second and fifth components by the synthesizing unit;
A step of generating face image information representing a face image output by performing an edge enhancement process on the combined composition component by the enhancement processing unit;
And a step of outputting an output face image based on the generated face image information by the output means.
前記コンピュータに、
前記フィルタ手段によって、入力された顔画像を構成する顔画像情報を振幅−周波数空間にて顔の構造成分を示す第１及び第２の成分、前記顔の肌のしみ成分を示す第３の成分、前記顔の肌のしわ成分を示す第４の成分、及び前記顔の肌の自然な凹凸成分を示す第５の成分に分割させ、前記第１、第２及び第５の成分を抽出させると共に前記第３及び第４の成分を除去させるステップと、
前記非線形処理手段によって、前記抽出された第１の成分に対して非線形勾配処理を施させるステップと、
前記合成手段によって、前記非線形勾配処理が施された第１の成分と、前記抽出された第２及び第５の成分とを合成させるステップと、
前記強調処理手段によって、前記合成された合成成分に対して輪郭強調処理を施させて出力される顔画像を表す顔画像情報を生成させるステップと、
前記出力手段によって、前記生成された顔画像情報に基づく出力顔画像を出力させるステップとを実行させる
ことを特徴とする顔画像処理プログラム。 A face image processing program for executing face image processing in a face image processing system having a computer including filter means, nonlinear processing means, synthesis means, enhancement processing means, and output means,
In the computer,
First and second components indicating facial structural components in amplitude-frequency space, and third components indicating facial skin stain components in the face-frequency information constituting the facial image input by the filter means And dividing into a fourth component indicating a wrinkle component of the facial skin and a fifth component indicating a natural uneven component of the facial skin, and extracting the first, second and fifth components Removing the third and fourth components;
Applying nonlinear gradient processing to the extracted first component by the nonlinear processing means;
Synthesizing the first component subjected to the non-linear gradient processing and the extracted second and fifth components by the synthesizing unit;
Generating face image information representing a face image output by performing an edge enhancement process on the combined composition component by the enhancement processing unit;
And a step of outputting an output face image based on the generated face image information by the output means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010187914A JP4768869B1 (en) | 2010-08-25 | 2010-08-25 | Face image processing system, face image processing method, and face image processing program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010187914A JP4768869B1 (en) | 2010-08-25 | 2010-08-25 | Face image processing system, face image processing method, and face image processing program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP4768869B1 JP4768869B1 (en) | 2011-09-07 |
| JP2012048344A true JP2012048344A (en) | 2012-03-08 |
Family
ID=44693583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010187914A Expired - Fee Related JP4768869B1 (en) | 2010-08-25 | 2010-08-25 | Face image processing system, face image processing method, and face image processing program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4768869B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013212177A (en) * | 2012-03-30 | 2013-10-17 | Shiseido Co Ltd | Image analysis method, image analyzer, and image analysis program |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6872742B2 (en) | 2016-06-30 | 2021-05-19 | 学校法人明治大学 | Face image processing system, face image processing method and face image processing program |
| JP2018124605A (en) * | 2017-01-30 | 2018-08-09 | オムロン株式会社 | Image processing system, information processing apparatus, information processing method, and information processing program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4506243B2 (en) * | 2004-03-31 | 2010-07-21 | 花王株式会社 | Skin simulation image forming method |
| JP2008234342A (en) * | 2007-03-20 | 2008-10-02 | Fujifilm Corp | Image processor and image processing method |
-
2010
- 2010-08-25 JP JP2010187914A patent/JP4768869B1/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013212177A (en) * | 2012-03-30 | 2013-10-17 | Shiseido Co Ltd | Image analysis method, image analyzer, and image analysis program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4768869B1 (en) | 2011-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4455897B2 (en) | Image processing method, apparatus, and program | |
| KR101552894B1 (en) | Method and apparatus for enhancing color | |
| WO2018003711A1 (en) | Facial image processing system, facial image processing method, and facial image processing program | |
| JP4952796B2 (en) | Image processing device | |
| JP2006085678A (en) | Image generation method, image generation apparatus, and image generation program | |
| JP5810384B2 (en) | Face image processing system, face image processing method, and face image processing program | |
| Gerstner et al. | Pixelated image abstraction with integrated user constraints | |
| Chandrasekharan et al. | Fuzzy transform for contrast enhancement of nonuniform illumination images | |
| WO2022088976A1 (en) | Image processing method and device | |
| JP4768869B1 (en) | Face image processing system, face image processing method, and face image processing program | |
| JP5460987B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| Zhang et al. | A novel tone mapping method for high dynamic range image by incorporating edge-preserving filter into method based on retinex | |
| TW200931947A (en) | Image processing apparatus and image processing method | |
| JP2017111595A (en) | Image processing device, image processing method, image processing program and image processing system | |
| Li et al. | Adaptive Bregmanized total variation model for mixed noise removal | |
| JP4456096B2 (en) | Noise removing method, apparatus, and program | |
| JP4742068B2 (en) | Image processing method, image processing system, and image processing program | |
| JP4851196B2 (en) | Image processing method and apparatus, and image processing program | |
| Manikpuri et al. | Image enhancement through logarithmic transformation | |
| JP4996554B2 (en) | Image quality improvement device, method and program | |
| JP2009050035A (en) | Image processing method, image processing system, and image processing program | |
| JP2000101841A5 (en) | ||
| JP6325656B2 (en) | Apparatus, program and method for assisting focus evaluation | |
| JP2011049696A (en) | Image processing device, and image processing method | |
| JP2005094452A (en) | Method, system, and program for processing image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20110121 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110121 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20110303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110512 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110607 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110616 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4768869 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |