JP2004180114A

JP2004180114A - Method and device for correcting complexion and imaging device

Info

Publication number: JP2004180114A
Application number: JP2002345643A
Authority: JP
Inventors: Shin Komata; 慎小俣
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2002-11-28
Filing date: 2002-11-28
Publication date: 2004-06-24
Anticipated expiration: 2022-11-28
Also published as: JP4182735B2

Abstract

<P>PROBLEM TO BE SOLVED: To provide a complexion correcting method, a complexion correcting device and an imaging device capable of effectively performing processing for correcting the colors, etc., of a person's face and skin into natural coloring with simple processing. <P>SOLUTION: This complexion correcting device has a color space converting means for converting a color image signal subjected to white balance adjustment into a color information signal based on a prescribed uniform color space determined by lightness information, saturation information and hue information of colors, a skin color information detecting means for detecting only color information signal corresponding to prescribed skin color information from the color information signal converted by the color space converting means, and a facial area extracting means for extracting color information signal corresponding to a facial area of a person from the color information signal corresponding to the prescribed skin color information detected by the skin color information detecting means. In addition, the complexion correcting device is provided with a correction value calculating means for comparing the color information signal corresponding to the facial area extracted by the facial area extracting means with reference skin color information determined on the basis of the uniform color space and for calculating a clor correction value for correcting the hue of the color information signal corresponding to the facial area, and a hue correcting means for correcting the hue of the color information signal converted by the color space converting means on the basis of the hue correction value calculated by the correction value calculating means. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、人物の顔や肌の色などを自然な色合いに補正するための処理を簡単な処理で、且つ、効果的に行うことができる顔色補正方法及び顔色補正装置及び撮像機器に関するものである。
【０００２】
【従来の技術】
従来技術において、デジタルカメラやビデオカメラなどの撮像機器では、例えば、白熱灯の下で撮影すると全体が赤っぽくなり、蛍光灯の下で撮影すると全体に緑がかってしまったり、また、早朝や曇りのときに撮影すると青みが強くなる、というようなことを防止し、自然な色合いで撮影することができるように、撮影時の光源の状態による色温度の変化を補正するためのホワイトバランス調整機能を備えている。
【０００３】
ホワイトバランス調整機能は、すべての色の基準となる白色を様々な撮影環境の光源の下で正しく撮影できるように補正する機能であり、白色を正しく撮影できるように補正することで、様々な光源下で被写体を自然な色合いで撮影することができる。
【０００４】
このホワイトバランス調整機能によって白色を正しく撮影できるように調整した場合であっても、人物を撮影したときに顔や肌の色などが不自然な色合いで撮影されてしまうことが多くある。
【０００５】
そこで、人物を撮影する場合、被写体が人物か否かを判別し、人物である場合は、更に、その人物の顔面領域を判別し、判別した顔面領域の顔色に基づいて全体のホワイトバランスの補正をする方法や装置等も考案されている（例えば、特許文献１参照。）。
【０００６】
【特許文献１】
特開２００１−１４８８６３号公報（第４−７頁、図３、４）
【０００７】
【発明が解決しようとする課題】
しかしながら、被写体が人物か否かを判別し、更に、その人物の顔面領域を判別し、判別した顔面領域の顔色に基づいて全体のホワイトバランスの補正をするという処理は、複雑で、且つ、データ処理量が多く、ホワイトバランスの補正に時間がかかってしまうという問題がある。
【０００８】
従って、人物の顔や肌の色を自然な色合いに補正するため処理を、簡単な処理で、且つ、効果的に行えるようにすることに解決しなければならない課題を有する。
【０００９】
【課題を解決するための手段】
前記課題を解決するため、本発明に係る顔色補正方法及び顔色補正装置及び撮像機器は次のような構成にすることである。
【００１０】
（１）撮像機器で撮像する人物の顔色を補正する顔色補正方法であって、撮像したカラー画像信号を色の明度情報・彩度情報・色相情報によって定められた所定の均等色空間に基づいた色情報信号に変換するステップと、前記変換した色情報信号から所定の肌色情報に相当する色情報信号のみを検出するステップと、前記検出した所定の肌色情報に相当する色情報信号から人物の顔面領域に相当する色情報信号を抽出するステップと、前記抽出した顔面領域に相当する色情報信号と前記所定の均等色空間に基づいて定めた基準肌色情報とを比較し、該顔面領域に相当する色情報信号の色相を補正するための色相補正値を算出するステップと、前記算出した色相補正値に基づいて、前記所定の均等色空間に基づいて変換した色情報信号の色相を補正するステップと、からなる顔色補正方法。
（２）前記均等色空間は、ＣＩＥＬＡＢ色空間であることを特徴とする（１）に記載の顔色補正方法。
（３）前記基準肌色情報は、人種別及び／又は国や地域別で分類されている情報であることを特徴とする（１）に記載の顔色補正方法。
【００１１】
（４）カラー画像信号を色の明度情報・彩度情報・色相情報によって定められた所定の均等色空間に基づいた色情報信号に変換する色空間変換手段と、前記色空間変換手段で変換した色情報信号から所定の肌色情報に相当する色情報信号のみを検出する肌色情報検出手段と、前記肌色情報検出手段で検出した所定の肌色情報に相当する色情報信号から人物の顔面領域に相当する色情報信号を抽出する顔面領域抽出手段と、前記顔面領域抽出手段で抽出した顔面領域に相当する色情報信号と前記所定の均等色空間に基づいて定めた基準肌色情報とを比較し、該顔面領域に相当する色情報信号の色相を補正するための色相補正値を算出する補正値算出手段と、前記補正値算出手段で算出した色相補正値に基づいて、前記色空間変換手段で変換した色情報信号の色相を補正する色相補正手段と、を備えていることを特徴とする顔色補正装置。
（５）前記顔面領域抽出手段は、前記検出した肌色情報に相当する色情報信号のうち、前記色空間変換手段で変換した色情報信号全体に対して所定の割合を占めている色情報信号を人物の顔面領域に相当する色情報信号として抽出することを特徴とする（４）に記載の顔色補正装置。
（６）前記均等色空間は、ＣＩＥＬＡＢ色空間であることを特徴とする（４）に記載の顔色補正装置。
（７）前記基準肌色情報は、人種別及び／又は国や地域別で分類されている情報であることを特徴とする（４）に記載の顔色補正装置。
【００１２】
（８）ホワイトバランスの調整機能を備えた撮像機器であって、前記ホワイトバランスの調整を施したカラー画像信号を、色の明度情報・彩度情報・色相情報によって定められた所定の均等色空間に基づいた色情報信号に変換する色空間変換手段と、前記色空間変換手段で変換した色情報信号から所定の肌色情報に相当する色情報信号のみを検出する肌色情報検出手段と、前記肌色情報検出手段で検出した所定の肌色情報に相当する色情報信号から人物の顔面領域に相当する色情報信号を抽出する顔面領域抽出手段と、前記顔面領域抽出手段で抽出した顔面領域に相当する色情報信号と前記所定の均等色空間に基づいて定めた基準肌色情報とを比較し、該顔面領域に相当する色情報信号の色相を補正するための色相補正値を算出する補正値算出手段と、前記補正値算出手段で算出した色相補正値に基づいて、前記色空間変換手段で変換した色情報信号の色相を補正する色相補正手段と、を具備していることを特徴とする撮像機器。
（９）前記顔面領域抽出手段は、前記検出した肌色情報に相当する色情報信号のうち、前記色空間変換手段で変換した色情報信号全体に対して所定の割合を占めている色情報信号を人物の顔面領域に相当する色情報信号として抽出することを特徴とする（８）に記載の撮像機器。
（１０）前記均等色空間は、ＣＩＥＬＡＢ色空間であることを特徴とする（８）に記載の撮像機器。
（１１）前記基準肌色情報は、人種別及び／又は国や地域別で分類されている情報であることを特徴とする（８）に記載の撮像機器。
【００１３】
このような顔色補正方法及び顔色補正装置及び撮像機器により、ホワイトバランス調整した後のカラー画像信号を均等色空間（ＣＩＥＬＡＢ空間）に基づいた色情報信号に変換し、この色情報信号から均等色空間における肌色（顔色）に対応した色情報信号のみをフィルタリングし、画像（映像）データ全体に対して所定の範囲を占め、且つ、所定の比率を有する範囲を顔面領域として判別するので、人物の顔面領域を容易に検出することができる。
【００１４】
そして、顔面領域として検出した色情報信号と均等色空間（ＣＩＥＬＡＢ空間）において基準となる肌色（顔色）データとを比較して肌色（顔色）の色相を補正するための補正値を算出し、算出された補正値に基づいて人物の顔面領域の色相のみを補正することができる。
【００１５】
【発明の実施の形態】
次に、本発明に係る顔色補正方法及び顔色補正装置及び撮像機器の実施の形態について図面を参照して説明する。但し、図面は専ら解説のためのものであって、本発明の技術的範囲を限定するものではない。
【００１６】
図１は、顔色補正装置を備えた撮像機器において、顔色補正装置の主要となる部分の構成を略示的に示したブロック図であり、撮像部１０１、Ｓ／Ｈ（Ｓａｍｐｌｅ／Ｈｏｌｄ）回路１０２、ＡＧＣ（ＡｕｔｏｍａｔｉｃＧａｉｎＣｏｎｔｒｏｌ）回路１０３、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換回路１０４、カメラ信号処理部１０５、ホワイトバランス制御部１０６、色空間変換部１０７、ＬＰＦ（ＬｏｗＰａｓｓＦｉｌｔｅｒ）１０８、顔面領域抽出部１０９、色相補正値算出部１１０、メモリ１１１、色相補正部１１２、ＲＧＢ変換部１１３を備えている。
【００１７】
撮像部１０１は、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）などの撮像素子を備え、被写体からの光を電気信号に変換し、アナログ画像信号としてＳ／Ｈ回路１０２に送出する。
【００１８】
Ｓ／Ｈ回路１０２は、入力側を撮像部１０１、出力側をＡＧＣ回路１０３と接続し、撮像部１０１から送られてくるアナログ画像信号をサンプリングしてＡＧＣ回路１０３に送出し、サンプリングした値をＡ／Ｄ変換回路１０４の処理が終了するまで保持し、この処理が終了すると次のサンプリング値をＡＧＣ回路１０３に送出する。
【００１９】
ＡＧＣ回路１０３は、入力側をＳ／Ｈ回路１０２、出力側をＡ／Ｄ変換回路１０４と接続し、Ｓ／Ｈ回路１０２でサンプリングされたアナログ画像信号を増幅して、Ａ／Ｄ変換回路１０４へ送出する。
【００２０】
Ａ／Ｄ回路１０４は、入力側をＡＧＣ回路１０３、出力側をカメラ信号処理部１０５と接続し、ＡＧＣ回路１０３で増幅されたアナログ画像信号をデジタル画像信号に変換してカメラ信号処理部１０５へ送出する。
【００２１】
カメラ信号処理部１０５は、入力側をＡ／Ｄ変換回路１０４、出力側を色空間変換部１０７と接続し、更に、ホワイトバランス制御部１０６と接続され、Ａ／Ｄ変換回路１０４から送られてくるデジタル画像信号に対して所定の信号処理を施してホワイトバランス制御部１０６に入力し、ホワイトバランス制御部１０６で生成され、フィードバックされるホワイトバランス調整用の制御信号によって、デジタル画像信号のホワイトバランスを調整し、ホワイトバランス調整後のデジタル画像信号を輝度信号（Ｙ信号）、色差信号（Ｒ−Ｙ信号、Ｂ−Ｙ信号）に変換して出力する。
【００２２】
ホワイトバランス制御部１０６は、カメラ信号処理部１０５と接続して、カメラ信号処理部１０５で所定の信号処理が施こされたデジタル画像信号に基づいて白色を正しく撮影できるように光源の状態による色温度の変化を補正するための制御信号を生成してカメラ信号処理部１０５へフィードバック（出力）する。
【００２３】
色空間変換部１０７は、入力側をカメラ信号処理部１０５、出力側を色相補正部１１２及びＬＰＦ１０８と接続し、カメラ信号処理部１０５から出力された輝度信号（Ｙ信号）及び色差信号（Ｒ−Ｙ信号、Ｂ−Ｙ信号）をＣＩＥＬＡＢ色空間に基づいた色情報信号（Ｌ＊信号、ａ＊信号、ｂ＊信号）に変換して出力する。
【００２４】
ＣＩＥＬＡＢ色空間（ＣＩＥ１９７６Ｌ＊ａ＊ｂ＊色空間）とは、Ｒ（Ｒｅｄ；赤）／Ｇ（Ｇｒｅｅｎ；緑）／Ｂ（Ｂｌｕｅ；青）の３刺激値（ｔｒｉｓｔｉｍｕｌｕｓｖａｌｕｅｓ）でカラー画像データを表現するＲＧＢ表示系の色空間を、国際照明学会（ＣＩＥ）によって定められたＸＹＺ表示色系（ＣＩＥ（１９３１）ＸＹＺ表示色）に変換し、更に、色を相対的に表現し、色差（見分けられる２つの色の差）の感覚に比例するように改良され、色の明度情報・彩度情報・色相情報によって定められた均等色空間と呼ばれる色空間に変換したものである。
【００２５】
色空間変換部１０７は、輝度信号（Ｙ信号）及び色差信号（Ｒ−Ｙ信号、Ｂ−Ｙ信号）を次に示す数式１に基づいてＣＩＥＬＡＢ色空間に対応する色情報信号（Ｌ＊信号、ａ＊信号、ｂ＊信号）への変換して出力するものである。
【００２６】
【数１】
Ｌ＊＝１１６（Ｙ／Ｙｎ）^１／３−１６
ａ＊＝５００｛（Ｘ／Ｘｎ）^１／３−（Ｙ／Ｙｎ）^１／３｝
ｂ＊＝２００｛（Ｙ／Ｙｎ）^１／３−（Ｚ／Ｚｎ）^１／３｝
Ｘｎ、Ｙｎ、Ｚｎは定数
【００２７】
Ｌ＊信号は、ＣＩＥＬＡＢ空間における輝度（明度）に関する指数Ｌ＊に応じて変換された信号であり、また、ａ＊信号及びｂ＊信号は、ＣＩＥＬＡＢ空間における色相と彩度に関するクロマティクネス指数（色質指数）ａ＊及びｂ＊に応じて変換された信号である。
【００２８】
ＬＰＦ１０８は、入力側を色空間変換部１０７、出力側を顔面領域抽出部１０９と接続し、色空間変換部１０７から出力されたそれぞれの色情報信号（Ｌ＊信号、ａ＊信号、ｂ＊信号）から所定の肌色（顔色）に対応した色情報信号のみをフィルタリングして顔面領域抽出部１０９へ送出する。
【００２９】
顔面領域抽出部１０９は、入力側をＬＰＦ１０８、出力側を色相補正値算出部１１０と接続し、まず、ＬＰＦ１０８でフィルタリングされた色情報信号全体、換言すると、画像（映像）データ全体において、所定の割合を占めている色情報信号に対して膨張収縮処理などの所定の信号処理を施す。
【００３０】
膨張収縮処理は、色情報信号に対応する画像データにおいて、所定の範囲を占め、且つ、その範囲内で欠落している（穴になっている）部分を周囲と同一の色情報信号とする処理であり、欠落している部分を埋めて、この所定の範囲を全て同じ色情報信号とすることで顔面領域の抽出を容易にするための処理である。
【００３１】
そして、この膨張収縮処理を施した色情報信号において、換言すると、画像（映像）データ全体において、所定の割合を占めている色情報信号を人物の顔面領域に相当する色情報信号であると判定し、判定した色情報信号のみを顔面領域の色情報信号として抽出して色相補正値算出部１１０へ出力する。
【００３２】
具体的な例としては、画像（映像）データ全体において所定の範囲の大きさを占めており、且つ、その範囲の縦横比が所定の比率、例えば、縦：横＝１：１、若しくは１：１と同程度の比率である範囲に対応した色情報信号のみを顔面領域の色情報信号として抽出して色相補正値算出部１１０へ出力する。
【００３３】
なお、顔面領域抽出部１０９自体で基準となる肌色（顔色）データを保持し、この肌色（顔色）データに基づいた所定の色情報信号のみを抽出対象とすることも可能である。また、メモリ１１１の基準肌色（顔色）データを参照するようにしてもよい。
【００３４】
色相補正値算出部１１０は、入力側を顔面領域抽出部１０９、出力側を色相補正部１１２と接続し、更に、メモリ１１１と接続され、メモリ１１１に記憶されているＣＩＥＬＡＢ空間に基づいて定めた肌色（顔色）の基準値となる基準肌色（顔色）データを参照し、顔面領域抽出部１０９から送られてくる顔面領域に対応した色情報信号と比較し、顔色領域の色相を補正するための補正値∠Ｒを算出し、色相補正部１１２に出力する。
【００３５】
なお、色相補正値算出部１１０自体で基準となる肌色（顔色）データを保持するようにしておいても良い。
【００３６】
肌色（顔色）の色相を補正するための補正値∠Ｒは、色情報信号（Ｌ＊信号、ａ＊信号、ｂ＊信号）のうち、色相と彩度に関係するａ＊信号及びｂ＊信号を用いて次に示す数式２及び数式３に基づいて算出する。
【００３７】
【数２】

【００３８】
【数３】

【００３９】
メモリ１１１は、色相補正値算出部１１０（及び顔面領域抽出部１０９）と接続され、ＣＩＥＬＡＢ空間における肌色（顔色）に対応し、肌色（顔色）の基準値として定めた基準肌色（顔色）データや、この基準肌色（顔色）データもとに人種別や国／地域別など、所定のカテゴリに分類した肌色（顔色）データなどが記憶してある。
【００４０】
色相補正部１１２は、入力側に色空間変換部１０７及び色相補正値算出部１１０が接続され、出力側をＲＧＢ変換部１１３と接続し、色相補正値算出部１１０で算出された補正値∠Ｒに基づき、色空間変換部１０７から出力された色情報信号（Ｌ＊信号、ａ＊信号、ｂ＊信号）のうち、顔面領域に対応した色情報信号の色相を補正し、補正処理した色情報信号を補正色情報信号（Ｌ＊’信号、ａ＊’信号、ｂ＊’信号）としてＲＧＢ変換部１１３に出力する。
【００４１】
ＲＧＢ変換部１１３は、入力側を色相補正部１１２と接続され、色相補正部１１２から出力された補正色情報信号（Ｌ’＊信号、ａ’＊信号、ｂ’＊信号）を輝度信号（Ｙ’信号）及び色差信号（［Ｒ−Ｙ］’信号、［Ｂ−Ｙ］’信号）に変換して出力する。
【００４２】
続いて、このような構成の顔色補正装置を備えた撮像機器によって、肌色（顔色）の色相を補正するときの処理過程を図２のフローチャートを参照しながら説明する。
【００４３】
まず、撮像部１０１はＣＣＤなどの撮像素子によって被写体からの光を電気信号、即ち、アナログ画像信号に変換し、このアナログ画像信号をＳ／Ｈ回路１０２によってサンプリングしてＡＧＣ回路１０３で増幅し、Ａ／Ｄ回路１０４がデジタル画像信号に変換してカメラ信号処理部１０５へ送出する。
【００４４】
カメラ信号処理部１０５は、Ａ／Ｄ変換回路１０４から送られてくるデジタル画像信号に所定の信号処理を施してホワイトバランス制御部１０６に入力し、ホワイトバランス制御部１０６で生成されてフィードバックされるホワイトバランス調整用の制御信号によって、デジタル画像信号のホワイトバランスを調整し、ホワイトバランスが調整されたデジタル画像信号を輝度信号（Ｙ信号）、色差信号（Ｒ−Ｙ信号、Ｂ−Ｙ信号）に変換して色空間変換部１０７へ出力する（ＳＴ１００）。
【００４５】
次に、色空間変換部１０７では、カメラ信号処理部１０５から出力された輝度信号（Ｙ信号）及び色差信号（Ｒ−Ｙ信号、Ｂ−Ｙ信号）をＣＩＥＬＡＢ空間に基づいた色情報信号（Ｌ＊信号、ａ＊信号、ｂ＊信号）に変換し、ＬＰＦ１０８及び色相補正部１０７へ出力する（ＳＴ１０１）。
【００４６】
次に、ＬＰＦ１０８は、色空間変換部１０７から送られてくる色情報信号（Ｌ＊信号、ａ＊信号、ｂ＊信号）から所定の肌色（顔色）に対応する色情報信号のみをフィルタリングして顔面領域抽出部１０９へ送出する（ＳＴ１０２）。
【００４７】
次に、顔面領域抽出部１０９は、メモリ１１１などを参照し、ＬＰＦ１０８でフィルタリングされた色情報信号全体に対して、所定の割合を占めている色情報信号を抽出し、この抽出した色情報信号に対して膨張収縮処理などの所定の信号処理を施す（ＳＴ１０３，ＳＴ０１４）。
【００４８】
続いて、顔面領域抽出部１０９では、膨張収縮処理を施した色情報信号全体において、換言すると、画像（映像）データ全体において、所定の範囲を占めており、且つ、その範囲が所定の大きさを有し、更に、所定の比率である範囲を顔面領域であると判定し、判定した範囲に対応する色情報信号のみを顔面領域の色情報信号として抽出して色相補正値算出部１１０へ送出する（ＳＴ１０５→ＳＴ１０６）。
【００４９】
次に、色相補正値算出部１１０では、顔面領域抽出部１０９から送られてくる顔面領域に相当する色情報信号のうち、色相と彩度に関する色情報信号（ａ＊信号、ｂ＊信号）から上述の数式２に基づいて肌色（顔色）の色相を補正するための補正値∠Ｒの算出を行い、算出した補正値∠Ｒを色相補正部１１２へ送出する（ＳＴ１０６）。
【００５０】
もし、顔面領域抽出部１０９において、顔面領域に相当する色情報信号がないと判定された場合は、色相補正値算出部１１０での補正値算出処理はスキップされ、色相補正部１１２に値をゼロとした補正値∠Ｒが色相補正部１１２へ送出される（ＳＴ１０５→ＳＴ１０８）。
【００５１】
次に、色相補正部１１２は、色相補正値算出部１１０で算出された補正値∠Ｒに基づいて、色空間変換部１０７で色空間変換された色情報信号（Ｌ＊信号、ａ＊信号、ｂ＊信号）のうち、顔面領域に対応する色情報信号に対して色相の補正処理を行い、色相補正された補正色情報信号（Ｌ＊’信号、ａ＊’信号、ｂ＊’信号）をＲＧＢ変換部１１３へ送出する（ＳＴ１０７）。
【００５２】
なお、顔面領域抽出部１０９で色情報信号に顔面領域がないと判別した場合は、補正値∠Ｒはゼロであり、色相補正部１１２からは、色相補正がなされていない色情報信号（Ｌ＊信号、ａ＊信号、ｂ＊信号）が補正色情報信号（Ｌ＊’信号、ａ＊’信号、ｂ＊’信号）として出力される。
【００５３】
そして、ＲＧＢ変換部１１３において、肌色（顔色）の色相補正処理が施された色情報信号である補正色情報信号（Ｌ＊’信号、ａ＊’信号、ｂ＊’信号）を輝度信号（Ｙ’信号）及び色差信号（［Ｒ−Ｙ］’信号、［Ｂ−Ｙ］’信号）に変換して出力する（ＳＴ１０８）。
【００５４】
ＲＧＢ変換部１１３で変換された輝度信号（Ｙ’信号）及び色差信号（［Ｒ−Ｙ］’信号、［Ｂ−Ｙ］’信号）は、ホワイトバランスが調整され、更に、その画像データに人物が写されているときは、人物の肌色（顔色）が適正に補正された画像データとなって出力され、後段の回路で処理されて表示部（図示せず）に画面表示されたり、データ保存部（図示せず）に記憶される（ＳＴ１０９）。
【００５５】
【発明の効果】
以上説明したように、ホワイトバランスが調整された画像（映像）信号を均等色空間（ＣＩＥＬＡＢ空間）に基づいた色情報信号に変換し、この色情報信号から均等色空間における肌色（顔色）に対応した色情報信号のみをフィルタリングし、画像（映像）データ全体に対して所定の範囲を占め、且つ、所定の比率を有する範囲を顔面領域として判別するので、複雑な処理を行うことなく、簡単に人物の顔面領域を検出できる。
【００５６】
そして、顔面領域として検出した色情報信号と均等色空間（ＣＩＥＬＡＢ空間）において基準となる肌色（顔色）データとを比較して肌色（顔色）の色相を補正するための補正値を算出し、算出された補正値に基づいて画像データの顔面領域の色相のみを補正するので、ホワイトバランス調整後の画像データに対して不要な補正を行わず、効果的に肌色（顔色）のみを補正し、人間の主観に合致した自然な色合いの画像（映像）を再現することができるという極めて優れた効果を奏するものである。
【図面の簡単な説明】
【図１】本発明に係る顔色補正装置を備えた撮像機器の主要部を略字的に示したブロック図である。
【図２】図１の撮像機器における顔色補正の処理過程を示したフローチャートである。
【符号の説明】
１００；撮像機器、１０１；撮像部、１０２；Ｓ／Ｈ（Ｓａｍｐｌｅ／Ｈｏｌｄ）回路、１０３；ＡＧＣ（ＡｕｔｏｍａｔｉｃＧａｉｎＣｏｎｔｒｏｌ）回路、１０４；Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換回路、１０５；カメラ信号処理部、１０６；ホワイトバランス制御部、１０７；色空間変換部（Ｌ＊ａ＊ｂ＊変換）、１０８；ＬＰＦ（ＬｏｗＰａｓｓＦｉｌｔｅｒ）、１０９；顔面領域抽出部、１１０；色相補正値算出部、１１１；メモリ、１１２；色相補正部、１１３；ＲＧＢ変換部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a face color correction method, a face color correction apparatus, and an imaging device that can perform a process for correcting a person's face, skin color, and the like to a natural color tone with a simple process and effectively. is there.
[0002]
[Prior art]
In the prior art, in an imaging device such as a digital camera or a video camera, for example, when photographed under an incandescent light, the entire image becomes reddish, and when photographed under a fluorescent light, the entire image becomes greenish. White balance adjustment to compensate for changes in color temperature due to light source conditions at the time of shooting, so that when shooting when it is cloudy, the bluish tint can be prevented and natural colors can be taken. Has functions.
[0003]
The white balance adjustment function is a function that corrects the white color, which is the reference for all colors, so that it can be correctly captured under light sources in various shooting environments. Under the subject can be photographed in natural colors.
[0004]
Even when the white balance is adjusted by the white balance adjustment function so that white can be correctly photographed, a face or skin color is often photographed in an unnatural color when photographing a person.
[0005]
Therefore, when photographing a person, it is determined whether or not the subject is a person. If the subject is a person, the face area of the person is further determined, and the entire white balance is corrected based on the face color of the determined face area. (See, for example, Patent Document 1).
[0006]
[Patent Document 1]
JP 2001-148866 A (pages 4-7, FIGS. 3 and 4)
[0007]
[Problems to be solved by the invention]
However, the process of determining whether or not the subject is a person, further determining the face area of the person, and correcting the entire white balance based on the face color of the determined face area is complicated and requires data. There is a problem that the processing amount is large and it takes time to correct the white balance.
[0008]
Therefore, there is a problem to be solved in that processing for correcting a person's face or skin color to a natural color can be performed effectively with simple processing.
[0009]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, a face color correction method, a face color correction apparatus, and an imaging device according to the present invention have the following configurations.
[0010]
(1) A face color correction method for correcting the face color of a person imaged by an imaging device, in which a captured color image signal is based on a predetermined uniform color space defined by color brightness information, saturation information, and hue information. Converting to a color information signal; detecting only a color information signal corresponding to predetermined skin color information from the converted color information signal; and detecting a person's face from the color information signal corresponding to the detected predetermined skin color information. Extracting a color information signal corresponding to the area; comparing the extracted color information signal corresponding to the face area with reference skin color information determined based on the predetermined uniform color space; Calculating a hue correction value for correcting the hue of the color information signal; and, based on the calculated hue correction value, converting the hue of the color information signal converted based on the predetermined uniform color space. The method comprising positive for complexion correcting method comprising.
(2) The face color correction method according to (1), wherein the uniform color space is a CIELAB color space.
(3) The face color correction method according to (1), wherein the reference skin color information is information classified by person type and / or country or region.
[0011]
(4) Color space conversion means for converting a color image signal into a color information signal based on a predetermined uniform color space defined by lightness information, saturation information, and hue information of a color, and the color space conversion means A skin color information detecting means for detecting only a color information signal corresponding to predetermined skin color information from the color information signal; and a face area of a person from the color information signal corresponding to the predetermined skin color information detected by the skin color information detecting means. A face area extracting means for extracting a color information signal; comparing a color information signal corresponding to the face area extracted by the face area extracting means with reference skin color information determined based on the predetermined uniform color space; Correction value calculating means for calculating a hue correction value for correcting the hue of the color information signal corresponding to the area; and hue correction values calculated by the correction value calculating means, and converted by the color space conversion means. Complexion corrector, characterized in that it comprises a and a hue correction means for correcting the color information signal.
(5) The face area extracting means converts a color information signal occupying a predetermined ratio to the entire color information signal converted by the color space converting means, out of the color information signals corresponding to the detected skin color information. The facial color correcting apparatus according to (4), wherein the facial color correcting apparatus extracts the color information signal corresponding to the face area of the person.
(6) The face color correction apparatus according to (4), wherein the uniform color space is a CIELAB color space.
(7) The facial color correction apparatus according to (4), wherein the reference skin color information is information classified according to a person type and / or a country or a region.
[0012]
(8) An imaging device having a white balance adjustment function, wherein the color image signal subjected to the white balance adjustment is converted into a predetermined uniform color space defined by color brightness information, saturation information, and hue information. Color space conversion means for converting into a color information signal based on the color information signal, skin color information detection means for detecting only a color information signal corresponding to predetermined skin color information from the color information signal converted by the color space conversion means, A face area extracting means for extracting a color information signal corresponding to a person's face area from a color information signal corresponding to predetermined skin color information detected by the detecting means; and color information corresponding to the face area extracted by the face area extracting means. A correction value calculator for comparing a signal with reference skin color information determined based on the predetermined uniform color space and calculating a hue correction value for correcting a hue of a color information signal corresponding to the face area. Means for correcting the hue of the color information signal converted by the color space conversion means based on the hue correction value calculated by the correction value calculation means. machine.
(9) The face area extracting means converts a color information signal occupying a predetermined ratio with respect to the entire color information signal converted by the color space converting means, out of the color information signals corresponding to the detected skin color information. (8) The imaging device according to (8), wherein the image information is extracted as a color information signal corresponding to a face area of a person.
(10) The imaging device according to (8), wherein the uniform color space is a CIELAB color space.
(11) The imaging device according to (8), wherein the reference skin color information is information classified by person type and / or country or region.
[0013]
The color image signal after white balance adjustment is converted into a color information signal based on a uniform color space (CIELAB space) by such a face color correction method, a face color correction device, and an imaging device, and the color information signal is converted into a uniform color space. , Only the color information signal corresponding to the skin color (face color) is filtered, and a range occupying a predetermined range with respect to the entire image (video) data and having a predetermined ratio is determined as a face area. The area can be easily detected.
[0014]
Then, the color information signal detected as the face area is compared with the reference skin color (face color) data in the uniform color space (CIELAB space) to calculate a correction value for correcting the hue of the skin color (face color). Only the hue of the face area of the person can be corrected based on the corrected value.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, an embodiment of a face color correction method, a face color correction apparatus, and an imaging device according to the present invention will be described with reference to the drawings. However, the drawings are for explanation only, and do not limit the technical scope of the present invention.
[0016]
FIG. 1 is a block diagram schematically illustrating a configuration of a main part of a face color correction apparatus in an imaging apparatus including the face color correction apparatus, and includes an imaging unit 101 and an S / H (Sample / Hold) circuit 102. , AGC (Automatic Gain Control) circuit 103, A / D (Analog / Digital) conversion circuit 104, camera signal processing unit 105, white balance control unit 106, color space conversion unit 107, LPF (Low Pass Filter) 108, face area An extraction unit 109, a hue correction value calculation unit 110, a memory 111, a hue correction unit 112, and an RGB conversion unit 113 are provided.
[0017]
The imaging unit 101 includes an imaging element such as a CCD (Charge Coupled Device), converts light from a subject into an electric signal, and sends the signal to the S / H circuit 102 as an analog image signal.
[0018]
The S / H circuit 102 has an input side connected to the imaging unit 101 and an output side connected to the AGC circuit 103, samples an analog image signal sent from the imaging unit 101, sends out the analog signal to the AGC circuit 103, and outputs the sampled value. The data is held until the processing of the A / D conversion circuit 104 ends, and when this processing ends, the next sampling value is sent to the AGC circuit 103.
[0019]
The AGC circuit 103 has an input side connected to the S / H circuit 102 and an output side connected to the A / D conversion circuit 104, amplifies the analog image signal sampled by the S / H circuit 102, and Send to
[0020]
The A / D circuit 104 has an input side connected to the AGC circuit 103 and an output side connected to the camera signal processing unit 105, converts an analog image signal amplified by the AGC circuit 103 into a digital image signal, and supplies the digital image signal to the camera signal processing unit 105. Send out.
[0021]
The camera signal processing unit 105 has an input side connected to the A / D conversion circuit 104, an output side connected to the color space conversion unit 107, and is further connected to a white balance control unit 106 and sent from the A / D conversion circuit 104. The received digital image signal is subjected to predetermined signal processing, input to the white balance control unit 106, and generated by the white balance control unit 106 and fed back to the white balance adjustment control signal to control the white balance of the digital image signal. Is adjusted, and the digital image signal after white balance adjustment is converted into a luminance signal (Y signal) and a color difference signal (RY signal, BY signal) and output.
[0022]
The white balance control unit 106 is connected to the camera signal processing unit 105, and controls the color according to the state of the light source so that white can be correctly photographed based on the digital image signal subjected to predetermined signal processing by the camera signal processing unit 105. A control signal for correcting a change in temperature is generated and fed back (output) to the camera signal processing unit 105.
[0023]
The color space conversion unit 107 has an input side connected to the camera signal processing unit 105, and an output side connected to the hue correction unit 112 and the LPF 108, and outputs a luminance signal (Y signal) and a color difference signal (R−R) output from the camera signal processing unit 105. Y signals and BY signals) are converted into color information signals (L * signals, a * signals, b * signals) based on the CIELAB color space and output.
[0024]
The CIELAB color space (CIE 1976 L * a * b * color space) refers to tristimulus values of R (Red; Red) / G (Green; Green) / B (Blue; Blue). Is converted to an XYZ display color system (CIE (1931) XYZ display color) defined by the International Institute of Illumination (CIE), and the colors are relatively expressed, and the color difference ( The color space is improved so as to be proportional to the sense of the two distinct colors, and is converted into a color space called a uniform color space defined by lightness information, saturation information, and hue information of the color.
[0025]
The color space conversion unit 107 converts the luminance signal (Y signal) and the color difference signals (RY signal, BY signal) into a color information signal (L * signal, a * signal, b * signal).
[0026]
(Equation 1)
L * = 116 (Y / Yn) ^1/3 -16
a * = 500 {(X / Xn) ¹ /3-(Y / Yn) ^1/3 }
b * = 200 {(Y / Yn) ¹ /3-(Z / Zn) ^1/3 }
Xn, Yn, and Zn are constants.
The L * signal is a signal converted according to an index L * regarding luminance (brightness) in the CIELAB space, and the a * signal and the b * signal are chromaticness indexes (colors) regarding hue and saturation in the CIELAB space. Quality index) a signal converted according to a * and b *.
[0028]
The LPF 108 has an input side connected to the color space conversion unit 107 and an output side connected to the face area extraction unit 109, and outputs the respective color information signals (L * signal, a * signal, b * signal) output from the color space conversion unit 107. ), Only the color information signal corresponding to the predetermined skin color (face color) is filtered and sent to the face area extraction unit 109.
[0029]
The face area extraction unit 109 connects the input side to the LPF 108 and the output side to the hue correction value calculation unit 110. First, the entire color information signal filtered by the LPF 108, in other words, the entire image (video) data, Predetermined signal processing such as expansion / contraction processing is performed on the color information signal that occupies the ratio.
[0030]
The expansion / contraction process occupies a predetermined range in the image data corresponding to the color information signal, and makes a missing (hole) portion in the range the same color information signal as the surrounding area. This is a process for facilitating extraction of the face area by filling in the missing part and making the predetermined range the same color information signal.
[0031]
In the color information signal subjected to the expansion / contraction processing, in other words, the color information signal occupying a predetermined ratio in the entire image (video) data is determined to be the color information signal corresponding to the face area of the person. Then, only the determined color information signal is extracted as a color information signal of the face area and output to the hue correction value calculation unit 110.
[0032]
As a specific example, the entire image (video) data occupies a predetermined range of size, and the aspect ratio of the range is a predetermined ratio, for example, vertical: horizontal = 1: 1 or 1: 1: Only the color information signal corresponding to the range having the same ratio as 1 is extracted as the color information signal of the face area and output to the hue correction value calculation unit 110.
[0033]
Note that it is also possible that the face area extraction unit 109 itself holds the reference skin color (face color) data, and extracts only a predetermined color information signal based on the skin color (face color) data. Further, reference may be made to reference skin color (face color) data in the memory 111.
[0034]
The hue correction value calculation unit 110 connects the input side to the face area extraction unit 109, connects the output side to the hue correction unit 112, and is further connected to the memory 111 and determined based on the CIELAB space stored in the memory 111. Reference is made to reference skin color (face color) data, which is a reference value of the skin color (face color), and is compared with a color information signal corresponding to the face area sent from the face area extraction unit 109 to correct the hue of the face color area. The correction value ΔR is calculated and output to the hue correction unit 112.
[0035]
It should be noted that the hue correction value calculation unit 110 itself may hold the reference skin color (face color) data.
[0036]
The correction value ∠R for correcting the hue of the skin color (face color) is, among the color information signals (L * signal, a * signal, b * signal), the a * signal and the b * signal related to the hue and the saturation. And is calculated based on Equations 2 and 3 shown below.
[0037]
(Equation 2)

[0038]
[Equation 3]

[0039]
The memory 111 is connected to the hue correction value calculation unit 110 (and the face area extraction unit 109), and corresponds to skin color (face color) in the CIELAB space, and sets reference skin color (face color) data defined as a reference value for skin color (face color). Based on the reference skin color (face color) data, skin color (face color) data classified into a predetermined category such as a person type or a country / region is stored.
[0040]
The hue correction unit 112 has the input side connected to the color space conversion unit 107 and the hue correction value calculation unit 110, the output side connected to the RGB conversion unit 113, and the correction value ΔR calculated by the hue correction value calculation unit 110. Based on the color information signal (L * signal, a * signal, b * signal) output from the color space conversion unit 107, the hue of the color information signal corresponding to the face area is corrected, and the corrected color information The signal is output to the RGB conversion unit 113 as a corrected color information signal (L * 'signal, a *' signal, b * 'signal).
[0041]
The RGB conversion unit 113 has an input side connected to the hue correction unit 112 and converts the corrected color information signals (L ′ * signal, a ′ * signal, b ′ * signal) output from the hue correction unit 112 into a luminance signal (Y 'Signal) and a color difference signal ([RY]' signal, [BY] 'signal) and output.
[0042]
Next, a process of correcting the hue of the skin color (the complexion) by the imaging device including the complexion correcting device having such a configuration will be described with reference to the flowchart of FIG.
[0043]
First, the image pickup unit 101 converts light from a subject into an electric signal, that is, an analog image signal by an image pickup device such as a CCD, and samples the analog image signal by the S / H circuit 102 and amplifies it by the AGC circuit 103. The A / D circuit 104 converts the digital image signal into a digital image signal and sends it to the camera signal processing unit 105.
[0044]
The camera signal processing unit 105 subjects the digital image signal sent from the A / D conversion circuit 104 to predetermined signal processing, inputs the processed signal to the white balance control unit 106, and is generated and fed back by the white balance control unit 106. The white balance of the digital image signal is adjusted by a control signal for white balance adjustment, and the digital image signal having the adjusted white balance is converted into a luminance signal (Y signal) and a color difference signal (RY signal, BY signal). It is converted and output to color space conversion section 107 (ST100).
[0045]
Next, the color space conversion unit 107 converts the luminance signal (Y signal) and color difference signals (RY signal, BY signal) output from the camera signal processing unit 105 into a color information signal (L) based on the CIELAB space. *, A * signal, b * signal) and output to the LPF 108 and the hue correction unit 107 (ST101).
[0046]
Next, the LPF 108 filters only color information signals corresponding to a predetermined skin color (face color) from the color information signals (L * signal, a * signal, b * signal) sent from the color space conversion unit 107. It is sent to face area extraction section 109 (ST102).
[0047]
Next, the face area extraction unit 109 extracts a color information signal occupying a predetermined ratio with respect to the entire color information signal filtered by the LPF 108 with reference to the memory 111 and the like. Then, predetermined signal processing such as expansion / contraction processing is performed (ST103, ST014).
[0048]
Subsequently, the face area extraction unit 109 occupies a predetermined range in the entire color information signal subjected to the expansion / contraction processing, in other words, the entire image (video) data, and the range is a predetermined size. Further, a range having a predetermined ratio is determined to be a face region, and only a color information signal corresponding to the determined range is extracted as a color information signal of the face region and transmitted to the hue correction value calculation unit 110. (ST105 → ST106).
[0049]
Next, in the hue correction value calculation section 110, among the color information signals corresponding to the face area sent from the face area extraction section 109, the color information signals (a * signal, b * signal) related to hue and saturation are extracted. The correction value ΔR for correcting the hue of the skin color (face color) is calculated based on Expression 2 described above, and the calculated correction value ΔR is sent to the hue correction unit 112 (ST106).
[0050]
If the face area extraction unit 109 determines that there is no color information signal corresponding to the face area, the correction value calculation processing in the hue correction value calculation unit 110 is skipped, and the hue correction unit 112 sets the value to zero. Is sent to the hue correction unit 112 (ST105 → ST108).
[0051]
Next, based on the correction value ΔR calculated by the hue correction value calculation unit 110, the hue correction unit 112 converts the color information signals (L * signal, a * signal, b * signal), the hue correction processing is performed on the color information signal corresponding to the face area, and the corrected color information signals (L * ′ signal, a * ′ signal, b * ′ signal) having undergone hue correction are obtained. The data is transmitted to the RGB conversion unit 113 (ST107).
[0052]
If the face area extraction unit 109 determines that the color information signal has no face area, the correction value ΔR is zero, and the hue correction unit 112 outputs the color information signal (L *) that has not been subjected to hue correction. The signal, a * signal, and b * signal) are output as corrected color information signals (L * 'signal, a *' signal, b * 'signal).
[0053]
Then, the RGB conversion unit 113 converts the corrected color information signals (L * ′ signal, a * ′ signal, b * ′ signal), which are color information signals subjected to the hue correction processing of the skin color (face color), into the luminance signal (Y The signal is converted into a color difference signal ([RY] 'signal, [BY]' signal) and output (ST108).
[0054]
The luminance signal (Y ′ signal) and the color difference signals ([RY] ′ signal, [BY] ′ signal) converted by the RGB conversion unit 113 are adjusted in white balance, and the image data is converted to a person. When the image is captured, the image is output as image data in which the skin color (face color) of the person has been appropriately corrected, processed by a subsequent circuit, displayed on a display unit (not shown), or stored in a screen. (ST109).
[0055]
【The invention's effect】
As described above, the image (video) signal whose white balance has been adjusted is converted into a color information signal based on a uniform color space (CIELAB space), and the color information signal corresponds to the skin color (face color) in the uniform color space. Only the color information signal thus obtained is filtered, and a range occupying a predetermined range with respect to the entire image (video) data and having a predetermined ratio is determined as a face area, so that it is easy to perform without complicated processing. The face area of a person can be detected.
[0056]
Then, the color information signal detected as the face area is compared with the reference skin color (face color) data in the uniform color space (CIELAB space) to calculate a correction value for correcting the hue of the skin color (face color). Since only the hue of the face area of the image data is corrected based on the corrected correction value, unnecessary correction is not performed on the image data after the white balance adjustment, and only the skin color (face color) is effectively corrected. This has an extremely excellent effect of being able to reproduce an image (video) having a natural hue that matches the subjectivity of the present invention.
[Brief description of the drawings]
FIG. 1 is a block diagram schematically illustrating a main part of an imaging device including a complexion correction device according to the present invention.
FIG. 2 is a flowchart showing a processing procedure of a face color correction in the imaging device of FIG. 1;
[Explanation of symbols]
100; imaging device; 101; imaging unit; 102; S / H (Sample / Hold) circuit; 103; AGC (Automatic Gain Control) circuit; 104; A / D (Analog / Digital) conversion circuit; Unit; 106; white balance control unit; 107; color space conversion unit (L * a * b * conversion); 108; LPF (Low Pass Filter); 109; face area extraction unit; 110; hue correction value calculation unit; Memory, 112; hue correction section, 113; RGB conversion section

Claims

A face color correction method for correcting the face color of a person imaged by an imaging device,
Converting the captured color image signal into a color information signal based on a predetermined uniform color space defined by lightness information, saturation information, and hue information of the color,
Detecting only a color information signal corresponding to predetermined skin color information from the converted color information signal;
Extracting a color information signal corresponding to the face area of the person from the color information signal corresponding to the detected predetermined skin color information;
A hue correction value for comparing the extracted color information signal corresponding to the face area with reference skin color information determined based on the predetermined uniform color space and correcting the hue of the color information signal corresponding to the face area Calculating
Correcting the hue of the color information signal converted based on the predetermined uniform color space based on the calculated hue correction value;
A complexion correction method.

The method according to claim 1, wherein the uniform color space is a CIELAB color space.

2. The face color correction method according to claim 1, wherein the reference skin color information is information classified according to a person type and / or a country or a region.

Color space conversion means for converting a color image signal into a color information signal based on a predetermined uniform color space defined by color lightness information / saturation information / hue information,
Skin color information detection means for detecting only a color information signal corresponding to predetermined skin color information from the color information signal converted by the color space conversion means,
A face region extraction unit that extracts a color information signal corresponding to a person's face region from a color information signal corresponding to predetermined skin color information detected by the skin color information detection unit;
The color information signal corresponding to the face area extracted by the face area extracting means is compared with reference skin color information determined based on the predetermined uniform color space, and the hue of the color information signal corresponding to the face area is corrected. Correction value calculating means for calculating a hue correction value for
A hue correction unit that corrects the hue of the color information signal converted by the color space conversion unit based on the hue correction value calculated by the correction value calculation unit.

The face area extracting means converts a color information signal, which occupies a predetermined ratio of the entire color information signal converted by the color space converting means, of the color information signal corresponding to the detected skin color information into a person's face. The face color correction apparatus according to claim 4, wherein the face color correction apparatus extracts the color information signal corresponding to the area.

The apparatus according to claim 4, wherein the uniform color space is a CIELAB color space.

The facial color correction apparatus according to claim 4, wherein the reference skin color information is information classified according to a person type and / or a country or a region.

An imaging device having a white balance adjustment function,
Color space conversion means for converting the color image signal subjected to the white balance adjustment into a color information signal based on a predetermined uniform color space defined by lightness information, saturation information, and hue information of a color,
Skin color information detection means for detecting only a color information signal corresponding to predetermined skin color information from the color information signal converted by the color space conversion means,
A face region extraction unit that extracts a color information signal corresponding to a person's face region from a color information signal corresponding to predetermined skin color information detected by the skin color information detection unit;
The color information signal corresponding to the face area extracted by the face area extracting means is compared with reference skin color information determined based on the predetermined uniform color space, and the hue of the color information signal corresponding to the face area is corrected. Correction value calculating means for calculating a hue correction value for
A hue correction unit that corrects the hue of the color information signal converted by the color space conversion unit based on the hue correction value calculated by the correction value calculation unit;
An imaging device comprising:

The face area extracting means converts a color information signal, which occupies a predetermined ratio of the entire color information signal converted by the color space converting means, of the color information signal corresponding to the detected skin color information into a person's face. The imaging device according to claim 8, wherein the image information is extracted as a color information signal corresponding to the area.

The imaging device according to claim 8, wherein the uniform color space is a CIELAB color space.

9. The imaging apparatus according to claim 8, wherein the reference skin color information is information classified by a person type and / or a country or a region.