JP2008257680A - 画像処理装置およびプログラム記録媒体 - Google Patents
画像処理装置およびプログラム記録媒体 Download PDFInfo
- Publication number
- JP2008257680A JP2008257680A JP2007288322A JP2007288322A JP2008257680A JP 2008257680 A JP2008257680 A JP 2008257680A JP 2007288322 A JP2007288322 A JP 2007288322A JP 2007288322 A JP2007288322 A JP 2007288322A JP 2008257680 A JP2008257680 A JP 2008257680A
- Authority
- JP
- Japan
- Prior art keywords
- local
- luminance
- region
- skin
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
【課題】本発明は、画像における肌領域の検出精度を向上することができる画像処理装置を提供する。
【解決手段】本発明に係る画像処理装置1は、局所肌色度算出部5、局所輝度偏差算出部3、および補正量算出部6を備えている。局所肌色度算出部5は、画像における所定の局所領域の肌色度合いを局所肌色度として算出する。局所輝度偏差算出部3は、所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として算出する。補正量算出部6は、局所肌色度および局所輝度偏差を用いて、所定の局所領域が肌領域であるか否かを判断する。
【選択図】図1
【解決手段】本発明に係る画像処理装置1は、局所肌色度算出部5、局所輝度偏差算出部3、および補正量算出部6を備えている。局所肌色度算出部5は、画像における所定の局所領域の肌色度合いを局所肌色度として算出する。局所輝度偏差算出部3は、所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として算出する。補正量算出部6は、局所肌色度および局所輝度偏差を用いて、所定の局所領域が肌領域であるか否かを判断する。
【選択図】図1
Description
この発明は、デジタル化された画像を補正することができる画像処理装置およびプログラム記録媒体に係る発明であり、たとえば、画像に含まれる肌領域と肌以外のその他の領域とで、補正効果を変える画像処理を行うことができる画像処理装置およびプログラム記録媒体に適用できる。
従来の画像処理装置では、画像内の肌領域に対して他の領域と同様な補正処理が掛かっていた。したがって、画像内の人物の肌部分への画質的悪影響が発生していた。たとえば、画像処理として輪郭強調を行う補正を実施した場合、画像内の顔のシミ、シワ、吹き出物等の粗が際立ってしまっていた。またたとえば、画像処理として逆光補正を実施した場合、画像内の顔が他と比べて不自然に感じる程度に明るくなったり、あるいは暗くなったりしていた。なお以下では、画像内における人の肌の領域を「肌領域」と称する。
上記問題を解決する従来技術として、たとえば、特許文献1または特許文献2等が存在する。これらの文献に係る技術では、画像内の肌領域を検出し、当該肌領域に対しては補正量を小さくしている。これにより、肌領域への画質的悪影響を抑えている。
具体的に、特許文献1に係る技術では、肌領域を検出する際には、画像を輝度・色差で表し、その色差成分を用いて肌色度を求め、肌色度の高い領域を肌領域として特定している。画像をY(輝度),Cb(色差),Cr(色差)で表し、肌色の中心となるCb,Crの値との差を肌色度として用いる。また、特許文献2に係る技術では、画像をY,H,Cで表し、H(色相),C(彩度)の値を用いて肌領域を特定している。
しかし、上記特許文献1,2に係る技術において、肌領域検出の際の誤判定率が高くなっている。肌色であると判定しても肌以外の領域である場合も多く、肌と肌以外の質感の違いに関する検出精度を高めることが課題となっている。
また、肌領域か肌以外の領域かの判別だけでは、グラデーション部等において、処理切り替えの段差が見えることがあった。
そこで、本発明は、肌領域の判別の精度を向上させることができ、さらには、グラデーション部における処理切り替え段差を小さくできる画像処理装置、およびプログラム記録媒体を提供することを目的とする。
上記の目的を達成するために、本発明に係る画像処理装置は、画像における所定の局所領域の肌色度合いを局所肌色度として出力する局所肌色度算出部と、前記所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として出力する局所輝度偏差算出部と、前記局所肌色度と前記局所輝度偏差とに基づいて、前記所定の局所領域が肌領域であるか否かを検出する肌領域検出部とを備え、前記所定の局所領域は、複数の画素より構成されており、
前記局所輝度偏差算出部は、前記所定の局所領域を構成する前記画素毎に輝度値を算出し、前記画素毎に算出された輝度値に基づいて前記所定の局所領域の最大輝度値と前記所定の局所領域の最小輝度値とを算出し、前記最大輝度値と前記最小輝度値とに基づいて前記所定の局所領域の輝度ダイナミックレンジを求めることを特徴とする。
前記局所輝度偏差算出部は、前記所定の局所領域を構成する前記画素毎に輝度値を算出し、前記画素毎に算出された輝度値に基づいて前記所定の局所領域の最大輝度値と前記所定の局所領域の最小輝度値とを算出し、前記最大輝度値と前記最小輝度値とに基づいて前記所定の局所領域の輝度ダイナミックレンジを求めることを特徴とする。
また、本発明に係るプラグラム記録媒体は、画像における所定の局所領域の肌色度合いを局所肌色度として出力する局所肌色度出力ステップと、前記所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として出力する局所輝度偏差出力ステップと、前記局所肌色度と前記局所輝度偏差とを用いて、前記所定の局所領域が肌領域であるか否かを検出する検出ステップとを備えているプログラムを、コンピュータにより読み取り可能な記録媒体に記録しているプログラム記録媒体であって、前記所定の局所領域は、複数の画素より構成されており、前記局所輝度偏差出力ステップは、前記所定の局所領域を構成する前記画素毎に輝度値を算出する第1の算出ステップと、前記画素毎に算出された輝度値に基づいて前記所定の局所領域の最大輝度値と前記所定の居所領域の最小輝度値とを算出する第2の算出ステップと、前記最大輝度値と前記最小輝度値とに基づいて前記所定の局所領域の輝度ダイナミックレンジを算出する第3の算出ステップとを備えることを特徴とする。
本発明の画像処理装置およびプログラム記録媒体は、局所肌色度および局所輝度偏差を算出し、当該局所肌色度および局所輝度偏差に基づいて肌領域の検出を行っている。
したがって、肌領域検出における誤判定を少なくできる。特に、局所領域の局所輝度偏差(輝度ダイナミックレンジ)をも用いて肌領域の検出を行っているので、特に目の周辺を肌領域から除外することが可能となり、目や睫毛への美肌補正の誤った適用を抑えることができるという効果がある。
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
<実施の形態>
図1は、本実施の形態に係る画像処理装置1の構成を示すブロック図である。
図1は、本実施の形態に係る画像処理装置1の構成を示すブロック図である。
図1に示すように、画像処理装置1は、局所平均輝度算出部2、局所輝度偏差算出部3、局所輝度高周波算出部4、局所肌色度算出部5、補正量(効果)算出部6、画像変換処理部7、輝度信号遅延部8、および色差信号遅延部9から構成されている。
画像処理装置1に入力された映像信号のうち輝度信号(Y)は、局所平均輝度算出部2、局所輝度偏差算出部3、局所輝度高周波算出部4、局所肌色度算出部5、および輝度信号遅延部8に入力される。また、当該映像信号のうち色差信号(C)は、局所肌色度算出部5および色差信号遅延部9に入力される。
局所平均輝度算出部2では、局所領域の平均輝度(局所平均輝度値)を計算し、当該算出した局所平均輝度値を画像変換処理部7へ出力する。
ここで局所領域としては、注目画素の周辺の所定画素数領域を用いて構成することができる。また、画面(画像)を所定の大きさの複数のブロックに分割した際の、注目画素が含まれるブロックを局所領域として用いても良い。また、局所領域は、前述のように画面(画像)を複数のブロックに分割した場合の、1つのブロックだけではなく、複数のブロックとしても良い(たとえば、後述する局所輝度偏差を当該ブロック単位で計算しても良い)。
当該局所領域において何かしらの値(代表値)を求める(以下、局所領域化と称する)際には、局所領域を構成する各画素毎の値から導出される平均値、または所定の重み付けを行いながら求める重み付け平均値、あるいは、中央値、あるいはそれらを複合して求めた値を用いる。
局所輝度偏差算出部3では、上述した局所領域の輝度ダイナミックレンジを局所輝度偏差として算出し、当該算出した局所輝度偏差を補正量(効果)算出部6へ出力する。
たとえば、所定の局所領域が複数の画素数で構成されている場合、当該所定の局所領域に含まれる画素の輝度値のうちで、最大の輝度値と最小の輝度値を求める。そして、当該最大の輝度値と最小の輝度値の差を算出する(当該算出結果が、所定の局所領域の輝度ダイナミックレンジである)。
たとえば、局所領域の輝度ダイナミックレンジを算出する際に、局所輝度偏差算出部3は、ノイズの影響を低減するために、算出対象の局所領域において当該局所領域よりもさらに小さい複数の小領域(ここではたとえば2画素を考える)にさらに分割し、各々小領域について2画素平均輝度値を、予め求める。そして、局所領域において各々求めた小領域の2画素平均輝度値のうちで、最大の2画素平均輝度値と最小の2画素平均輝度値とを求める。そして、当該最大の2画素平均輝度値と最小の2画素平均輝度値の差を、輝度ダイナミックレンジとして算出しても良い。
当該方法により、ノイズの影響を低減できるのは、最大輝度値(または最小輝度値)に偶然に大きなランダムノイズが載ってしまったとしても、たとえば2画素の平均を求めることにより、その影響を小さくできるからである。
局所輝度高周波算出部4では、上述した局所領域の空間的な高周波成分が空間的な方向性を持つ場合に高くなる方向性高周波成分を求め、求めた方向性高周波成分を補正量(効果)算出部6へ出力する。
換言すると、局所輝度高周波算出部4では、所定の局所領域の第一の方向において第一の輝度振幅変化があり、第一の方向と略直交する第二の方向において第一の輝度振幅変化より小さい第二の輝度振幅変化がある場合において、第二の輝度振幅変化に対する第一の輝度振幅変化の大きさを示す指標として、当該所定の局所領域において方向性高周波成分を算出する。ここで、第一の輝度振幅変化は、画像のあらゆる方向について輝度振幅変化を求めた場合の、最大の輝度振幅変化である。
上記の場合、方向性高周波成分は、たとえば、|第一の輝度振幅変化|−|第二の輝度振幅変化|、と定めることができる。
たとえば、図2に示す3画素×3画素の矩形領域を構成する各画素の輝度値Yij(0≦i≦2,0≦j≦2)を用いた場合(縦・横・斜め(±45度)の4方向の周波数判別として、連続する3画素のFIRフィルタ(−0.5,1,−0.5の係数を持つ3タップFIRフィルタ)を用いた場合)、方向性高周波成分hは、次式で表される。
h=max(||Y11−(Y01+Y21)/2|−|Y11−(Y10+Y12)/2 ||, ||Y11−(Y00+Y22)/2|−|Y11−(Y02+Y20)/2 ||) ・・・(1)
局所肌色度算出部5では、局所領域のたとえば平均の肌色度を計算し、当該算出した平均の肌色度(局所肌色度と称する)を補正量(効果)算出部6へ出力する。
ここで、肌色度は、色差信号Cbと色差信号Cr(または、色差信号Cb,Crと輝度信号Y)から求められる値である。当該肌色度は、肌色では高い値となり、肌色以外では低い値となる、いわゆる肌色らしさを表す指標である。
たとえば、局所領域において肌色度(局所肌色度)を求める際には、局所領域を構成する各画素(または、2画素毎や2×2の4画素)毎の肌色度から導出される平均値、または所定の重み付け(たとえば、対象となるブロックの中央で重みが大きくなるような重み付け)がされた加重平均(重み付け平均)を求め、当該求めた値を局所肌色度とすることができる。
補正量(効果)算出部6では、局所肌色度および局所輝度偏差を用いて、所定の局所領域が肌領域であるか否かを検出する。または、局所肌色度および方向性高周波成分を用いて、所定の局所領域が肌領域であるか否かを検出する。または、局所肌色度、局所輝度偏差および方向性高周波成分を用いて、所定の局所領域が肌領域であるか否かを検出する。
具体的に、補正量(効果)算出部6は、局所肌色度が第一の閾値よりも高く、かつ局所輝度偏差が第二の閾値よりも小さい領域を肌領域として検出する。または、局所肌色度が第一の閾値よりも高く、かつ方向性高周波成分が他の閾値よりも小さい領域を、肌領域として検出する。または、局所肌色度が第一の閾値よりも高く、局所輝度偏差が第二の閾値よりも小さく、かつ方向性高周波成分が他の閾値よりも小さい領域を、肌領域として検出する。
なお、上記以外の場合には、局所領域は領域でない(非肌領域)と判断される。ここで、肌領域と非肌領域との区別化が可能となる各閾値は、複数のサンプル画像から経験的に決定される。
補正量(効果)算出部6は、局所輝度偏差算出部3から出力された局所輝度偏差(および/または、局所輝度高周波算出部4から出力された方向性高周波成分)と局所肌色度算出部5から出力された局所肌色度とによって連続的に変化させる、画像処理の補正量(または、局所肌色度が高い場合と低い場合で補正効果を変える場合には、補正効果を変えるための補正指標)を求めて、画像変換処理部7へ出力する。
たとえば、局所肌色度が高いほど、補正パラメータbを高くし、局所輝度偏差が高いほど、補正パラメータb低くし、方向性高周波成分が大きいほど、補正パラメータbを低くする。
ここでたとえば、局所輝度偏差をd(0≦d≦255)、方向性高周波成分をh(0≦h≦255)、局所肌色度をs(−32≦s≦32)とした場合、上記補正指標(補正パラメータ)b(−32≦b≦32)は、下記のように表すこともできる。
s>0かつd≧32の時、sd=s/4。s>0かつ8≦d<32の時、sd=s(40−d)/32。前記以外の時、sd=s。また、s>0かつh≧8の時、sh=s/4。s>0かつ2≦h<8の時、sh=s(10−h)/8。前記以外の時、sh=s。そして、b=min(sd,sh)
なお、局所肌色度s、局所輝度偏差dの各々の変化に対して上記sdは連続的に変化する。また、局所肌色度s、方向性高周波成分hの各々の変化に対して上記shは連続的に変化する。したがって、上記sd,shおよび補正パラメータbは連続的に変化する。
輝度信号遅延部8では、画像処理装置1に入力された映像信号のうち、輝度信号(Y)を、局所平均輝度算出部2での遅延量に相当する分だけ、または局所肌色度算出部5と補正量(効果)算出部6とでの遅延量に相当する分だけ遅延させ、当該遅延後の信号を画像変換処理部7へ出力する。
画像変換処理部7では、局所平均輝度算出部2から入力される局所平均輝度値と、補正量(効果)算出部6から入力される補正量(または、補正効果を変えるための指標)を元にして、画像処理の補正量(または補正効果と補正量)を決定する。そして、画像変換処理部7は、当該決定した補正量等に基づいて、輝度信号遅延部8にて遅延された輝度信号(Y)に対して画像処理を行う。なお、画像処理後(補正後)の輝度信号(Y)は、画像処理装置1から出力される。
ここで、後述するように、画像変換処理部7は、局所肌色度の変化および局所輝度偏差の変化に対して、連続的に画像を補正する。または、画像変換処理部7は、局所肌色度の変化および方向性高周波成分の変化に対して、連続的に前記画像を補正する。または、画像変換処理部7は、局所肌色度の変化、局所輝度偏差の変化および方向性高周波成分の変化に対して、連続的に画像を補正する。
色差信号遅延部9では、画像変換処理部7から出力される画像処理後の輝度信号(Y)と位相を揃えるために、画像処理装置1に入力された映像信号のうち色差信号(C)を遅延する。なお、当該遅延後の色差信号(C)は、画像処理装置1から出力される。
本実施の形態に係る発明の動作をフローチャートで示すと図3のようになる。つまり、所定の局所領域における、局所肌色度、局所輝度偏差、方向性高周波成分、および局所平均輝度を図1に示す局所平均輝度算出部2、局所輝度偏差算出部3、局所輝度高周波算出部4、および局所肌色度算出部5において算出する(ステップS1)。次に、補正量(効果)算出部6において、局所肌色度、局所輝度偏差、および方向性高周波成分を用いて、局所領域が肌領域であるか非肌領域であるかを判断すると共に、補正パラメータbを算出する(ステップS2)。
そして、画像変換処理部7では、当該補正パラメータbを用いて、輝度信号に対して補正処理を施す(画像変換:ステップS3)。ここで、補正パラメータbは、局所肌色度、局所輝度偏差および方向性高周波成分によって、求められるので、画像変換処理部7は、局所肌色度、局所輝度偏差および方向性高周波成分に基づいて、画像の補正を行う。または、画像変換処理部7では、当該補正パラメータbおよび局所平均輝度算出部2の計算結果である所定の局所領域における局所平均輝度値を用いて、輝度信号に対して補正処理を施す(画像変換:ステップS3)。
次に、画像変換処理部7における画像変換処理(補正処理)として、図4に示すような局所コントラスト強調と美肌補正を両立するマッピングカーブを使う、階調変換を用いた場合の例を以下に示す。
図4において、符号701は局所輝度平均レベルである。符号702は、入力輝度レベルである、符号703,704は出力輝度レベルである。符号711は、肌領域用マッピングカーブである。符号712は非肌領域用マッピングカーブである。
画像変換処理部7では、補正量(効果)算出部6から出力された連続的に変化する補正量パラメータbを用いて、マッピングカーブを連続的に変化させる。そして、そのマッピングカーブにより輝度信号遅延部8から出力される輝度信号(Y)を変換する。これにより、局所領域におけるコントラスト補正が施される。なお、補正後の輝度信号(Y)は画像処理装置1から出力される。
入力されてきた輝度信号に補正効果を加える画像処理において、補正パラメータbが高いほど(または局所領域を肌領域と判断した場合には)、階調の変化を抑える補正を実施する。他方、補正パラメータbが低いほど(または局所領域を非肌領域と判断した場合には)、階調の変化を高める補正を実施する。
また、当該画像処理(画像補正)として、所定の局所領域におけるコントラスト補正を採用しても良い。補正パラメータbが高いほど(または局所領域を肌領域と判断した場合には)、所定の局所領域のコントラストを低くする。他方、補正パラメータbが低いほど(または局所領域を非肌領域と判断した場合には)、所定の局所領域のコントラストを高める。
上記を換言すると、次の通りである。つまり、補正量(効果)算出部6から出力された補正パラメータbが高い(肌度合いが高い)場合(つまり、局所領域が肌領域と判断された場合)は、肌領域用マッピングカーブ711を用いる。これにより、たとえば図5の補正前の局所的なヒストグラム751が、図6の肌領域補正後ヒストグラム753のように階調のダイナミックレンジが小さくなる(明暗の差が小さくなる)。このように、明暗の差が小さくなる(局所的なコントラストが下がる)ため、人の肌にあるシミ、シワ、吹き出物等を目立たないようにすることができる。すなわち、画像中の人の肌をきめ細かく見せ、肌を美しく見せることができる(この補正を美肌補正と記す)。
一方、補正量(効果)算出部6から出力された補正パラメータbが低い(肌度合いが低い)場合(つまり、局所領域を非肌領域と判断された場合)には、非肌領域用マッピングカーブ712を用いる。これにより、たとえば図5の補正前の局所的なヒストグラム752が、図6の非肌領域補正後ヒストグラム754のように階調のダイナミックレンジが大きくなる(明暗差が大きくなる)。このように、明暗の差が大きくなる(局所的なコントラストが上がる)ため、人の肌以外の領域について、くっきりと明瞭度を上げて見せることができる。
上記から分かるように、画像変換処理部7における補正処理は、局所領域が肌領域として検出された場合と、非肌領域として検出された場合とで、局所領域に対する補正効果を変えている。ここで、当該補正効果の変化は、局所肌色度の変化および局所輝度偏差の変化に対して連続的である。また、当該補正効果の変化は、局所肌色度の変化および方向性高周波成分の変化に対して連続的である。
また、上記画像処理は、局所的に処理を行っている。したがって、この相異なる画像処理を1つの画面内であっても領域毎に適応的に処理を行うことができる。
ここでは、局所コントラスト強調と美肌補正の例を示したが、フィルタの係数を連続的に変化させても良い。この場合、フィルタの係数をLPFとHPFの間で変化させる。これにより、局所領域の肌度合いが高い場合には、LPFとして肌の凹凸をぼかしたりノイズ削減をする。他方、局所領域の肌度合いが低い場合には、HPFとしてエッジ強調を行うことができる。
以上のように、本実施の形態に係る画像処理装置1では、局所領域における局所肌色度だけでなく、局所領域の局所輝度偏差(輝度ダイナミックレンジ)も用いて肌領域の検出を行っている。したがって、肌領域検出における誤判定を少なくできる。
また、肌画像よりも目や睫毛付近の画像の方が輝度変化が激しい。したがって、局所領域の局所輝度偏差(輝度ダイナミックレンジ)も用いて肌領域の検出を行うことにより、特に目の周辺を肌領域から除外することが可能となり、目や睫毛への美肌補正の誤った適用を抑えることができるという効果がある。よって、目や睫毛に対して美肌補正がかかることを防止でき、結果として画像全体がぼやけた印象を持つことを抑制できる。
また、本実施の形態に係る画像処理装置1では、上記局所輝度偏差として、局所領域内の最大輝度値と最小輝度値の差を用いている。したがって、簡単な演算で局所輝度偏差を求めることができる。よって、回路規模もしくはプログラム処理量を削減でき、製造コストの削減を図ることができ、さらに処理の高速化が可能となる。また、最大輝度値と最小輝度値の差を用いることで、肌だけなのか、目や睫毛が含まれているのかを高精度に判別できる。したがって、補正の際に、目や睫毛への美肌補正を抑制することが可能となる。
また、本実施の形態に係る画像処理装置1では、局所領域として、画面(画像)を複数のブロックに分割した1つまたは複数個のブロックを用いるようにしている。したがって、1画素毎に周辺の演算を行う必要が無く、ブロック単位での演算をすれば良い。よって、演算量を削減しながら局所輝度偏差を求めることができる。結果として、回路規模もしくはプログラム処理量を削減でき、製造コストの削減を図ることができ、さらに処理の高速化が可能となる。
また、本実施の形態に係る画像処理装置1では、上記局所輝度偏差を求める際に(特に、所定サイズの領域内の上記最大輝度値および上記最小輝度値を求める際に)、所定の局所領域において当該所定の局所領域よりもサイズの小さい領域で、予め平均を取った輝度値を用いるようにした。このため、ノイズによる肌領域の誤判定を抑えることができる。
また、本実施の形態に係る画像処理装置1において、局所肌色度だけでなく、局所領域における上記方向性高周波成分をも用いて肌領域の検出を行うこともできる。このような構成の場合においても、肌領域検出における誤判定を少なくできるという効果がある。
また、人の髪の毛は、髪が生えている方向に空間周波数が低く、当該生えている方向を横切る方向は空間周波数が高くなる。したがって、上記方向性高周波成分をも用いて肌領域の検出を行うことにより、特に、髪の毛等を肌領域から除外することが可能となり、髪の毛等への美肌補正の誤った適用を抑えることができる。よって、画像における髪の毛が平面的な印象を与えることを防止できる。
また、本実施の形態に係る画像処理装置1では、方向性高周波成分hとして、式(1)を用いるようにした。したがって、少ない演算量で方向性高周波成分hを求めることができる。結果として、回路規模もしくはプログラム処理量を削減でき、製造コストの削減および処理の高速化が可能となる。
また、入力輝度値や各色差値の変化に対して、補正量(効果)算出部6から出力された補正量パラメータbの変化が不連続であった場合を想定する。当該場合には、前述のマッピングカーブを用いた階調補正のときに、輝度が大きく不連続となる場合がある。このため、エッジ強調等よりも見た目の段差が特に大きくなるという問題も発生し得る。
そこで、本実施の形態に係る画像処理装置1では、入力輝度値や各色差値の変化に対して、補正量(効果)算出部6から出力された補正量パラメータbの変化もマッピングカーブの変化も連続となるようにした。したがって、グラデーション部等において、補正量または補正効果の急激な変化による段差を少なくできるという効果がある。
また、本実施の形態に係る画像処理装置1では、局所領域が肌領域と判断された場合は、階調のダイナミックレンジを抑える補正を実施する。これに、明暗の差が小さくなる(局所的なコントラストが低くなる)ため、人の肌にあるシミ、シワ、吹き出物等を目立たないようにすることができる。すなわち、画像中の人の肌をきめ細かく見せ、肌を美しく見せることができる。
また、本実施の形態に係る画像処理装置1では、局所領域を非肌領域と判断された場合は、階調のダイナミックレンジを高める補正を実施する。これにより、明暗の差が大きくなる(局所的なコントラストが高める)ため、人の肌以外の領域について、くっきりと明瞭度を上げて見せることができる。
なお、上記本発明は、撮像装置で撮影したデジタル画像を、表示、保存、送信する前に行う、エッジ強調や局所コントラスト改善、あるいは、人の肌をきめ細やかに見せるための画像処理の際に適用できる。
また、局所平均輝度を基に局所領域の輝度補正量を決定し、その補正量に基づいて輝度値を補正する階調補正処理においては、階調が連続するグラデーション部分に対して階調補正した後でも階調の連続性が保たれることが特に求められる。
例えば他の方式で、パターンマッチングなどの顔認識技術を用いて人の顔を検出し、検出した人の顔の領域だけに対して階調補正をする場合には、顔として検出した領域とその他の領域との境界において、階調が不連続となる箇所が発生することがあった。
本発明では、肌領域らしさの指標である肌度合いを連続的に変化させるようにしたので、階調補正処理に適用することで、人の肌のグラデーション領域において補正後にも肌の滑らかさを保つことができるため、特に大きな効果が得られる。特に顔と顔以外の部分の境界についての差は顕著である。
なお、図3に示すフローチャートを構成する各ステップを備えるプログラムを、コンピュータにより読み取り可能な記録媒体に記録されていても良い。
より具体的には、画像における所定の局所領域の肌色度合いを局所肌色度として算出するステップと、所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として算出するステップと、局所肌色度と局所輝度偏差とを用いて、所定の局所領域が肌領域であるか否かを検出するステップとを、備えているプログラムを、コンピュータにより読み取り可能なプログラム記録媒体に記録しても良い。
または、画像における所定の局所領域の肌色度合いを局所肌色度として算出するステップと、所定の局所領域の第一の方向において第一の輝度振幅変化があり、第一の方向と略直交する第二の方向において第一の輝度振幅変化より小さい第二の輝度振幅変化がある場合において、第二の輝度振幅変化量に対する第一の輝度振幅変化量の大きさを示す指標である、方向性高周波成分を算出するステップと、局所肌色度と方向性高周波成分とを用いて、所定の局所領域が肌領域であるか否かを検出するステップとを、備えているプログラムを、コンピュータにより読み取り可能なプログラム記録媒体に記録しても良い。
これらのプログラム記録媒体に記憶されているプログラムをコンピュータが読み取り、実行することにより、上記図1で示した装置と同じ働きを奏することができる。
1 画像処理装置、2 局所平均輝度算出部、3 局所輝度偏差算出部、4 局所輝度高周波算出部、5 局所肌色度算出部、6 補正量(効果)算出部、7 画像変換処理部、8 輝度信号遅延部、9 色差信号遅延部。
Claims (7)
- 画像における所定の局所領域の肌色度合いを局所肌色度として出力する局所肌色度算出部と、
前記所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として出力する局所輝度偏差算出部と、
前記局所肌色度と前記局所輝度偏差とに基づいて、前記所定の局所領域が肌領域であるか否かを検出する肌領域検出部と
を備え、
前記所定の局所領域は、複数の画素より構成されており、
前記局所輝度偏差算出部は、前記所定の局所領域を構成する前記画素毎に輝度値を算出し、前記画素毎に算出された輝度値に基づいて前記所定の局所領域の最大輝度値と前記所定の局所領域の最小輝度値とを算出し、前記最大輝度値と前記最小輝度値とに基づいて前記所定の局所領域の輝度ダイナミックレンジを求めること
を特徴とする画像処理装置。 - 所定の局所領域の輝度ダイナミックレンジは、最大輝度値と最小輝度値との差であること
を特徴とする請求項1に記載の画像処理装置。 - 局所肌色度と局所輝度偏差とに基づいて、画像を補正する画像変換処理部を、さらに備えており、
前記画像変換処理部は、
前記局所肌色度の変化および前記局所輝度偏差の変化に対して、連続的に前記画像を補正すること
を特徴とする請求項1又は2のいずれかに記載の画像処理装置。 - 肌領域検出部は、
局所肌色度が第一の閾値よりも高く、かつ、局所輝度偏差が第二の閾値よりも小さい領域を、肌領域として検出すること
を特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。 - 局所輝度偏差算出部は、
画像を複数のブロックに分割した場合の当該ブロック単位で、局所領域の輝度ダイナミックレンジを求めること
を特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。 - 局所輝度偏差算出部は、
所定の局所領域において前記所定の局所領域よりも画素サイズの小さい小領域を対象に画素毎に算出された輝度値に基づいて前記小領域毎の平均輝度値を算出し、前記画素毎に算出された輝度値に代えて前記平均輝度値を用いて前記所定の局所領域の最大輝度値及び前記所定の局所領域の最小輝度値とを算出すること
を特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 画像における所定の局所領域の肌色度合いを局所肌色度として出力する局所肌色度出力ステップと、
前記所定の局所領域の輝度ダイナミックレンジを局所輝度偏差として出力する局所輝度偏差出力ステップと、
前記局所肌色度と前記局所輝度偏差とを用いて、前記所定の局所領域が肌領域であるか否かを検出する検出ステップと
を備えているプログラムを、コンピュータにより読み取り可能な記録媒体に記録しているプログラム記録媒体であって、
前記所定の局所領域は、複数の画素より構成されており、
前記局所輝度偏差出力ステップは、
前記所定の局所領域を構成する前記画素毎に輝度値を算出する第1の算出ステップと、
前記画素毎に算出された輝度値に基づいて前記所定の局所領域の最大輝度値と前記所定の居所領域の最小輝度値とを算出する第2の算出ステップと、
前記最大輝度値と前記最小輝度値とに基づいて前記所定の局所領域の輝度ダイナミックレンジを算出する第3の算出ステップと
を備えること
を特徴とするプログラム記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007288322A JP2008257680A (ja) | 2007-11-06 | 2007-11-06 | 画像処理装置およびプログラム記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007288322A JP2008257680A (ja) | 2007-11-06 | 2007-11-06 | 画像処理装置およびプログラム記録媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007090647A Division JP4054360B1 (ja) | 2007-03-30 | 2007-03-30 | 画像処理装置およびプログラム記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008257680A true JP2008257680A (ja) | 2008-10-23 |
Family
ID=39981152
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007288322A Pending JP2008257680A (ja) | 2007-11-06 | 2007-11-06 | 画像処理装置およびプログラム記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008257680A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018518885A (ja) * | 2015-07-24 | 2018-07-12 | エイチピー・インディゴ・ビー・ブイHP Indigo B.V. | グレー成分置換 |
WO2023241339A1 (zh) * | 2022-06-13 | 2023-12-21 | 广州市百果园信息技术有限公司 | 色偏校正方法、装置、设备、存储介质及程序产品 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6412381A (en) * | 1987-07-06 | 1989-01-17 | Dainippon Printing Co Ltd | Picture information conversion method |
JPH0898184A (ja) * | 1994-09-28 | 1996-04-12 | Nec Corp | 人物動き領域検出装置 |
JPH09238261A (ja) * | 1996-02-28 | 1997-09-09 | Minolta Co Ltd | 画像形成装置 |
JP2000187722A (ja) * | 1998-12-24 | 2000-07-04 | Dainippon Screen Mfg Co Ltd | 画像処理パラメータの決定方法およびその処理を実行するためのプログラムを記録した記録媒体 |
JP2000348189A (ja) * | 1999-06-01 | 2000-12-15 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JP2001309193A (ja) * | 2000-04-18 | 2001-11-02 | Minolta Co Ltd | 画像処理装置、画像処理方法、および画像処理プログラムを記録した記録媒体 |
JP2005196252A (ja) * | 2003-12-26 | 2005-07-21 | Konica Minolta Photo Imaging Inc | 目標物領域検出装置、撮影装置、目標物領域検出方法、およびコンピュータプログラム |
JP2006318255A (ja) * | 2005-05-13 | 2006-11-24 | Konica Minolta Photo Imaging Inc | 画像処理方法、画像処理装置及び画像処理プログラム |
-
2007
- 2007-11-06 JP JP2007288322A patent/JP2008257680A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6412381A (en) * | 1987-07-06 | 1989-01-17 | Dainippon Printing Co Ltd | Picture information conversion method |
JPH0898184A (ja) * | 1994-09-28 | 1996-04-12 | Nec Corp | 人物動き領域検出装置 |
JPH09238261A (ja) * | 1996-02-28 | 1997-09-09 | Minolta Co Ltd | 画像形成装置 |
JP2000187722A (ja) * | 1998-12-24 | 2000-07-04 | Dainippon Screen Mfg Co Ltd | 画像処理パラメータの決定方法およびその処理を実行するためのプログラムを記録した記録媒体 |
JP2000348189A (ja) * | 1999-06-01 | 2000-12-15 | Matsushita Electric Ind Co Ltd | 画像処理装置 |
JP2001309193A (ja) * | 2000-04-18 | 2001-11-02 | Minolta Co Ltd | 画像処理装置、画像処理方法、および画像処理プログラムを記録した記録媒体 |
JP2005196252A (ja) * | 2003-12-26 | 2005-07-21 | Konica Minolta Photo Imaging Inc | 目標物領域検出装置、撮影装置、目標物領域検出方法、およびコンピュータプログラム |
JP2006318255A (ja) * | 2005-05-13 | 2006-11-24 | Konica Minolta Photo Imaging Inc | 画像処理方法、画像処理装置及び画像処理プログラム |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018518885A (ja) * | 2015-07-24 | 2018-07-12 | エイチピー・インディゴ・ビー・ブイHP Indigo B.V. | グレー成分置換 |
WO2023241339A1 (zh) * | 2022-06-13 | 2023-12-21 | 广州市百果园信息技术有限公司 | 色偏校正方法、装置、设备、存储介质及程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4054360B1 (ja) | 画像処理装置およびプログラム記録媒体 | |
US8368779B2 (en) | Image processing apparatus for performing gradation correction on subject image | |
US8417032B2 (en) | Adjustment of image luminance values using combined histogram | |
CN106846270B (zh) | 一种图像边缘增强方法及装置 | |
JP5121294B2 (ja) | 画像処理方法、画像処理装置、プログラム、記録媒体および集積回路 | |
JP4858609B2 (ja) | ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム | |
JP2005026962A (ja) | 信号処理装置、信号処理プログラム、および電子カメラ | |
KR20070004853A (ko) | 낮은 동적 범위로부터 높은 동적 범위로 이미지를 변환하는방법 및 시스템 | |
KR20100039664A (ko) | 영역 특성을 고려한 영상 보정 장치 및 그 방법 | |
JP2005353069A (ja) | 彩度適応的な映像向上装置およびその方法 | |
CN104335565A (zh) | 采用具有自适应滤芯的细节增强滤波器的图像处理方法 | |
JP4810473B2 (ja) | 画像処理装置および画像処理プログラム | |
TWI698124B (zh) | 影像調整方法以及相關的影像處理電路 | |
JP5014274B2 (ja) | 画像処理装置、画像処理方法、画像処理システム、プログラム、記録媒体および集積回路 | |
JP2014010776A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP2006217277A (ja) | 撮像装置 | |
JP2013041565A (ja) | 画像処理装置、画像表示装置、画像処理方法、コンピュータプログラム及び記憶媒体 | |
JP5439210B2 (ja) | 画像処理装置 | |
US20130343650A1 (en) | Image processor, image processing method, and program | |
JP2008257680A (ja) | 画像処理装置およびプログラム記録媒体 | |
JP4382832B2 (ja) | 画像処理装置およびプログラム | |
JP2009010636A (ja) | 適応ヒストグラム等化方法及び適応ヒストグラム等化装置 | |
TWI389576B (zh) | 影像處理裝置以及影像處理方法 | |
JP2009200635A (ja) | 画像処理装置及びその方法並びにプログラム | |
JP2009194721A (ja) | 画像信号処理装置、画像信号処理方法、及び撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101019 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110111 |