JP2007036499A - 画像信号処理装置 - Google Patents

Abstract

【課題】 画像のズーム比率に応じて、スキン・ディテール機能を制御することにより、ズーム比率が変化した場合にも最適なスキン・ディテール機能を実現することができる画像信号処理装置を提供する。
【解決手段】 デジタル画像を所定のズーム比率で縮小または拡大するズーム手段と、ズーム比率、及び前記画像を構成する各画素の色彩と所定の色彩との相関に基づいて輝度補正値を生成する輝度補正値生成手段と、輝度補正値に基づいて、画像の輝度変化を平滑化する輝度補正手段とを備え、画像のズーム比率に応じて、スキン・ディテール機能を制御する。
【選択図】 図１

Description

本発明は、画像信号を処理する画像信号処理装置に関し、特に、画像の縮小処理または拡大処理を行う画像信号処理装置に関するものである。

近年、デジタルカメラなどの撮像装置は、広く一般に使用され、携帯端末にも搭載されている。そして、撮像装置の画像信号を高性能に処理する技術が望まれている。特に、人物の肌の高画質化が望まれている。

しかし、輪郭強調処理などの鮮鋭化処理を画像信号に施すと、人肌では皮膚の皺（しわ）や黒子（ほくろ）などの他、ランダムノイズも強調されるという問題があった。

かかる問題を解決する技術として、人物の顔領域を輪郭強調することなく他の領域を輪郭強調することにより、画像の鮮鋭度を向上させる画像処理装置が提案されている（特許文献１参照）。
特開２００４-１７３３２８

しかし、特許文献１に開示されている画像信号処理装置は、輪郭強調処理の制御のみを行うため、肌の部分は強調せず、顔領域について肌色を滑らかにみせる機能（以下、「スキン・ディテール機能」という）を発揮できない。

また、携帯端末に搭載される撮像装置が使用される際、主に人物の顔領域が被写体となる。この場合、従来の画像信号処理装置では、輪郭強調信号の制御に留まるため、被写体の平滑化が不十分である。

特に、デジタル信号を処理して画像を縮小及び拡大するデジタルズーム機能により画像を縮小処理または拡大処理する場合、縮小比率または拡大比率（以下、「ズーム比率」という）に応じて人物の肌の表示画像が変化し、スキン・ディテール機能が最適に発揮されない。具体的には、人の肌にある輪郭強調信号そのものが見えにくくなり、スキン・ディテール機能の有無による肌の滑らかさの変化が認識され難くなる。

また、従来の画像信号処理装置は肌色部を検出するが、目や眉毛などの肌色以外の色彩が肌色とともに撮像されると、肌色部の検出精度が低くなり、輪郭強調信号が欠落してしまうため、画像の鮮鋭度が低下する。

本発明は、従来の問題を解決するためになされたもので、ズーム比率に応じてスキン・ディテール機能を最適に制御し、且つ画像の輪郭部の鮮鋭度が低下しないスキン・ディテール機能を実現する画像信号処理装置を提供することを目的とする。

本発明の画像信号処理装置は、デジタル画像を所定のズーム比率で縮小または拡大するズーム手段と、前記ズーム比率、及び前記画像を構成する各画素の色彩と所定の色彩との相関に基づいて輝度補正値を生成する輝度補正値生成手段と、前記輝度補正値に基づいて、前記画像の輝度変化を平滑化する輝度補正手段とを備える。

この構成によれば、画像のズーム比率に応じ、輝度変化を平滑化するスキン・ディテール機能を制御することにより、ズーム比率が変化した場合にも最適なスキン・ディテール機能を実現することができる。

また、本発明の画像信号処理装置において、前記輝度補正値生成手段は、前記画像を縮小する場合は、前記輝度変化を平滑化する程度を高くする輝度補正値を生成し、前記画像を拡大する場合は、前記輝度変化を平滑化する程度を低くする前記輝度補正値を生成する。

この構成によれば、画像が縮小された場合、輝度変化を平滑化する程度を高くすることにより、最適なスキン・ディテール機能を実現することができる。

また、本発明の画像信号処理装置において、前記輝度補正値生成手段は、前記色彩の相関が高い場合は、前記輝度変化を平滑化する程度を高くする前記輝度補正値を生成し、前記色彩の相関が低い場合は、前記輝度変化を平滑化する程度を低くする前記輝度補正値を生成する。

この構成によれば、色彩の相関が高い場合、輝度変化を平滑化する程度を高くすることにより、最適なスキン・ディテール機能を実現することができる。

また、本発明の画像信号処理装置は、前記デジタル信号に基づいて、前記画像の輝度を示す輝度信号を生成する輝度信号生成手段を更に備え、前記輝度補正値生成手段は、前記画像を構成する画素と前記画素に隣接する画素との輝度の相関に基づいて前記輝度補正値を生成する。

この構成によれば、輝度信号に基づいて特定色画素と周辺画素との相関を考慮することにより、輪郭に悪影響を及ぼさないスキン・ディテール機能を実現することが可能となる。

また、本発明の画像信号処理装置において、前記輝度補正値生成手段は、前記輝度の相関が低い場合は、前記輝度変化を平滑化する程度を低くする前記輝度補正値を生成し、前記輝度の相関が高い場合は、前記輝度変化を平滑化する程度を高くする前記輝度補正値を生成する。

この構成によれば、輝度の相関が低い場合、輝度変化を平滑化する程度を低くすることにより、輪郭に悪影響を及ぼさないスキン・ディテール機能を実現することが可能となる。

本発明は、画像のズーム比率に応じて、スキン・ディテール機能を制御することにより、ズーム比率が変化した場合にも最適なスキン・ディテール機能を実現することができる。また、本発明は、輝度信号に基づいて、特定色画素と周辺画素との相関を考慮することにより、輪郭に悪影響を及ぼさないスキン・ディテール機能を実現することが可能となる。

（第１の実施の形態）
図１は、本発明の第１の実施の形態の画像信号処理装置の一例を示した図である。第１の実施の形態の画像信号処理装置は、ズーム比率解析部１０、色差信号生成部５、色彩相関解析部６、輝度補正部７、ズーム部８を備える。図１には、第１の実施の形態の画像信号処理装置の他、レンズ１、固体撮像装置２、Ａ／Ｄ変換器３、輝度信号生成部４、ズーム比率入力部９が示されている。

レンズ１は、被写体から受光した光を結像させる。固体撮像装置２は、結像した画像を光電変換により電気信号に変換する。固体撮像装置２は、ＣＣＤやＣＭＯＳなどの固体撮像素子（図示せず）を複数備える。各固体撮像素子は、受光した光に基づいて、画像を構成する各画素の色彩や輝度などを示す電気信号を出力する。Ａ／Ｄ変換器３は、各固体撮像素子が出力した電気信号を、アナログ信号からデジタル信号Ｓ１へ変換し、輝度信号生成部４及び色差信号生成部５へ出力する。

輝度信号生成部４は、Ａ／Ｄ変換器３により変換されたデジタル信号Ｓ１に基づいて、画像を構成する各画素の輝度を示す輝度信号Ｓ２を生成する。輝度信号生成部４が生成した輝度信号Ｓ２は、輝度補正部７へ入力される。

ズーム比率入力部９には、Ａ／Ｄ変換器３によりデジタル信号に変換された画像を縮小または拡大させるためのズーム比率Ｒが入力される。ズーム比率入力部９は、入力されたズーム比率Ｒをズーム比率信号Ｓ３として、ズーム部８とズーム比率解析部１０へ出力する。

ズーム比率解析部１０は、ズーム比率Ｒに基づいて輝度補正値Ａ１を生成する。つまり、ズーム比率解析部１０は、ズーム比率入力部９により出力されたズーム比率信号Ｓ３に基づいて輝度補正値Ａ１を生成し、輝度補正値Ａ１を示すズーム比率解析信号Ｓ４を輝度補正部７へ出力する。ズーム比率解析部１０は、画像を縮小する場合は、輝度変化を平滑化する程度を高くするような輝度補正値Ａ１を生成し、画像を拡大する場合は、輝度変化を平滑化する程度を低くするような輝度補正値Ａ１を生成する。つまり、ズーム比率解析部１０は、画像を縮小させるためのズーム比率信号Ｓ３をズーム比率入力部９から受信した場合は、画像の輝度変化を平滑化する程度を高くするような輝度補正値Ａ１を生成する。また、ズーム比率解析部１０は、画像を拡大させるためのズーム比率信号Ｓ３をズーム比率入力部９から受信した場合は、画像の輝度変化を平滑化する程度を低くするような輝度補正値Ａ１を生成する。輝度補正値Ａ１は、ズーム比率解析信号Ｓ４として輝度補正部７へ入力される。

色差信号生成部５は、Ａ／Ｄ変換器３により変換されたデジタル信号Ｓ１を受信し、このデジタル信号Ｓ１に基づいて、画像を構成する画素それぞれの色彩を示す色差信号Ｓ６を生成する。色差信号生成部５は、生成された色差信号Ｓ６を色彩相関解析部６とズーム部８へ出力する。

色彩相関解析部６は、画像を構成する各画素の色彩と所定の色彩との相関に基づいて輝度補正値Ａ２を生成する。つまり、色彩相関解析部６は、色差信号Ｓ６と基準色彩信号Ｓ６０を受信し、色差信号Ｓ６として入力された色彩と基準色彩信号Ｓ６０として入力された所定の色彩の相関に基づいて輝度補正値Ａ２を生成し、輝度補正値Ａ２を示す色彩相関解析信号Ｓ７を輝度補正部７へ出力する。色彩相関解析部６は、相関が高い場合は、輝度変化を平滑化する程度を高くする輝度補正値Ａ２を生成し、相関が低い場合は、輝度変化を平滑化する程度を低くする輝度補正値Ａ２を生成する。輝度補正値Ａ２は、色彩相関解析信号Ｓ７として輝度補正部７へ入力される。

輝度補正部７は、輝度補正値Ａ１，Ａ２に基づいて、画像の輝度変化を平滑化する。つまり、輝度補正部７は、輝度補正値Ａ１，Ａ２に基づいて、輝度信号生成部４により生成された輝度信号Ｓ２の輝度変化を平滑化する。

ズーム部８は、ズーム比率入力部９に入力されたズーム比率Ｒに従って、デジタル画像を縮小または拡大する。すなわち、ズーム部８は、デジタル信号を処理して画像を縮小及び拡大するデジタルズーム機能により画像を縮小処理または拡大処理する。また、ズーム部８は、輝度調整信号Ｓ５、色差信号Ｓ６を受信し、輝度調整信号Ｓ５、色差信号Ｓ６に基づいて、縮小処理または拡大処理された画像を、表示部（図示しない）に表示させる。

図２は、図１に示す輝度補正部７の一例を示した図である。図２に示すように、輝度補正部７は、平滑化部１１、乗算器２１、合成部１３を備える。

平滑化部１１は、入力される輝度信号Ｓ２を受信し、輝度信号Ｓ２に対して輝度変化の平滑化処理を行う。一般に、平滑化部１１は、ローパスフィルタにより構成される。但し、平滑化部１１は、輝度信号Ｓ２の輝度変化を平滑化できる手段であればよい。例えば、平滑化部１１は、隣接する画素の輝度値の中央値を輝度値とすることにより、輝度変化を平滑化するメディアンフィルタであってもよい。平滑化部１１は、輝度信号Ｓ２の輝度変化を平滑化した平滑化輝度信号Ｓ９を合成部１３へ出力する。

乗算器２１は、ズーム比率解析信号Ｓ４と色彩相関解析信号Ｓ７を受信し、輝度補正値Ａ１と輝度補正値Ａ２を乗算する。乗算された輝度補正値Ａ１×Ａ２は、合成部１３に入力される。

合成部１３は、輝度信号Ｓ２、平滑化輝度信号Ｓ９を受信する。合成部１３は、乗算器２１から入力された輝度補正値Ａ１×Ａ２に基づいて、輝度信号Ｓ２と平滑化輝度信号Ｓ９を合成する。合成部１３は、輝度補正値Ａ１×Ａ２に基づいて、輝度信号Ｓ２の輝度変化を平滑化する程度を高くしたり低くしたりする。合成部１３は、輝度信号Ｓ２と平滑化輝度信号Ｓ９を合成した輝度調整信号Ｓ５を、図１のズーム部８へ出力する。

次に、第１の実施の形態の画像信号処理装置の動作について説明する。
まず、図１に示すレンズ１が、被写体から受光した光を結像させる。例えば、レンズ１は、人物の顔領域を被写体として、人物の顔領域から受光した光を結像する。

そして、図１に示す固体撮像装置２は、結像した画像を電気信号に変換する。例えば、固体撮像装置２は、レンズ１により結像した人物部の顔領域の画像を電気信号に変換する。

そして、図１に示すＡ／Ｄ変換器３は、各固体撮像素子が出力した電気信号を、アナログ信号からデジタル信号Ｓ１へ変換する。例えば図３に示すように、人物の顔領域３０の画像を構成する画素ごとに、デジタル信号Ｓ１へ変換する。図３は、デジタル画像の一例を示した図である。図３に示す顔領域３０は、複数の画素により構成されている。図３に示す折線グラフは、輝度信号生成部４にて生成される輝度信号Ｓ２の例を示す。

そして、図１に示す輝度信号生成部４は、デジタル画像を構成する各画素の輝度を示す輝度信号Ｓ２を生成する。例えば図３に示すように、輝度信号生成部４は、線Ａ−Ｂ上にある画素の輝度信号Ｓ２を生成する。図３の範囲Ｌ１は背景部３３であるため、低輝度を示す輝度信号Ｓ２が生成される。また、図３の範囲Ｌ２は皺部３３であるため、皺の溝では低輝度を示す輝度信号Ｓ２が生成され、皺と皺の間の肌部３１では高輝度を示す輝度信号Ｓ２が生成される。また、図３の範囲Ｌ３は黒子部３４であるため、低輝度を示す輝度信号Ｓ２が生成される。輝度信号生成部４により生成された輝度信号Ｓ２は、輝度補正部７へ入力される。

次に、図１に示すズーム比率入力部９は、デジタルズーム機能によりデジタル画像を縮小または拡大させるためのズーム比率Ｒを受信し、ズーム比率Ｒをズーム部８とズーム比率解析部１０へ出力する。

図１に示すズーム比率解析部１０は、入力されたズーム比率Ｒに基づいて輝度補正値Ａ１を生成する。図４は、ズーム比率解析部１０が生成する輝度補正値Ａ１の一例を示した図である。横軸は、ズーム比率入力部から入力されたズーム比率Ｒを表し、縦軸は、ズーム比率解析部１０が生成する輝度補正値Ａ１を表す。図４において、ズーム比率Ｒが１より大きいときは、画像はズーム比率Ｒにより縮小される。一方、ズーム比率が１より小さいときは、画像はズーム比率Ｒにより拡大される。例えば、ズーム比率Ｒが４である場合、画像は１／４に縮小される。例えば、図５に示すように、ズーム比率Ｒが４である場合、画素数が１２８０×９６０画素の画像が、３２０×２４０画素の画像に１／４縮小される。
図４では、輝度補正値Ａ１は、以下の式（１）のように表される。
Ａ１＝Ａ１_min （Ｚ１：０≦Ｒ≦Ｒ１）
Ａ１＝（Ａ１_max−Ａ１_min）（Ｒ−Ｒ１）／（Ｒ２−Ｒ１）＋Ａ１_min （Ｚ２：Ｒ１≦Ｒ≦Ｒ２）
Ａ１＝Ａ１_max （Ｚ３：Ｒ２≦Ｒ）
・・・・・（１）

つまり、範囲Ｚ１では、輝度補正値Ａ１は下限値Ａ１_minで一定である。範囲Ｚ２では、ズーム比率Ｒが大きくなる（すなわち画像を縮小する）ほど、輝度補正値Ａ１は大きくなる。範囲Ｚ３では、輝度補正値Ａ１は上限値Ａ１_maxで一定である。

図４では、範囲Ｚ２において、ズーム比率Ｒと輝度補正値Ａ１が比例関係にあるが、画像が縮小されると輝度変化を平滑化する程度が高くなる関係にあれば、如何なる関係式も許容される。また、図４では、範囲Ｚ１、Ｚ３において、下限値Ａ１_min及び上限値Ａ１_maxを設定して、輝度補正値Ａ１がＡ１_min≦Ａ１≦Ａ１_maxとなるように定義されるが、下限値Ａ１_min及び上限値Ａ１_maxを設定しなくてもよい。また、下限値Ａ１_min及び上限値Ａ１_maxは任意の値であってもよい。また、ズーム比率Ｒ１，Ｒ２は任意の値であってもよい。

図１に示すズーム比率解析部１０により生成された輝度補正値Ａ１は、ズーム比率解析信号Ｓ４として図２に示す乗算器２１に入力される。

図１に示す色差信号生成部５は、Ａ／Ｄ変換器３により変換されたデジタル信号Ｓ１を受信し、このデジタル信号Ｓ１に基づいて、画像を構成する画素それぞれの色彩を示す色差信号Ｓ６を生成する。

そして、図１に示す色彩相関解析部６は、色差信号Ｓ６と基準色彩信号Ｓ６０を受信する。例えば、肌色が基準色彩信号Ｓ６０として色彩相関解析部６へ入力される。色彩相関解析部６は、画像を構成する各画素の色彩と所定の色彩との相関を判断する。例えば、色彩相関解析部６は、色空間における距離に応じて相関を判断する。図６は、ＵＶ空間における色彩の相関を示す図である。横軸は、輝度信号Ｓ２と青色成分の差を表し、縦軸は、輝度信号と赤色成分の差を表す。点Ｐ１は、基準色彩信号Ｓ６０として入力された所定の色彩をＵＶ空間上にプロットした点である。点Ｐ３、Ｐ４は、色差信号Ｓ６として入力された各画素の色彩をＵＶ空間上にプロットした点である。色彩相関解析部６は、ＵＶ空間における距離が短い場合は相関が高いと判断し、ＵＶ空間における距離が長い場合は相関が低いと判断する。例えば図６において、点Ｐ１と点Ｐ３の距離はΔＣ３であり、点Ｐ１と点Ｐ４の距離はΔＣ４である。距離ΔＣ３が距離ΔＣ４よりも短い場合、点Ｐ３の色彩は点Ｐ４よりも点Ｐ１の色彩と相関が高いと判断される。

色彩相関解析部６は、画像を構成する各画素の色彩と所定の色彩との相関に基づいて輝度補正値Ａ２を生成する。図７は、色彩相関解析部６が生成する輝度補正値Ａ２の一例を示した図である。横軸は、点Ｐ１からの距離を表し、縦軸は、輝度補正値Ａ２を表す。
図７では、輝度補正値Ａ２は、以下の式（２）のように表される。
Ａ２＝１ （Ｚ４：０≦ΔＣ≦ΔＣ１）
Ａ２＝（ΔＣ−ΔＣ２）／（ΔＣ１−ΔＣ２） （Ｚ５：ΔＣ１≦ΔＣ≦ΔＣ２）
Ａ２＝０ （Ｚ６：ΔＣ２≦ΔＣ）
・・・・・（２）

つまり、図６に示すように、点Ｐ１からの所定の距離ΔＣ１，ΔＣ２を設定し、それぞれの範囲を範囲Ｚ４，Ｚ５，Ｚ６とする。そして、図７に示すように、範囲Ｚ４では、輝度補正値Ａ１は上限値１で一定である。範囲Ｚ５では、点Ｐ１からの距離ΔＣが大きくなるほど、輝度補正値Ａ２は小さくなる。範囲Ｚ６では、輝度補正値Ａ２は下限値０で一定ある。

図７では、範囲Ｚ５において、距離ΔＣと輝度補正値Ａ２が比例関係にあるが、相関が高いと輝度変化を平滑化する程度が高くなる関係にあれば、如何なる関係式も許容される。また、図７では、範囲Ｚ４、Ｚ６において、上限値１及び下限値０を設定して、輝度補正値Ａ２が０≦ΔＣ≦１となるように定義されるが、上限値１及び下限値０を設定しなくてもよい。また、上限値及び下限値は任意の値であってもよい。また、距離ΔＣ１，ΔＣ２は任意の値であってもよい。

図６ではＵＶ空間を用いたが、ＲＧＢなどのあらゆる色空間を用いることができる。また、色彩相関解析部６は、色空間により所定の色彩との相関を判断するが、色彩について所定の色彩との相関を判断できれば、他の手段も許容される。

図１に示す色彩相関解析部６により生成された輝度補正値Ａ２は、色相相関解析信号Ｓ７として図２に示す乗算器２１へ入力される。また、図１に示すズーム比率解析部１０により生成された輝度補正値Ａ１は、ズーム比率解析信号Ｓ４として乗算器２１へ入力される。

乗算器２１は、輝度補正値Ａ１と輝度補正値Ａ２を乗算する。乗算された輝度補正値Ａ１×Ａ２は、図２に示す合成部１３に入力される。

また、図１に示す輝度信号生成部４により生成された輝度信号Ｓ２は、図２に示す平滑化部１１、合成部１３に入力される。例えば、図３に示す輝度信号Ｓ２が入力される。

そして、平滑化部１１は、入力された輝度信号Ｓ２に対して輝度変化の平滑化処理を行う。図８は、平滑化処理された輝度信号の一例を示す図である。図８に示すように、平滑化部１１は、線Ａ−Ｂ上にある画素の輝度信号Ｓ２を平滑化する。特に、図８の範囲Ｌ２の皺部３３及び範囲Ｌ４の黒子部３４の輝度信号Ｓ２が平滑化され、皺部３３及び黒子部３４が目立たない画像を得ることができる。

そして、合成部１３は、輝度補正値Ａ１×Ａ２に基づいて、輝度信号Ｓ２と平滑化輝度信号Ｓ９を合成し、輝度調整信号Ｓ５を生成する。例えば、合成器１３は以下の式（３）に従って輝度調整信号Ｓ５を生成する。
Ｓ５＝Ａ１×Ａ２×Ｓ９＋（１−Ａ１×Ａ２）×Ｓ２
・・・・・（３）

式（３）によれば、合成部１３は、輝度補正値Ａ２が大きくなる（すなわち色彩の相関が高い）ほど、輝度信号Ｓ２に対する平滑化輝度信号Ｓ９の割合が大きくなる。つまり、輝度補正値Ａ２が大きくなるほど、輝度変化を平滑化する程度が高くなった輝度調整信号Ｓ５が生成される。合成部１３により生成された輝度調整信号Ｓ５は、ズーム部８に入力される。そして、ズーム部８は、輝度調整信号Ｓ５に基づいて、画像を構成する各画素の輝度を調整する。また、ズーム部８は、ズーム比率信号Ｓ３に基づいて、画像を縮小処理または拡大処理する。

第１の実施の形態の画像信号処理装置によれば、画像を構成する各画素の色彩に応じて輝度変化を平滑化するスキン・ディテール機能を、ズーム比率に基づいて制御することにより、所定の色彩と相関が高い色彩に対して、最適なスキン・ディテール機能を実現することができる。例えば、肌色との相関を判断することにより、顔領域に対してのみスキン・ディテール機能を発揮させることができ、画像が縮小された場合であっても、縮小率に応じてリアルタイムにスキン・ディテール機能を調整し、皺や黒子を目立たなくさせることができる。

（第１の実施の形態の変形例）
図４に示すように、第１の実施の形態の画像信号処理装置では、ズーム比率信号Ｓ３に基づいて輝度補正値Ａ１を生成する。但し、図９に示すように、同じズーム比率信号Ｓ３が入力された場合でも、異なる輝度補正値Ａ１が生成されてよい。つまり、ズーム比率解析部１０を制御することにより、生成される輝度補正値Ａ１が調整される。例えば図９のグラフＧ１に示すように、ズーム比率Ｒの変化に対して高感度に、輝度補正値Ａ１が生成されてもよい。また、図９のグラフＧ２に示すように、ズーム比率Ｒの変化に対して低感度に、輝度補正値Ａ１が生成されてもよい。この結果、輝度補正値Ａ１の微調整が可能となり、より最適なスキン・ディテール機能を実現することができる。

また、図７に示すように、第１の実施の形態の画像信号処理装置では、色差信号Ｓ６に基づいて輝度補正値Ａ２を生成する。但し、図１０に示すように、同じ色差信号Ｓ６が入力された場合でも、異なる輝度補正値Ａ２が生成されてよい。つまり、色彩相関解析部６を制御することにより、生成される輝度補正値Ａ２が調整される。例えば図１０のグラフＧ３に示すように、距離ΔＣの変化に対して高感度に、輝度補正値Ａ２が生成されてもよい。また、図１０のグラフＧ４に示すように、距離ΔＣの変化に対して低感度に、輝度補正値Ａ２が生成されてもよい。この結果、輝度補正値Ａ２の微調整が可能となり、より最適なスキン・ディテール機能を実現することができる。

また、第１の実施の形態の画像信号処理装置では、乗算器２１により乗算された輝度補正値Ａ１×Ａ２に基づいて輝度変化を平滑化するが、輝度補正値Ａ２に基づいて輝度変化を平滑化してもよい。この場合、合成器１３は例えば以下の式（４）に従って輝度調整信号Ｓ５を生成する。
Ｓ５＝Ａ２×Ｓ９＋（１−Ａ２）×Ｓ２
・・・・・（４）

また、所定の色彩は任意に設定される。肌色の他、青色などのあらゆる色彩を設定できる。青色が設定された場合、青空のようなノイズの目立つ被写体に対して、ノイズを低減することができる。

（第２の実施の形態）
図１１に示すように、第２の実施の形態の画像信号処理装置は、輝度信号解析部１２を備える。その他の構成は、第１の実施の形態と同様である。

輝度解析部１２は、輝度信号生成部４により生成された輝度信号Ｓ２を受信し、この輝度信号Ｓ２に基づいて、輝度解析信号Ｓ８を生成する。輝度解析部１２は、生成された輝度解析信号Ｓ８を輝度補正部８へ出力する。輝度解析部１２は、画像を構成する画素とこの画素に隣接する画素との輝度の相関に基づいて輝度補正値Ａ３を生成する。つまり、輝度解析部１２は、輝度信号生成部４から輝度信号Ｓ２を受信し、所定の画素とこの所定の画素の周辺の画素との輝度の差分値を検出し、この差分値に基づいて輝度補正値Ａ３を生成する。輝度解析部１２は、差分値が大きい場合は、輝度変化を平滑化する程度を低くする輝度補正値Ａ３を生成し、差分値が小さい場合は、輝度変化を平滑化する程度を高くする輝度補正値Ａ３を生成する。輝度補正値Ａ３は、輝度解析信号Ｓ８として輝度補正部７へ入力される。

輝度補正部７は、輝度補正値Ａ１，Ａ２，Ａ３に基づいて、画像の輝度変化を平滑化する。つまり、輝度補正部７は、輝度補正値Ａ１，Ａ２，Ａ３に基づいて、輝度信号生成部４により生成された輝度信号Ｓ２の輝度変化を平滑化する。

図１２は、図１１に示す輝度補正部７の一例を示した図である。図１２に示すように、輝度補正部７は、乗算器２２を備える。その他の構成は、第１の実施の形態と同様である。

乗算器２２には、乗算器２１により乗算された輝度補正値Ａ１×Ａ２が入力される。また、乗算器２２には、輝度補正値Ａ３を示す輝度解析信号Ｓ８が入力される。乗算器２２は、輝度補正値Ａ１×Ａ２と輝度補正値Ａ３を乗算する。乗算された輝度補正値Ａ１×Ａ２×Ａ３は、合成部１３に入力される。合成器１３は、輝度補正値Ａ１×Ａ２×Ａ３に基づいて、輝度信号Ｓ２と平滑化輝度信号Ｓ９を合成する。

次に、第２の実施の形態の画像信号処理装置の動作について説明する。主に、輝度解析部１２、乗算器２１、乗算器２２、合成部１３の動作について説明する。その他の構成の動作は、第１の実施の形態と同様である。

図１１に示す輝度解析部１２は、輝度信号生成部４により生成された輝度信号Ｓ２を受信し、この輝度信号Ｓ２に基づいて、輝度解析信号Ｓ８を生成する。輝度解析部１２は、画像を構成する画素とこの画素に隣接する画素との輝度の差分値に基づいて輝度補正値Ａ３を生成する。図１３は、画像を構成する画素の一例を示した図である。図１３に示すように、画素Ｙ０−Ｙ８によって画像が構成されている。各画素の輝度は、輝度信号生成部４により輝度信号Ｓ２として示される。

輝度解析部１２は、所定の画素を特定する。例えば図１３に示すように、画素Ｙ０が特定される。輝度解析部１２は、特定された画素に隣接する画素を特定する。例えば図１３に示すように、画素Ｙ０に隣接する画素Ｙ１−Ｙ８が特定される。そして、輝度解析部１２は、特定された画素と特定された画素に隣接する画素の輝度の差分値を検出する。例えば図１３に示すように、画素Ｙ０と画素Ｙ１−Ｙ８の輝度の差分値を検出する。輝度の差分値は、各画素の輝度信号Ｓ２に基づいて検出される。

輝度解析部１２は、検出された差分値に基づいて輝度補正値Ａ３を生成する。輝度解析部１２は、差分値が大きい場合は、輝度変化を平滑化する程度を低くする輝度補正値Ａ３を生成し、差分値が小さい場合は、輝度変化を平滑化する程度を高くする輝度補正値Ａ３を生成する。図１４は、輝度解析部１２が生成する輝度補正値Ａ３の一例を示した図である。横軸は、隣接する画素のうち差分値が所定の閾値を超えた画素の数Ｎを表す。所定の閾値は、任意に設定される。縦軸は、輝度補正値Ａ３を表す。
図１４では、輝度補正値Ａ３は、以下の式（５）のように表される。
Ａ３＝−Ｎ／Ｎ１＋１ （Ｚ７：０≦Ｎ≦Ｎ１）
Ａ３＝０ （Ｚ８：Ｎ１≦Ｎ）
・・・・・（５）

つまり、範囲Ｚ７では、差分値が所定の閾値を越える画素の数Ｎが多くなるほど輝度補正値Ａ３は小さくなる。範囲Ｚ７では、輝度補正値Ａ３の上限値は１である。範囲Ｚ８では、輝度補正値Ａ３は下限値０で一定である。

図１４では、範囲Ｚ７において、差分値が所定の閾値を越える画素の数Ｎと輝度補正値Ａ３が比例関係にあるが、相関関係を判定し、相関が低くなると平滑化する程度が低くなる関係にあれば、如何なる関係式も許容される。また、図１４では、範囲Ｚ７、Ｚ８において、上限値１及び下限値０を設定して、輝度補正値Ａ３が０≦Ａ３≦１となるように定義されるが、上限値１及び下限値０を設定しなくてもよい。また、上限値及び下限値は任意の値であってもよい。また、画素数Ｎ１は任意の値であってもよい。

乗算器２１は、輝度補正値Ａ１と輝度補正値Ａ２を乗算する。乗算された輝度補正値Ａ１×Ａ２は、図１２に示す乗算器２２に入力される。また、図１１に示す輝度解析部１２により生成された輝度補正値Ａ３が、輝度解析信号Ｓ８として乗算器２２へ入力される。

乗算器２２は、輝度補正値Ａ１×Ａ２と輝度補正値Ａ３を乗算する。乗算された輝度補正値Ａ１×Ａ２×Ａ３は、図１２に示す合成部１３に入力される。

そして、合成部１３は、輝度補正値Ａ１×Ａ２×Ａ３に基づいて、輝度信号Ｓ２と平滑化輝度信号Ｓ９を合成し、輝度調整信号Ｓ５を生成する。例えば、合成器１３は以下の式（６）に従って輝度調整信号Ｓ５を生成する。
Ｓ５＝Ａ１×Ａ２×Ａ３×Ｓ９＋（１−Ａ１×Ａ２×Ａ３）×Ｓ２
・・・・・（６）

式（６）によれば、合成部１３は、輝度補正値Ａ３が大きくなる（すなわち相関が高い）ほど、輝度信号Ｓ２に対する平滑化輝度信号Ｓ９の割合が大きくなる。つまり、輝度補正値Ａ３が大きくなるほど、輝度変化を平滑化する程度が高くなった輝度調整信号Ｓ５が生成される。合成部１３により生成された輝度調整信号Ｓ５は、ズーム部８に入力される。

第２の実施の形態の画像信号処理装置によれば、輝度信号に基づいて特定色画素と周辺画素との輝度の相関を考慮することにより、輪郭に悪影響を及ぼさないスキン・ディテール機能を実現することが可能となる。例えば、顔領域の輪郭を特定し、輪郭以外の顔領域に対して、最適なスキン・ディテール機能を実現することができる。

また、第２の実施の形態の画像信号処理装置によれば、画像を構成する各画素の輝度に応じて、スキン・ディテール機能を制御することにより、同じ色彩でも所定の領域に対して、最適なスキン・ディテール機能を実現することができる。例えば、顔領域の背景が肌色である場合にも、輝度の差分値に基づいて顔領域を特定し、顔領域のみの肌色に対して、最適なスキン・ディテール機能を実現することができる。

（第２の実施の形態の変形例）
図１４に示すように、第２の実施の形態の画像信号処理装置では、輝度解析信号Ｓ８に基づいて輝度補正値Ａ３を生成する。但し、図１５に示すように、同じ輝度解析信号Ｓ８が入力された場合でも、異なる輝度補正値Ａ３が生成されてよい。つまり、輝度解析部１２を制御することにより、生成される輝度補正値Ａ３が調整される。例えば図１５のグラフＧ５に示すように、画素数Ｎの変化に対して高感度に、輝度補正値Ａ３が生成されてもよい。また、図１５のグラフＧ６に示すように、画素数Ｎの変化に対して低感度に、輝度補正値Ａ３が生成されてもよい。この結果、輝度補正値Ａ３の微調整が可能となり、より最適なスキン・ディテール機能を実現することができる。

また、第２の実施の形態の画像信号処理装置では、乗算器２２により乗算された輝度補正値Ａ１×Ａ２×Ａ３に基づいて輝度変化を平滑化するが、少なくとも輝度補正値Ａ３に基づいて輝度変化を平滑化してもよい。この場合、合成器１３は例えば以下の式（７）に従って輝度調整信号Ｓ５を生成する。
Ｓ５＝Ａ３×Ｓ９＋（１−Ａ３）×Ｓ２
・・・・・（７）

また、第２の実施の形態の画像信号処理装置では、輝度解析部１２が輝度信号Ｓ２の差分値を検出することにより、所定の画素と隣接する画素との輝度の相関を判断するが、輝度信号Ｓ２を周波数成分に基づいて、所定の画素と所定の画素に隣接する画素との輝度の相関を判断してもよい。つまり、輝度解析部１２は、輝度に関して所定の画素と所定の画素に隣接する画素との相関を判断し、かかる相関に基づいて輝度補正値Ａ３を生成する手段であればよい。

以上のように、本発明の画像信号処理装置は、画像のズーム比率に応じて、スキン・ディテール機能を制御することにより、ズーム比率が変化した場合にも最適なスキン・ディテール機能を実現することができるという効果を有し、画像の縮小処理または拡大処理を行う画像信号処理装置などとして有用である。

本発明の第１の実施の形態の画像信号処理装置の一例を示した図 本発明の第１の実施の形態の画像信号処理装置における、輝度補正部の一例を示した図 顔領域の画像と輝度信号の一例を示した図 ズーム比率解析部が生成する輝度補正値の一例を示した図 縮小処理された画像の一例を示した図 ＵＶ空間における色彩の相関の一例を示した図 色彩相関解析部が生成する輝度補正値の一例を示した図 顔領域の画像と平滑化処理された輝度信号の一例を示す図 輝度補正値Ａ１の変形例の一例を示した図 輝度補正値Ａ２の変形例の一例を示した図 第２の実施の形態の画像信号処理装置の一例を示した図 第２の実施の形態の画像信号処理装置における、輝度補正部の一例を示した図 画像を構成する画素の一例を示した図 輝度解析部が生成する輝度補正値の一例を示した図 第２の実施の形態の変形例の一例を示した図

符号の説明

１ レンズ
２ 固体撮像装置
３ Ａ／Ｄ変換器
４ 輝度信号生成部
５ 色差信号生成部
６ 色彩相関解析部
７ 輝度補正部
８ ズーム部
９ ズーム比率入力部
１０ ズーム比率解析部
１１ 平滑化部
１２ 輝度解析部
１３ 合成部

Claims (5)

1. デジタル画像を所定のズーム比率で縮小または拡大するズーム手段と、
   前記ズーム比率、及び前記画像を構成する各画素の色彩と所定の色彩との相関に基づいて輝度補正値を生成する輝度補正値生成手段と、
   前記輝度補正値に基づいて、前記画像の輝度変化を平滑化する輝度補正手段と、
   を備えた画像信号処理装置。
2. 前記輝度補正値生成手段は、前記画像を縮小する場合は、前記輝度変化を平滑化する程度を高くする輝度補正値を生成し、前記画像を拡大する場合は、前記輝度変化を平滑化する程度を低くする前記輝度補正値を生成する請求項１に記載の画像信号処理装置。
3. 前記輝度補正値生成手段は、前記色彩の相関が高い場合は、前記輝度変化を平滑化する程度を高くする前記輝度補正値を生成し、前記色彩の相関が低い場合は、前記輝度変化を平滑化する程度を低くする前記輝度補正値を生成する請求項１又は２に記載の画像信号処理装置。
4. 前記デジタル信号に基づいて、前記画像の輝度を示す輝度信号を生成する輝度信号生成手段を更に備え、
   前記輝度補正値生成手段は、前記画像を構成する画素と前記画素に隣接する画素との輝度の相関に基づいて前記輝度補正値を生成する請求項１乃至３の何れかに記載の画像信号処理装置。
5. 前記輝度補正値生成手段は、前記輝度の相関が低い場合は、前記輝度変化を平滑化する程度を低くする前記輝度補正値を生成し、前記輝度の相関が高い場合は、前記輝度変化を平滑化する程度を高くする前記輝度補正値を生成する請求項４に記載の画像信号処理装置。
   

Images