JP2019040381A - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP2019040381A JP2019040381A JP2017161720A JP2017161720A JP2019040381A JP 2019040381 A JP2019040381 A JP 2019040381A JP 2017161720 A JP2017161720 A JP 2017161720A JP 2017161720 A JP2017161720 A JP 2017161720A JP 2019040381 A JP2019040381 A JP 2019040381A
- Authority
- JP
- Japan
- Prior art keywords
- image
- area
- recognition
- evaluation value
- gradation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 125
- 238000011156 evaluation Methods 0.000 claims abstract description 35
- 238000004364 calculation method Methods 0.000 claims description 83
- 238000012937 correction Methods 0.000 claims description 39
- 238000003384 imaging method Methods 0.000 claims description 15
- 238000013441 quality evaluation Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 8
- 230000015556 catabolic process Effects 0.000 abstract description 2
- 238000006731 degradation reaction Methods 0.000 abstract description 2
- 238000000034 method Methods 0.000 description 48
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 101150083341 LOG2 gene Proteins 0.000 description 5
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000001186 cumulative effect Effects 0.000 description 3
- 201000005569 Gout Diseases 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】広ダイナミックレンジかつ高コントラストで、カメラ処理のパフォーマンス劣化を抑えつつ、露出が適正となる画像を生成することができる。【解決手段】画像処理装置は、入力画像に対して任意の数の画像領域を認識し、特定の画像領域における画質特性を表す評価値を算出し、特定の画像領域における認識信頼度を算出し、評価値をもとに階調特性を決定する。特には、領域毎に第1評価値を算出し、入力画像を認識領域と非認識領域を切り分け、非認識領域にもとづき認識信頼度を算出する。認識信頼度が特定の条件を満たした場合は第1評価値から第1階調特性を決定し、第1階調特性に基づき画像を作成する。認識信頼度が特定の条件を満たしていない場合は、入力画像の露出を適正にするようにあらかじめ決定された入出力特性に基づき第2評価値を算出し、第1評価値と第2評価値を用いて階調特性決定手段により第2階調特性を決定する。【選択図】図2
Description
本発明は、出力画像の階調補正を行う画像処理技術に関する。
従来から、ハイダイナミックレンジ合成(HDR)や覆い焼き等、ダイナミックレンジが拡大された入力信号に対して、階調圧縮を行って出力する処理がある。
特許文献1には、入力画像に対して被写体領域の判定を行い、被写体領域の判定結果を用いて被写体領域毎の代表輝度値とヒストグラムを算出し、代表輝度値から被写体領域毎の階調補正量を算出して、階調特性を決定する技術が提案されている。
しかしながら、特許文献1では、被写体領域判定で、人物(顔)領域、空の領域、及び人物(顔)領域と空の領域以外の背景領域よりも多くの領域を判別する場合、領域の判別数が多くなるため、カメラ処理としてのパフォーマンスが劣化するという課題がある。また、被写体領域判定で、人物(顔)領域、空の領域、及び人物(顔)領域と空の領域以外の背景領域を判定する場合でも、背景領域に明部と暗部が混在するシーンでは、背景領域を一つの領域として判別するため、ゲインが背景領域に過度にかかる場合がある。その結果、露出が過度に明るい画像が生成されるという課題がある。
上記の課題を解決するために、本発明に係る画像処理装置は、
画像の階調補正を行う画像処理装置であって、
画像を入力する入力手段と、
入力画像に対して任意の数N個の種別の画像領域を認識する第1画像認識手段と、
特定の画像領域における画質特性を表す評価値を算出する画質評価値算出手段と、
特定の画像領域における認識信頼度を算出する認識信頼度算出手段と、
前記画質評価値算出手段により算出された評価値をもとに階調特性を決定する階調特性決定手段と、
を有し、
入力画像を前記第1画像認識手段により認識された第1画像認識領域と前記第1画像認識領域以外の第1非画像認識領域を切り分け、
前記第1画像認識領域と前記第1非画像認識領域にもとづき前記画質評価値算出手段により第1評価値を算出し、
前記第1非画像認識領域にもとづき前記認識信頼度算出手段により認識信頼度を算出し、
前記認識信頼度が特定の条件を満たした場合は前記第1評価値から前記階調特性決定手段により第1階調特性を決定し、
前記第1階調特性に基づき画像を作成し、
前記認識信頼度が特定の条件を満たしていない場合は、
前記入力画像の露出を適正にするようにあらかじめ決定された入出力特性に基づき第2評価値を算出し、
前記第1評価値と前記第2評価値を用いて前記階調特性決定手段により第2階調特性を決定し、
前記第2階調特性に基づき画像を作成することを特徴とする。
画像の階調補正を行う画像処理装置であって、
画像を入力する入力手段と、
入力画像に対して任意の数N個の種別の画像領域を認識する第1画像認識手段と、
特定の画像領域における画質特性を表す評価値を算出する画質評価値算出手段と、
特定の画像領域における認識信頼度を算出する認識信頼度算出手段と、
前記画質評価値算出手段により算出された評価値をもとに階調特性を決定する階調特性決定手段と、
を有し、
入力画像を前記第1画像認識手段により認識された第1画像認識領域と前記第1画像認識領域以外の第1非画像認識領域を切り分け、
前記第1画像認識領域と前記第1非画像認識領域にもとづき前記画質評価値算出手段により第1評価値を算出し、
前記第1非画像認識領域にもとづき前記認識信頼度算出手段により認識信頼度を算出し、
前記認識信頼度が特定の条件を満たした場合は前記第1評価値から前記階調特性決定手段により第1階調特性を決定し、
前記第1階調特性に基づき画像を作成し、
前記認識信頼度が特定の条件を満たしていない場合は、
前記入力画像の露出を適正にするようにあらかじめ決定された入出力特性に基づき第2評価値を算出し、
前記第1評価値と前記第2評価値を用いて前記階調特性決定手段により第2階調特性を決定し、
前記第2階調特性に基づき画像を作成することを特徴とする。
本発明に係る画像処理装置によれば、広ダイナミックレンジかつ高コントラストで、カメラ処理のパフォーマンス劣化を抑えつつ、露出が適正となる画像を生成することができる。
以下に、本発明を実施するための形態について詳細に説明する。
尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
以下、本発明の画像処理装置を、例えば、デジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に適用した実施形態について説明する。
図1を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。
本実施形態は、画像領域の情報を用いて最適な階調処理を行う。
なお、本実施形態は、本発明による効果が最も高い逆光時の人物シーンを想定し、人物が最も暗く、空が最も明るいシーンを想定した階調処理について説明する。ただし、本発明の技術思想は上記シーン以外にも適用可能であることは言うまでもない。
図1において、光学系101は、ズームレンズやフォーカスレンズから構成されるレンズ群、絞り調整装置、および、シャッタ装置を備えている。この光学系101は、撮像部102に結像される被写体像の倍率やピント位置、あるいは、入射光量を調整する。撮像部102は、光学系101を通過した被写体の光束を光電変換するCCDやCMOS等の光電変換素子からなるイメージセンサを含む。
A/D変換部103は、撮像部102から入力された映像信号をデジタルの画像に変換する。
画像処理部104は、通常の信号処理に加えて、後述する階調処理を行う。画像処理部104はA/D変換部103から出力されたデジタル画像信号だけでなく、記録部110から読み出された画像データに対しても同様の画像処理を行うことができる。
露光量算出部105は、本実施形態の階調処理を行うために最適な入力画像を得るために、撮影時の露光量を算出する。露光量算出部105は、画像処理部104による処理結果を入力し、算出した露光量を露光量制御部106へ出力する。露光量算出部105の詳細については後述する。
露光量制御部106は、露光量算出部105により算出された露光量に応じて、光学系101と撮像部102を制御して、絞り、シャッタスピード、撮像部102のアナログゲインを制御する。
システム制御部107は、本実施形態の装置全体の動作を統括して制御する。画像処理部104で処理された画像信号から得られる輝度値や操作部108から送信された指示信号に基づいて、光学系101や撮像部102の駆動制御も行う。
表示部109は、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイで構成され、撮像部102で生成された画像信号や、記録部110から読み出した画像データを表示する。記録部110は、画像データを記録する機能を有し、例えば、半導体メモリが搭載されたメモリカードや光磁気ディスク等の回転記録体を収容したパッケージなどを用いた情報記録媒体を含んでも良いし、この情報記録媒体を着脱可能にしても良い。
バス111は、画像処理部104、システム制御部107、表示部109、および、記録部110の間で画像信号や制御信号を伝送するための伝送路である。
次に、図3を参照して、露光量算出部105の構成及び機能について説明する。
露光量算出部105は、階調処理を行うために最適な露光量で撮影された画像信号を得るために必要な露光量を算出する。本実施形態では、露光量の算出についても画像領域の情報を用いる。
なお、以下では、露光量算出部105への入力情報として、図2に示す画像処理部104の領域別輝度値算出部203の出力結果を用いる。画像処理部104の構成及び機能については後述する。
露光量算出部105は、領域別輝度値算出部203の出力結果を入力して、主被写体出力輝度値算出部301と領域間輝度段差算出部302で処理を行った後、露光量決定部303で露光量を決定し、露光量制御部106へ出力する。
図6は、露光量を算出するための画像信号を取得してから、露光量算出部105で露光量を算出するまでの処理を示し、S601からS603までが画像処理部104で行う処理、S604からS606までが露光量算出部105で行う処理である。
なお、図6の処理は、システム制御部107が、不揮発性メモリに格納されたプログラムを、揮発性メモリのワークエリアに展開し、上記各部を制御することにより実現される。
S601では、画像処理部104は、露光量を算出するために撮像部102により撮像された画像信号を取得する。
S602では、画像処理部104は、S601で取得した画像信号から領域の認識を行う。本実施形態では、領域として、人物の顔領域、人物の顔以外の体領域、雲・太陽等を含む空領域、上記以外の領域を背景領域として合計4つの領域を認識する。図9(a)は、入力画像に対して領域認識を行った結果を例示している。領域の認識方法については、ニューラルネットワークによる学習データを用いた物体認識等、公知の方法で良い(特開2006−39666号公報)。また、領域の認識方法については、1画素毎ではなく、一定のサイズで区切られたブロック毎に認識する方法でもよい。
S603では、画像処理部104は、S602での領域認識結果を用いて、領域毎の代表輝度値を算出する。代表輝度値は、該当する領域内の輝度信号の平均値、もしくは座標に応じた重み付けによる加重平均値とする。代表輝度値を算出する領域として、人物の顔領域、空領域、人物の顔領域と空領域以外の背景領域の3つの領域を算出する。
以下では、各領域の代表輝度値をそれぞれ、HUMAN_Y、BACK_Y、SKY_Yと呼ぶ。また、本実施形態では、人物の顔領域と空領域の各代表輝度値は、該当する領域内の輝度信号の平均値から算出し、背景領域の代表輝度値は、座標に応じた重み付けによる加重平均値から算出する。
S604では、露光量算出部105は、S603で算出した各領域の代表輝度値を用いて領域間の輝度段差を算出する。
ここで、領域間の輝度段差の算出について図9(b)を用いて説明する。
図9(b)は、入力画像の露光量を基準に各領域の目標露光量を例示している。目標露光量とは、算出対象の領域の代表輝度値を目標輝度値にするために、入力画像の露光量から何段オーバー、何段アンダーの露光量に設定すれば良いかを示すものである。露光量オーバーとは入力画像の露光量よりも大きくすること、露光量アンダーとは入力画像の露光量よりも小さくすることを示す。なお、目標輝度値は各領域によって予め決定された値である。各領域の代表輝度値をHUMAN_Y、BACK_Y、SKY_Yとし、各領域の目標輝度値をHUMAN_ref_Y、BACK_ref_Y、SKY_ref_Yとする。各領域の目標露光量ΔBV_HUMAN_ref、ΔBV_BACK_ref、ΔBV_SKY_refは、式1によって算出される。
ΔBV_HUMAN_ref=LOG2(HUMAN_ref_Y/HUMAN_Y)
ΔBV_BACK_ref=LOG2(BACK_ref_Y/BACK_Y)
ΔBV_SKY_ref=LOG2(SKY_ref_Y/SKY_Y)
・・・(1)
式1によって算出された各領域の目標露光量から各領域間の輝度段差を算出する。人物の顔領域と背景領域の輝度段差をΔHB、背景領域と空領域の輝度段差をΔBS、人物の顔領域と空領域の輝度段差をΔHSはそれぞれ、式2から算出される。
ΔBV_BACK_ref=LOG2(BACK_ref_Y/BACK_Y)
ΔBV_SKY_ref=LOG2(SKY_ref_Y/SKY_Y)
・・・(1)
式1によって算出された各領域の目標露光量から各領域間の輝度段差を算出する。人物の顔領域と背景領域の輝度段差をΔHB、背景領域と空領域の輝度段差をΔBS、人物の顔領域と空領域の輝度段差をΔHSはそれぞれ、式2から算出される。
ΔHB=ABS(ΔBV_HUMAN_ref−ΔBV_BACK_ref)
ΔBS=ABS(ΔBV_BACK _ref−ΔBV_SKY_ref)
ΔHS=ABS(ΔBV_HUMAN_ref−ΔBV_SKY_ref)
・・・(2)
式2によって算出された各領域間の輝度段差ΔHB、ΔBS、ΔHSは、S606の露光量を決定する処理で用いる。
ΔBS=ABS(ΔBV_BACK _ref−ΔBV_SKY_ref)
ΔHS=ABS(ΔBV_HUMAN_ref−ΔBV_SKY_ref)
・・・(2)
式2によって算出された各領域間の輝度段差ΔHB、ΔBS、ΔHSは、S606の露光量を決定する処理で用いる。
図6に戻り、S605では、露光量算出部105は、入力画像とS603で算出された各領域の代表輝度値を用いて主被写体の出力輝度値を算出する。主被写体の出力輝度値とは、前述の目標輝度値とは別であり、後の撮影画像で最終的に出力したい主被写体領域の輝度値を示す。本実施形態では、人物が含まれるシーンの場合、人物を主被写体として考えるため、人物の顔領域の出力輝度値を算出する。本実施形態では、出力輝度値の算出方法として、人物の顔領域のみの輝度値と画像全体の輝度値の関係を見て最終的な人物の顔領域の輝度値を決定する公知の方法を用いる(例えば、特許第4789776号公報)。なお、この方法に限らず、領域間の輝度段差を用いて、中間輝度に位置する被写体を基準にして、人物の顔領域の輝度値を決定する方法を用いても良い。また、人物の顔領域の目標輝度値をそのまま出力輝度値としても良い。
以下では、算出した主被写体である人物の顔領域の出力輝度値をHUMAN_OUT_Yとして説明する。
S606では、露光量算出部105は、S604で算出した領域間の輝度段差ΔHB、ΔBS、ΔHSと、S605で算出した主被写体の出力輝度値HUMAN_OUT_Yを入力し、階調処理を行うために最適な画像を撮影するための露光量を決定する。
ここで、図9(c)を用いて露光量の決定方法について説明する。
図9(c)は、入力画像信号の露光量に対する各領域の出力露光量を例示している。出力露光量とは、最終的に出力したい各領域の明るさを実現するために、入力画像の露光量に対し、何段オーバー、何段アンダーの露光量に設定すれば良いかを示したものである。
人物の顔領域、背景領域、空領域の出力露光量をそれぞれ、ΔBV_HUMAN、ΔBV_BACK、ΔBV_SKYとすると、各領域の出力露光量は、式3から算出される。
ΔBV_HUMAN=LOG2(HUMAN_OUT_Y/HUMAN_Y)
ΔBV_BACK=ΔBV_HUMAN−ΔHB/2
ΔBV_SKY=ΔBV_HUMAN−ΔHS/2
・・・(3)
式3のように、S605で算出した出力輝度値により決定された主被写体の露光量を基準に、S604で算出した領域間の輝度段差を1/2に縮めた段差を維持するように主被写体以外の領域の露光量を決定する。
ΔBV_BACK=ΔBV_HUMAN−ΔHB/2
ΔBV_SKY=ΔBV_HUMAN−ΔHS/2
・・・(3)
式3のように、S605で算出した出力輝度値により決定された主被写体の露光量を基準に、S604で算出した領域間の輝度段差を1/2に縮めた段差を維持するように主被写体以外の領域の露光量を決定する。
各領域の出力露光量のうち、最も露光量の小さい出力露光量を、階調処理を行うために最適な画像を撮影するための露光量として決定する。つまり、各領域のうち、最も露光量の小さい出力露光量である空領域のΔBV_SKYを撮影時の露光量として決定する。本実施形態では上述した方法により撮影時の露光量を決定するが、この方法に加え、主被写体の出力露光量に対してある一定の値までしか露光量を小さくできない等、露光量を小さくできる上限を設けて撮影時の露光量を決定しても良い。
以上のように、露光量算出部105は、入力画像を取得して最適な露光量を決定する。
<階調処理>
次に、図2及び図7を参照して、画像処理部104による階調処理について説明する。
次に、図2及び図7を参照して、画像処理部104による階調処理について説明する。
画像処理部104は、露光量算出部105によって決定された露光量で撮影した画像信号を入力して階調処理を行う。
なお、本実施形態の階調処理は、領域間の輝度段差を縮めるような階調特性を画像全体に適用する。また、主被写体領域を最優先とした上で、主被写体以外の領域をシーンに応じてバランス良く階調を割り当てることにより、人間の見た目通りのコントラストと明るさの出力画像を生成する。
図2は、画像処理部104の構成の一部、図7は階調処理をそれぞれ示している。
なお、図7の処理は、システム制御部107が、不揮発性メモリに格納されたプログラムを、揮発性メモリのワークエリアに展開し、上記画像処理部を制御することにより実現される。
S701では、画像処理部104は、撮像部102により撮影された画像信号を取得する。
S702では、画像処理部104は、S701で取得した画像信号に対し、領域の認識を行う。この領域認識処理については、前述したS602の処理と同様である。
S703では、画像処理部104は、S701で取得した画像信号を入力情報として、S702で認識された領域毎に代表輝度値を算出する。各領域の代表輝度値の算出方法については、前述したS603と同様である。
S704では、画像処理部104は、S701で取得した画像信号を入力情報として、S702で認識された領域毎にヒストグラムを算出する。本実施形態では、輝度信号のヒストグラムを算出する。なお、ヒストグラムの算出対象の領域は、代表輝度値の算出と同様に、人物の顔領域、空領域、背景領域である。
S705では、画像処理部104は、領域毎に算出した代表輝度値を入力情報として、領域毎の第1の階調補正量を算出する。
図4は第1の階調補正量算出処理を示している。
なお、図4の処理は、システム制御部107が、不揮発性メモリに格納されたプログラムを、揮発性メモリのワークエリアに展開し、各部を制御することにより実現される。
S401では、画像処理部104は、領域毎に算出した代表輝度値を用いて領域間の輝度段差を算出する。輝度段差の算出方法については、図10(a)のように、S604の処理において露光量をゲイン量と置き換えれば良い。
S402では、画像処理部104は、主被写体の出力輝度値を算出する。主被写体の出力輝度値とは、S605と同様に、最終的に出力したい主被写体領域の輝度値である。また、本実施形態では、前述と同様に人物の顔領域を主被写体領域とし、算出方法はS605の処理と同様である。
S403では、画像処理部104は、S401で算出した領域間の輝度段差と、S402で算出した主被写体の出力輝度値を入力情報として、各領域の第1の階調補正量を算出する。なお、第1の階調補正量とは、本実施形態では一律ゲイン量のことを示しており、対象の領域毎にかけたい一律ゲイン量を算出する。
領域毎の第1の階調補正量の算出方法については、図10(b)に示すように、S606において露光量を第1の階調補正量に置き換えれば良い。
各領域の第1の階調補正量の算出方法は、人物の顔領域のゲイン量、背景領域のゲイン量、空領域のゲイン量をそれぞれ、GAIN_HUMAN、GAIN_BACK、GAIN_SKYとすると、式4により算出される。なお、HUMAN_Yは人物の顔領域の代表輝度値、HUMAN_OUT_Yは主被写体である人物の顔領域の出力輝度値であり、ΔHBは人物の顔領域と背景領域間の輝度段差、ΔHSは人物の顔領域と空領域間の輝度段差である。
GAIN_HUMAN=LOG2(HUMAN_OUT_Y/HUMAN_Y)
GAIN_BACK=GAIN_HUMAN−ΔHB/2
GAIN_SKY=GAIN_HUMAN−ΔHS/2
・・・(4)
本実施形態では、0段未満のゲイン量では行わないため、式7でGAIN_HUMAN、GAIN_BACK、GAIN_SKYを算出した後、GAIN_HUMAN、GAIN_BACK、GAIN_SKYに負の値になっているものがあれば、0にクリップする。
GAIN_BACK=GAIN_HUMAN−ΔHB/2
GAIN_SKY=GAIN_HUMAN−ΔHS/2
・・・(4)
本実施形態では、0段未満のゲイン量では行わないため、式7でGAIN_HUMAN、GAIN_BACK、GAIN_SKYを算出した後、GAIN_HUMAN、GAIN_BACK、GAIN_SKYに負の値になっているものがあれば、0にクリップする。
領域毎の第1の階調補正量を入出力特性で表すと、図12のようになる。
入力信号をX、出力信号をYとすると、各領域で実現したい入出力特性は、式5により得られる。
人物の顔領域の入出力特性 :Y=2(GAIN_HUMAN)×X
背景領域の入出力特性 :Y=2(GAIN_BACK)×X ・・・(5)
空領域の入出力特性 :Y=2(GAIN_SKY)×X
各領域の入出力特性が、それぞれ領域毎に適用する階調特性である。各領域の入出力特性の傾きが、各領域で実現したいコントラストであり、出力信号が各領域で実現したい明るさを示している。
背景領域の入出力特性 :Y=2(GAIN_BACK)×X ・・・(5)
空領域の入出力特性 :Y=2(GAIN_SKY)×X
各領域の入出力特性が、それぞれ領域毎に適用する階調特性である。各領域の入出力特性の傾きが、各領域で実現したいコントラストであり、出力信号が各領域で実現したい明るさを示している。
S706では、画像処理部104は、領域毎に算出した輝度のヒストグラムを入力情報として、背景領域における領域判別の信頼度Rを算出する。
図11(a)に示すようなシーンにおいて、図11(b)に示すような輝度のヒストグラムとなる例を基に説明する。
まず、背景領域において、ヒストグラムの山を判定する。ヒストグラムの山の判定方法に関しては、公知の方法を適用してよい。図11(b)に示すように背景領域における入力信号の中心値をTHとし、背景領域においてTH以下の範囲にある低輝度部のヒストグラムの山とTH以上の範囲にある高輝度部の山が、THで2つに分割される場合には信頼度Rを低く決定する。具体的には、信頼度Rは式6により算出される。
R=1−(BACK_LOW_Freq+BACK_HIGH_Freq)/BACK_Freq ・・・(6)
なお、BACK_LOW_Freqは背景領域においてTH以下の範囲にある低輝度部のヒストグラムの山の累積頻数、BACK_HIGH_Freqは背景領域においてTH以上の範囲にある高輝度部のヒストグラムの山の累積頻数である。また、BACK_Freqは背景領域の範囲にあるヒストグラムの山の累積頻数である。
なお、BACK_LOW_Freqは背景領域においてTH以下の範囲にある低輝度部のヒストグラムの山の累積頻数、BACK_HIGH_Freqは背景領域においてTH以上の範囲にある高輝度部のヒストグラムの山の累積頻数である。また、BACK_Freqは背景領域の範囲にあるヒストグラムの山の累積頻数である。
一方、背景領域において、ヒストグラムのTH以下の範囲にある低輝度部の山とTH以上の範囲にある高輝度部の山が分割されず、1つの山として判定される場合には信頼度Rを高くして信頼度R=1とする。
背景領域における領域判別の信頼度は、露出が適正になるようあらかじめ決定された輝度の入出力特性に基づき算出してもよい。例えば、S705で算出されたGAIN_BACKとあらかじめ決定されたゲイン量を示すGAIN_BACK_refとの乖離度に基づいて信頼度Rを算出する。乖離度が小さい場合には信頼度Rを高くし、乖離度が大きい場合には信頼度Rを低くする。
S707では、画像処理部104は、S705で算出した領域毎に算出した第1の階調補正量と、S706で算出した背景領域における領域判別の信頼度Rを入力して、領域毎の第2の階調補正量を算出する。
領域毎の第2の階調補正量は、S706で算出した背景領域における領域判別の信頼度Rに基づき、式7により算出される。なお、人物の顔領域のゲイン量、背景領域のゲイン量、空領域のゲイン量をそれぞれ、GAIN_HUMAN_2、GAIN_BACK_2、GAIN_SKY_2とする。また、信頼度Rの下限閾値をR_TH_LOW、上限閾値をR_TH_HIGHとする。
GAIN_HUMAN_2=GAIN_HUMAN
GAIN_BACK_2=GAIN_BACK_ref (R<R_TH_LOW)
GAIN_BACK_2=GAIN_BACK×R+GAIN_BACK_ref×(1−R) (R_TH_LOW≦R<R_TH_HIGH)
GAIN_BACK_2=GAIN_BACK (R_TH_HIGH≦R)
GAIN_SKY_2=GAIN_SKY ・・・(7)
また、入力信号をX、出力信号をYとすると、各領域で実現したい入出力特性は、式8により得られる。
GAIN_BACK_2=GAIN_BACK_ref (R<R_TH_LOW)
GAIN_BACK_2=GAIN_BACK×R+GAIN_BACK_ref×(1−R) (R_TH_LOW≦R<R_TH_HIGH)
GAIN_BACK_2=GAIN_BACK (R_TH_HIGH≦R)
GAIN_SKY_2=GAIN_SKY ・・・(7)
また、入力信号をX、出力信号をYとすると、各領域で実現したい入出力特性は、式8により得られる。
人物の顔領域の入出力特性 :Y=2(GAIN_HUMAN_2)×X
背景領域の入出力特性 :Y=2(GAIN_BACK_2)×X ・・・(8)
空領域の入出力特性 :Y=2(GAIN_SKY_2)×X
S708では、画像処理部104は、S707で算出した領域毎の第2の階調補正量と、S704で算出した領域毎のヒストグラムを入力して、撮影画像の階調特性を算出する。この階調特性の算出方法については後述する。なお、S708で算出する階調特性とは、図17(a)のように横軸を入力信号、縦軸を出力信号として、入力信号に応じた出力信号を表す入出力特性である。例えば、階調特性を変化させない場合は、点線で示したグラフとなり、入力信号と出力信号の値は等しくなる。なお、本実施形態では、図17(a)の入力信号や出力信号は輝度信号を示す。
背景領域の入出力特性 :Y=2(GAIN_BACK_2)×X ・・・(8)
空領域の入出力特性 :Y=2(GAIN_SKY_2)×X
S708では、画像処理部104は、S707で算出した領域毎の第2の階調補正量と、S704で算出した領域毎のヒストグラムを入力して、撮影画像の階調特性を算出する。この階調特性の算出方法については後述する。なお、S708で算出する階調特性とは、図17(a)のように横軸を入力信号、縦軸を出力信号として、入力信号に応じた出力信号を表す入出力特性である。例えば、階調特性を変化させない場合は、点線で示したグラフとなり、入力信号と出力信号の値は等しくなる。なお、本実施形態では、図17(a)の入力信号や出力信号は輝度信号を示す。
S709では、画像処理部104は、S708で算出した階調特性を用いて、図17(b)のように横軸を入力信号、縦軸をゲインとした、入力信号に応じたゲインを示すゲインテーブルに変換する(ゲインテーブル変換処理)。本実施形態では、図17(b)の入力信号は輝度信号を示す。入力信号をx、階調特性により入力信号に応じた出力信号をyとすると、ゲインGainは、式9により算出される。
Gain=y/x ・・・(9)
S710では、画像処理部104は、S706で得たゲインテーブルを参照して撮影画像にゲインをかける処理を行う。
S710では、画像処理部104は、S706で得たゲインテーブルを参照して撮影画像にゲインをかける処理を行う。
ここで、図5を用いて、ゲイン処理部206によるゲイン処理について説明する。
左上に位置する画素を(0,0)として、入力画像の画素位置を(x,y)で示した場合、入力信号Yin(x,y)から出力されるゲインをGain(x,y)として、S706で得たゲインテーブルをGainTbl関数として表すと、式10のようになる。
Gain(x,y)=GainTbl(Yin(x,y)) ・・・(10)
Gain(x,y)は入力画像の(x,y)に位置する画素に対応するゲインである。
Gain(x,y)は入力画像の(x,y)に位置する画素に対応するゲインである。
ゲインを算出するための入力信号であるYinは、撮影された入力画像を用いて、ゲイン算出用画像生成部501で生成される。ゲイン算出用画像生成方法としては、コントラストを向上させるため、入力画像を輝度画像データに変換し、平均化処理を行う。輝度画像データを入力としてゲインを算出することにより、よりコントラストを向上させる効果が得られる。
ゲイン変換部502は、ゲイン算出用画像生成部501で生成されたYin信号を用いて、式10のように、ゲイン信号に変換する処理を行う。
ゲイン乗算部503は、ゲイン変換部502で算出されたゲインを用いて入力画像信号に対し、ゲインを乗算する処理を行う。本実施形態では、撮影された入力画像から、既にデモザイキング処理を終えたR,G,B画像信号に対し、ゲインを乗算する処理を行う。ゲイン乗算前の(x,y)に位置する入力画像のR,G,B信号をそれぞれRin(x,y)、Gin(x,y)、Bin(x,y)とする。その場合、ゲイン乗算後のR,G,B信号Rout(x,y)、Gout(x,y)、Bout(x,y)は、式10のGainTbl関数を用いて、式11により算出することができる。
Rout(x,y)=Rin(x,y)×GainTbl(Yin(x,y))
Gout(x,y)=Gin(x,y)×GainTbl(Yin(x,y))
Bout(x,y)=Rin(x,y)×GainTbl(Yin(x,y))
・・・(11)
式11のように、画素位置(x,y)であれば、R,G,Bの信号にかけるゲインは同じである。
Gout(x,y)=Gin(x,y)×GainTbl(Yin(x,y))
Bout(x,y)=Rin(x,y)×GainTbl(Yin(x,y))
・・・(11)
式11のように、画素位置(x,y)であれば、R,G,Bの信号にかけるゲインは同じである。
なお、本実施形態ではRGB信号に対してゲイン処理を行ったが、YUV信号に対して上述したゲイン処理を行っても良い。
図7に戻り、S711では、画像処理部104は、S710でゲイン処理を行ったR,G、Bのmビットの信号を表示部109の特性に合わせるため、γ特性で階調圧縮処理を行い、n(m≧n)ビットの信号を出力する。本実施形態では、このγ特性として、図18に示すように実線と点線で示した2種類の特性を用いる。点線で示したγ特性は、逆光時の人物の顔領域がフレアの影響等により低コントラストになってしまう対策として、低輝度部分のコントラストを向上するような特性になっている。点線で示したγ特性は、逆光時の人物シーンに対して用い、実線で示したγ特性は、逆光時の人物シーン以外で用いる。
図7の階調処理において、図2に示す画像処理部104の各部は、領域検出部201がS702、領域別ヒストグラム算出部202がS704、領域別輝度値算出部203がS703の各処理を行う。また、第1の階調補正量算出部208がS705、領域認識信頼度算出部209がS706、第2の領域検出部210と第2の階調補正量算出部211がS707の各処理を行う。そして、階調特性算出部204がS708、ゲインテーブル算出部205がS709、ゲイン処理部206がS710、階調圧縮処理部207がS711の各処理を行う。
次に、図8を参照して、階調特性算出部204による階調特性算出処理に関し、領域毎の入出力特性を参考にして、画面一様に適用する階調特性を作成する処理について説明する。
S804では、階調特性算出部204は、領域毎の輝度のヒストグラムを用いて、S707で算出した領域毎の第2の階調補正量を適用する入力信号の範囲を決定する。
入力信号の範囲について図15を用いて説明する。
図15に示した3つの入出力特性は、式8で示した各領域で実現したい入出力特性である。入出力特性の横軸のHUMAN_POINT、BACK_POINT、SKY_POINTが各領域の入出力特性を適用する入力信号の範囲を決定する指標となる。0からHUMAN_POINTまでの入力信号の範囲を(1)、0からBACK_POINTまでの入力信号の範囲を(2)、SKY_POINTから入力信号で表現できる最大値までの入力信号の範囲を(3)として示している。(1)は人物の顔領域の入出力特性を適用したい入力信号の範囲、(2)は背景領域の入出力特性を適用したい入力信号の範囲、(3)は空領域の入出力特性を適用したい入力信号の範囲をそれぞれ示している。
HUMAN_POINT、BACK_POINT、SKY_POINTの算出方法について、図13を用いて説明する。
HUMAN_POINT、BACK_POINT、SKY_POINTの算出は、図13(a)のように領域毎に算出した輝度のヒストグラムを用いる。HUMAN_POINTの算出は、人物の顔領域の輝度のヒストグラムを用い、BACK_POINTの算出は、背景領域の輝度のヒストグラム、SKY_POINT算出は、空領域の輝度ヒストグラムをそれぞれ用いる。
各領域の輝度のヒストグラムを用いた、HUMAN_POINT、BACK_POINT、SKY_POINTの算出方法を例示しているのが図13(b)である。
まず、HUMAN_POINTの算出について説明する。本実施形態では、人物の顔領域の輝度のヒストグラムに対し、最小の信号値から徐々に大きい信号値にかけて、頻数を加算していく。そして、加算値が所定の閾値以上になった時点で最後に頻数を加算した入力信号の値をHUMAN_POINTとする。
なお、閾値をHUMAN_THとすると、式11により算出することができる。
HUMAN_TH=HUMAN_AREASUM×P_HUMAN ・・・(11)
(ただし、0.0<P_HUMAN≦1.0)
HUMAN_AREASUMは人物の顔領域と認識された画素の総数、P_HUMANは調整パラメータである。式11に示すように、頻数の加算値が、人物の顔領域の画素の総数に対し、所定の閾値(%)に達したかでHUMAN_POINTを決定している。
(ただし、0.0<P_HUMAN≦1.0)
HUMAN_AREASUMは人物の顔領域と認識された画素の総数、P_HUMANは調整パラメータである。式11に示すように、頻数の加算値が、人物の顔領域の画素の総数に対し、所定の閾値(%)に達したかでHUMAN_POINTを決定している。
次に、BACK_POINTの算出について説明する。
本実施形態では、HUMAN_POINTと同様に、背景領域の輝度のヒストグラムに対し、最小の信号値から徐々に大きい信号値にかけて、頻数を加算していく。そして、加算値が所定の閾値以上になった時点で最後に頻数を加算した入力信号の値をBACK_POINTとする。閾値はHUMAN_THと同様の方法で設定する。
最後に、SKY_POINTの算出について説明する。
本実施形態では、HUMAN_POINTやBACK_POINTとは反対に、空領域の輝度ヒストグラムに対し、空領域と認識された画素の総数から最小の信号値から徐々に大きい信号値にかけて、頻数を減算していく。そして、減算値が所定の閾値以下になった時点で、最後に頻数を減算した入力信号の値をSKY_POINTとする。閾値はHUMAN_THと同様の方法で設定する。
このように、高輝度被写体である空領域、中間輝度被写体及び低輝度被写体である背景領域、人物の顔領域で、それぞれ算出方法が異なる。本実施形態では、空領域が最も明るく、人物の顔領域が最も暗いシーンについて説明したが、背景領域が最も高輝度被写体である場合はSKY_POINTと同じ算出方法を用い、空領域が中間輝度被写体である場合はBACK_POINTと同じ算出方法を用いる。
以上の処理により、S707で算出した領域毎の第2の階調補正量HUMAN_GAIN_2、BACK_GAIN_2、SKY_GAIN_2と、S804で算出した領域毎の階調補正量を適用する範囲の指標となるHUMAN_POINT、BACK_POINT、SKY_POINTを用いて、階調特性を作成する。
本実施形態では、別々の特徴を持った複数(2種類)の階調特性を作成し、作成した2つの階調特性を加重加算することにより最終的な階調特性を算出している。
図8の説明に戻り、S805とS806では、階調特性算出部204は、それぞれ別々の特徴を持った階調特性を作成する。
S805とS806で作成する2種類の階調特性について、図14を用いて詳細に説明する。
図14(a)に示す3つの入出力特性は、式5で示した各領域で実現したい入出力特性である。入出力特性の横軸のHUMAN_POINT、BACK_POINT、SKY_POINTが各領域の入出力特性を適用する入力信号の範囲を決定する指標である。
図14(a)に対し、本実施形態では、図14(b)に示したダイナミックレンジ優先と呼ぶ階調特性と、図14(c)に示したコントラスト優先と呼ぶ階調特性の2種類を作成する。
まず、図14(b)に示したダイナミックレンジ優先の階調特性について説明する。
ダイナミックレンジ優先の階調特性の特徴は、図14(a)に示した人物の顔領域の入出力特性と、空領域の入出力特性の2つを取り入れている点である。図14(a)の特性に対し、人物の顔領域と、空領域の明るさとコントラストを実現する点が長所である。
入力信号の0からHUMAN_POINTまでの低輝度側の区間は人物の顔領域の入出力特性になっており、反対に、SKY_POINTから入力信号で表現できる最大値までの高輝度側の区間は空領域の入出力特性となっている。HUMAN_POINTからSKY_POINTまでの中間輝度に位置する区間は、低輝度側の人物の顔領域の入出力特性と、高輝度側の空領域の入出力特性をつなげる形となっている。入力信号をX、出力信号をYとすると、ダイナミックレンジ優先の階調は、式12で表される。
Y=2(GAIN_HUMAN_2)×X (0≦X<HUMAN_POINT)
Y=(2(GAIN_SKY_2)×SKY_POINT−2(GAIN_HUMAN_2)×HUMAN_POINT)×X/(SKY_POINT−HUMAN_POINT)+2(GAIN_HUMAN)×HUMAN_POINT (HUMAN_POINT≦X<SKY_POINT)
Y=2(GAIN_SKY_2)×X (SKY_POINT≦X)
・・・(12)
本実施形態では、高輝度側を飽和させるような入出力特性にしているが、図14(b)の点線かつ曲線の部分のように、高輝度側をできるだけ飽和させないような入出力特性にしても良い。なお、本実施形態は折れ線で入出力特性を作成しているが、折れ線を近似した曲線で入出力特性を作成しても良い。
Y=(2(GAIN_SKY_2)×SKY_POINT−2(GAIN_HUMAN_2)×HUMAN_POINT)×X/(SKY_POINT−HUMAN_POINT)+2(GAIN_HUMAN)×HUMAN_POINT (HUMAN_POINT≦X<SKY_POINT)
Y=2(GAIN_SKY_2)×X (SKY_POINT≦X)
・・・(12)
本実施形態では、高輝度側を飽和させるような入出力特性にしているが、図14(b)の点線かつ曲線の部分のように、高輝度側をできるだけ飽和させないような入出力特性にしても良い。なお、本実施形態は折れ線で入出力特性を作成しているが、折れ線を近似した曲線で入出力特性を作成しても良い。
ダイナミックレンジ優先の階調特性はS805で作成される。
次に、図14(c)に示したコントラスト優先の階調特性について説明を行う。
コントラスト優先の階調特性の特徴は、図14(a)に記載した人物の顔領域の入出力特性に加え、背景領域及び空領域の入出力特性の傾きのみを取り入れている点である。図14(a)の特性に対し、人物の顔領域は明るさとコントラスト、背景領域及び空領域はコントラストを実現する点が長所である。
入力信号のうち、0からHUMAN_POINTまでの区間は人物の顔領域の入出力特性になっている点では、ダイナミックレンジ優先の階調特性と同等である。HUMAN_POINTからBACK_POINTの区間では背景領域の入出力特性のうち傾きのみを実現した特性となり、BACK_POINTから入力信号で表現できる最大値までの区間は、空領域の入出力特性のうち傾きのみ実現した特性となっている。入力信号をX、出力信号をYとすると、コントラスト優先の階調は、式13で表される。
Y=2(GAIN_HUMAN_2)×X (0≦X<HUMAN_POINT)
Y=2(GAIN_BACK_2)×X+2(GAIN_HUMAN_2)×HUMAN_POINT
(HUMAN_POINT≦X<BACK_POINT)
Y=2(GAIN_SKY_2)×X+2(GAIN_BACK_2)×(BACK_POINT−HUMAN_POINT)+2(GAIN_HUMAN_2)×HUMAN_POINT
(BACK_POINT≦X)
・・・(13)
本実施形態では、高輝度側を飽和させるような入出力特性にしているが、図14(c)の点線かつ曲線の部分のように、高輝度側をできるだけ飽和させないような入出力特性にしても良い。なお、本実施形態は折れ線で入出力特性を作成しているが、折れ線を近似した曲線で入出力特性を作成しても良い。
Y=2(GAIN_BACK_2)×X+2(GAIN_HUMAN_2)×HUMAN_POINT
(HUMAN_POINT≦X<BACK_POINT)
Y=2(GAIN_SKY_2)×X+2(GAIN_BACK_2)×(BACK_POINT−HUMAN_POINT)+2(GAIN_HUMAN_2)×HUMAN_POINT
(BACK_POINT≦X)
・・・(13)
本実施形態では、高輝度側を飽和させるような入出力特性にしているが、図14(c)の点線かつ曲線の部分のように、高輝度側をできるだけ飽和させないような入出力特性にしても良い。なお、本実施形態は折れ線で入出力特性を作成しているが、折れ線を近似した曲線で入出力特性を作成しても良い。
コントラスト優先の階調特性はS806で作成される。
以上、ダイナミックレンジ優先とコントラスト優先の2種類の階調特性について説明したが、2種類の階調特性の共通点としては、人物の顔領域の入出力特性についてはどちらも実現する点である。この理由としては、本実施形態で人物シーンにおいて人物の顔領域は主被写体領域であるため、階調特性として最優先に決定する必要があるからである。
また、2つの階調特性の作成方法は領域が2つしかない場合にも同様である。例えば、人物と高輝度被写体である空しかいないシーンの場合は、図14の2つの階調特性に対し、BACK_POINT、BACK_GAINをそれぞれSKY_POINT、SKY_GAINに置き換える。
以上、S805とS806の処理によって、ダイナミックレンジ優先とコントラスト優先の2種類の優先度に応じた階調特性が作成される。作成された2種類の階調特性をS807で加重加算することにより撮影された画像の階調特性を決定する。
ここで、図16を参照してS807での階調特性の決定処理について詳細に説明する。
ダイナミックレンジ優先とコントラスト優先の2種類の優先度に応じて階調特性を加重加算する方法として、本実施形態ではS801で算出した領域間の輝度段差を用いる(加重加算係数算出処理)。中間輝度に位置する被写体である背景領域を基準に、人物の顔領域と背景領域の輝度段差ΔHB、背景領域と空領域の輝度段差ΔBSを2種類の階調特性の加重加算係数として用いる。
階調特性の入力信号をX、出力信号をYとしてダイナミックレンジ優先の階調特性とコントラスト優先の階調特性を、式14のように、それぞれDrange関数、Contrast関数で表すとする。
Y=Drange(X)
Y=Contrast(X) ・・・(14)
式14に対し、加重加算した後の階調特性、つまり撮影された画像の階調特性をMIX_OUT関数で表すと、式15のようになる。
Y=Contrast(X) ・・・(14)
式14に対し、加重加算した後の階調特性、つまり撮影された画像の階調特性をMIX_OUT関数で表すと、式15のようになる。
Y=MIX_OUT(X)
=(ΔHB×Drange(X)+ΔBS×Contrast(X))/(ΔHB+ΔBS) ・・・(15)
式15のように、人物の顔領域と背景領域の輝度段差ΔHB、背景領域と空領域の輝度段差ΔBSをそれぞれダイナミックレンジ優先、コントラスト優先の加重加算係数として用いている。
=(ΔHB×Drange(X)+ΔBS×Contrast(X))/(ΔHB+ΔBS) ・・・(15)
式15のように、人物の顔領域と背景領域の輝度段差ΔHB、背景領域と空領域の輝度段差ΔBSをそれぞれダイナミックレンジ優先、コントラスト優先の加重加算係数として用いている。
人物の顔領域と背景領域の輝度段差ΔHB、背景領域と空領域の輝度段差ΔBSを加重加算に用いることにより得られる効果について図16を用いて詳細に説明する。
図16(a)に示した3つの入出力特性は、式5で示した各領域で実現したい入出力特性である。
図16(a)の3つの入出力特性は、領域間の輝度段差を用いて決定される。撮影したシーンに応じては領域間の輝度段差は変わるため、各領域で実現したい入出力特性もシーンに応じて変わる。
図16(b)の左側に示したのは、人物の顔領域と背景領域の輝度段差ΔHBに対して、背景領域と空領域の輝度段差ΔBSが極端に小さいシーンにおいて、各領域で実現したい入出力特性である。式7により各領域で実現したい入出力特性の傾きが決まるため、背景領域の入出力特性は空領域の入出力特性に近づく傾向にある。
上記の場合、図16(b)の右側に示したダイナミックレンジ優先の階調特性を階調処理に利用した方が背景領域の入出力特性を実現しやすい傾向にある。この理由は、輝度段差ΔBSが極端に小さい場合、SKY_POINT周辺やそれ以降に背景領域の入力信号が多く分布する傾向となり、SKY_POINT以降のダイナミックレンジ優先の階調特性に背景領域の多くの入力信号があてはまるためである。
また、図16(b)とは反対に、図16(c)の左側に示したのは、人物の顔領域と背景領域の輝度段差ΔHBに対し、背景領域と空領域の輝度段差ΔBSが極端に大きいシーンにおいて、各領域で実現したい入出力特性である。式5により各領域で実現したい入出力特性の傾きが決まるため、背景領域の入出力特性は人物の顔領域の入出力特性に近づく傾向にある。
上記の場合、図16(c)の右側に示したコントラスト優先の階調特性を階調処理に利用した方が背景領域の実現したい入出力特性を実現しやすい傾向にある。輝度段差ΔHBに対し、輝度段差ΔBSが極端に大きい場合には、HUMAN_POINT周辺からBACK_POINTにかけて背景領域の入力信号が多く分布する傾向にあり、かつ人物の顔領域と背景領域の入出力特性は近い傾きとなる。これにより、BACK_POINT以下のコントラスト優先の階調特性に対し、背景領域で実現したい入出力特性が近づく傾向になる。
式15のように、人物の顔領域と背景領域の輝度段差ΔHB、背景領域と空領域の輝度段差ΔBSを加重加算に用いることにより3つの領域の実現したい入出力特性を用いて、撮影された画像に最適な階調特性を効率的に作成することができる。
本実施形態では、式15から領域間の輝度段差を用いて、撮影された画像の階調特性を作成したが、式16のように、加重加算係数をα、βとして、別の情報を用いて実現しても良い。領域間の面積の比率や、領域間の輝度段差に応じた値、また、シーンによらない固定値を与えても良い。
Y=MIX_OUT(X)
=(α×Drange(X)+β×Contrast(X))/(α+β) ・・・(16)
例えば、背景領域の存在する面積が、空領域に比べて少ないシーンにおいては、空領域をより実現したい明るさ、コントラストに近づけた方が画像の見栄えが良い場合がある。反対に、空領域の存在する面積が、背景領域に比べ少ないシーンにおいて、背景領域を実現したいコントラストに近づけた方が画像の見栄えが良い場合がある。このような理由から、αを空領域の占める総画素数、βを背景領域の占める総画素数として、式16を適用して階調特性を作成しても良い。
=(α×Drange(X)+β×Contrast(X))/(α+β) ・・・(16)
例えば、背景領域の存在する面積が、空領域に比べて少ないシーンにおいては、空領域をより実現したい明るさ、コントラストに近づけた方が画像の見栄えが良い場合がある。反対に、空領域の存在する面積が、背景領域に比べ少ないシーンにおいて、背景領域を実現したいコントラストに近づけた方が画像の見栄えが良い場合がある。このような理由から、αを空領域の占める総画素数、βを背景領域の占める総画素数として、式16を適用して階調特性を作成しても良い。
また、被写体が2つしか存在しないシーンの場合には、領域間の輝度段差の値に応じて加重加算係数を算出し、2つの階調特性を加重加算した方が良い。この理由として、例えば人物と空のみのシーンであった場合、領域間の輝度段差が元々小さいシーンでは、広ダイナミックレンジよりも高コントラストを優先した方が画像の見栄えが良いからである。また、領域間の輝度段差が元々大きいシーンでは、コントラストよりもダイナミックレンジを優先した方が、画像の見栄えが良いからである。よって、式16の加重加算係数α、βを、式17によって算出する。Δは2つの領域間の輝度段差である。例えば、人物と空のみのシーンである場合は、人物の顔領域と空領域の輝度段差ΔHSの値が、Δの値となる。閾値TH1、TH2は、調整パラメータである。
α=0.0、β=1.0 (TH1≧Δ)
α=1.0/(TH2−TH1)×(Δ−TH1)、β=1.0−α
(TH1≦Δ<TH2)
α=1.0、β=0.0 (Δ≦TH2) ・・・(17)
以上のように、式17の加重加算係数α、βは、本実施形態のやり方にとどまらず、様々な情報を用いて算出して良い。
α=1.0/(TH2−TH1)×(Δ−TH1)、β=1.0−α
(TH1≦Δ<TH2)
α=1.0、β=0.0 (Δ≦TH2) ・・・(17)
以上のように、式17の加重加算係数α、βは、本実施形態のやり方にとどまらず、様々な情報を用いて算出して良い。
上述した実施形態においては、本発明をデジタルビデオカメラなどの撮像装置に適用した場合を例にして説明したが、これに限られず、領域の情報を用いて階調処理を行う装置であれば、他の装置にも適用可能である。
なお、本発明は、以下の処理を実行することによっても実現される。即ち、本実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。
続いて第2の実施例について説明する。
第2の実施例では、S707における第2の階調補正量を算出する処理が実施例1と異なる。S706で算出された信頼度Rが閾値R_THよりも小さい場合には、背景領域に対して第2の領域認識処理を行う。
例えば、図11(a)に示すようなシーンで、背景領域に対して、地面領域、地面領域以外の第2の背景領域を画像認識領域として認識する。領域の認識方法については、ニューラルネットワークによる学習データを用いた物体認識等、公知の方法で良い(特開2006−39666号公報)。また、被写体領域の認識方法については、1画素毎ではなく、一定のサイズで区切られたブロック毎に認識する方法でもよい。
次に、S702での領域認識結果と第2の領域認識結果を用いて、領域毎の代表輝度値を算出する。代表輝度値を算出する領域として、人物の顔領域、空領域、地面領域、地面領域以外の第2の背景領域の4つの領域を算出する。算出方法については、前述したS703と同様である。
次に、領域毎に算出した代表輝度値を用いて、領域毎の第2の階調補正量を算出する。領域毎における第2の階調補正量の算出方法は、前述したS705と同様の方法を用い、地面領域のゲイン量、地面領域以外のゲイン量を、GAIN_TREE、GAIN_BACK2とすると、式18により算出される。なお、ΔHTは人物の顔領域と地面領域間の輝度段差、ΔHLは人物の顔領域と地面領域間の輝度段差、ΔHB2は人物の顔領域と第2の背景領域間の輝度段差である。
GAIN_LAND=GAIN_HUMAN−ΔHL/2
GAIN_BACK2=GAIN_HUMAN−ΔHB2/2
・・・(18)
ここで、第2の背景領域をさらに領域認識し、第2の背景領域に対する領域認識の信頼度を算出して、領域毎の第3の階調補正量を算出してもよい。第2の背景領域に対する領域認識の信頼度を算出する方法は、実施例1の背景領域に対する領域認識の信頼度を算出する方法と同様である。また、領域毎の第3の階調補正量を算出する方法は、上記の第2の階調補正量を算出する方法と同様であり、背景領域に対する領域認識の信頼度を第2の背景領域に対する領域認識の信頼度に置き換えることで実施する。
GAIN_BACK2=GAIN_HUMAN−ΔHB2/2
・・・(18)
ここで、第2の背景領域をさらに領域認識し、第2の背景領域に対する領域認識の信頼度を算出して、領域毎の第3の階調補正量を算出してもよい。第2の背景領域に対する領域認識の信頼度を算出する方法は、実施例1の背景領域に対する領域認識の信頼度を算出する方法と同様である。また、領域毎の第3の階調補正量を算出する方法は、上記の第2の階調補正量を算出する方法と同様であり、背景領域に対する領域認識の信頼度を第2の背景領域に対する領域認識の信頼度に置き換えることで実施する。
また、第2の背景領域をさらに領域認識するかどうかの判定を行い、領域毎の第3の階調補正量を算出するかを決定してもよい。第2の背景領域をさらに領域認識するかどうかの判定は、第2の領域認識結果から得られる第2の背景領域の面積Sに基づき決定する。第2の背景領域の面積Sが閾値S_TH以上の場合にはさらに領域認識を行い、第2の背景領域の面積Sが閾値S_THよりも小さい場合には領域認識することを止め、領域毎の第2の階調補正量を適用する。
第2の階調補正量を用いて階調特性を決定する処理に関しては、実施例1と同様であり、例えば地面領域を背景領域に置き換えることで実施する。その他に関しては、実施例1と同様であるため詳細な説明は省略する。
101 光学系、102 撮像部、103 A/D変換部、104 画像処理部
Claims (24)
- 画像の階調補正を行う画像処理装置であって、
画像を入力する入力手段と、
入力画像に対して任意の数N個の種別の画像領域を認識する第1画像認識手段と、
特定の画像領域における画質特性を表す評価値を算出する画質評価値算出手段と、
特定の画像領域における認識信頼度を算出する認識信頼度算出手段と、
前記画質評価値算出手段により算出された評価値をもとに階調特性を決定する階調特性決定手段と、
を有し、
入力画像を前記第1画像認識手段により認識された第1画像認識領域と前記第1画像認識領域以外の第1非画像認識領域を切り分け、
前記第1画像認識領域と前記第1非画像認識領域にもとづき前記画質評価値算出手段により第1評価値を算出し、
前記第1非画像認識領域にもとづき前記認識信頼度算出手段により認識信頼度を算出し、
前記認識信頼度が特定の条件を満たした場合は前記第1評価値から前記階調特性決定手段により第1階調特性を決定し、
前記第1階調特性に基づき画像を作成し、
前記認識信頼度が特定の条件を満たしていない場合は、
前記入力画像の露出を適正にするようにあらかじめ決定された入出力特性に基づき第2評価値を算出し、
前記第1評価値と前記第2評価値を用いて前記階調特性決定手段により第2階調特性を決定し、
前記第2階調特性に基づき画像を作成することを特徴とする画像処理装置。 - 画像の階調補正を行う画像処理装置であって、
画像を入力する入力手段と、
入力画像に対して任意の数N個の種別の画像領域を認識する第1画像認識手段と、
入力画像に対して任意の数M個の前記第1画像認識手段とは異なる種別の画像領域を認識する第2画像認識手段と、
特定の画像領域における画質特性を表す評価値を算出する画質評価値算出手段と、
特定の画像領域における認識信頼度を算出する認識信頼度算出手段と、
前記画質評価値算出手段により算出された評価値をもとに階調特性を決定する階調特性決定手段と、
を有し、
入力画像を前記第1画像認識手段により認識された第1画像認識領域と前記第1画像認識領域以外の第1非画像認識領域を切り分け、
前記第1画像認識領域と前記第1非画像認識領域にもとづき前記画質評価値算出手段により第1評価値を算出し、
前記第1非画像認識領域にもとづき前記認識信頼度算出手段により認識信頼度を算出し、
前記認識信頼度が特定の条件を満たした場合は前記第1評価値から前記階調特性決定手段により第1階調特性を決定し、
前記第1階調特性に基づき画像を作成し、
前記認識信頼度が特定の条件を満たしていない場合は、
前記第1非画像認識領域を対象として第2画像認識手段で第2画像認識領域と前記第2画像認識領域以外の第2非画像認識領域に切り分け、
第2画像認識領域にもとづき前記画質評価値算出手段により第2評価値を算出し、
前記第1評価値と前記第2評価値を用いて前記階調特性決定手段により第2階調特性を決定し、
前記第2階調特性に基づき画像を作成することを特徴とする画像処理装置。 - 前記第2非画像認識領域に対する領域認識の認識信頼度を算出する第2認識信頼度算出手段と、をさらに備え、
前記階調特性決定手段は、第2認識信頼度算出手段から算出される信頼度に基づき第3評価値を算出し、前記第1評価値と前記第2評価値と前記第3評価値を用いて第3階調特性を特徴とする請求項2に記載の画像処理装置。 - 前記階調特性決定手段は、前記第2認識信頼度算出手段から得られる前記第2非画像認識領域の大きさに基づき、前記第3評価値の算出を実施するか決定することを特徴とする請求項3に記載の画像処理装置。
- 前記画質評価値算出手段は、前記第1画像認識手段の識別結果を用いて、領域毎の代表輝度値を算出する領域別輝度値算出手段を持つことを特徴とする請求項1乃至請求項4の何れか一項に記載の画像処理装置。
- 前記画質評価値算出手段は、前記第1画像認識手段の識別結果を用いて、領域毎の入力信号のヒストグラムを算出する領域別ヒストグラム算出手段を持つことを特徴とする請求項1乃至請求項5の何れか一項に記載の画像処理装置。
- 前記信頼度算出手段は、前記第1非画像認識領域に対する領域認識の信頼度を、前記領域別ヒストグラム算出手段により算出された前記第1非画像認識領域のヒストグラムの分散、統計量に基づき算出することを特徴とする請求項6に記載の画像処理装置。
- 前記信頼度算出手段は、前記第1非画像認識領域に対する領域認識の信頼度を、前記入力画像の露出を適正にするようにあらかじめ決定された入出力特性に基づき算出することを特徴とする請求項1乃至請求項7の何れか一項に記載の画像処理装置。
- 前記画質評価値算出手段により算出された第1評価値から階調補正量を算出する階調補正量算出手段と、前記領域別ヒストグラム算出手段により算出された領域毎のヒストグラムから、前記階調補正量算出手段により算出された前記階調補正量を適用する入力信号の範囲を決定する階調補正量適用範囲算出手段をさらに備え、
前記階調特性決定手段は、前記認識信頼度算出手段により算出された前記認識信頼度が特定の条件を満たした場合は、前記階調補正量と前記前記階調補正量を適用する入力信号の範囲に基づき前記第1階調特性を決定することを特徴とする請求項6乃至請求項8の何れか一項に記載の画像処理装置。 - 前記階調特性決定手段は、前記認識信頼度算出手段により算出された認識信頼度が所定値よりも大きい場合には、前記第1評価値から前記階調特性決定手段により第1階調特性を決定することを特徴とする請求項1乃至請求項9の何れか一項に記載の画像処理装置。
- 前記階調特性決定手段は、前記領域別輝度値算出手段により算出された代表輝度値を用いて領域間の輝度段差を算出し、前記算出した輝度段差と、領域毎の輝度値とを用いて領域毎のゲイン量を算出することを特徴とする請求項5乃至請求項10の何れか一項に記載の画像処理装置。
- 前記領域別ヒストグラム算出手段は、前記第1の画像認識手段により認識された領域毎に輝度信号のヒストグラムを算出することを特徴とする請求項6乃至請求項11の何れか一項に記載の画像処理装置。
- 前記階調特性決定手段により決定された階調特性を、入力信号に応じたゲインのテーブルに変換するゲインテーブル変換処理手段と、前記ゲインテーブル変換処理手段により変換されたゲインテーブルを用いて、ゲイン処理を行うゲイン処理手段と、をさらに備えることを特徴とする請求項1乃至請求項12の何れか一項に記載の画像処理装置。
- 複数の階調特性を作成する階調特性作成手段と、
前記複数の階調特性を加重加算するための加重加算係数を算出する加重加算係数算出手段と、をさらに備え、前記階調特性決定手段は、前記加重加算係数算出手段により算出された加重加算係数を用いて、前記複数の階調特性を加重加算することにより、最終的な階調特性を決定することを特徴とする請求項1乃至請求項13の何れか一項に記載の画像処理装置。 - 前記係数算出手段は、前記領域別輝度値算出手段により算出された代表輝度値を用いて加重加算係数を算出することを特徴とする請求項14に記載の画像処理装置。
- 前記係数算出手段は、領域が存在する面積の比率により加重加算係数を算出することを特徴とする請求項15に記載の画像処理装置。
- 入力画像から撮影する露光量を算出する露光量算出手段をさらに備えることを特徴とする請求項1乃至請求項16の何れか一項に記載の画像処理装置。
- 前記露光量算出手段は、前記領域別輝度値算出手段により算出された領域毎の代表輝度値を用いて露光量を算出することを特徴とする請求項17に記載の画像処理装置。
- 前記第1画像認識手段は、前記第1画像認識領域として人物の顔領域、空の領域を認識し、前記第1非画像認識領域として人物と空以外の背景領域を認識することを特徴とする請求項1乃至請求項18の何れか一項に記載の画像処理装置。
- 前記階調特性決定手段は、主被写体領域を最優先とした階調特性を基準とし、前記階調特性に主被写体以外の領域の優先度に応じた階調特性を加えることを特徴とする請求項19に記載の画像処理装置。
- 前記階調特性決定手段は、前記主被写体領域として人物の顔領域を最優先とした階調特性を基準とすることを特徴とする請求項20に記載の画像処理装置。
- 前記階調特性決定手段は、前記主被写体以外の領域の優先度を、前記領域別輝度値算出手段により算出された領域毎の代表輝度値により決定することを特徴とする請求項20に記載の画像処理装置。
- 前記階調特性決定手段は、前記主被写体以外の領域の優先度を、領域が存在する面積の比率により決定することを特徴とする請求項20に記載の画像処理装置。
- 画像を撮像する撮像手段をさらに有し、前記入力画像は、前記撮像手段により撮像された画像であることを特徴とする請求項1乃至請求項23の何れか一項に記載の画像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017161720A JP2019040381A (ja) | 2017-08-25 | 2017-08-25 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017161720A JP2019040381A (ja) | 2017-08-25 | 2017-08-25 | 画像処理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019040381A true JP2019040381A (ja) | 2019-03-14 |
Family
ID=65725686
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017161720A Pending JP2019040381A (ja) | 2017-08-25 | 2017-08-25 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019040381A (ja) |
-
2017
- 2017-08-25 JP JP2017161720A patent/JP2019040381A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6116272B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
US8094211B2 (en) | Method and apparatus for obtaining image using entropy | |
KR100990904B1 (ko) | 다수 영상의 생성 및 합성을 통한 영상 보정 장치 및 그 방법 | |
JP6020199B2 (ja) | 画像処理装置、方法、及びプログラム、並びに撮像装置 | |
US6825884B1 (en) | Imaging processing apparatus for generating a wide dynamic range image | |
CN110022469B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
US9542734B2 (en) | Information processing apparatus, image processing method, and storage medium that determine tone characteristics for respective object signals | |
US10091422B2 (en) | Image processing device and recording medium | |
JP6824817B2 (ja) | 画像処理装置および画像処理方法 | |
US10218953B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2014179756A (ja) | 画像処理装置、その制御方法、および制御プログラム | |
US20100231757A1 (en) | Image acquisition apparatus and image acquisition program | |
US8345121B2 (en) | Image processing apparatus, method, and program | |
JP6423668B2 (ja) | 画像処理装置およびその制御方法ならびにプログラム | |
KR20180138530A (ko) | 검출 장치, 이미지 처리 장치, 검출 방법, 및 이미지 처리 방법 | |
JP5932392B2 (ja) | 画像処理装置および画像処理方法 | |
US8102446B2 (en) | Image capturing system and image processing method for applying grayscale conversion to a video signal, and computer-readable recording medium having recorded thereon an image processing program for applying grayscale conversion to a video signal | |
JP6514504B2 (ja) | 画像処理装置およびその制御方法、ならびにプログラム | |
JP2018181070A (ja) | 画像処理装置および画像処理方法 | |
JP2019040382A (ja) | 画像処理装置 | |
JP6386843B2 (ja) | 画像処理装置、画像処理方法、プログラム、記憶媒体 | |
JP2019040381A (ja) | 画像処理装置 | |
JP6554009B2 (ja) | 画像処理装置、その制御方法、プログラム及び記録媒体 | |
JP2017229025A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2017068513A (ja) | 画像処理装置及びその方法、プログラム、記憶媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20191125 |