JP2021168448A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2021168448A JP2021168448A JP2020071191A JP2020071191A JP2021168448A JP 2021168448 A JP2021168448 A JP 2021168448A JP 2020071191 A JP2020071191 A JP 2020071191A JP 2020071191 A JP2020071191 A JP 2020071191A JP 2021168448 A JP2021168448 A JP 2021168448A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- gradation characteristic
- image processing
- luminance
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 87
- 238000003672 processing method Methods 0.000 title claims 9
- 238000012937 correction Methods 0.000 claims abstract description 189
- 238000000034 method Methods 0.000 claims description 50
- 230000008569 process Effects 0.000 claims description 26
- 238000011161 development Methods 0.000 description 33
- 230000002829 reductive effect Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000001603 reducing effect Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 239000002131 composite material Substances 0.000 description 4
- 238000003702 image correction Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000004456 color vision Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 210000003462 vein Anatomy 0.000 description 2
- 208000002874 Acne Vulgaris Diseases 0.000 description 1
- 230000005457 Black-body radiation Effects 0.000 description 1
- 206010014970 Ephelides Diseases 0.000 description 1
- 208000003351 Melanosis Diseases 0.000 description 1
- 206010000496 acne Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】画像全体の階調性は保ちつつ、特定の色領域について好ましい表現を可能にする。【解決手段】画像処理装置は、補正を行うかを決定する決定手段(203,211)と、決定手段による決定に基づいて特定の周波数帯域を補正対象にする補正手段(203,211)と、を有し、補正手段(203,211)は、所定の有彩色の階調特性の傾きが無彩色の階調特性の傾きよりも大きい輝度域を補正の対象とする。【選択図】図2
Description
本発明は、撮像された画像の階調処理等を行う画像処理技術に関する。
近年は高画質化技術により輝度レンジ・解像感・色域といった要素が次々と向上し、物の色やディテールをより忠実に再現することが可能となっている。しかし、撮影画像における人肌の表現という観点では、特に女性や子供の場合には陰影・凹凸の少ない均一な肌が好まれる場合が多いため、このような高画質化に伴う画像表現が画として好ましくない場合がある。特に輝度レンジの拡張技術であるHDR(High Dynamic Range)の場合、従来のSDR(Standard Dynamic Range)よりも高いピーク輝度を上限値とする階調特性を持つため、その分高輝度側の階調性が格段に向上する。そのため、前述した人肌に対して好ましくないとされる陰影・凹凸は顕著に現れやすい傾向にある。
なお特許文献1には、肌のキメ等の微細な凹凸は保持しつつ、シミ・ソバカス・ニキビといった肌ノイズ等を自然に軽減する方法が開示されている。また特許文献2には、顔のテカリを低減する手法が開示されている。
しかしながら、特定の色領域を補正する場合の弊害もある。例えば、前述のような人肌の画像に生ずる好ましくない現象を軽減するために、例えば画像のコントラストを下げると、肌以外の領域も含めた画像全体のコントラストが落ちてしまい、特にHDR画像の場合は、せっかくの高階調性が損なわれることになる。また、補正対象を顔領域に絞った場合でも、顔全体がのっぺりとした不自然な印象になり兼ねない。一方、人肌の場合とは逆に、さらに階調を出したい場合も考えられる。例えば木目や葉脈などは暗い写りになる場合が多く、ディテールを出しにくい傾向にあるが、これらの被写体に合わせてコントラスト調整してしまうと、他の領域においてコントラストがつきすぎてしまうなどの課題がある。なお、特許文献1に開示された技術の場合、前述した特定の肌ノイズ(赤成分が含まれるノイズ)に限定した手法となっており、肌の陰影・凹凸には対応することができない。また特許文献2に開示された技術の場合、高輝度域限定の補正処理であるため、それ以外の輝度域には対応できない。
そこで、本発明は、画像全体の階調性は保ちつつ、特定の色領域について好ましい表現を可能にすることを目的とする。
本発明の画像処理装置は、補正を行うかを決定する決定手段と、前記決定手段による決定に基づいて特定の周波数帯域を補正対象にする補正手段と、を有し、前記補正手段は、所定の有彩色の階調特性の傾きが無彩色の階調特性の傾きよりも大きい輝度域を補正の対象とすることを特徴とする。
本発明によれば、画像全体の階調性は保ちつつ、特定の色領域について好ましい表現が可能になる。
以下、本発明の実施形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。同一の構成または処理については、同じ参照符号を付して説明する。
図1は、本実施形態の画像処理装置の一適用例である撮像装置(以下、デジタルカメラ若しくは単にカメラとする)の概略的な構成例を示した図である。本実施形態のデジタルカメラは、レンズ交換が可能なカメラであるとする。カメラ本体は交換レンズを着脱可能にする不図示のマウント部を有しており、そのマウント部に設けられた接点部111と交換レンズ側の接点部113とを介して、カメラ本体と交換レンズとの間が電気的に接続可能となされている。
図1は、本実施形態の画像処理装置の一適用例である撮像装置(以下、デジタルカメラ若しくは単にカメラとする)の概略的な構成例を示した図である。本実施形態のデジタルカメラは、レンズ交換が可能なカメラであるとする。カメラ本体は交換レンズを着脱可能にする不図示のマウント部を有しており、そのマウント部に設けられた接点部111と交換レンズ側の接点部113とを介して、カメラ本体と交換レンズとの間が電気的に接続可能となされている。
カメラ本体側の制御部101は、内部にALU(ARITHMETIC and Logic Unit)、ROM、RAM、A/Dコンバータ、タイマ(TIMER)、およびシリアル通信ポート(SPI)等を内蔵したワンチップマイクロコンピュータである。制御部101は、例えばROMに記憶されたプログラムを実行することにより、カメラ本体及び交換レンズの動作を制御する。制御部101の具体的な動作については後述する。
焦点検出用のAFセンサ102の出力信号と露出設定用のAEセンサ103の出力信号とは、制御部101のA/Dコンバータ入力端子に送られる。
信号処理回路104は、制御部101の指示に従って撮像素子105を制御し、撮像素子105が出力する撮像信号にA/D変換および画像信号処理を適用し、画像データを得る。また信号処理回路104は、得られた画像データを記録するにあたって、圧縮・合成等の必要な画像処理を行う。信号処理回路104の機能及び動作の詳細は後述する。
信号処理回路104は、制御部101の指示に従って撮像素子105を制御し、撮像素子105が出力する撮像信号にA/D変換および画像信号処理を適用し、画像データを得る。また信号処理回路104は、得られた画像データを記録するにあたって、圧縮・合成等の必要な画像処理を行う。信号処理回路104の機能及び動作の詳細は後述する。
メモリ106は、DRAM等であり、信号処理回路104が種々の信号処理を行う際のワーク用メモリとして使われたり、後述する表示器107に画像を表示する際のVRAMとして使われたりする。
記憶部108は例えばフラッシュメモリ等の不揮発性メモリであり、信号処理回路104における画像信号処理で得られた画像データが入力される。
記憶部108は例えばフラッシュメモリ等の不揮発性メモリであり、信号処理回路104における画像信号処理で得られた画像データが入力される。
表示器107は、背面液晶ディスプレイや、HDMI(登録商標)等の規格で外部ディスプレイと接続されることを想定しており、カメラの設定値やメッセージ、メニュー画面等の情報や撮像画像を表示する。表示器107は、制御部101からの指示により制御される。
モータ109は、制御部101の制御に従い、カメラ本体内部のミラーのアップ・ダウンやメカニカルシャッタのチャージを行う。
操作部110は、ユーザがカメラを操作するために用いるスイッチなどの入力デバイス群である。操作部110には撮影準備動作の開始および撮影開始を指示するためのレリーズスイッチや、撮影モードを選択するための撮影モード選択スイッチ、方向キー、決定キー等が含まれる。
接点部111は、交換レンズと通信を行うための接点であり、制御部101のシリアル通信ポートの入出力信号が接続される。
シャッタ駆動部112は、制御部101の出力端子に接続されてメカニカルシャッタを駆動する。
操作部110は、ユーザがカメラを操作するために用いるスイッチなどの入力デバイス群である。操作部110には撮影準備動作の開始および撮影開始を指示するためのレリーズスイッチや、撮影モードを選択するための撮影モード選択スイッチ、方向キー、決定キー等が含まれる。
接点部111は、交換レンズと通信を行うための接点であり、制御部101のシリアル通信ポートの入出力信号が接続される。
シャッタ駆動部112は、制御部101の出力端子に接続されてメカニカルシャッタを駆動する。
交換レンズには、カメラ本体側の接点部111と対をなす接点部113が設けられている。接点部113には制御部101と同様のワンチップマイクロコンピュータであるレンズ制御部114が接続され、これによりレンズ制御部114と制御部101とは通信可能となる。
レンズ制御部114は、例えばROMに記憶されたプログラムを実行し、制御部101からの指示に基づいて交換レンズの動作を制御する。またレンズ制御部114は、交換レンズの状態などの情報を、カメラ本体の制御部101に通知する。
レンズ制御部114は、例えばROMに記憶されたプログラムを実行し、制御部101からの指示に基づいて交換レンズの動作を制御する。またレンズ制御部114は、交換レンズの状態などの情報を、カメラ本体の制御部101に通知する。
フォーカスレンズ駆動部115は、レンズ制御部114の出力端子に接続され、フォーカスレンズを駆動する。
ズーム駆動部116は、レンズ制御部114の制御に従い、ズームレンズを駆動することにより、デジタルカメラによる撮影時の画角を変更する。
絞り駆動部117は、レンズ制御部114の制御に従い、絞りの開口量を調整する。
ズーム駆動部116は、レンズ制御部114の制御に従い、ズームレンズを駆動することにより、デジタルカメラによる撮影時の画角を変更する。
絞り駆動部117は、レンズ制御部114の制御に従い、絞りの開口量を調整する。
交換レンズがカメラ本体に装着されると、接点部111及び接点部113を介して、レンズ制御部114とカメラ本体の制御部101との間でのデータ通信が可能となる。またカメラ本体からは、接点部111及び接点部113を通じて、交換レンズ内のモータやアクチュエータを駆動するための電力も供給される。カメラ本体の制御部101が焦点検出や露出演算を行うために必要なレンズ固有の光学的な情報や距離エンコーダに基づいた被写体距離に関する情報等は、交換レンズのレンズ制御部114からカメラ本体の制御部101へとデータ通信によって送られる。またカメラ本体の制御部101が焦点検出や露出演算を行った結果求められた焦点調節情報や絞り情報は、カメラ本体の制御部101から、交換レンズのレンズ制御部114へ、データ通信によって送られる。交換レンズのレンズ制御部114は、その焦点調節情報に従ってフォーカスレンズを駆動し、また絞り情報に従って絞りを駆動する。
図2は本実施形態の画像処理装置で行われる画像処理を機能別に表した機能ブロック図である。本実施形態の場合、図1の信号処理回路104が、図2に示した各機能部に対応した画像処理を行う。なおこれら各機能部による画像処理は、回路等のハードウェア構成によって実現されてもよいし、CPU等が本実施形態の画像処理に係るプログラムを実行することによって実現されてもよい。画像処理のプログラムは、ROMに予め用意されていてもよいし、不図示の着脱可能なメモリ或いは不図示の通信部等を介して取得されてもよい。この場合のCPUは、その画像処理プログラムを実行することにより本実施形態に係る画像処理を行う。本実施形態に係る画像処理プログラムの実行は、制御部101が担っていてもよい。
RAW画像201は、撮像素子105の撮像信号をA/D変換して得られたRAW画像データであり、各画素がR(赤),G(緑),B(青)のそれぞれ単一の色に対応した画素値(強度)によって構成された画像となされている。単一の色に対応した画素値で構成された画像は色プレーンと呼ばれることもある。
ホワイトバランス補正部(WB補正部202とする)は、RAW画像201に対し、光源による色かぶりを補正して白を再現するためのホワイトバランス補正処理を行う。具体的には、WB補正部202は、まずRAW画像201を構成している各画素のRGBデータを、例えばxy色空間等の所定の色空間にプロットし、その色空間上で光源色の可能性が高い黒体輻射軌跡付近にプロットされたデータのRGBデータを積分する。さらに、WB補正部202は、その積分値からR及びB成分のホワイトバランス係数G/R及びG/Bを求める。そして、WB補正部202は、以上の処理により生成されたホワイトバランス係数を用いてホワイトバランス補正処理を実施する。
輝度域選択部211は、画像の撮影が行われた際の撮影条件210を取得して、本実施形態のデジタルカメラにおける撮影モードがどのようなモードであるかを判別する。デジタルカメラの撮影モードは複数あり、本実施形態で判定の対象となる撮影モードには、SDR撮影とHDR撮影のいずれの撮影モードであるか、または、高輝度側の階調性を優先する機能がON又はOFFのいずれの撮影モードであるか、などが含まれる。そして、輝度域選択部211は、撮影条件210から求めた撮影モードに応じて、補正対象となる輝度域を設定するような輝度域設定処理を行う。輝度域選択部211における、撮影条件210に基づく輝度域設定処理の詳細は後述する。
輝度階調補正部203は、ホワイトバランス補正処理後のRAW画像に対して階調補正処理を行う。本実施形態の場合、輝度階調補正部203は、画像内において例えば暗くなってしまっている顔などの特定の被写体の領域に対し、その領域の明るさを持ち上げるなどのような階調補正処理を行う。例えば、輝度階調補正部203は、入力された画像について、補正対象となる顔等の被写体の有無、または補正対象となる顔等の被写体に近い色情報を持つ画素の有無を判定し、その判定結果に基づいて、階調補正を行うかどうかを決定する。すなわち、輝度階調補正部203では、補正対象となる被写体の有無に基づいて、階調補正処理を発動するかどうかを決定する。そして、階調補正を発動する場合、輝度階調補正部203は、輝度域選択部211にて設定された輝度域を補正対象輝度域とし、さらに顔等の補正対象に合わせた周波数帯域を補正対象周波数帯域として設定し、それらの領域に限定した階調補正を実行する。このように本実施形態では、輝度階調補正部203において、補正対象輝度域および補正対象周波数帯域に限定した階調補正が行われることで、画像全体としての階調性は保ったまま、好ましい肌表現等の画像を取得することが可能となる。輝度階調補正部203における補正対象周波数帯域設定処理、およびその補正対象周波数帯域と補正対象輝度域とに限定した階調補正処理の詳細は後述する。
色補間部204は、前述した輝度階調補正処理後の画像に対し、ノイズリダクション処理や画素補間処理を行って、全ての画素においてR,G,Bの色情報が揃った画像を生成する。
現像処理部205は、色補間部204によって全ての画素においてR,G,Bの色情報が揃った画像に対して現像処理を行ってカラー画像を生成する。現像処理部205では、マトリクス変換やガンマ変換などの処理が行われる。ガンマ変換処理では、SDRに対応した現像処理(SDR現像とする)の場合にはsRGBのガンマ特性が主に用いられる。一方、HDRに対応した現像処理(HDR現像とする)の場合、ガンマ特性としては例えばPQ(Perceptual Quontization)のEOTF(Electro−Optical Transfer Function)の逆特性が用いられる。なお、HDR現像の際のガンマ特性としては、EOTFとOOTF(Opto−Optical Transfer Function)特性が組み合わされてもよい。図9には、SMPTE ST2084(Society Motion Picture and Television Engineers ST2084)で規格化されているPQのEOTF特性を示す。
色輝度調整部206は、現像処理部205による現像処理後のカラー画像に対して、さらに画像の見栄えを改善するための色輝度調整処理を行う。色輝度調整部206では、例えば、ポートレート撮影の場合には明度を高くするような画像補正処理が行われ、風景撮影の場合には緑や青空の彩度を強調するような画像補正処理が行われる。これらの画像補正処理は、例えばRGB等の色信号値に対して色輝度調整用のルックアップテーブル(LUT)を適用することで実行される。
圧縮部207は、色輝度調整部206での色輝度調整処理後の高解像度画像をHEVC(High Efficiency Video Codec)等の方法で圧縮する。
その後、記録部208は、フラッシュメモリ等の記録媒体に記録される画像データ(現像画像209)を生成する。
その後、記録部208は、フラッシュメモリ等の記録媒体に記録される画像データ(現像画像209)を生成する。
本実施形態では、前述した通り、輝度階調補正部203において、補正対象輝度域および補正対象周波数帯域を限定した階調補正処理が行われることにより、画像全体の階調性をある程度保ったまま、好ましい肌表現等の実現を可能としている。
なお図2の機能ブロックでは、輝度階調補正部203と輝度域選択部211とを別個の機能部として挙げているが、それら両機能部を一つにまとめた決定・補正部を設けるようにしてもよい。この場合、決定・補正部にはWB補正部202の出力と撮影条件210とが入力され、決定・補正部は、補正を行うかを決定する決定処理と、その決定を基に補正対象周波数および補正対象輝度域をそれぞれ補正の対象に設定した階調補正処理とを行う。そして、決定・補正部の出力が色補間部204へ送られる。
ここで、補正対象輝度域とその補正対象輝度域に対して輝度補正処理を実行(発動)すかどうかの例としては、以下の第1の実施形態、第2の実施形態で説明するような二つの手法を挙げることができる。
なお図2の機能ブロックでは、輝度階調補正部203と輝度域選択部211とを別個の機能部として挙げているが、それら両機能部を一つにまとめた決定・補正部を設けるようにしてもよい。この場合、決定・補正部にはWB補正部202の出力と撮影条件210とが入力され、決定・補正部は、補正を行うかを決定する決定処理と、その決定を基に補正対象周波数および補正対象輝度域をそれぞれ補正の対象に設定した階調補正処理とを行う。そして、決定・補正部の出力が色補間部204へ送られる。
ここで、補正対象輝度域とその補正対象輝度域に対して輝度補正処理を実行(発動)すかどうかの例としては、以下の第1の実施形態、第2の実施形態で説明するような二つの手法を挙げることができる。
<第1の実施形態>
先ず第1の実施形態における補正対象輝度域から説明する。
第1の実施形態では、HDR現像に限らず、SDR現像を行った場合にも、同じ手法で対応できる肌画像の補正方法について説明する。以下、第1の実施形態における画像処理について、図2に示した機能ブロックと図3に示すフローチャートとを参照しながら詳細に説明する。
先ず第1の実施形態における補正対象輝度域から説明する。
第1の実施形態では、HDR現像に限らず、SDR現像を行った場合にも、同じ手法で対応できる肌画像の補正方法について説明する。以下、第1の実施形態における画像処理について、図2に示した機能ブロックと図3に示すフローチャートとを参照しながら詳細に説明する。
まずステップS301において、輝度階調補正部203は、顔検出手法を用いて、入力画像中に人物の顔領域が含まれているかどうかを判定する。顔検出手法は、既知の手法を用いるものとする。例えば、ニュートラルネットワークに代表される学習を用いた顔検出手法や、目や鼻といった物理的形状に特徴のある部位を撮影画像からテンプレートマッチング処理等により抽出する顔検出手法等が知られている。その他にも、入力画像から肌の色や目の形といった画像特徴量を検出し、統計的手法を用いた解析を行うことで顔を検出する顔検出手法等が知られている。これらの手法によって入力画像中に顔領域があると判定された場合に、輝度階調補正部203は、本実施形態における輝度階調補正処理を行うことを決定(つまり輝度階調補正処理を発動することを決定)する。
次にステップS302において、輝度域選択部211が、画像の撮影が行われた際の撮影条件210を取得して、本実施形態のデジタルカメラにおける撮影モードがどのようなモードであるかを判別する。本実施形態において判定の対象となる撮影モードは、前述したようにSDR撮影とHDR撮影のいずれの撮影モードであるか、または、高輝度側の階調性を優先する機能がON又はOFFのいずれの撮影モードであるか、などの撮影モードである。
そして、次のステップS303において、ステップS302で判定される撮影モードに応じた輝度域を、補正対象輝度域として設定する。本実施形態の場合、輝度域選択部211は、撮影モードごとに予め算出した補正対象輝度域の情報を保持しており、ステップS303ではそれら保持している補正対象輝度域の中から、ステップS302で判定した撮影モードに応じた補正対象輝度域を選択する。
以下、「補正対象輝度域」の算出方法について、図4を用いて詳細に説明する。
図4のグラフ410は、ステップS302で撮影条件210を基に判別された撮影モードにおける所定の有彩色の階調特性401と、無彩色の階調特性402とを示したグラフである。図4のグラフ410の横軸はRAW画像の入力信号値を示し、縦軸のI値はHDRで表現される高輝度域まで正しく評価することができるICtCp色空間から算出される輝度評価値である。また、図4のグラフ420は、グラフ410に示した有彩色の階調特性401に対応する出力I値の傾きの変化特性403と、無彩色の階調特性402に対応する出力I値の傾きの変化特性404とを示したグラフである。グラフ420の横軸はRAW画像の入力信号値を示し、縦軸は出力I値の傾きを示している。なお、階調特性とは、入力信号値(RAW値)に対する出力I値の対応関係を示すものである。ICtCp色空間とは、ITU−R BT.2100で規定された色空間である。I(intensity=強度)は明るさを表す輝度成分であり、CtとCpはそれぞれ青−黄(tritan=3型色覚に由来)および赤−緑(protan=1型色覚に由来)を表す色差成分である。つまり、図4のグラフ410とグラフ420において、階調特性は、入力信号値に対するICtCp色空間の出力I値を表した特性である。
図4のグラフ410は、ステップS302で撮影条件210を基に判別された撮影モードにおける所定の有彩色の階調特性401と、無彩色の階調特性402とを示したグラフである。図4のグラフ410の横軸はRAW画像の入力信号値を示し、縦軸のI値はHDRで表現される高輝度域まで正しく評価することができるICtCp色空間から算出される輝度評価値である。また、図4のグラフ420は、グラフ410に示した有彩色の階調特性401に対応する出力I値の傾きの変化特性403と、無彩色の階調特性402に対応する出力I値の傾きの変化特性404とを示したグラフである。グラフ420の横軸はRAW画像の入力信号値を示し、縦軸は出力I値の傾きを示している。なお、階調特性とは、入力信号値(RAW値)に対する出力I値の対応関係を示すものである。ICtCp色空間とは、ITU−R BT.2100で規定された色空間である。I(intensity=強度)は明るさを表す輝度成分であり、CtとCpはそれぞれ青−黄(tritan=3型色覚に由来)および赤−緑(protan=1型色覚に由来)を表す色差成分である。つまり、図4のグラフ410とグラフ420において、階調特性は、入力信号値に対するICtCp色空間の出力I値を表した特性である。
また本実施形態において、「所定の有彩色」とは任意の彩度・色相で求まる彩度を持つ色であり、「無彩色」とは彩度を持たないグレー色であるとする。本実施形態の場合、所定の有彩色は、予め設定した色であり、例えば人の肌色であるとする。ただし、人の肌色には、様々な彩度・色相が考えられるため、一意には定まらない。これについては人物肌としての基準値を予め決めておいてもよいし、撮影された画像から検出される色情報を基に決めてもよく、例えば肌色領域から平均を取るなどして決めてもよい。本実施形態では、予め基準となる肌色の色相・彩度を決めておき、それに応じた階調特性を取得しておくものとする。
ここで、無彩色の階調特性と肌色の階調特性とを比較すると、図4中に示した輝度域405では、有彩色(肌色)の階調特性401の方が無彩色の階調特性402よりも傾きが大きくなっていることが、変化特性403及び404から確認できる。第1の実施形態においては、輝度域405に示すような「肌色の階調特性の方が無彩色の階調特性よりも大きい傾きを持つ輝度域」を、補正対象輝度域として階調補正を行う。階調特性は、出力I値の傾きが大きいほどコントラストがつくことになるため、細かい明暗がはっきり表れる。そのため肌色の階調特性の方が大きい傾きを持つ輝度域は、他の色に比較しても肌の凹凸感が気になり易い輝度域となる。したがって、この輝度域に限定して階調補正を行うことによって、画像全体のコントラストを損なうことなく肌を好ましく表現することができると言える。すなわち第1の実施形態では、入力画像が有する輝度域のうち、所定の有彩色の階調特性の傾きが無彩色の階調特性の傾きよりも大きい輝度域を、補正対象輝度域とし、その補正対象輝度域に対して所定の輝度補正を行う。
先に述べたように、肌色と無彩色のそれぞれの階調特性は設計値として既知であるため、これらを予め撮影モードごとに比較した結果に応じた輝度域の情報を、輝度域選択部211は保持している。そして、輝度域選択部211は、ステップS303で判別した撮影モードに応じた輝度域を、補正対象輝度域として選択する。
前述の説明では、肌色の階調特性を決めるための彩度・色相は基準となるものを決めておくとしたが、基準となる彩度・色相は単一でもよいし複数でもよい。基準の彩度・色相が複数の場合、輝度域選択部211はそれぞれの彩度・色相ごとに求めた輝度域の情報を保持し、輝度階調補正部203が、撮影画像から検出した顔領域に最も近い色(肌色)に対応した輝度域を補正対象輝度域として採用してもよい。その他、輝度域選択部211は、無彩色の階調特性と、撮影画像から得られる所定の有彩色に応じた階調特性とから、輝度域を演算し、その輝度域を補正対象輝度域として輝度階調補正部203に出力してもよい。
さらに第1の実施形態では、入力画像に対し、階調補正の対象となる周波数帯域を任意の帯域に設定することで、肌の凹凸・陰影などが気になる周波数領域に限定した補正を行う。周波数帯域の求め方としては、肌の陰影や凹凸に適した周波数帯域を設定したり、補正対象の被写体として検出した顔領域に基づいて(例えば顔領域の大きさに基づいて)周波数帯域を決定(或いは変化)させたりする方法などが考えられる。
このように第1の実施形態では、所定の有彩色の階調特性と無彩色の階調特性とを比較して求まる輝度域を補正対象輝度域とし、さらに階調補正の対象に合わせた補正対象周波数帯域を設定した上で、それらの領域に限定した階調補正を行う。補正対象周波数帯域を限定した階調補正は、ローカルコントラスト補正処理とも呼ばれる。
前述したように、本実施形態における階調補正は、ローカルコントラスト補正を想定している。
そこで、図3のステップS304において、輝度階調補正部203は、ステップS303で選択された補正対象輝度域において、前述のように設定した補正対象周波数帯域に限定して補正がかかるように、ローカルコントラストゲインマップを生成する。ゲインマップとは画像のコントラストを画素毎に調整するためのゲインが二次元配列されたマップである。すなわち本実施形態におけるローカルコントラストゲインマップは、補正対象周波数帯域に限定して補正がかかるように各ゲインが配列されたゲインマップであり、以下、簡略化してローカルゲインマップと呼ぶ。本実施形態に係るローカルゲインマップ生成処理の詳細については、後ほど説明する。
そこで、図3のステップS304において、輝度階調補正部203は、ステップS303で選択された補正対象輝度域において、前述のように設定した補正対象周波数帯域に限定して補正がかかるように、ローカルコントラストゲインマップを生成する。ゲインマップとは画像のコントラストを画素毎に調整するためのゲインが二次元配列されたマップである。すなわち本実施形態におけるローカルコントラストゲインマップは、補正対象周波数帯域に限定して補正がかかるように各ゲインが配列されたゲインマップであり、以下、簡略化してローカルゲインマップと呼ぶ。本実施形態に係るローカルゲインマップ生成処理の詳細については、後ほど説明する。
次にステップS305において、輝度階調補正部203は、ステップS304で生成したローカルゲインマップを用いて、入力画像に対してゲインをかけることによるローカルコントラスト補正を行う。
ここで、入力画像の座標(x,y)における輝度信号値をIN(x,y)、座標(x,y)におけるローカルゲインマップの値をGMlocal(x,y)とすると、ゲイン処理後の出力画像の輝度信号値OUT(x,y)は、下記式(1)のように表される。
ここで、入力画像の座標(x,y)における輝度信号値をIN(x,y)、座標(x,y)におけるローカルゲインマップの値をGMlocal(x,y)とすると、ゲイン処理後の出力画像の輝度信号値OUT(x,y)は、下記式(1)のように表される。
OUT(x,y)=GMlocal(x,y)×IN(x,y) 式(1)
以下、ステップS304におけるローカルゲインマップの生成処理について、図5および図6を用いて詳細に説明する。図5は、ローカルゲインマップ生成処理のための構成例を示したブロック図であり、図6はローカルゲインマップ生成処理の流れを示したフローチャートである。本実施形態の場合、図5に示した構成は、図2の輝度階調補正部203内に形成されているとする。
ローカルゲインマップ生成部501は、画像のローカルコントラストを調整するためのローカルゲインマップを生成する部分を示す。第1の実施形態において、ローカルゲインマップ生成部501は、入力画像から低周波画像を生成し、その低周波画像に対してゲイン処理を適用することにより、ローカルゲインマップを生成する。ローカルゲインマップ生成部501は、第1の低周波画像生成部502、第2の低周波画像生成部503、補正ゲイン変換部504、ゲインマップ変換部505、ゲインマップ合成部506、およびローカルゲインマップ算出部507を有して構成されている。
図6のステップS601において、第1の低周波画像生成部502は、入力画像に対して縮小処理を行って第1の縮小画像を生成する。第2の低周波画像生成部503は、第1の縮小画像に対して更に縮小処理を行って第2の縮小画像を生成する。このように、第1の縮小画像は入力画像を縮小処理することにより生成され、第2の縮小画像は第1の縮小画像を更に縮小処理することにより生成されている。さらに第1の低周波画像生成部502は、第1の縮小画像を元画像のサイズまで拡大することで、元画像とは周波数レベルが異なる第1の低周波画像を生成する。また第2の低周波画像生成部503は、第2の縮小画像を元画像のサイズまで拡大することで、元画像および第1の低周波画像とはそれぞれ周波数レベルが異なる第2の低周波画像を生成する。このような画像の縮小・拡大処理の方法としては、例えばバイリニア法を用いた処理等のような公知の方法を用いることができる。また、低周波画像を得る方法としては、ローパスフィルタ処理等のような公知の方法が用いられてもよい。
本実施形態では、入力画像は輝度画像となされており、以下、入力画像を入力輝度画像と表記し、第1の縮小画像を拡大処理した輝度画像を第1階層輝度画像、第2の縮小画像を拡大処理した輝度画像を第2階層輝度画像と表記する。なお、図5中では、座標(x,y)における、入力輝度画像をIN(x,y)、第1階層輝度画像をINM(x,y)、第2階層輝度画像をINS(x,y)として表記している。
次のステップS602において、補正ゲイン変換部504は、補正ゲイン特性を生成する。
補正ゲイン特性の生成について図7を用いて詳しく説明する。図7(a)のグラフ710とグラフ712、および図7(b)のグラフ720とグラフ722は、それぞれ画像の信号値をx方向にプロットした図であり、横軸はx方向の位置、縦軸は輝度信号の値を表している。また、図7(a)のグラフ711および図7(b)のグラフ721は、それぞれ画像の信号値をx方向にプロットした図であり、横軸はx方向の位置、縦軸はゲイン信号の値を表している。図7(a)のグラフ710〜712は、輝度に対しゲインが単調減少する階調特性(輝度が高いほどゲインが大きくなる特性)を持つときのローカルコントラスト補正を説明する図である。図7(b)のグラフ720〜722は、輝度に対しゲインが単調増加する階調特性(輝度が高いほどゲインが大きくなる特性)を持つときのローカルコントラスト補正を説明する図である。
補正ゲイン特性の生成について図7を用いて詳しく説明する。図7(a)のグラフ710とグラフ712、および図7(b)のグラフ720とグラフ722は、それぞれ画像の信号値をx方向にプロットした図であり、横軸はx方向の位置、縦軸は輝度信号の値を表している。また、図7(a)のグラフ711および図7(b)のグラフ721は、それぞれ画像の信号値をx方向にプロットした図であり、横軸はx方向の位置、縦軸はゲイン信号の値を表している。図7(a)のグラフ710〜712は、輝度に対しゲインが単調減少する階調特性(輝度が高いほどゲインが大きくなる特性)を持つときのローカルコントラスト補正を説明する図である。図7(b)のグラフ720〜722は、輝度に対しゲインが単調増加する階調特性(輝度が高いほどゲインが大きくなる特性)を持つときのローカルコントラスト補正を説明する図である。
図7(a)のグラフ710において、実線部は入力の輝度信号701を示し、点線部は入力の輝度信号に対し縮小やフィルタ処理によって低周波数になされ輝度信号702を示している。図7(a)のグラフ710に示された信号値をローカルトーンマッピングによって、輝度に対しゲインが単調減少になる階調特性で生成したゲイン信号703(ゲインマップ)は、図7(a)のグラフ711の点線部で表されるようになる。これらグラフ710及びグラフ711に示すように、ゲインマップ(ゲイン信号703)は、低周波数の輝度信号702を基に生成されるため、入力の輝度信号701の変化に対して緩やかに変化するものとなる。すなわち、入力の輝度信号701はグラフの左から右にかけて急激に減少するのに対し、ゲイン信号703はグラフの左から右にかけて緩やかに増加する。これにより、図7(a)のグラフ712に示すように、ゲイン処理後の輝度信号704における信号部分705は、コントラスト向上効果を出す事ができる。
また、輝度に対してゲインが単調増加の階調特性を持つ場合の図7(b)において、グラフ720は、図7(a)のグラフ710と同じく、入力の輝度信号701と、低周波の輝度信号702とを表している。また、図7(b)のグラフ721は、信号値をローカルトーンマッピングによって、輝度に対しゲインが単調増加になる階調特性で生成したゲイン信号706を示しており、この場合のゲインマップは図中点線部で示すようになる。これらグラフ720及びグラフ721に示すように、ゲインマップ(ゲイン信号706)は、低周波数の輝度信号702を基に生成されるため、入力の輝度信号701の変化に対して緩やかに変化するものとなる。すなわち、入力の輝度信号701はグラフの左から右にかけて急激に減少するのに対し、ゲイン信号706はグラフの左から右にかけて緩やかに減少する。このように図7(b)のグラフ721では、図7(a)のグラフ711とは逆の特性になっていることが分かる。これにより、図7(b)のグラフ722に示すように、ゲイン処理後の輝度信号707における信号部分708は、コントラスト低減効果を出すことができる。
以上が、補正ゲイン特性の違いによってコントラストを向上させたり、逆に低減させたりできる仕組みである。
ここで、本実施形態においては、肌の見えがよくなるような補正をかける必要があるため、ローカルコントラストが低減する方向にローカルゲインを設定する必要がある。そのため、本実施形態の場合、補正ゲイン特性は、単調増加の特性に設定する。さらに、本実施形態においては、ステップS303で選択した補正対象輝度域に限定してローカルコントラスト補正がかかる必要がある。また階調補正の対象となる周波数帯域についても、任意で設定した周波数帯域で補正がかかる必要がある。したがって、ステップS602においては、これらの補正対象の限定要素も合わせて補正ゲイン特性が決められる。
ここで、本実施形態においては、肌の見えがよくなるような補正をかける必要があるため、ローカルコントラストが低減する方向にローカルゲインを設定する必要がある。そのため、本実施形態の場合、補正ゲイン特性は、単調増加の特性に設定する。さらに、本実施形態においては、ステップS303で選択した補正対象輝度域に限定してローカルコントラスト補正がかかる必要がある。また階調補正の対象となる周波数帯域についても、任意で設定した周波数帯域で補正がかかる必要がある。したがって、ステップS602においては、これらの補正対象の限定要素も合わせて補正ゲイン特性が決められる。
次にS603において、ゲインマップ変換部505は、入力輝度画像に対して前述したようにして生成された補正ゲイン特性を適用することで、階層ごとのゲインマップを生成する。以下、縮小処理を施していない入力輝度画像に対する補正ゲイン特性を適用して生成されたゲインマップを、等倍階層ゲインマップと表記する。また、ステップS601で生成された第1階層輝度画像INMに対して補正ゲイン特性を適用して生成されたゲインマップを、第1階層ゲインマップと表記する。また、第2階層輝度画像INSに対して補正ゲイン特性を適用して生成されたゲインマップを、第2階層ゲインマップと表記する。
なお、図5では、入力輝度画像IN(x,y)に対して前述の補正ゲイン特性を適用した等倍階層ゲインマップをGML(x,y)と表記している。また、第1階層輝度画像INM(x,y)に補正ゲイン特性を適用した第1階層ゲインマップをGMM(x,y)、第2階層輝度画像INSに補正ゲイン特性を適用した第2階層ゲインマップをGMS(x,y)と表記している。そして等倍階層ゲインマップはローカルゲインマップ算出部507に送られ、第1階層ゲインマップおよび第2階層ゲインマップはゲインマップ合成部506に送られる。
次にステップS604において、ゲインマップ合成部506は、第1階層ゲインマップと第2階層ゲインマップとを合成することで合成ゲインマップを生成する。合成ゲインマップの生成方法については、画像サイズの大きいゲインマップのゲイン信号と画像サイズの小さいゲインマップのゲイン信号とのゲインの信号差に応じて加重加算する公知の手法(特開2014−154108号公報参照)を用いる。
次にステップS605において、ローカルゲインマップ算出部507は、等倍階層ゲインマップと、ステップS604で生成された合成ゲインマップとから、ローカルコントラスト補正に用いられる最終的なローカルゲインマップを生成する。座標(x,y)における合成ゲインマップの信号をGMC(x,y)とし、座標(x,y)における最終ローカルゲインマップをGMlocal(x,y)とした場合、GMlocal(x,y)は下記の式(2)で表される。
GMlocal(x,y)=GMC(x,y)−GML(x,y) 式(2)
以上が、図3のステップS304におけるローカルゲインマップの生成処理に関する説明である。
その後、ステップS305において、ゲイン処理部508は、入力輝度画像IN(x,y)に対して最終ローカルゲインマップを適用して、出力輝度画像OUT(x,y)を生成する。
その後、ステップS305において、ゲイン処理部508は、入力輝度画像IN(x,y)に対して最終ローカルゲインマップを適用して、出力輝度画像OUT(x,y)を生成する。
<第2の実施形態>
第1の実施形態では現像方法を特に限定しない例を挙げたが、第2の実施形態では、HDR現像(従来のSDR現像よりも高いピーク輝度を上限値とする階調特性を持つ現像)する場合を想定した肌の補正方法について説明する。なお、HDR現像する場合の階調特性を、第一のピーク輝度を上限値とする階調特性と言い換えると、SDR現像する場合の階調特性は、第二のピーク輝度を上限値とする階調特性であり、第一のピーク輝度は第二のピーク輝度よりも大きい輝度値である。また、第一のピーク輝度および第二のピーク輝度は、出力ダイナミックレンジに基づく輝度の最大値である。
第1の実施形態では現像方法を特に限定しない例を挙げたが、第2の実施形態では、HDR現像(従来のSDR現像よりも高いピーク輝度を上限値とする階調特性を持つ現像)する場合を想定した肌の補正方法について説明する。なお、HDR現像する場合の階調特性を、第一のピーク輝度を上限値とする階調特性と言い換えると、SDR現像する場合の階調特性は、第二のピーク輝度を上限値とする階調特性であり、第一のピーク輝度は第二のピーク輝度よりも大きい輝度値である。また、第一のピーク輝度および第二のピーク輝度は、出力ダイナミックレンジに基づく輝度の最大値である。
第2の実施形態における画像処理全体の流れは、基本的には図3で説明した第1の実施形態の流れと共通であるため、その図示と説明は省略する。第2の実施形態において、第1の実施形態とは異なる処理は、図3のステップS303において撮影モードに応じて選択される「補正対象輝度域」の算出方法である。以下、第2の実施形態における「補正対象輝度域」の算出方法について説明する。
また第2の実施形態において、肌色は、第1の実施形態と同様に任意の彩度・色相で求まる肌色とし、この任意の彩度・色相は人物肌としての基準値を予め決めておいてもよいし、撮影された画像の肌領域から平均を取るなどして決めてもよい。本実施形態においては、予め基準となる肌色の色相・彩度を決めておき、その肌色についてSDR現像する場合の階調特性と、HDR現像する場合の階調特性をそれぞれ取得しておくものとする。
図8のグラフ810は、ステップS302で判別された撮影モードでの肌色について、HDR現像する場合の階調特性801と、SDR現像(HDRよりも低いピーク輝度を上限値とする階調特性での現像)する場合の階調特性802とを示している。グラフ810の横軸はRAW画像の入力信号値を示し、縦軸は出力I値である。また、図8のグラフ820は、階調特性801と階調特性802とにそれぞれに対応する出力I値の傾きの変化特性803、804を示したグラフである。グラフ820の横軸はRAW画像の入力信号値を示し、縦軸は出力I値の傾きを示している。
ここで、HDR現像する場合の階調特性とSDR現像する場合の階調特性とを比較すると、輝度域805ではHDR現像する場合の階調特性の方がSDR現像する場合の階調特性よりも傾きが大きくなっていることが、変化特性803,804から確認できる。第2の実施形態では、輝度域805に示すような「HDR現像する場合の階調特性の方がSDR現像する場合の階調特性よりも大きい傾きを持つ輝度域」を、補正対象輝度域として階調補正を行う。すなわち第2の実施形態では、第一のピーク輝度を上限値とする階調特性における所定の有彩色の階調特性の傾きが第二のピーク輝度を上限値とする階調特性における所定の有彩色の階調特性の傾きよりも大きい輝度域を、補正対象輝度域として階調補正を行う。
前述した第1の実施形態でも説明したように、階調特性は傾きが大きいほどコントラストがつき、細かい明暗がはっきり表れる。そのため、HDR現像する場合の階調特性の方が大きい傾きを持つ輝度域は、HDR現像したことによってSDR現像したときよりも肌の凹凸感が気になりやすい輝度域となる。したがって、この輝度域に限定して階調補正を行うことによって、画像全体のコントラストを損なうことなく肌を好ましく表現することができると言える。また前述した第1の実施形態で説明したように、SDR現像する場合の肌色の階調特性とHDR現像する場合の肌色の階調特性とは、設計値として予め取得可能であるため、これらを予め撮影モードごとに比較しておくことができる。
したがって、第2の実施形態においても、これらを予め撮影モードごとに比較した結果に応じた輝度域の情報を、輝度域選択部211は保持している。そして、輝度域選択部211は、ステップS303で判別した撮影モードに応じた輝度域を、補正対象輝度域として選択する。なお、第2の実施形態においても、前述の第1の実施形態の場合と同様に、肌色の階調特性を決めるための彩度・色相は基準となるものを決めておくが、その基準となる彩度・色相は単一でもよいし複数でもよい。基準の彩度・色相が複数の場合には、それぞれの彩度・色相ごとに求めた輝度域の情報を保持しておき、輝度階調補正部203が、撮影画像から検出した顔領域に一番近い肌色に対応した輝度域を補正対象輝度域として採用してもよい。
第2の実施形態において、これ以降のステップS304、ステップS305の処理の内容は、第1の実施形態の場合と同様であるため、その説明は省略する。
以上が第2の実施形態の画像処理装置における画像処理の説明である。
以上が第2の実施形態の画像処理装置における画像処理の説明である。
以上説明したように、第1、第2の実施形態によれば、画像全体としての階調性は保ちつつ、人肌の陰影・凹凸を低減することが可能となる。特にHDR撮影もしくはHDR現像する場合には、HDR効果の損失を抑えつつ人肌を好ましく表現することが可能となる。
なお第2の実施形態においても、図2の機能ブロックの輝度階調補正部203と輝度域選択部211との両機能部を一つにまとめた決定・補正部が設けられてもよい。
なお第2の実施形態においても、図2の機能ブロックの輝度階調補正部203と輝度域選択部211との両機能部を一つにまとめた決定・補正部が設けられてもよい。
<その他の実施形態>
前述した第1の実施形態では所定の有彩色の階調特性の方が無彩色の階調特性よりも大きな傾きを持つ輝度域を補正対象輝度域として求める例を説明した。また第2の実施形態ではHDR現像する場合の所定の有彩色の階調特性の方がSDR現像する場合の所定の有彩色の階調特性よりも大きな傾きを持つ輝度域を補正対象輝度域として求める方法を説明した。
前述した第1の実施形態では所定の有彩色の階調特性の方が無彩色の階調特性よりも大きな傾きを持つ輝度域を補正対象輝度域として求める例を説明した。また第2の実施形態ではHDR現像する場合の所定の有彩色の階調特性の方がSDR現像する場合の所定の有彩色の階調特性よりも大きな傾きを持つ輝度域を補正対象輝度域として求める方法を説明した。
さらに他の実施形態として、階調特性の傾きの大小関係が逆の輝度域を補正対象輝度域として求めることも可能である。
例えば第1の実施形態において、所定の有彩色を緑としたとき、緑の階調特性の方が無彩色の階調特性よりも小さな傾きを持つ輝度域を補正対象輝度域とする。すなわち、入力画像が有する輝度域のうち、所定の有彩色の階調特性の傾きが無彩色の階調特性の傾きよりも小さい輝度域を補正対象輝度域とする。そして、その補正対象輝度域に対して輝度補正処理を行う。そして、コントラストが向上する方向にローカルゲインマップを生成すれば、葉脈のディテールが出にくいような領域を改善することも可能となる。
例えば第1の実施形態において、所定の有彩色を緑としたとき、緑の階調特性の方が無彩色の階調特性よりも小さな傾きを持つ輝度域を補正対象輝度域とする。すなわち、入力画像が有する輝度域のうち、所定の有彩色の階調特性の傾きが無彩色の階調特性の傾きよりも小さい輝度域を補正対象輝度域とする。そして、その補正対象輝度域に対して輝度補正処理を行う。そして、コントラストが向上する方向にローカルゲインマップを生成すれば、葉脈のディテールが出にくいような領域を改善することも可能となる。
さらに、コントラストを強めたい色領域と、コントラストを弱めたい色領域とで、補正ゲインを組み合わせることも可能である。例えば、葉と人物が両方映り込んだような撮影画像において、図3のフローチャートの流れに基づいて、肌色の階調特性の方が無彩色の階調特性よりも大きな傾きを持つ輝度域についてはコントラストを低減する方向に補正ゲインを設定する。また、緑の階調特性の方が無彩色の階調特性よりも小さな傾きを持つ輝度域についてはコントラストを向上する方向に補正ゲインを設定する。この場合、両方の被写体を好ましく表現することが可能となる。
また例えば第2の実施形態とは階調特性の傾きの大小関係が逆の例として、HDR現像する場合の所定の有彩色の階調特性の方がSDR現像する場合の所定の有彩色の階調特性よりも小さい傾きを持つ輝度域を補正対象輝度域としてもよい。すなわち、第一のピーク輝度を上限値とする階調特性における所定の有彩色の階調特性の傾きが第二のピーク輝度を上限値とする階調特性における所定の有彩色の階調特性の傾きよりも小さい輝度域を、補正対象輝度域として階調補正を行う。
また前述した実施形態では、輝度階調補正部203は、周波数帯域ごとに異なる補正量で輝度補正を行うようなローカルコントラスト補正を例に挙げたが、全周波数帯域で同じ補正量で輝度補正を行ってもよい。
また前述した各実施形態では、ローカルコントラスト補正処理における入力および出力が輝度画像である例を挙げたが、入力および出力画像はいわゆるYUVなど他フォーマットの画像であってもよい。
また前述した各実施形態では、ローカルコントラスト補正処理における入力および出力が輝度画像である例を挙げたが、入力および出力画像はいわゆるYUVなど他フォーマットの画像であってもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける一つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
101:制御部、104:信号処理回路、202:WB補正部、203:輝度階調補正部、204:色補間部、205:現像処理部、206:色輝度調整部、207:圧縮部、208:記録部、211:輝度域選択部
Claims (22)
- 補正を行うかを決定する決定手段と、
前記決定手段による決定に基づいて特定の周波数帯域を補正対象にする補正手段と、
を有し、
前記補正手段は、所定の有彩色の階調特性の傾きが無彩色の階調特性の傾きよりも大きい輝度域を補正の対象とすることを特徴とする画像処理装置。 - 前記補正手段は、
入力画像の特定の周波数帯域を前記補正対象の周波数帯域として設定する帯域設定手段と、
前記入力画像が有する輝度域のうち、前記所定の有彩色の階調特性の傾きが無彩色の階調特性の傾きよりも大きい輝度域を、前記補正の対象となる輝度域として設定する輝度域設定手段と、
を有し、
前記設定した前記周波数帯域と前記輝度域とに基づいて、前記入力画像に階調補正を行うことを特徴とする請求項1に記載の画像処理装置。 - 補正を行うかを決定する決定手段と、
前記決定手段による決定に基づいて特定の周波数帯域を補正対象にする補正手段と、
を有し、
前記補正手段は、所定の有彩色の階調特性の傾きが無彩色の階調特性の傾きよりも小さい輝度域を補正の対象とすることを特徴とする画像処理装置。 - 前記補正手段は、
入力画像の特定の周波数帯域を前記補正対象の周波数帯域として設定する帯域設定手段と、
前記入力画像が有する輝度域のうち、所定の有彩色の階調特性の傾きが無彩色の階調特性の傾きよりも小さい輝度域を、前記補正の対象となる輝度域として設定する輝度域設定手段と、
を有し、
前記設定した前記周波数帯域と前記輝度域とに基づいて、前記入力画像に階調補正を行うことを特徴とする請求項3に記載の画像処理装置。 - 補正を行うかを決定する決定手段と、
前記決定手段による決定に基づいて補正を行う補正手段と、
を有し、
前記補正手段は、第一のピーク輝度を上限値とする階調特性における所定の有彩色の階調特性の傾きが、第二のピーク輝度を上限値とする階調特性における前記所定の有彩色の階調特性の傾きよりも大きい輝度域を補正の対象とすることを特徴とする画像処理装置。 - 前記補正手段は、
入力画像の特定の周波数帯域を補正対象の周波数帯域として設定する帯域設定手段と、
前記入力画像が有する輝度域のうち、第一のピーク輝度を上限値とする階調特性における所定の有彩色の階調特性の傾きが第二のピーク輝度を上限値とする階調特性における前記所定の有彩色の階調特性の傾きよりも大きい輝度域を、前記補正の対象となる輝度域として設定する輝度域設定手段と、
を有し、
前記設定した前記周波数帯域と前記輝度域とに基づいて、前記入力画像に階調補正を行うことを特徴とする請求項5に記載の画像処理装置。 - 補正を行うかを決定する決定手段と、
前記決定手段による決定に基づいて補正を行う補正手段と、
を有し、
前記補正手段は、第一のピーク輝度を上限値とする階調特性における所定の有彩色の階調特性の傾きが、第二のピーク輝度を上限値とする階調特性における前記所定の有彩色の階調特性の傾きよりも小さい輝度域を補正の対象とすることを特徴とする画像処理装置。 - 前記補正手段は、
入力画像の特定の周波数帯域を補正対象の周波数帯域として設定する帯域設定手段と、
前記入力画像が有する輝度域のうち、第一のピーク輝度を上限値とする階調特性における所定の有彩色の階調特性の傾きが第二のピーク輝度を上限値とする階調特性における前記所定の有彩色の階調特性の傾きよりも小さい輝度域を、前記補正の対象となる輝度域として設定する輝度域設定手段と、を有し、
前記設定した前記周波数帯域と前記輝度域とに基づいて、前記入力画像に階調補正を行うことを特徴とする請求項7に記載の画像処理装置。 - 前記第一および第二のピーク輝度は、出力ダイナミックレンジに基づく輝度の最大値であることを特徴とする請求項5から請求項8のいずれか1項に記載の画像処理装置。
- 前記第一のピーク輝度は、前記第二のピーク輝度よりも大きい輝度値であることを特徴とする請求項5から請求項9のいずれか1項に記載の画像処理装置。
- 前記補正手段は、入力画像の中の補正対象となる被写体に基づいて前記特定の周波数帯域を決定することを特徴とする請求項1から請求項4のいずれか1項に記載の画像処理装置。
- 前記決定手段は、入力画像の中の補正対象となる被写体の有無、または補正対象となる被写体の色に近い色を持つ画素の有無に基づいて、前記補正を行うか否かを決定することを特徴とする請求項1から請求項11のいずれか1項に記載の画像処理装置。
- 前記補正手段は、周波数帯域ごとに異なる補正量、または全周波数帯域で同じ補正量で前記補正を行うことを特徴とする請求項1から請求項12のいずれか1項に記載の画像処理装置。
- 前記階調特性は、入力された信号値に対するICtCp色空間の出力を表した特性であることを特徴とする請求項1から請求項13のいずれか1項に記載の画像処理装置。
- 前記所定の有彩色は、予め設定した色、または入力画像から得られる色に基づいて定まることを特徴とする請求項1から請求項14のいずれか1項に記載の画像処理装置。
- 前記補正手段は、予め用意された複数の輝度域の中から入力画像が撮影により取得された時の撮影モードに応じて選択した輝度域、または無彩色の階調特性と入力画像から得られる所定の有彩色とに応じた階調特性に基づいて算出される輝度域を、前記補正の対象となる輝度域として設定することを特徴とする請求項1から請求項15のいずれか1項に記載の画像処理装置。
- 前記予め用意された複数の輝度域の中から前記撮影モードに応じて選択した輝度域を前記補正の対象となる輝度域として設定する場合、前記補正手段は、入力画像から得られる所定の有彩色に最も近い色に対応した輝度域を選択することを特徴とする請求項16に記載の画像処理装置。
- 画像処理装置が実行する画像処理方法であって、
補正を行うかを決定する決定工程と、
前記決定工程による決定に基づいて特定の周波数帯域を補正対象にする補正工程と、
を有し、
前記補正工程では、所定の有彩色の階調特性の傾きが無彩色の階調特性の傾きよりも大きい輝度域を補正の対象とすることを特徴とする画像処理方法。 - 画像処理装置が実行する画像処理方法であって、
補正を行うかを決定する決定工程と、
前記決定工程による決定に基づいて特定の周波数帯域を補正対象にする補正工程と、
を有し、
前記補正工程では、所定の有彩色の階調特性の傾きが無彩色の階調特性の傾きよりも小さい輝度域を補正の対象とすることを特徴とする画像処理方法。 - 画像処理装置が実行する画像処理方法であって、
補正を行うかを決定する決定工程と、
前記決定工程による決定に基づいて補正を行う補正工程と、
を有し、
前記補正工程では、第一のピーク輝度を上限値とする階調特性における所定の有彩色の階調特性の傾きが、第二のピーク輝度を上限値とする階調特性における前記所定の有彩色の階調特性の傾きよりも大きい輝度域を補正の対象とすることを特徴とする画像処理方法。 - 画像処理装置が実行する画像処理方法であって、
補正を行うかを決定する決定工程と、
前記決定工程による決定に基づいて補正を行う補正工程と、
を有し、
前記補正工程では、第一のピーク輝度を上限値とする階調特性における所定の有彩色の階調特性の傾きが、第二のピーク輝度を上限値とする階調特性における前記所定の有彩色の階調特性の傾きよりも小さい輝度域を補正の対象とすることを特徴とする画像処理方法。 - コンピュータを、請求項1から請求項17のいずれか1項に記載の画像処理装置が有する各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020071191A JP2021168448A (ja) | 2020-04-10 | 2020-04-10 | 画像処理装置、画像処理方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020071191A JP2021168448A (ja) | 2020-04-10 | 2020-04-10 | 画像処理装置、画像処理方法、及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021168448A true JP2021168448A (ja) | 2021-10-21 |
Family
ID=78079843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020071191A Pending JP2021168448A (ja) | 2020-04-10 | 2020-04-10 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2021168448A (ja) |
-
2020
- 2020-04-10 JP JP2020071191A patent/JP2021168448A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2426928B1 (en) | Image processing apparatus, image processing method and program | |
KR101700362B1 (ko) | 영상 처리 방법 및 영상 처리 장치 | |
JP6597794B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2001054013A (ja) | 撮像信号処理装置およびその処理方法 | |
JP2002232906A (ja) | ホワイトバランス制御装置 | |
JP4274383B2 (ja) | 画像処理装置 | |
US20180025476A1 (en) | Apparatus and method for processing image, and storage medium | |
JP7071084B2 (ja) | 画像処理装置及び画像処理方法、プログラム、記憶媒体 | |
JP2019004230A (ja) | 画像処理装置及び方法、及び撮像装置 | |
US10785462B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
JP7199849B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2001268345A (ja) | 画像合成装置 | |
JP2006333113A (ja) | 撮像装置 | |
JP2004080402A (ja) | ダイナミックホワイトバランス調整回路及びマルチ画面表示装置 | |
JP2021168448A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
WO2001078368A2 (en) | Film and video bi-directional color matching system and method | |
JP4037276B2 (ja) | 固体撮像装置及びデジタルカメラ並びに色信号処理方法 | |
US11770511B2 (en) | Image processing apparatus, image capture apparatus, control method, and computer-readable storage medium | |
JP3995524B2 (ja) | ニー補正回路及び撮像装置 | |
US11641525B2 (en) | Image capturing apparatus capable of displaying live view image high in visibility, method of controlling image capturing apparatus, and storage medium | |
JP4377733B2 (ja) | 色調整モジュールおよび撮像装置、ならびに色調整を実現するためのプログラム | |
JP5914124B2 (ja) | 撮像装置およびその制御方法 | |
JP2020182163A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP3871681B2 (ja) | 撮像装置及びカメラ | |
JP2023162633A (ja) | 撮像装置、及び撮像装置の制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240402 |