JP2019071568A - 画像処理装置及び画像処理方法、プログラム、記憶媒体 - Google Patents

画像処理装置及び画像処理方法、プログラム、記憶媒体 Download PDF

Info

Publication number
JP2019071568A
JP2019071568A JP2017197060A JP2017197060A JP2019071568A JP 2019071568 A JP2019071568 A JP 2019071568A JP 2017197060 A JP2017197060 A JP 2017197060A JP 2017197060 A JP2017197060 A JP 2017197060A JP 2019071568 A JP2019071568 A JP 2019071568A
Authority
JP
Japan
Prior art keywords
image data
image processing
gradation conversion
conversion curve
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017197060A
Other languages
English (en)
Other versions
JP7071084B2 (ja
JP2019071568A5 (ja
Inventor
洋明 梨澤
Hiroaki Nashizawa
洋明 梨澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017197060A priority Critical patent/JP7071084B2/ja
Priority to US16/152,626 priority patent/US10600165B2/en
Publication of JP2019071568A publication Critical patent/JP2019071568A/ja
Publication of JP2019071568A5 publication Critical patent/JP2019071568A5/ja
Application granted granted Critical
Publication of JP7071084B2 publication Critical patent/JP7071084B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/82Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
    • H04N23/83Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/68Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/73Colour balance circuits, e.g. white balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/77Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

【課題】暗部と明部の知覚的な明るさの変化量が同等となるように、HDR画像のコントラストの調整を行うことができる画像処理装置を提供する。【解決手段】入力された画像データであるRAW画像データに対して、少なくとも階調変換を行い、現像処理を行う画像処理装置であって、画像データのダイナミックレンジに対応する第1の階調変換カーブを設定する設定部と、画像データの明部と暗部の輝度変化が視覚的に同等となるように、第1の階調変換カーブを調整して第2の階調変換カーブを生成する調整部と、第2の階調変換カーブを用いて、画像データの階調変換を行う階調変換部とを備える。【選択図】 図7

Description

本発明は、HDR(ハイダイナミックレンジ)画像を現像する技術に関するものである。
近年ディスプレイのLED素子の進歩などにより、黒を引き締め、高輝度をさらに高めることができ、ハイダイナミックレンジ(以下、HDR(High Dynamic Range)と称する)な画像のデータを圧縮することなくそのまま表示することができるようになってきている。HDRでは、従来のダイナミックレンジ(以下、SDR(Standard Dynamic Range)と称する)でコントラストが下がってしまっていた青空の雲の階調や、夜景のネオンなどの風景をリアルに再現できる。
一方で、HDRでは、明るい部分が眩しいほど明るく、相対的に主被写体を暗く知覚してしまうという特徴も併せ持つ。これは、人間の視覚特性である色彩対比のうち、空間的に隣接する場合に発生する同時対比に起因するものであると考えられる。同時対比には、明度対比の他に彩度の高い色に囲まれた色は彩度が低下して見える彩度対比もある。
上記の同時対比の現象は、明暗差がより強調される現象であるため、これこそがリアルなHDR画質で好ましいというシーンもあるであろうが、一方で主被写体の明るさ、特に人物の顔などが暗くなった場合には必ずしも好ましい画像とはならない場合もある。そのような場合には、ユーザーは、撮影時ではカメラ内の画質調整機能、現像時ではPCアプリ内の画質調整機能を用いてコントラストを落とすような調整を行うことが想定される。
コントラスト調整の一般的な方法としては、ある信号レベルを基準として、それよりも大きい信号および小さい信号を増減させ振幅制御する方法が一般的である。しかしながら、人間の視覚特性として、感覚量は、刺激量(この場合は輝度値)の強度の対数に比例して知覚されるため、基準信号レベルに対して暗部と明部の調整量を同量にしても、暗部と明部で同様の変化量に感じられない。この現象はHDRのように扱う対象輝度が1000nitsを超えるような高輝度になると、より顕著になる。
そこで例えば、特許文献1では、撮像装置のダイナミックレンジよりも出力装置のダイナミックレンジが狭いときに、大局輝度に基づいて圧縮することにより、コントラストを維持する補正方法が提案されている。また特許文献2では、コントラスト調整手段で行うコントラスト調整との相関性を持たせて、視覚上の平均輝度レベルが変化しないようにバックライトの輝度調整を行う方法が提案されている。
特開2016−086347号公報 特開2001−027890号公報
しかしながら、上述の特許文献1に開示されている従来技術は、ダイナミックレンジが広い状態から狭い状態への圧縮方法において、人間の視覚特性を考慮してなるべくコントラストを維持する方法ではある。しかし、暗部と明部の調整量が同量に知覚されることを保証する方法ではない。
また特許文献2に開示された従来技術は、単なる信号の振幅制御だけでなく表示装置のバックライトの輝度再現範囲を考慮して平均輝度を維持しようとすることを特徴とする。しかし、やはり暗部と明部の調整量が同量に知覚されることを保証する方法ではない。
本発明は上述した課題に鑑みてなされたものであり、その目的は、暗部と明部の知覚的な明るさの変化量が同等となるように、HDR画像のコントラストの調整を行うことができる画像処理装置を提供することである。
本発明に係わる画像処理装置は、入力された画像データであるRAW画像データに対して、少なくとも階調変換を行い、現像処理を行う画像処理装置であって、前記画像データのダイナミックレンジに対応する第1の階調変換カーブを設定する設定手段と、前記画像データの明部と暗部の輝度変化が視覚的に同等となるように、前記第1の階調変換カーブを調整して第2の階調変換カーブを生成する調整手段と、前記第2の階調変換カーブを用いて、前記画像データの階調変換を行う階調変換手段と、を備えることを特徴とする。
本発明によれば、暗部と明部の知覚的な明るさの変化量が同等となるように、HDR画像のコントラストの調整を行うことができる画像処理装置を提供することが可能となる。
本発明の第1の実施形態に係るデジタルカメラの断面図。 カメラ本体と交換レンズの電気回路の構成を示したブロック図。 従来のコントラスト強調を実現するガンマカーブを示した図。 元画像と元画像に従来のコントラスト強調を施した画像を示す図。 刺激量と感覚強度の関係を示した図。 第1の実施形態における画像の現像動作を示すフローチャート。 第1の実施形態における信号処理回路の内部の現像処理部のブロック構成を示す図。 SMPTE ST2084で規格化されているPQ(Perceptual Quontization)のEOTF特性を示した図。 Bartenモデルによる視覚のコントラスト感度特性を示す図。 各輝度値における相対的な弁別閾(JND)の特性を示す図。 JNDを考慮したコントラスト強調を実現するガンマカーブを示す図。 第1の実施形態におけるコントラスト調整用カーブ生成の動作を示すフローチャート。 元画像にJNDを考慮したコントラスト強調を施した画像を示す図。 第2の実施形態における信号処理回路の内部の現像処理部のブロック構成を示す図。 第2の実施形態における画像の現像動作を示すフローチャート。 第2の実施形態におけるコントラスト調整用カーブ生成の動作を示すフローチャート。
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。なお、以下の実施形態においては、本発明の画像処理装置の一例としてのデジタルカメラについて説明する。なお、本発明はデジタルカメラのような撮影を主目的とした機器に限らず、携帯電話、パーソナルコンピュータ(ラップトップ型、デスクトップ型、タブレット型など)、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」という言葉は、撮像機能を備えた任意の電子機器を包含することが意図されている。
(第1の実施形態)
図1は本発明の第1の実施形態に係るデジタルカメラの、主として光学部材やセンサ等の配置を示す断面図である。本実施形態におけるデジタルカメラはレンズ交換可能な所謂デジタル一眼レフカメラであり、カメラ本体1と交換レンズ2を有している。
カメラ本体1において、撮像素子10は例えばCMOSイメージセンサやCCDイメージセンサであり、複数の画素(蓄積型光電変換素子)が配列されている。撮像素子10の前方に設けられているメカニカルシャッタ11は、撮像素子10の露出タイミングおよび露出時間を制御する。半透過性の主ミラー3と、主ミラー3の背面に配置された第1の反射ミラー7は、撮影時には上部に跳ね上がる。第2の反射ミラー8は、第1の反射ミラー7が反射した光束をさらに反射し、焦点検出用センサ(AFセンサ)9に入射させる。焦点検出用センサ9は、例えば画素数が撮像素子10よりも少ない撮像素子である。第1の反射ミラー7、第2の反射ミラー8および焦点検出用センサ9は、撮影画面内の任意の位置での位相差検出方式での焦点検出を行うための構成である。
測光用センサ(AEセンサ)6はペンタプリズム4および第3の反射ミラー5で反射された撮影画面の像を受光する。AEセンサ6は受光部を複数の領域に分割し、領域ごとに被写体の輝度情報を出力できる。分割数に制限は無い。
なお、撮像素子10には、受光部に配置される画素以外に、画素信号の増幅回路や信号処理用の周辺回路などが配置されている。
ペンタプリズム4によってファインダー光学系が構成される。図1には示していないが、ペンタプリズム4で反射された被写体像はアイピースから観察可能である。AEセンサ6には主ミラー3によって反射されてピント板12によって拡散された光線のうち光軸外の光線の一部が入射する。交換レンズ2はカメラ本体1に設けられたレンズマウントの接点を通じ、必要に応じてカメラ本体1と情報通信を行う。なお、ライブビュー表示および動画記録時には常時主ミラー3が上部に跳ね上がった状態となるため、露出制御や焦点調節制御は撮像面の画像情報を使用して行うこととなる。
図2は、図1に示したカメラ本体1とその交換レンズ2の電気回路の構成を示すブロック図である。カメラ本体1において、制御部21は、例えば内部にALU(ARITHMETIC and Logic Unit)、ROM、RAMやA/Dコンバータ、タイマー、シリアル通信ポート(SPI)等を内蔵したワンチップマイクロコンピュータである。制御部21は、例えばROMに記憶されたプログラムを実行することにより、カメラ本体1および交換レンズ2の動作を制御する。制御部21の具体的な動作については後述する。
焦点検出センサ9及び測光用センサ6の出力信号は、制御部21のA/Dコンバータ入力端子に接続される。信号処理回路25は制御部21の指示に従って撮像素子10を制御し、撮像素子10が出力する信号にA/D変換および信号処理を適用し、画像信号を得る。また信号処理回路25は、得られた画像信号を記録するにあたって、圧縮・合成等の必要な画像処理を行う。メモリ28はDRAM等であり、信号処理回路25が種々な信号処理を行う際のワーク用メモリとして使われたり、後述する表示器27に画像を表示する際のVRAMとして使われたりする。表示器27としては、背面液晶ディスプレイや、HDMI(登録商標)等の規格で外部ディスプレイとして接続される表示装置が想定されており、カメラの設定値やメッセージ、メニュー画面等の情報や撮像画像を表示する。表示器27は制御部21からの指示により制御される。記憶部26は例えばフラッシュメモリ等の不揮発性メモリであり、撮像された画像信号が信号処理回路25から入力される。
モータ22は、制御部21の制御に従い、主ミラー3及び第1の反射ミラー7のアップ・ダウンやメカニカルシャッタ11のチャージを行う。操作部23はユーザーがカメラを操作するために用いるスイッチなどの入力デバイス群である。操作部23には撮影準備動作の開始および撮影開始を指示するためのレリーズスイッチや、撮影モードを選択するための撮影モード選択スイッチ、方向キー、決定キー等が含まれる。接点部29は交換レンズ2と通信を行うための接点であり、制御部21のシリアル通信ポートの入出力信号が接続される。シャッタ駆動部24は制御部21の出力端子に接続されてメカニカルシャッタ11を駆動する。
交換レンズ2には、接点部29と対をなす接点部50が設けられている。接点部50には、制御部21と同様のワンチップマイクロコンピュータであるレンズ制御部51が接続され、制御部21との通信が可能である。レンズ制御部51は例えばROMに記憶されたプログラムを実行し、制御部21からの指示に基づいて交換レンズ2の動作を制御する。また、交換レンズ2の状態などの情報を、制御部21に通知する。フォーカスレンズ駆動部52はレンズ制御部51の出力端子に接続され、フォーカスレンズを駆動する。ズーム駆動部53は、レンズ制御部51の制御に従い、交換レンズの画角を変更する。絞り駆動部54は、レンズ制御部51の制御に従い、絞りの開口量を調整する。
交換レンズ2がカメラ本体1に装着されると接点部29,50を介してレンズ制御部51とカメラ本体の制御部21とがデータ通信可能となる。また、接点部29,50を通じて交換レンズ2内のモータやアクチュエータを駆動するための電力も供給される。カメラ本体の制御部21が焦点検出や露出演算を行うために必要なレンズ固有の光学的な情報や、距離エンコーダに基づいた被写体距離に関する情報等が交換レンズ2からカメラ本体の制御部21へとデータ通信によって出力される。また、カメラ本体の制御部21が焦点検出や露出演算を行って求められた焦点調節情報や絞り情報はカメラ本体の制御部21からレンズへとデータ通信によって出力されて、交換レンズ2は焦点調節情報や絞り情報に従ってフォーカスレンズや絞りを制御する。
図3は、従来の方法で画像のコントラストを調整した際の輝度の変化例を示す図である。図3では、輝度の変わらない点(以降、中間点と称する)を基準にそれよりも信号値の低い暗部と、それよりも信号値の高い明部の輝度変化の調整量は大体同程度である。また、元の画像信号をそのまま表示した例を図4(a)に示し、コントラスト強調後の画像信号を表示した例を図4(b)にそれぞれ風景の画像として示す。コントラスト強調後の画像は元の画像に対して、コントラストが強調され特に暗部の山の陰の部分が引き締まっていることがわかる。一方で、明部の雲の部分はあまり明るくならず、暗部と明部で輝度の変化量を同程度に感じられない。つまり、暗部と明部の輝度変化の調整量を同じにしたのでは、明部と暗部の知覚的な輝度の変化量が同程度にならない。これはWeberの法則によるものである。Weberの法則とは刺激量に対する弁別閾の比が常に一定であるという法則である。弁別閾とは刺激の量が変わった時に、変わったと知覚できる最小の変化量のことを指す。この弁別閾は刺激量が大きくなるほどより大きくなることが知られている。すなわち、刺激量が大きくなると、感覚強度の変化量としては小さくなり図5のような特性を持つ。従って、コントラスト調整において、暗部の変化量よりも明部の変化量を大きくすることが知覚的には暗部と明部の変化量を同程度にすることに繋がる。
図6は、本実施形態における、コントラストを調整して現像を行う動作の流れを示すフローチャートである。また、図7は、信号処理回路25の内部の現像処理部のブロック構成を示す図である。
本実施形態においては、図2の操作部23に含まれる電源スイッチがオンされるなどにより、制御部21が動作可能になると、図6のフローチャートの動作を実行する前に以下のような動作を行う。
まず制御部21は交換レンズ2のレンズ制御部51と通信を行ない、焦点検出や測光に必要な各種レンズの情報を得るなどの初期化処理を行う。次に、操作部23に含まれるシャッタスイッチの半押し操作により、AF(オートフォーカス)処理、AE(自動露出)処理の動作開始を指示する。その後、シャッタスイッチの全押し操作で、撮影を行う。その後、図6のフローチャートに従って、撮影された各RAW画像データの現像を行う。
ここで現像処理の詳細について図6、図7を用いて説明する。被写体像は交換レンズ2を経て、被写体像を光電変換する撮像素子10上に結像される。撮像素子10は例えば、一般的な原色カラーフィルタを備える単板カラー撮像素子とする。原色カラーフィルタは、各々650nm、550nm、450nm近傍に透過主波長帯を持つ3種類の色フィルタからなり、各々R(赤)、G(緑)、B(青)の各バンドに対応する色プレーンを撮影する。単板カラー撮像素子では、この色フィルタを画素毎に空間的に配列し、各画素では各々単一の色プレーンにおける光強度を得ることしかできない。このため撮像素子からは色モザイク画像であるRAW画像101が出力される(図6:S10)。ホワイトバランス部102では、本来白である被写体を白く見えるようにする処理が行われる(図6:S11)。具体的には、撮像画像データを構成する各画素のRGBデータを、例えばxy色空間等の所定の色空間にプロットする。その結果、その色空間上で光源色の可能性が高い黒体輻射軌跡付近にプロットされたデータのR,G,Bを積分し、その積分値からR及びB成分のホワイトバランス係数G/R及びG/Bを求める。このような処理により生成されたホワイトバランス係数を用いてホワイトバランス処理を実施する。
色補間部103では、ノイズリダクション処理や色モザイク画像を補間する処理によって、全ての画素においてR、G、Bの色情報が揃ったカラー画像を生成する(図6:S12)。生成されたカラー画像は、マトリクス変換部104およびガンマ変換部105を経て基本的なカラー画像が生成される(図6:S13,S14)。その後、色輝度調整部109で画像の見栄えを改善するための処理がカラー画像に対して行われ(図6:S15)、例えば、夕景を検出して彩度強調を行うといった画像補正がシーンに応じて行われる。色輝度調整が終わると現像処理が完了し、現像画像112が生成される。
ここで、ガンマ変換部105はHDR(ハイダイナミックレンジ)現像を想定している。そして、ガンマ特性(階調変換カーブ)としては、例えばSMPTE ST2084で規格化されている図8に示すPQ(Perceptual Quontization)やARIB STD−B67で開発されたHLG(Hybrid Log Gamma)のEOTF(Electro−Optical Transfer Function)の逆特性となる。
続いて、暗部と明部の知覚的な変化量を同等にするコントラスト調整用カーブの生成方法について説明する。暗部と明部の知覚的な変化量を同等にするために視覚の弁別閾を用いる。弁別閾(本実施形態では知覚可能な視覚的変化の量)は精神物理学において、丁度可知差異(ちょうどかちさい、just noticeable difference、JND )あるいは最小可知差異(さいしょうかちさい)とも呼ばれる。以降、弁別閾をJNDと称する。JNDの求め方については幾つか方法が考えられるが、本実施形態ではBartenモデルと呼ばれる視覚のコントラスト感度からJNDの算出を行う方法を用いる。Bartenモデルによる視覚のコントラスト感度は以下に示す式(1)によりモデル化されている。
式(1)において、図9に示すように、輝度値、および空間周波数毎の視覚のコントラスト感度S(L,u)が算出される。このとき、最もコントラスト感度の高い空間周波数を用い、その時のコントラスト感度の逆数を算出することにより、図10に示すような、任意の輝度値での相対的な弁別閾JNDを算出することができる。縦軸は相対的な弁別閾で絶対的な弁別閾を算出するには輝度を乗算すればよい。絶対的な輝度の弁別閾は高輝度になるほど大きくなる特性となる。
以上のようにして算出されるJNDを用いて、コントラスト調整時における暗部と明部が知覚的に同量の変化量と感じられる輝度変化量を求める例を図11に示す。実線が元信号、点線がコントラスト調整後の信号を示す。2つの線の交点が適正露出の点で、コントラスト調整において変動しない点であり、大体18cd/m2とする。このグラフではコントラストを強調する例を示しており、例えば、下向きの矢印は入力信号で適正露出から−2段の信号レベル調整を示し、上向きの矢印は入力信号で適正露出から+2段の信号レベル調整を示す。ここで−2段の信号をさらに1段アンダーにする場合、具体的な輝度は4.5cd/m2から2.25cd/m2となり、差分は2.25cd/m2である。この時、+2段の信号をさらに1段オーバーにする場合、具体的な輝度は72cd/m2から2.25cd/m2を足した、74.25cd/m2ではなく、JNDを考慮すると103cd/m2にする。これにより、暗部と明部の変化量を知覚的に同程度にすることができる。これは、暗部においてJNDを知覚の1階調としたときの輝度変化量の階調数に対して、明部においてJNDを知覚の1階調としたときの輝度変化の階調数を同じ階調数とすることを意味する。このような輝度変化量にすることにより、暗部と明部の知覚的な輝度変化量を同程度にすることが可能となる。
次にコントラスト調整用カーブ107(図6、図7参照)の生成動作を示すフローチャートを図12に示す。まず、撮影条件から撮影モードを判別する(S140)。従来のデジタルカメラには、通常のAEモードと、1段アンダー撮影するAEを備えた高輝度優先モードがあり、ユーザーはシーンに応じてどちらのモードで撮影するかを選択している。どちらのモードであっても、現像後の適正露出の明るさは同一にさせるために、入力信号における適正露出の信号レベルを通常撮影モードに対して、高輝度優先モードでは1段低信号側にシフトさせるようなガンマ特性を割り当てている。これにより双方の撮影モードで撮像素子の飽和レベルが同じだったとしてもダイナミックレンジ、特にハイライトにおいて1段分の差が生じる。この差はHDR現像すると、ピーク輝度の差となるため、JNDの算出においてもこの部分を考慮する必要がある。
続いて同様にISO感度によってもダイナミックレンジが異なる場合がある。撮像素子においてアンプでゲインがかからない基準のISO感度100に対して、アナログゲイン、もしくはデジタルゲインがかかるISO200以降の高感度の方がフォトダイオードの容積に対して電荷量が少ないため、ダイナミックレンジが大きくなる。また1/3段刻みの中間ISO感度について、ゲインの刻みが1段しかない安価なアンプを有した撮像素子では、中間ISO感度は代表ISO感度からのゲインアップもしくはゲインダウンで実現している。このときゲインダウンでは飽和の信号レベルが下がってしまうためダイナミックレンジとしては小さくなる。このように、撮影条件、特にISO感度に応じて異なるピーク輝度もJND算出の際に考慮する必要がある(S141)。従って、撮影モードとISO感度の組み合わせの数だけ、ガンマカーブを予め用意し、コントラスト調整用カーブ107としてメモリ28に格納しておく。そしてガンマ選択部108で、撮影条件(撮影モードおよびISO感度)106を参照し、撮影モードとISO感度の組み合わせに該当するコントラスト調整用カーブ107をメモリ28から読み出す(S142)。
取得したコントラスト調整用のガンマカーブデータから、ガンマカーブの各出力値に対応する絶対輝度を取得する(S143)。絶対輝度値の算出は、SMPTE ST2084で規格化されている図8に示すPQ(Perceptual Quontization)やARIB STD−B67で開発されたHLG(Hybrid Log Gamma)のEOTF(Electro−Optical Transfer Function)を用いて行えばよい。
その後、前述したBartenモデルと呼ばれる視覚のコントラスト感度からJNDを算出する(S144)。求めたJNDに基づいて、コントラスト調整の輝度変化量を算出する(S145)。最後に、ガンマカーブの各入力値に対応する輝度変化量からガンマ出力値を算出する(S146)。この換算には、SMPTE ST2084で規格化されているPQ(Perceptual Quontization)の逆特性のOETF(Optical−Electro Transfer Function)を用いることができる。
更新したコントラスト調整用のガンマカーブを用いてコントラスト調整をすることにより、従来、暗部と明部が同程度の輝度変化として知覚できなかった図5(b)のようなシーンが、図13に示すように、同程度の輝度変化として知覚できるようになる。
以上説明したように、第1の実施形態によれば、視覚の弁別閾JNDに基づいて生成したガンマカーブを使用することにより、HDRのような高輝度な画像であっても、暗部と明部の輝度変化量を知覚的に同程度にしたコントラスト調整を行うことが可能となる。
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。第1の実施形態では、撮影条件に基づく入力画像のダイナミックレンジに応じて決まるJNDを考慮して、予め用意したコントラスト調整用のガンマカーブを用いてコントラスト調整を行う方法について説明した。これに対して、第2の実施形態では、シーンや被写体の特徴に依存する入力画像のダイナミックレンジに応じて決まるJNDを考慮して、コントラスト調整用のガンマカーブを動的に生成し、コントラスト調整を行う点が第1の実施形態と異なる。
図14は、第2の実施形態における、信号処理回路25の内部の現像処理部のブロック構成を示す図である。図14の構成が第1の実施形態と異なるのは、図14のホワイトバランス部113において算出されたホワイトバランス係数を用いて、入力画像のダイナミックレンジを決定し、それに基づいてコントラスト調整用カーブ生成部114でガンマカーブを生成する点である。その他、図7と共通の部分については、同じ参照番号を付してその説明を省略する。
ここで、ホワイトバランス処理によって入力のダイナミックレンジが変化する原理について説明する。ホワイトバランスは前述した通り、本来白である被写体を白く見えるようにする処理であり、Gを基準(等倍)として、RとBに所定のゲイン(ホワイトバランス係数)をかける処理である。この際、撮像素子10の画素が飽和している領域の信号では、ホワイトバランス処理を施す前の段階で、R,G,Bチャンネルの信号レベルが揃ってしまっている。ここにホワイトバランスゲインをかけることで却って、R,G,Bチャンネルの信号レベルが不揃いになってしまう。基本的にはG以外のR,Bの信号が大きくなるため、色としてはマゼンタ色の色付きとなり画質劣化の要因となる。そこで一般的には、Gの飽和レベルでリミッタをかけることで色付きを抑制する。一方で、リミッタ処理をすることでR,Bの信号については階調が失われてしまう。そこで、リミッタ処理をせずに、階調の残っているR,Bの信号を利用してG信号を置換処理し階調を推測することにより、高輝度の階調を拡張することができる。高輝度階調拡張の方法としては幾つか考えられるが、例えば、特開2015−156616号公報に記載の方法を用いて高輝度階調を拡張し、入力画像のダイナミックレンジを増大させる。増大させる量は、ホワイトバランス係数に依存し、つまりはシーンや被写体に依存する。
図15は、第2の実施形態の現像処理の動作を示すフローチャートである。図6に示した第1の実施形態のフローチャートと異なり、上述した高輝度階調拡張のステップ(S22)が追加されている。その他のステップは、図6と同じである。また、図16は、コントラスト調整用カーブ25を生成するための動作を示すフローチャートである。図12に示した第1の実施形態のフローチャートと異なり、高輝度階調拡張量に応じてガンマカーブを更新するステップ(S250)が追加されている。そして、図14中のコントラスト調整用カーブ生成部114において、コントラスト調整用カーブ25を動的に生成する。なお、図16のS251〜S254の動作は、図12に示す第1の実施形態の動作のS143〜S145の動作と同じであるため、説明を省略する。
ここで、JNDの算出方法として、第1の実施形態ではBartenモデルと呼ばれる視覚のコントラスト感度からJNDを算出する方法を用いた。しかし、JNDの算出方法はこれに限るものではなく、例えば、第2の実施形態ではWeberの法則と呼ばれるモデルから算出する例について説明する。
Weberの法則と呼ばれるモデルでは、ある輝度値Yに対するJNDは、その比率で求められるとしており、式(2)によりモデル化されている。
ΔY/Y=constant (2)
式(2)において、定数constantに適切な値を設定することにより、輝度値Yに対するJNDを算出可能である。以上の方法により決定されたコントラスト調整用カーブを用いてガンマ変換部105によりガンマ変換を行う(S25)。
以上説明したように第2の実施形態によれば、視覚の弁別閾JNDに基づいてガンマカーブを被写体に応じて動的に生成する。これにより、HDRのような高輝度な画像であっても、シーンに適応して、暗部と明部の輝度変化量が知覚的に同程度となるコントラスト調整を行うことが可能となる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
1:カメラ本体、2:交換レンズ、3:主ミラー、9:焦点検出用センサ、10:撮像素子、11:メカニカルシャッタ、21:制御部、25:信号処理回路、51:レンズ制御部

Claims (13)

  1. 入力された画像データであるRAW画像データに対して、少なくとも階調変換を行い、現像処理を行う画像処理装置であって、
    前記画像データのダイナミックレンジに対応する第1の階調変換カーブを設定する設定手段と、
    前記画像データの明部と暗部の輝度変化が視覚的に同等となるように、前記第1の階調変換カーブを調整して第2の階調変換カーブを生成する調整手段と、
    前記第2の階調変換カーブを用いて、前記画像データの階調変換を行う階調変換手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記設定手段は、前記画像データが撮影された撮影条件に基づいて、前記ダイナミックレンジを判別し、前記第1の階調変換カーブを設定することを特徴とする請求項1に記載の画像処理装置。
  3. 前記撮影条件とは、前記画像データがダイナミックレンジの異なる少なくとも2つの撮影モードのいずれの撮影モードで撮影されたかの条件であることを特徴とする請求項2に記載の画像処理装置。
  4. 前記撮影条件とは、前記画像データが撮影されたISO感度の条件であることを特徴とする請求項2または3に記載の画像処理装置。
  5. 前記撮影条件とは、前記画像データにホワイトバランス処理を施すホワイトバランス係数の条件であることを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。
  6. 前記ホワイトバランス係数に基づいて前記画像データの高輝度の階調を拡張する拡張手段をさらに備えることを特徴とする請求項5に記載の画像処理装置。
  7. 前記設定手段は、前記画像データが撮影された撮影条件の組み合わせに応じて用意された複数の階調変換カーブから前記第1の階調変換カーブを選択することを特徴とする請求項2乃至6のいずれか1項に記載の画像処理装置。
  8. 前記第1の階調変換カーブの出力値に対応する絶対輝度値を取得する取得手段と、前記絶対輝度値に基づいて、該絶対輝度値に対応する知覚可能な輝度変化量である弁別閾を算出する算出手段と、をさらに備え、
    前記調整手段は、前記弁別閾に基づいて、前記画像データの明部と暗部の輝度変化が視覚的に同等となるように、前記第1の階調変換カーブを調整して、前記画像データのコントラストを調整することを特徴とする請求項1乃至7のいずれか1項に記載の画像処理装置。
  9. 前記調整手段は、前記画像データの明部における前記弁別閾を1階調としたときの前記階調変換カーブの調整量の階調数と、前記画像データの暗部における前記弁別閾を1階調としたときの前記階調変換カーブの調整量の階調数とが同等となるように前記第1の階調変換カーブを調整することを特徴とする請求項8に記載の画像処理装置。
  10. 前記算出手段は、Bartenモデルあるいは、Weberの法則に基づいて、前記弁別閾を算出することを特徴とする請求項8または9に記載の画像処理装置。
  11. 入力された画像データであるRAW画像データに対して、少なくとも階調変換を行い、現像処理を行う画像処理方法であって、
    前記画像データのダイナミックレンジに対応する第1の階調変換カーブを設定する設定工程と、
    前記画像データの明部と暗部の輝度変化が視覚的に同等となるように、前記第1の階調変換カーブを調整して第2の階調変換カーブを生成する調整工程と、
    前記第2の階調変換カーブを用いて、前記画像データの階調変換を行う階調変換工程と、
    を有することを特徴とする画像処理方法。
  12. 請求項11に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラム。
  13. 請求項11に記載の画像処理方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
JP2017197060A 2017-10-10 2017-10-10 画像処理装置及び画像処理方法、プログラム、記憶媒体 Active JP7071084B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017197060A JP7071084B2 (ja) 2017-10-10 2017-10-10 画像処理装置及び画像処理方法、プログラム、記憶媒体
US16/152,626 US10600165B2 (en) 2017-10-10 2018-10-05 Image processing apparatus capable of performing tone conversion with a visually equivalent luminance change, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017197060A JP7071084B2 (ja) 2017-10-10 2017-10-10 画像処理装置及び画像処理方法、プログラム、記憶媒体

Publications (3)

Publication Number Publication Date
JP2019071568A true JP2019071568A (ja) 2019-05-09
JP2019071568A5 JP2019071568A5 (ja) 2020-11-19
JP7071084B2 JP7071084B2 (ja) 2022-05-18

Family

ID=65994070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017197060A Active JP7071084B2 (ja) 2017-10-10 2017-10-10 画像処理装置及び画像処理方法、プログラム、記憶媒体

Country Status (2)

Country Link
US (1) US10600165B2 (ja)
JP (1) JP7071084B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022014199A1 (ja) 2020-07-15 2022-01-20 株式会社Jvcケンウッド 撮像制御装置、撮像制御方法及びプログラム
US11647298B2 (en) 2019-11-20 2023-05-09 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, image processing method, and storage medium

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220140369A (ko) * 2021-04-09 2022-10-18 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그 동작 방법
CN114222072B (zh) * 2021-12-16 2023-10-27 影石创新科技股份有限公司 图像处理方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004134853A (ja) * 2002-10-08 2004-04-30 Seiko Epson Corp 階調特性テーブルの生成方法、生成プログラム、生成装置、及び画像表示装置
JP2007258890A (ja) * 2006-03-22 2007-10-04 Konica Minolta Photo Imaging Inc 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2015156616A (ja) * 2014-02-21 2015-08-27 キヤノン株式会社 画像処理装置、画像処理方法、制御プログラム、および記録媒体
JP2015195498A (ja) * 2014-03-31 2015-11-05 キヤノン株式会社 画像装置、画像処理方法、制御プログラム及び記憶媒体

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3215388B2 (ja) 1999-05-10 2001-10-02 松下電器産業株式会社 画像表示装置および画像表示方法
JP3478329B2 (ja) * 1999-10-01 2003-12-15 セイコーエプソン株式会社 画像処理装置及び画像処理方法
US9105078B2 (en) * 2012-05-31 2015-08-11 Apple Inc. Systems and methods for local tone mapping
US11089247B2 (en) * 2012-05-31 2021-08-10 Apple Inc. Systems and method for reducing fixed pattern noise in image data
MX346011B (es) * 2013-02-21 2017-02-28 Dolby Laboratories Licensing Corp Gestion de exhibicion para video de alto intervalo dinamico.
JP6193721B2 (ja) * 2013-10-23 2017-09-06 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6343200B2 (ja) * 2014-07-31 2018-06-13 キヤノン株式会社 撮像装置およびその制御方法ならびにプログラム
JP2016086347A (ja) 2014-10-28 2016-05-19 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 画像処理装置、画像処理方法、及びプログラム
JP6566731B2 (ja) * 2015-06-05 2019-08-28 キヤノン株式会社 撮像装置及びその制御方法
US10140953B2 (en) * 2015-10-22 2018-11-27 Dolby Laboratories Licensing Corporation Ambient-light-corrected display management for high dynamic range images
GB201611253D0 (en) * 2016-06-29 2016-08-10 Dolby Laboratories Licensing Corp Efficient Histogram-based luma look matching
US10275864B2 (en) * 2016-09-09 2019-04-30 Kabushiki Kaisha Toshiba Image processing device and image processing method
US10296807B2 (en) * 2016-10-04 2019-05-21 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US10755392B2 (en) * 2017-07-13 2020-08-25 Mediatek Inc. High-dynamic-range video tone mapping
KR20190017303A (ko) * 2017-08-10 2019-02-20 엘지전자 주식회사 이동 단말기
KR102448497B1 (ko) * 2017-11-17 2022-09-28 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 제어 방법 및 영상 제공 장치
KR102550846B1 (ko) * 2018-03-06 2023-07-05 삼성디스플레이 주식회사 이미지-적응 톤 맵핑 방법 및 이를 채용한 표시 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004134853A (ja) * 2002-10-08 2004-04-30 Seiko Epson Corp 階調特性テーブルの生成方法、生成プログラム、生成装置、及び画像表示装置
JP2007258890A (ja) * 2006-03-22 2007-10-04 Konica Minolta Photo Imaging Inc 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
JP2015156616A (ja) * 2014-02-21 2015-08-27 キヤノン株式会社 画像処理装置、画像処理方法、制御プログラム、および記録媒体
JP2015195498A (ja) * 2014-03-31 2015-11-05 キヤノン株式会社 画像装置、画像処理方法、制御プログラム及び記憶媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11647298B2 (en) 2019-11-20 2023-05-09 Canon Kabushiki Kaisha Image processing apparatus, image capturing apparatus, image processing method, and storage medium
WO2022014199A1 (ja) 2020-07-15 2022-01-20 株式会社Jvcケンウッド 撮像制御装置、撮像制御方法及びプログラム
CN115336252A (zh) * 2020-07-15 2022-11-11 Jvc建伍株式会社 拍摄控制装置、拍摄控制方法及程序
CN115336252B (zh) * 2020-07-15 2023-07-25 Jvc建伍株式会社 拍摄控制装置、拍摄控制方法及存储介质

Also Published As

Publication number Publication date
US20190108626A1 (en) 2019-04-11
JP7071084B2 (ja) 2022-05-18
US10600165B2 (en) 2020-03-24

Similar Documents

Publication Publication Date Title
US10194091B2 (en) Image capturing apparatus, control method therefor, program, and recording medium
TWI524709B (zh) 影像擷取設備、影像擷取設備之控制方法及電子裝置
US20100103268A1 (en) Digital camera
US10600165B2 (en) Image processing apparatus capable of performing tone conversion with a visually equivalent luminance change, image processing method, and storage medium
JP5804857B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR20120016475A (ko) 영상 처리 방법 및 영상 처리 장치
JP7371197B2 (ja) 画像処理装置およびその制御方法
JP4999871B2 (ja) 撮像装置およびその制御方法
JP2019004230A (ja) 画像処理装置及び方法、及び撮像装置
JP7157714B2 (ja) 画像処理装置およびその制御方法
WO2019111659A1 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
US10785462B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP5335964B2 (ja) 撮像装置およびその制御方法
CN111866399B (zh) 图像处理设备、其控制方法以及计算机可读介质
JP6300514B2 (ja) 撮像装置、および撮像装置の制御方法
US11641525B2 (en) Image capturing apparatus capable of displaying live view image high in visibility, method of controlling image capturing apparatus, and storage medium
US11770511B2 (en) Image processing apparatus, image capture apparatus, control method, and computer-readable storage medium
JP5091734B2 (ja) 撮像装置および撮像方法
JP2023074897A (ja) 画像処理装置、画像処理方法、および撮像装置
JP6624895B2 (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP2021185649A (ja) 画像処理装置、方法及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201005

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201005

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210830

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210913

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220408

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220506

R151 Written notification of patent or utility model registration

Ref document number: 7071084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151