JP2018081595A - 画像処理装置及び方法、及び撮像装置 - Google Patents
画像処理装置及び方法、及び撮像装置 Download PDFInfo
- Publication number
- JP2018081595A JP2018081595A JP2016224536A JP2016224536A JP2018081595A JP 2018081595 A JP2018081595 A JP 2018081595A JP 2016224536 A JP2016224536 A JP 2016224536A JP 2016224536 A JP2016224536 A JP 2016224536A JP 2018081595 A JP2018081595 A JP 2018081595A
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- gradation conversion
- image
- characteristic
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims description 46
- 238000000034 method Methods 0.000 title claims description 16
- 238000003384 imaging method Methods 0.000 title abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims abstract description 97
- 230000000007 visual effect Effects 0.000 claims abstract description 26
- 230000008859 change Effects 0.000 claims abstract description 22
- 230000035945 sensitivity Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 6
- 238000003672 processing method Methods 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 27
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012886 linear function Methods 0.000 description 4
- 241000282412 Homo Species 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000001525 retina Anatomy 0.000 description 2
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 229910001416 lithium ion Inorganic materials 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/82—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction
- H04N23/83—Camera processing pipelines; Components thereof for controlling camera response irrespective of the scene brightness, e.g. gamma correction specially adapted for colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20008—Globally adaptive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
- H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
【課題】 人間の視覚特性を考慮して、効率良く画像信号を符号化すること。【解決手段】 撮像素子から出力された画像信号の露出情報を取得する露出情報取得部(201)と、前記露出情報と視覚特性に基づいて階調変換特性を設定する階調変換特性設定部(202)と、前記階調変換特性を用いて、前記画像信号の階調変換を行う階調変換部(203)と、を有し、前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であって、前記階調変換特性設定部は、各輝度に対して、前記階調変換を行う前の画像信号の1符号値差あたりの輝度の変化量の割合を示す第1の関数と、前記人間が認識可能な最小の輝度の変化量の割合を示す第2の関数との交点を求め、該交点に基づいて、前記階調変換特性を設定する。【選択図】 図6
Description
本発明は、画像処理装置及び方法、及び撮像装置に関し、特に、画像信号の階調変換を行う画像処理装置及び方法、及び撮像装置に関する。
従来、テレビやディスプレイといった出力機器の出力ダイナミックレンジが十分ではなく、実際の被写体に比べてかなり狭いダイナミックレンジでしか表示できなかった。そのため、撮像装置で被写体を撮影した際に、広いダイナミックレンジの映像信号を出力機器の表示のダイナミックレンジに押し込むように、ダイナミックレンジを圧縮する処理が必要となっていた。そのような処理を行った場合、見た目とは異なった状態で出力機器から映像が表示され、臨場感が失われてしまっていた。
しかしながら、近年の技術革新により出力機器の最大輝度出力が大きく改善したため、階調表現可能な画像のダイナミックレンジが拡大し、人間の視覚特性の大部分をカバーするほどのダイナミックレンジでの出力が可能となった。このような出力機器のダイナミックレンジ性能向上に伴い、拡張されたダイナミックレンジ画像を表示するための出力機器の変換特性が、非特許文献1に記載されているように、SMPTE Standard ST 2084:2014として規格化されている。
非特許文献1に示す通り、人間の視覚特性は知覚される輝度に応じて認識できるJND(Just Noticeable Difference)が異なることが科学的に検証されている。SMPTE Standard ST 2084:2014はこれに基づき、画像信号の符号値と出力機器により表示される輝度値とを関連付けて規格化したものである。そのため、出力機器に入力される画像信号としては、この変換特性の逆関数にもとづいて光電変換されることが期待される。
一方、このようなダイナミックレンジの広い表示機器に出力する場合と、従来のダイナミックレンジの表示機器に出力する場合とで、両方の用途が想定されることがある。このような場合、撮影時にそれぞれの規格に準じた階調変換を行うよりも、撮影時の記録画像としてはどちらにも対応可能な符号化を行い、記録後の後編集の際にそれぞれの規格に準じた階調変換を行う方が、汎用性が高くコンテンツとしての価値も向上する。その際、後編集時にダイナミックレンジの広い画像に変換することを想定し、実世界の被写体情報をより効率よく画像信号として残す画像の符号化方法が求められる。
また、特許文献1には、人間の網膜の応答特性に基づいて効率良く階調圧縮を行う画像の符号化方法が開示されている。
非特許文献1に示す通り、人間の視覚特性は知覚される輝度に応じて認識できるJNDが異なるが、特許文献1に示す階調圧縮では人間の視覚特性が知覚される輝度に応じて異なることが考慮されていない。そのため、出力機器での表示輝度まで考慮すると効率のよい符号化とはならない。
本発明は上記問題点を鑑みてなされたものであり、人間の視覚特性を考慮して、効率良く画像信号を符号化することを目的とする。
上記目的を達成するために、本発明の画像処理装置は、撮像素子から出力された画像信号の露出情報を取得する取得手段と、前記露出情報と視覚特性に基づいて階調変換特性を設定する設定手段と前記階調変換特性を用いて、前記画像信号の階調変換を行う階調変換手段と、を有し、前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であって、前記設定手段は、各輝度に対して、前記階調変換を行う前の画像信号の1符号値差あたりの輝度の変化量の割合を示す第1の関数と、前記人間が認識可能な最小の輝度の変化量の割合を示す第2の関数との交点を求め、該交点に基づいて、前記階調変換特性を設定する。
以上説明したように、人間の視覚特性を考慮して、効率良く画像信号を符号化することができる。
以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。なお、本発明の実施形態において、一例としてデジタルビデオカメラ内の画像処理部で本発明の画像処理方法が採用された場合を説明するが、本発明は撮像装置内部での画像処理に制限するものではなく、本発明は汎用的な画像処理方法として適用され得る。
図1は、本発明の実施形態におけるデジタルビデオカメラ100の内部構成を示すブロック図である。図1において、撮影レンズ103はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り101は光量調整に使用する絞りである。NDフィルタ(減光フィルタ)104は減光用に使用するフィルタである。撮像部22は光学像を電気信号に変換するCCDやCMOS素子等で構成される撮像素子である。また、撮像部22には電子シャッタによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。バリア102は、デジタルビデオカメラ100の撮影レンズ103を含む撮像系を覆うことにより、撮影レンズ103、絞り101、撮像部22を含む撮像系の汚れや破損を防止する。
A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号(画像データ)に変換する。画像処理部24は、A/D変換器23からの画像データ、または、メモリ制御部15からの画像データに対して、色変換処理、ガンマ補正、デジタルゲインの付加等の処理を行う。また、撮像した画像データを用いて所定の演算処理を行い、演算結果をシステム制御部50に送信する。システム制御部50は、送信された演算結果に基づいて露出制御、焦点調節制御、ホワイトバランス制御等を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理等が行われる。なお、画像処理部24についての詳細は後述する。
また、A/D変換器23から出力された画像データは、画像処理部24及びメモリ制御部15を介して、或いは、直接メモリ制御部15を介して、メモリ32に書き込まれる。メモリ32は、撮像部22によって撮像され、A/D変換器23によりデジタルデータに変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器13は、メモリ制御部15を介してメモリ32に格納されている表示用の画像データを読み出し、アナログ信号に変換して表示部28に供給する。こうして、メモリ32に書き込まれた表示用の画像データは、D/A変換器13を介して表示部28により表示される。表示部28は、LCD等の表示器上に、D/A変換器13からのアナログ信号に応じた表示を行う。A/D変換器23によって一度A/D変換されメモリ32に蓄積されたデジタル信号をD/A変換器13においてアナログ信号に変換し、表示部28に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像表示を行うことができる。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROMが用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、デジタルビデオカメラ100全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することで、後述する第1の実施形態の各処理を実現する。システムメモリ52にはRAMが用いられ、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開する。また、システム制御部50はメモリ32、D/A変換器13、表示部28等を制御することにより、表示制御も行う。
システムタイマー53は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ60、録画スイッチ61、操作部70は、システム制御部50に各種の動作指示を入力するために用いられる。
モード切替スイッチ60は、システム制御部50の動作モードを、動画記録モード、静止画記録モード、再生モード等を含む複数のモードのいずれかに切り替える。なお、動画記録モードや静止画記録モードに含まれるモードとしては、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。動画記録モードの場合、モード切替スイッチ60で、これらのモードのいずれかに直接切り替える。あるいは、モード切替スイッチ60で動画記録モードに一旦切り換えた後に、動画記録モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ61は撮影待機状態と撮影状態を切り替える。システム制御部50は、録画スイッチ61により、撮像部22からの信号読み出しから記録媒体90への動画データの書き込みまでの一連の動作を開始する。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。利用者は、表示部28に表示されたメニュー画面と、上下左右4方向の十字キーやSETボタンを用いて直感的に各種設定を行うことができる。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体90を含む各部へ供給する。電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Liイオン電池等の二次電池、ACアダプター等からなる。
I/F18は、メモリカードやハードディスク等の記録媒体90、または外部出力機器とのインターフェースである。図では記録媒体90との接続時の状態を示している。記録媒体90は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
次に、本実施形態における画像処理部24の内部構成について説明する。図2は画像処理部24の内部構成と関係部位を示すブロック図である。通常、WBの制御やシャープネス制御などもこの部分で処理を行うが、本実施形態の説明には不要であるため、省略している。なお、画像処理部24内の各ブロックは、システム制御部50を通じて、デジタルビデオカメラ100内部のあらゆるデータを取得可能である。
図2において、露出情報取得部201は露出情報(絞り、露光時間、感度、NDフィルタの濃度等の情報)を取得し、階調変換特性設定部202に伝達する。露出情報の取得方法については様々な方法があり、画像データに付与されたメタデータとして取得する方法や、システム制御部50からカメラ100の設定情報として取得する場合や、ユーザが手動で入力する場合などが例としてあげられる。また、露出情報取得部201で取得する情報は、入力される画像の露出情報に限定されるものではない。たとえば、撮影時にオンセットのディスプレイなどを通じて撮影後の処理における画像処理を想定しながら撮影する場合などは、想定される画像処理を含めたトータルの感度を算出し、露出情報として階調変換特性設定部202へ入力してもよい。階調変換特性設定部202では、露出情報取得部201より取得した露出情報をもとに階調変換特性を決定し、階調変換部203に設定する。なお、この際の階調変換特性の決定方法については詳細に記述する。
また、メタデータ生成部204では、階調変換特性設定部202により算出された階調変換特性に関する情報を取得し、画像に付与し得るデータ形式へと変換し、情報重畳部205へと伝達される。A/D変換器23から入力された画像データは、階調変換部203で階調変換され、その後、情報重畳部205でメタデータを付与され画像処理部から出力される。
続いて、図3のフローチャートを用いて階調変換特性設定部202における階調変換特性の決定方法と、メタデータ生成部204におけるメタデータの生成方法について詳細に説明する。
まず、S101において、絞り、露光時間、感度、NDフィルタの濃度などの露出情報を取得する。続いてS102では光電変換特性を算出する。本実施形態においては、ビデオカメラ100の一部の画像処理部に本発明が適用された例を示すため、入力光量に対して線形関数により光電変換された画像信号を前提として記述する。ただし、光電変換特性を線形関数に限定する必要はなく、入力画像の画像信号と光量との変換特性が既知であれば本発明は適用可能である。ここで記述する光電変換特性とは、入力画像の被写界の絶対輝度と入力画像信号の符号値を対応づけた特性である。たとえば、S101で取得された露出情報から、最大Bv値を算出し、画像信号の最大符号値と対応づける。入力画像信号が線形変換特性により光電変換されていることを想定すると、入力画像信号のビット数により、画像信号の全ての符号値が関連付けられることになる。
ここで、画像信号の符号値と被写界の絶対輝度値を関連付ける方法について具体的な数値を用いて説明する。APEX(Additive System of Photographic Exposure)表現における基準輝度値のBv値(基準Bv値)は、以下のように求められる。ここで、基準輝度値とは、画像データにおける入力18%グレーとなる被写体(反射率18%となる被写体)を基準とした輝度値である。各露出パラメータをAPEX単位に換算して、基準輝度値を絶対輝度で表した基準Bv値は、
基準Bv値=2(Av+Tv−Sv)×(0.32×k)[cd/m2] …(1)
となる。なお、Avは絞り値、Tvはシャッター速度、Svは撮影感度をそれぞれAPEX単位に換算した露出(露出制御値)である。また、kは校正係数であって、入力18%グレーとなるように、APEX単位で表わされた輝度値を絶対輝度の単位であるcd/m2(またはnit)に換算する際に用いられる。本実施形態では、k=12.5としている。なお、APEX単位で表わされた輝度値Zを絶対輝度値Xに換算するには、log2(X/0.32×k)=Zという関係式に基づき、X=2Z×(0.32×k)により求めることができる。たとえば、Av=F4.0、Tv=1/128、Sv=ISO感度200である場合は式(1)から、
基準Bv値=(2(4(Av)+7(Tv)−6(Sv)))×(0.32×12.5)
=128[cd/m2]
となる。このとき、撮像装置のダイナミックレンジ1200%、基準輝度値の輝度値の上限値に対する割合を20%、画像データのビット数を14とすると、
基準輝度値の符号値=(2bit数)×(基準輝度値[%]/ダイナミックレンジ[%]) …(2)
となり、基準信号の符号値が求められる。上記式(2)に対して数値を入れると、
基準信号の符号値 =(214)×(20/1200)
=273
すなわち、基準信号の符号値は273と求められる。
基準Bv値=2(Av+Tv−Sv)×(0.32×k)[cd/m2] …(1)
となる。なお、Avは絞り値、Tvはシャッター速度、Svは撮影感度をそれぞれAPEX単位に換算した露出(露出制御値)である。また、kは校正係数であって、入力18%グレーとなるように、APEX単位で表わされた輝度値を絶対輝度の単位であるcd/m2(またはnit)に換算する際に用いられる。本実施形態では、k=12.5としている。なお、APEX単位で表わされた輝度値Zを絶対輝度値Xに換算するには、log2(X/0.32×k)=Zという関係式に基づき、X=2Z×(0.32×k)により求めることができる。たとえば、Av=F4.0、Tv=1/128、Sv=ISO感度200である場合は式(1)から、
基準Bv値=(2(4(Av)+7(Tv)−6(Sv)))×(0.32×12.5)
=128[cd/m2]
となる。このとき、撮像装置のダイナミックレンジ1200%、基準輝度値の輝度値の上限値に対する割合を20%、画像データのビット数を14とすると、
基準輝度値の符号値=(2bit数)×(基準輝度値[%]/ダイナミックレンジ[%]) …(2)
となり、基準信号の符号値が求められる。上記式(2)に対して数値を入れると、
基準信号の符号値 =(214)×(20/1200)
=273
すなわち、基準信号の符号値は273と求められる。
基準信号の符号値が273、基準Bv値が128cd/m2であるから、線形に光電変換されていることを想定すると、最大符号値16383のBv値は7681cd/m2となる。これにより、入力画像の光電変換特性としては0〜7681cd/m2までの被写体輝度を線形に表現する特性であると算出される。なお、露出情報をもとに光電変換特性を算出したが、露出情報が異なる画像に対しては光電変換特性を算出し直す必要がある。
次に、S103において、視覚特性に基づくモデル関数と、光電変換特性との交点の算出を行う。図4は横軸を被写体輝度、縦軸をコントラストステップとして、人間の視覚特性に基づくモデル関数S0と、信号出力特性S1を図示したグラフである。なお、ある輝度Lにおける表現可能な最小の輝度の変化量をΔL、そのときのコントラストステップをCsとすると、コントラストステップCsは以下の式(3)で表される。
Cs=ΔL/L …(3)
ここでは、表現可能な最小の輝度の変化量ΔLは、隣り合った符号値に割り当てられた輝度の変化量となるので、i番目の符号に対応する輝度をL(i)とすると、
Cs=(L(i+1)−L(i))/L(i) …(4)
と表わすことができる。人間の視覚特性では、輝度によって認識可能なコントラストステップが変化するため、モデル関数S0は横軸の被写体輝度に対して非線形に変化する。モデル関数S0より上側では、輝度の変化量ΔLに対するコントラストステップが大きいため、1符号値差あたりの輝度の変化量を認識することができる。一方、モデル関数S0より下側では、輝度の変化量ΔLに対するコントラストステップが小さいため、1符号値差あたりの輝度の変化量を認識することができない。すなわち、モデル関数S0より下側の領域では、階調が無駄になってしまう。
Cs=ΔL/L …(3)
ここでは、表現可能な最小の輝度の変化量ΔLは、隣り合った符号値に割り当てられた輝度の変化量となるので、i番目の符号に対応する輝度をL(i)とすると、
Cs=(L(i+1)−L(i))/L(i) …(4)
と表わすことができる。人間の視覚特性では、輝度によって認識可能なコントラストステップが変化するため、モデル関数S0は横軸の被写体輝度に対して非線形に変化する。モデル関数S0より上側では、輝度の変化量ΔLに対するコントラストステップが大きいため、1符号値差あたりの輝度の変化量を認識することができる。一方、モデル関数S0より下側では、輝度の変化量ΔLに対するコントラストステップが小さいため、1符号値差あたりの輝度の変化量を認識することができない。すなわち、モデル関数S0より下側の領域では、階調が無駄になってしまう。
一方、画像処理部24への入力信号と出力信号のビット数について考えると、理想的にはビデオカメラの記録としてはRAW画像信号をそのまま記録するのが好ましい。しかし、記録信号の肥大化や記録装置への情報転送速度の制限、または画像処理回路の回路構成簡易化の観点からすると、RAWの画像信号よりも少ないビット数の画像信号として記録することが一般的である。例えば、図5に示すように、入力画像のビット数を1、記録画像のビット数を12として、階調を線形に落とす場合、図5に示す階調変換特性S2が適用される。なお、図5のS1に示す被写体輝度に対応するコントラストステップを図4のS1とすると、図5のS2は、図4のS2に対応する。
この時、図4のS2とモデル関数S0の位置関係をみると、低輝度側約80cd/m2程度ではS2の方がS0の上に位置している。これは、S2で変換された画像の低輝度側約80cd/m2程度までは人間の視覚特性よりも大きなコントラストステップで表現されることを意味する。つまり、平坦な被写体で輝度がなだらかにグラデーションで変化するような領域でコントラストの差が視覚的に知覚されてしまい、バンディングまたはトーンジャンプと呼ばれるような好ましくない品位の画質になってしまう。
これを防ぐには、なるべくS0に近く、かつS0を下回る部分が大きい階調変換特性により階調変換する必要がある。そこで、図5における階調変換特性S1に注目すると、これは図4におけるS1と等しい。この場合、S2に比べてS0を上回る部分が大きく減少し、モデル関数S0を上回る領域は低輝度側約20cd/m2程度までになる。しかし、図5を見てわかるとおり、入力光量の一部にしか符号を割り当てることができず、階調表現できる被写体輝度範囲が大幅に減少してしまう。
そこで、階調変換特性S1とモデル関数との交点C0まではS1の階調変換特性に従い、交点より大きい高輝度部分は入力画像信号の最大符号値まで階調変換可能な階用変換特性とする。そのために、本実施形態では、信号変換特性と視覚特性に基づくモデル関数との交点を求める。なお、交点の算出方法に関して制限はなく、交点の座標を直接求めても良いし、解析的に求めてもよい。また、算出する交点は図4に示すような座標平面上の座標値でもよいし、入力画像信号の符号値として算出してもよいし、入力画像信号の絶対輝度値として算出してもよい。
次に、S104において、階調変換特性における線形特性部分の比率を決定する。ここでは、S103で算出した交点C0に対応する輝度を入力画像信号の符号値に換算し、交点の符号値以下の低輝度側の符号値については光電変換特性そのもの(すなわち、傾き1の直線)とする。一方、交点の符号値より高輝度側の符号値については別の階調変換特性とする。これにより、入力画像信号の符号値全体を階調変換後に階調表現可能な階調変換特性とする。ここで、交点の符号値より高輝度側の階調変換特性に関して制限はないが、視覚特性に基づくモデル関数よりも下回る関数特性であって、滑らかな階調表現が可能で網膜の応答特性とも相性の良い対数変換特性を採用してもよい。図6に、交点までは線形特性を有し、交点から上を対数関数で表現された階調変換特性の例としてS3を示す。このようにして算出された階調変換特性は、入力画像の符号値と出力画像の符号値の関係としては、図7におけるS3として表現することができる。
また、図6では交点の符号値をもとにそのまま線形特性部分の比率を決定したが、記録後の後編集時において感度変更や階調調整を行う場合を想定して、交点の符号値をそのまま階調変換特性における線形特性部分と非線形特性部分との接合点としない場合もある。例えば、交点付近の輝度領域に主被写体があり後編集時に階調調整が想定される場合は、階調調整による主被写体付近でのバンディングによる画質品位の劣化を防ぐため、接合点を交点よりも高輝度側に移動して主被写体付近の階調性を重視してもよい。
そして、S105では、S103で算出した交点の情報と、S104で決定した階調変換特性における線形特性部分の比率をメタデータとして記録可能な形式に変換する。交点に関する付与メタデータの一例として、交点の絶対輝度そのもの、または絶対輝度に対応する階調変換後の画像信号の符号値、または絶対輝度に対応する入力画像信号の符号値などがあげられる。また、比率に関しては、さまざまな表現方法がある。例えば、入力ダイナミックレンジに占める線形関数の割合や、出力画像信号の符号値に占める線形関数の割合、または接合点の絶対輝度や入力画像信号における接合点の符号値、出力画像における接合点の符号値などが挙げられる。さらには接合点の情報としては交点からの相対情報として、相対符号値や相対露出段数などで表現することも可能である。また、交点情報や接合点情報はこれらいずれかのデータを生成可能な他の値であっても構わない。例えば、これらの値と関連付けて用意されたテーブルのインデックス値などがこれにあてはまる。この2つのメタデータにより、後処理の段階において画像内のどの輝度領域が視覚特性を満たすか満たさないか、また感度変更や階調調整を行ったときに視覚特性を満たす範囲がどう変わるかを知ることができる。
S106では、S104で生成された階調変換特性に基づいて、入力画像信号に階調変換を施し、S107ではS105において作成されたメタデータを階調変換された画像データに付与する。
なお、本実施形態では、画像データを階調変換したのちにメタデータを付与する順番で処理を紹介したが、本発明は処理の順番についての制限はなく、メタデータを付与したのちに画像データの階調変換をしてもよい。
このようにして階調変換処理された画像を出力することで、絶対輝度と関連付けられて出力されることを想定した画像の撮影において、入力画像の光電変換特性を考慮し人間の視覚特性に基づいて最も効率のよい階調情報を残すことができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
22:撮像部、23:A/D変換器、24:画像処理部、50:システム制御部、52:システムメモリ、60:モード切替スイッチ、100:デジタルビデオカメラ、101:絞り、103:撮像レンズ、201:露出情報取得部、202:階調変換特性設定部、203:階調変換部、204:メタデータ生成部、205:情報重畳部
Claims (17)
- 撮像素子から出力された画像信号の露出情報を取得する取得手段と、
前記露出情報と視覚特性に基づいて階調変換特性を設定する設定手段と、
前記階調変換特性を用いて、前記画像信号の階調変換を行う階調変換手段と、を有し、
前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であって、
前記設定手段は、各輝度に対して、前記階調変換を行う前の画像信号の1符号値差あたりの輝度の変化量の割合を示す第1の関数と、前記人間が認識可能な最小の輝度の変化量の割合を示す第2の関数との交点を求め、該交点に基づいて、前記階調変換特性を設定することを特徴とする画像処理装置。 - 前記階調変換特性は、前記交点に基づいて設定された輝度を接合点とする線形特性部分と非線形特性部分とを有することを特徴とする請求項1に記載の画像処理装置。
- 前記設定手段は、当該交点までの輝度に対応する前記階調変換特性を線形特性とし、前記交点より高い輝度に対応する前記階調変換特性を非線形特性としたことを特徴とする請求項2に記載の画像処理装置。
- 前記線形特性は、入力した符号値と出力される符号値とが同じ符号値となる特性を有することを特徴とする請求項3に記載の画像処理装置。
- 前記交点の輝度を、前記第1の関数と前記第2の関数の交点の座標を求めることにより、求めることを特徴とする請求項3または4に記載の画像処理装置。
- 前記交点の輝度を、解析的に求めることを特徴とする請求項3または4に記載の画像処理装置。
- 前記階調変換された画像信号に前記階調変換特性の情報を付加する付加手段を更に有することを特徴とする請求項1乃至6のいずれか1項に記載の画像処理装置。
- 前記階調変換特性は、前記交点に基づいて設定された輝度を接合点とする線形特性部分と非線形特性部分とを有し、
前記階調変換特性の情報は、前記交点の情報と、前記階調変換特性における前記線形特性部分の比率の情報とを含むことを特徴とする請求項7に記載の画像処理装置。 - 前記交点の情報は、前記交点の輝度値または当該交点の輝度値を示す符号値であることを特徴とする請求項8に記載の画像処理装置。
- 前記比率の情報は、前記階調変換特性に占める前記線形特性部分の割合と、前記撮像素子から出力された画像信号のダイナミックレンジに占める前記線形特性部分の割合と、出力する画像信号における符号値に占める線形特性部分の割合と、前記線形特性部分と前記非線形特性部分との接合点の絶対輝度と、前記撮像素子から出力された画像信号における前記接合点の符号値と、出力する画像信号における前記接合点の符号値と、の少なくともいずれかを含むことを特徴とする請求項8または9に記載の画像処理装置。
- 前記階調変換特性における前記線形特性部分の比率は、前記撮像素子から出力された画像信号の階調と、出力する画像の階調によって変化することを特徴とする請求項8乃至10のいずれか1項に記載の画像処理装置。
- 前記撮像素子から出力された画像信号の符号値と、画像表示装置により表示される絶対輝度値とを関連付けて表示されることを想定した第1のモードと、関連付けずに出力されることを想定した第2のモードとを有し、前記第1のモードにおいて、前記設定手段による前記階調変換特性の設定を行うことを特徴とする請求項1乃至10のいずれか1項に記載の画像処理装置。
- 前記露出情報は、絞り、感度、露光時間、減光フィルタの濃度のうち、少なくともいずれか1つを含むことを特徴とする請求項1乃至12のいずれか1項に記載の画像処理装置。
- 撮像素子と、
請求項1乃至13のいずれか1項に記載の画像処理装置と
を有することを特徴とする撮像装置。 - 取得手段が、撮像素子から出力された画像信号の露出情報を取得する取得工程と、
設定手段が、前記露出情報と視覚特性に基づいて階調変換特性を設定する設定工程と
階調変換手段が、前記階調変換特性を用いて、前記画像信号の階調変換を行う階調変換工程と、を有し、
前記視覚特性は、輝度に応じて異なる、人間が認識可能な最小の輝度の変化量であって、
前記設定工程では、各輝度に対して、前記階調変換を行う前の画像信号の1符号値差あたりの輝度の変化量の割合を示す第1の関数と、前記人間が認識可能な最小の輝度の変化量の割合を示す第2の関数との交点を求め、該交点に基づいて、前記階調変換特性を設定することを特徴とする画像処理方法。 - コンピュータを、請求項1乃至13のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
- 請求項16に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016224536A JP2018081595A (ja) | 2016-11-17 | 2016-11-17 | 画像処理装置及び方法、及び撮像装置 |
US15/814,820 US10362239B2 (en) | 2016-11-17 | 2017-11-16 | Image processing apparatus and method, and image capturing apparatus for tone conversion based on luminance values |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016224536A JP2018081595A (ja) | 2016-11-17 | 2016-11-17 | 画像処理装置及び方法、及び撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018081595A true JP2018081595A (ja) | 2018-05-24 |
Family
ID=62108133
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016224536A Pending JP2018081595A (ja) | 2016-11-17 | 2016-11-17 | 画像処理装置及び方法、及び撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US10362239B2 (ja) |
JP (1) | JP2018081595A (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008234315A (ja) | 2007-03-20 | 2008-10-02 | Toyota Motor Corp | デジタル画像の階調圧縮方法及び階調圧縮装置 |
KR101812469B1 (ko) * | 2011-12-06 | 2017-12-27 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 상이한 디스플레이 능력들을 통한 지각적 휘도 비선형성―기반 이미지 데이터 교환을 향상시키는 방법 |
JP6074254B2 (ja) | 2012-12-18 | 2017-02-01 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
EP3829171A1 (en) * | 2014-02-25 | 2021-06-02 | Apple Inc. | Adaptive transfer function for video encoding and decoding |
-
2016
- 2016-11-17 JP JP2016224536A patent/JP2018081595A/ja active Pending
-
2017
- 2017-11-16 US US15/814,820 patent/US10362239B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10362239B2 (en) | 2019-07-23 |
US20180139391A1 (en) | 2018-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10650504B2 (en) | Image processing apparatus, and image processing method | |
JP7365133B2 (ja) | 通信装置およびその制御方法、プログラム | |
JP6789760B2 (ja) | 撮像装置及びその制御方法、プログラム、並びに記憶媒体 | |
JP6178590B2 (ja) | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 | |
CN107979718B (zh) | 图像处理设备、图像处理方法和存储介质 | |
JP2019057794A (ja) | 撮像装置およびその制御方法、プログラムならびに記録媒体 | |
US10341601B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP2015211233A (ja) | 画像処理装置および画像処理装置の制御方法 | |
JP2009130464A (ja) | 画像処理装置、画像処理装置の制御方法、及び、コンピュータプログラム | |
US10574901B2 (en) | Image processing apparatus, control method thereof, and storage medium | |
US20190007593A1 (en) | Image capturing apparatus, control method for the same, and storage medium | |
US10362239B2 (en) | Image processing apparatus and method, and image capturing apparatus for tone conversion based on luminance values | |
JP6046952B2 (ja) | 撮像装置及びその制御方法 | |
US10726523B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2020048139A (ja) | 画像処理装置 | |
JP6573392B2 (ja) | 映像信号処理装置、映像信号処理方法、及びプログラム | |
JP6670110B2 (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
JP2018078492A (ja) | 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体 | |
JP2018082359A (ja) | 画像処理装置及び方法、及び撮像装置 | |
JP2018148425A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
CN112422809B (zh) | 摄像设备、摄像设备的控制方法和计算机可读介质 | |
JP2020102797A (ja) | 画像処理装置 | |
JP2018061153A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP2019153971A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2018121298A (ja) | 画像処理装置及び方法、及び撮像装置 |