JP2017005373A - 撮像装置及びその制御方法 - Google Patents

撮像装置及びその制御方法 Download PDF

Info

Publication number
JP2017005373A
JP2017005373A JP2015115037A JP2015115037A JP2017005373A JP 2017005373 A JP2017005373 A JP 2017005373A JP 2015115037 A JP2015115037 A JP 2015115037A JP 2015115037 A JP2015115037 A JP 2015115037A JP 2017005373 A JP2017005373 A JP 2017005373A
Authority
JP
Japan
Prior art keywords
range
dynamic range
imaging
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015115037A
Other languages
English (en)
Other versions
JP6566731B2 (ja
JP2017005373A5 (ja
Inventor
健造 久
Kenzo Hisa
健造 久
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2015115037A priority Critical patent/JP6566731B2/ja
Priority to US15/145,212 priority patent/US9992426B2/en
Publication of JP2017005373A publication Critical patent/JP2017005373A/ja
Publication of JP2017005373A5 publication Critical patent/JP2017005373A5/ja
Application granted granted Critical
Publication of JP6566731B2 publication Critical patent/JP6566731B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals

Abstract

【課題】撮像装置において、画像に白飛びが発生している場合に、その白飛びが発生している部分の信号の最大値を検出できるようにする。
【解決手段】被写体像を撮像して画像データを出力する撮像部と、撮像部の露出を低くすることにより撮像部のダイナミックレンジを拡大する拡大部と、画像データに階調補正を行う階調補正部と、階調補正部により画像データを階調補正して得られた表示画像を表示する表示部と、拡大部によりダイナミックレンジを所定の量だけ拡大させて、撮像部の画面内の領域の信号値を検出する検出部と、ダイナミックレンジを所定の量だけ拡大させた場合に、ダイナミックレンジの所定の量の変化により引き起こされる表示画像の変化を抑制するように階調補正の特性を変更する制御部とを備える。
【選択図】図3

Description

本発明は、撮像装置及びその制御方法に関し、特には露出制御技術に関する。
適正露出より低い露出(露出アンダー)で撮影した映像に対して、ガンマ補正(階調補正)によって輝度を持ち上げることで、白飛びや黒つぶれを抑制し、ダイナミックレンジを拡大する方法が知られている。ガンマ補正特性は、入射光のレベルと出力信号のレベルとの関係が予め用意された関係となるように、設定されたダイナミックレンジに応じて変更される。
ダイナミックレンジを拡大するとともにガンマ補正特性を変更する手法がいくつか提案されている。特許文献1では、ダイナミックレンジを拡大するとともに高輝度部の階調特性の傾きをなだらかにすることによって高輝度部の階調も有効に使用する手法が提案されている。この手法によれば、ダイナミックレンジが低い状態でも、高輝度部の階調特性の傾きを変化させることで高輝度部の階調を有効に利用することができる。
また、特許文献2では、被写体の入射光量の最大反射率に応じて、ダイナミックレンジをシフトさせるとともにガンマ補正を最大反射率に応じた特性に変更させつつ、基準入射光量に対する出力は維持する手法が提案されている。この手法では、最大反射率が高い場合にはガンマ値を1に近づけ、最大反射率が低い場合にはガンマ値を0に近づけている。このようにすることで、最大反射率が高ければコントラストを下げ、最大反射率が低ければコントラストを高めている。
特開2004−120511号公報 特開2006−81037号公報
ところで、ダイナミックレンジを拡大する場合には、露出アンダーで撮影しつつガンマ特性を変更することにより、入射光のレベルと出力信号のレベルとの関係を維持している。これは信号の増幅とほぼ同様であり、S/N比が低下する原因となる。そのため、S/N比の観点からは、必要以上のダイナミックレンジ拡張を行わない方がよい。そのため、ある撮影条件で画像に白飛びが生じている場合、ユーザーは、白とびを解消できる最小限のダイナミックレンジ拡大を希望するであろう。しかしながら、白飛びしている部分は測光値も飽和しているため、白飛び部分の入射光のレベルを特定することはできない。そのため、ユーザは白飛びを回避するために必要なダイナミックレンジの拡大量を知ることができないという問題がある。
本発明は上述した課題に鑑みてなされたものであり、その目的は、撮像装置において、表示画像に白飛びが発生している場合に、白飛びが発生している部分の信号値を検出できるようにすることである。
本発明に係わる撮像装置は、被写体像を撮像して画像データを出力する撮像手段と、前記撮像手段の露出を低くすることにより前記撮像手段のダイナミックレンジを拡大する拡大手段と、前記画像データに階調補正を行う階調補正手段と、前記階調補正手段により前記画像データを階調補正して得られた表示画像を表示する表示手段と、前記拡大手段により前記ダイナミックレンジを所定の量だけ拡大させて、前記撮像手段の画面内の領域の信号値を検出する検出手段と、前記ダイナミックレンジを前記所定の量だけ拡大させた場合に、該ダイナミックレンジの所定の量の変化により引き起こされる前記表示画像の変化を抑制するように前記階調補正の特性を変更する制御手段と、を備えることを特徴とする。
本発明によれば、撮像装置において、表示画像に白飛びが発生している場合に、白飛びが発生している部分の信号値を検出することが可能となる。
第1及び第2の実施形態におけるデジタルビデオカメラの外観図。 第1及び第2の実施形態におけるデジタルビデオカメラの構成を示すブロック図。 第1の実施形態における露出とガンマ補正特性の決定処理を示すフローチャート。 第1の実施形態におけるDレンジアシスト前後のガンマ補正特性の一例を示す図。 第1の実施形態における差分値の表示処理を示すフローチャート。 第1及び第2の実施形態における画像に対する測光枠と表示の例を示す図。 第2の実施形態における露出とガンマ補正特性の決定処理を示すフローチャート。 第2の実施形態における目標のダイナミックレンジの決定処理を示すフローチャート。 第2の実施形態における差分値の表示処理を示すフローチャート。
以下、本発明の実施形態について、添付図面を参照して詳細に説明する。
まず、本発明の実施形態の概要について説明する。ビデオカメラで動画を撮影する場合、高輝度の被写体に対して白飛びを抑制するための手法として、露出をアンダーにするとともに感度を上げてダイナミックレンジを拡大する方法がある。しかし、現状の露出で白飛びが発生している場合、どの程度ダイナミックレンジを拡大すれば白飛びを回避できるか、言い換えれば、どの程度露出をアンダーにすれば白飛びが回避できるかはユーザーには分からない。それは、白飛びしている部分は信号が飽和しているので、その部分の信号レベルの最大値はカメラ側でも検出できないためである。
そこで、本実施形態では、撮影中に一旦ダイナミックレンジを広い値に設定する。これにより、今まで白飛びしていた部分が飽和しなくなり、その部分の信号の最大値を検出することができる。つまり、今まで設定されていたダイナミックレンジで表現できる信号の最大値と、白飛びしていた部分の信号の最大値の差を求めることができる。そして、この差の分だけダイナミックレンジを拡大すれば白飛びを回避できることが分かり、それをユーザに通知することができる。しかし、上記のように撮影中にダイナミックレンジを拡大しようとして露出をアンダーにすると、画像にその露出の変化の様子が反映されてしまい、ユーザは明るさが変化する不自然な画像を見ることになってしまう。そのため、本実施形態では、撮影中にダイナミックレンジを拡大する動作に伴って、画像のガンマ特性を変更する。そして、ダイナミックレンジを拡大した後も、ガンマ特性を変更することにより生成された、ダイナミックレンジを拡大する前と概ね同じように見える白飛びした映像(表示画像)を表示する。これにより、白飛びした部分の信号の最大値を知ることが可能でありながら、表示される映像が不自然になることを回避できる。以上が本発明の実施形態の概要である。
(第1の実施形態)
図1は、本発明の撮像装置の第1の実施形態であるデジタルビデオカメラ100を示す外観図である。図1において、表示部28は、画像や各種情報を表示する表示部である。録画スイッチ61は、撮影指示を行うための操作部である。モード切替スイッチ60は、各種モードを切り替えるための操作部である。コネクタ112は、デジタルビデオカメラ100に接続ケーブルを接続させるためのコネクタである。操作部70は、ユーザーからの各種操作を受け付ける各種ボタン、十字キー等の操作部材を備える操作部である。電源スイッチ72は、電源オン、電源オフを切り替える。記録媒体200は、メモリカードやハードディスク等の記録媒体である。記録媒体スロット201は記録媒体200を格納するためのスロットである。記録媒体200は、記録媒体スロット201に格納されることにより、デジタルビデオカメラ100との通信が可能となる。
図2は、第1の実施形態のデジタルビデオカメラ100の内部構成を示すブロック図である。図2において、撮影レンズ103はズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り101は光量調整に使用する絞りである。NDフィルター(Neutral Density Filter)104は減光用に使用するフィルターである。撮像部22は光学像を電気信号に変換するCCDやCMOSセンサ等で構成される撮像素子を有する。また、撮像部22は電子シャッターによる蓄積の制御や、アナログゲインの変更、読み出し速度の変更などの機能も備える。A/D変換器23は、アナログ信号をデジタル信号に変換する。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア102は、デジタルビデオカメラ100の、撮影レンズ103を含む撮像系を覆うことにより、撮影レンズ103、絞り101、撮像部22を含む撮像系の汚れや破損を防止する。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の画素補間処理、縮小処理といったリサイズ処理や、色変換処理、ガンマ補正処理、デジタルゲインの付加処理等の処理を行う。また、撮像した画像データを用いて所定の演算処理を行い、演算結果をシステム制御部50に送信する。送信された演算結果に基づいて、システム制御部50が露出制御、測距制御、ホワイトバランス制御等を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理等が行われる。
A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介して、或いは、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって撮像されA/D変換器23によりデジタルデータに変換された画像データや、表示部28に表示するための画像データを格納する。メモリ32は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。
また、メモリ32は画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器13は、メモリ32に格納されている画像表示用のデータをアナログ信号に変換して表示部28に供給する。こうして、メモリ32に書き込まれた表示用の画像データはD/A変換器13を介して表示部28により表示される。表示部28は、LCD等の表示器上に、D/A変換器13からのアナログ信号に応じた表示を行う。A/D変換器23によって一度A/D変換されメモリ32に蓄積されたデジタル信号をD/A変換器13においてアナログ変換し、表示部28に逐次転送して表示することで、電子ビューファインダが実現され、スルー画像表示を行うことができる。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROMが用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、デジタルビデオカメラ100全体を制御する。前述した不揮発性メモリ56に記録されたプログラムを実行することにより、後述する本実施形態の各処理を実行する。システムメモリ52には、RAMが用いられる。システムメモリ52には、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開する。また、システム制御部50はメモリ32、D/A変換器13、表示部28等を制御することにより表示制御も行う。
システムタイマー53は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。モード切替スイッチ60、録画スイッチ61、操作部70はシステム制御部50に各種の動作指示を入力するための操作手段である。
モード切替スイッチ60は、システム制御部50の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切替スイッチ60を操作することにより、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えることができる。あるいは、モード切り替えスイッチ60で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ61は撮影待機状態と撮影状態を切り替える。システム制御部50は、録画スイッチ61がONされると、撮像部22からの信号読み出しから記録媒体200への動画データの書き込みまでの一連の動作を開始する。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして動作する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。利用者は、表示部28に表示されたメニュー画面と、上下左右4方向の十字キーやSETボタンを用いて直感的に各種設定を行うことができる。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。
電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Liイオン電池等の二次電池、ACアダプター等からなる。記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
次に本実施形態のデジタルビデオカメラの動作について説明する。本実施形態では、デジタルビデオカメラ100は、現在撮影している映像の一部が白飛びしている場合に、この白飛びしている部分における信号値の最大値と、現在設定されているダイナミックレンジで表現できる信号の最大値の差分を表示可能である。ユーザーは、この表示された差分だけダイナミックレンジを拡大すれば(露出をアンダーにすれば)画像の白飛びを回避できることを知ることができる。この機能をDレンジアシストと呼ぶことにする。
本実施形態では、白飛びしている部分の信号値の最大値を検出するために、ダイナミックレンジ(以下、Dレンジと呼ぶ)を、一旦デジタルビデオカメラ100で設定可能な最大値に拡大する。これにより、白飛びしている部分の信号の飽和が無くなり、白飛び部分の信号値の最大値を検出できるようになる。このとき、Dレンジを拡大するために露出をアンダーにすることになるが、この露出の変化が表示している画像に表れると、ユーザーは明るさが変化する不自然な画像を見ることになる。これを避けるために、ガンマ補正特性を調整して、表示される画像においては、あたかも露出を変えていないような、ダイナミックレンジを拡大する前と同様に白飛びした画像を表示する。なお、本実施形態における各処理はシステム制御部50が不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行することにより実現される。
以下、設定しようとするDレンジ(本実施形態ではDmax)に応じて、露出とガンマ補正特性を変更する処理について説明する。図3は、本実施形態における露出とガンマ補正特性の決定処理の動作を示すフローチャートである。
まず、S301において、Dレンジアシストが有効になっているか否かを判断する。Dレンジアシストの有効、無効は、ユーザーが操作部70を用いて設定する。Dレンジアシストが無効であれば、以下の処理を行わずにこのフローを終了する。Dレンジアシストが有効であれば、S302において、Dレンジを変更しようとする量(以下、Dレンジ変更量と呼ぶ)を算出する。本実施形態では、Dレンジをデジタルビデオカメラ100で設定できる最大のDレンジであるDmaxに変更するものとする。Dレンジの変更量の段数であるDchangeは、現在のDレンジをDnow、変更後のDレンジをDmaxとすると、式(1)で表わされる。
Dchange=log2(Dmax/Dnow) …(1)
例えば、設定可能な最大のDレンジが800%で、現在のDレンジが400%であるとすると、Dレンジ変更量は1段となる。現在のDレンジが300%であるとすると、Dレンジ変更量は約1.52段となる。
次に、S303において、S302で算出したDレンジ変更量に応じて、露出とガンマ補正特性を変更する。露出は、絞り101、NDフィルター102、撮像部22における電子シャッター、あるいはアナログゲイン等を用いて変更する。例えば電子シャッター速度を変更する場合、Dレンジ変更前の電子シャッター速度が1/60秒であり、Dレンジ変更量が1段であれば、電子シャッター速度を1/120秒に変更する。露出変更の方法は、撮像素子から信号が出力される前に変更できる方法であれば任意であり、特に電子シャッターに限定されるものではない。
また、S303では、Dレンジの変更と同時に、画像処理部24の中のガンマ補正回路に設定するガンマ補正特性も変更する。Dレンジを拡大した後で、且つガンマ補正特性を変更する前の入力(光の強度)Xに対する出力(撮像素子の出力信号)をYとすると、X×Dnow/Dmaxの出力がYとなるようなガンマ補正特性とする。また、ガンマ補正特性を変更する前の入力の最大値をXmax、出力の最大値をYmaxとすると、ガンマ補正特性の変更後は、入力がXmax×Dnow/Dmaxの時にYmaxとなるようにし、それ以降の入力に対する出力はYmaxとなるようにする。
図4は、Dレンジの拡大の前後における、ガンマ補正特性の入力と出力の関係の一例を示す図である。図4は、Dnowが400%、Dmaxが800%である場合の例である。横軸はガンマ補正回路の入力ビット(光の強度)、縦軸は出力ビットである。Dレンジの拡大前は、Dレンジの最大値、すなわち400%の信号がXmaxとなる。また、Dレンジ拡大後はDレンジの最大値、すなわち800%の信号がXmaxとなり、400%の信号はXmax/2となる。
通常のガンマ補正特性のままDレンジを拡大すると、露出がアンダーとなり画像が暗くなるとともに白飛びが無くなる。すなわち、表示している映像が変化する。これをユーザーに見せないようにするために、ガンマ補正特性を変更する。具体的には、Dnow/Dmaxが1/2(=400%/800%)なので、ガンマ補正特性変更前の入力Xに対する出力とガンマ補正特性変更後の入力X/2に対する出力が同じになるようなガンマ補正特性とする。また、ガンマ補正特性変更後は、Xmax/2の時にYmaxとなり、それ以降はYmaxを維持する特性としている。このガンマ補正特性に基づいた設定値が画像処理部24に送信され、ガンマ補正回路に設定される。
上記のようにDレンジを拡大することにより、白飛びしている部分の信号値をガンマ補正回路に入力する前にDレンジを広げた状態で知ることができる。以下では、Dレンジ拡大後に得られる信号の最大値と、拡大する前のDレンジで表現できる信号の最大値の差分値を算出する処理について説明する。図5は、この差分値を算出し、さらに表示する動作を示すフローチャートである。
まず、図3の場合と同様に、S301において、Dレンジアシストが有効になっているか否かを判断する。Dレンジアシストが無効であれば、以下の処理を行わずにこのフローを終了する。Dレンジアシストが有効であれば、S501において、Dレンジを拡大することにより検出可能となった白飛びした部分の測光値(最大測光値)及びそれ以外の部分の測光値を取得する。画像処理部24ではDレンジを拡大した後で且つガンマ補正回路を通過する前の画像データからこの測光値が算出される。
測光値は、画像データ(画面内)を複数の特定のサイズに区切り(分割し)、区切られた枠の中の画像データの輝度信号の平均値を算出した値である。本実施形態では8×8の枠(領域)に区切るものとする。図6は、画像に対する測光枠の配置と表示の例を示した図である。図6(a)は測光される画像を示し、図6(b)は画像と測光枠を示している。システム制御部50は、64個の各測光枠のそれぞれについて輝度を平均し、64個の輝度平均値を取得する。本実施形態では、測光値を輝度信号の平均値としたが、枠毎の明るさが分かればよく、積分値で表してもよいし、EV値等の明るさの指標となる値で表わしてもよい。
次に、S502において、最大測光値を判定する。上記の64個の測光値の中で最も大きな値を抽出し、枠の位置とともに記憶しておく。次に、S503において、現在のDレンジで表現できる信号の最大値と最大測光値の差分を算出する。差分値は以下の式(2)により算出される。
差分値=log2(最大測光値/(最大値×現在Dレンジ/最大Dレンジ))
…(2)
例えば、現在のDレンジが400%、最大Dレンジが800%、最大値が4095、最大測光値が3500とすると、差分値は約0.77段となる。つまりDレンジを0.77段変更して約680%のDレンジにすると、最大測光値がDレンジで表現できる最大値の範囲内に収まる。また、同時に0.77段分の露出補正が必要となるとともに、その分だけS/N比が低下する可能性がある。
最後に、S504において、差分値を表示する。システム制御部50は、最大測光値を示す測光枠の位置と差分値を画像処理部24に送信する。画像処理部24では枠の位置に応じて枠の画像を描くとともに、その枠の中に差分値を描いた画像を作成し、画像データに重ねた画像を生成する。画像データはメモリ制御部15とD/A変換器13を経て表示部28に表示される。図6(c)は、差分値の表示例を示している。図6(b)に示す枠Aの測光値が最大測光値である場合の例である。この差分値の表示により、枠Aの被写体をDレンジの範囲内に収めるには0.77段のDレンジの変更が必要であることがわかる。なお、本実施形態では、枠の中に差分値を表示する例を示したが、枠の表示方法や、数値の表示場所は任意であり、特に図6(c)の例に限定されるものではない。
以上のような方法で測光値を検出すれば、測光値がデジタルビデオカメラ100で設定できる最大のDレンジの範囲内であれば、現在のDレンジを超えた測光値であっても、現在のDレンジの最大値と最大測光値の関係を知ることができる。そのため、ユーザがDレンジを変更する際の目安とすることができる。
(第2の実施形態)
第1の実施形態では、Dレンジアシストを有効にした場合に、Dレンジを最大にした状態でガンマ補正の特性を変更して、入射光に対する出力の関係をDレンジの拡大前とほぼ同じとし、表示映像上では画像の変化がないように見せる例を示した。しかしながら、Dレンジを拡大することはゲインを高くするのとほぼ同等であるため、拡大の量に応じてS/N比が悪化する。すなわちDレンジアシストを実行する前後でノイズ感に違いが生じる。そこで本実施形態では、Dレンジアシストを実行する場合に、Dレンジを設定可能な最大値に設定するのではなく、Dレンジを拡大する量を極力少なくする例について説明する。
撮像装置の外観及び構成は、第1の実施形態で説明した図1、図2の構成と同様であるため、その説明は省略する。図7は、本実施形態における露出とガンマ補正特性の決定処理の動作を示すフローチャートである。
まず、第1の実施形態と同様に、S301において、Dレンジアシストが有効になっているか否かを判断する。Dレンジアシストが無効であれば、以下の処理を行わずにこのフローを終了する。Dレンジアシストが有効であれば、S701において、測光値を検出し、測光値に基づいてDレンジの目標値を算出する。なお、ここでは第1の実施形態と同様に8×8の64枠の測光値を取得するものとする。測光値が部分的に飽和していてもかまわない。また、Dレンジの目標値の算出に関しては後述する。
次に、S702において、現在のDレンジ(Dnow)と算出されたDレンジの目標値(Dtarget)とからDレンジの変更量の段数(Dchange)を以下の式(3)を用いて算出する。
Dchange=log2(Dtarget/Dnow) …(3)
次に、S303において、S702で算出したDレンジ変更量に応じて、露出とガンマ補正特性を変更する。露出は、第1の実施形態と同様に、絞り101、NDフィルター102、撮像部22における電子シャッター、あるいはアナログゲイン等を用いて変更する。
一方、Dレンジを変更する(具体的には拡大する)ために露出を変更すると、露出がアンダーとなり画像が変化する。これをユーザーに見せないようにするために、ガンマ補正特性を変更する。ガンマ補正特性変更前の入力Xに対する出力の関係と、ガンマ補正特性変更後の入力X×Dnow/Dtargetに対する出力の関係とが同じになるようなガンマ補正特性とする。また、ガンマ補正特性変更後は、Xmax×Dnow/Dtargetの時にYmaxとなり、それ以降はYmaxを維持する特性とする。
次に、S701におけるDレンジの目標値を算出する方法について説明する。図8は、Dレンジの目標値の算出動作を示すフローチャートである。
まず、S801において、測光値を取得する。第1の実施形態と同様に、8×8の64枠の測光値を取得する。次に、S802において、64枠の測光値の中で最大値を検出する。
次に、S803において、最大測光値が飽和しているかどうかを判定する。測光値が12ビットであれば、12ビットで表現できる最大値である4095になっているかどうかを判定する。飽和の判定は範囲を持たせてもよい。たとえば、4000以上であれば飽和していると判断してもよい。
S803の判定で最大測光値が飽和していれば、S804において、現在のDレンジが最大Dレンジ(Dmax)かどうかを判定する。現在のDレンジが最大Dレンジであれば、測光値が飽和していてもこれ以上Dレンジを拡大することができないため、S805において目標のDレンジを最大Dレンジとする。言い換えれば、現在のDレンジを維持する。S804の判定で現在のDレンジが最大Dレンジでなければ、Dレンジを拡大することができるため、Dレンジを固定値(一定値)αだけ増加させる。例えばαが現在のDレンジ×1/20、現在のDレンジが700%とすると、目標のDレンジを735%とする。
S803の判定で最大測光値が飽和していなければ、S807において、現在のDレンジが最小Dレンジかどうかを判定する。これは、最大測光値が飽和していないということは、現在のDレンジが広すぎるとも考えられるので、Dレンジを縮小することも考慮するためである。S807の判定で現在のDレンジが最小Dレンジであれば、これ以上Dレンジを縮小できないので、S808において目標のDレンジを最小Dレンジとする。言い換えれば、現在のDレンジを維持する。
S807の判定で目標のDレンジが最小Dレンジでなければ、S809において、最大測光値が所定の範囲内かどうかを判定する。この所定の範囲とは、Dレンジの最大値に近い範囲である。最大測光値が飽和に近い(Dレンジの最大値に近い)状態であれば、Dレンジは最大測光値をカバーできる範囲で十分に小さい状態であり、Dレンジを変更する必要がない。そのため、Dレンジの最大値に近い予め決められた範囲内に測光値が入っていれば、S810において、目標のDレンジを現在のDレンジとする。例えば測光値が12ビットであるとすると、最大測光値が4095×9/10以上であれば、現在のDレンジを維持することとする。これは現在のDレンジが700%であれば、最大測光値が630%〜700%に相当する場合である。
S809の判定で最大測光値が所定の範囲内でなければ、Dレンジの最大値に対して最大測光値が低いので、S811において、Dレンジを固定値αだけ縮小する。αを現在のDレンジ×1/20とすれば、現在のDレンジが700%であれば、縮小後のDレンジは665%となる。なお、固定値αはこの値に限定されるものではなく、Dレンジに応じて変更してもよいし、S806とS811で違う値としてもよい。さらに、S811では、最大測光値から目標Dレンジを算出してもよい。その際は例えば最大測光値が4095×19/20になるようなDレンジとしても良い。その際、目標Dレンジ(Dtarget)は、現在のDレンジ(Dnow)と最大測光値(Emax)を用いて式(4)により算出することができる。
Dtarget=(Dnow×Emax)/(4095×19/20) …(4)
S806,S811では目標Dレンジの増減ができれば良い。
次に、本実施形態における最大測光値と現在のDレンジの最大値との差分値(どれだけDレンジを拡大すれば白飛びを回避できるかを示す値)を表示する方法について説明する。図9は、最大測光値とDレンジの最大値との差分値を表示する処理を示すフローチャートである。
まず、第1の実施形態と同様に、S301において、Dレンジアシストが有効になっているか否かを判断する。Dレンジアシストが無効であれば、以下の処理を行わずにこのフローを終了する。Dレンジアシストが有効であれば、第1の実施形態と同様に、図8の動作に従ってDレンジを拡大する。そして、S501において、Dレンジを拡大した後で且つガンマ補正回路を通過する前の画像データから測光値を取得し、S502において、最大測光値を抽出する。次に、S901において、Dレンジを拡大するときの目標値となった変更目標値とこの最大測光値との差分を算出する。差分値は以下の式(5)により算出される。
差分値=log2(最大測光値/(最大値×現在Dレンジ/目標Dレンジ))
…(5)
最後に、S504において、第1の実施形態と同様に差分値を表示する。
Dレンジアシストを実行する場合に、以上のような方法でDレンジを変更すれば、映像の最大測光値に近いDレンジに変更できるため、Dレンジアシストを実行する前後でのS/N比の変化を極力低減することができる。
以上説明したように、上記の実施形態によれば、Dレンジを拡大すると同時に入射光に対する出力の特性をDレンジの拡大前とほぼ同様にしているため、表示される映像を不自然にすることなく、Dレンジの拡大前に飽和していた測光値を取得することができる。そのため、測光値と現在のDレンジを用いて、Dレンジの最大値と測光値の差分を算出することができる。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
13:D/A変換器、15:メモリ制御部、18:記録媒体I/F、22:撮像部、23:A/D変換器、24:画像処理部、28:表示部、32:メモリ、50:システム制御部、52:システムメモリ、56:不揮発性メモリ、60:モード切替スイッチ、61:録画スイッチ、70:操作部、100:デジタルビデオカメラ、101:絞り、103:撮像レンズ、200:記録媒体

Claims (11)

  1. 被写体像を撮像して画像データを出力する撮像手段と、
    前記撮像手段の露出を低くすることにより前記撮像手段のダイナミックレンジを拡大する拡大手段と、
    前記画像データに階調補正を行う階調補正手段と、
    前記階調補正手段により前記画像データを階調補正して得られた表示画像を表示する表示手段と、
    前記拡大手段により前記ダイナミックレンジを所定の量だけ拡大させて、前記撮像手段の画面内の領域の信号値を検出する検出手段と、
    前記ダイナミックレンジを前記所定の量だけ拡大させた場合に、該ダイナミックレンジの所定の量の変化により引き起こされる前記表示画像の変化を抑制するように前記階調補正の特性を変更する制御手段と、
    を備えることを特徴とする撮像装置。
  2. 前記拡大手段は、前記ダイナミックレンジを前記撮像装置で設定可能な最大のダイナミックレンジまで拡大することを特徴とする請求項1に記載の撮像装置。
  3. 前記拡大手段は、前記ダイナミックレンジを前記撮像装置で設定可能な最大のダイナミックレンジにするための変更量よりも小さい、一定の変更量だけ拡大させることを特徴とする請求項1に記載の撮像装置。
  4. 前記検出手段は、前記画面内を複数の領域に分割し、該複数の領域のそれぞれの信号の中から最大値を検出することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記検出手段により検出された前記最大値と、前記拡大手段により拡大される前のダイナミックレンジで表現できる信号の最大値との差分を算出する算出手段をさらに備えることを特徴とする請求項4に記載の撮像装置。
  6. 前記制御手段は、前記差分を前記表示手段に表示させることを特徴とする請求項5に記載の撮像装置。
  7. 前記制御手段は、前記複数の領域のうちの前記検出手段により検出された前記最大値をとる領域を示す枠と、前記差分とを前記表示手段に表示させることを特徴とする請求項6に記載の撮像装置。
  8. 前記差分を前記表示手段に表示させるか否かを選択する選択手段をさらに備えることを特徴とする請求項6または7に記載の撮像装置。
  9. 前記制御手段は、前記ダイナミックレンジを拡大させた後の前記表示画像の、前記ダイナミックレンジを拡大させる前の前記表示画像とほぼ同じ部分が飽和するように、前記階調補正の特性を変更することを特徴とする請求項1乃至8にいずれか1項に記載の撮像装置。
  10. 被写体像を撮像して画像データを出力する撮像手段を備える撮像装置の制御方法であって、
    拡大手段が、前記撮像手段の露出を低くすることにより前記撮像手段のダイナミックレンジを拡大する拡大工程と、
    階調補正手段が、前記画像データに階調補正を加える階調補正工程と、
    表示手段が、前記階調補正工程において前記画像データを階調補正して得られた表示画像を表示する表示工程と、
    検出手段が、前記拡大工程により前記ダイナミックレンジを所定の量だけ拡大させて、前記撮像手段の画面内の領域の信号値を検出する検出工程と、
    制御手段が、前記ダイナミックレンジを前記所定の量だけ拡大させた場合に、該ダイナミックレンジの所定の量の変化により引き起こされる前記表示画像の変化を抑制するように前記階調補正の特性を変更する制御工程と、
    を有することを特徴とする撮像装置の制御方法。
  11. 請求項10に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
JP2015115037A 2015-06-05 2015-06-05 撮像装置及びその制御方法 Active JP6566731B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015115037A JP6566731B2 (ja) 2015-06-05 2015-06-05 撮像装置及びその制御方法
US15/145,212 US9992426B2 (en) 2015-06-05 2016-05-03 Image capturing apparatus, method for controlling the same, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015115037A JP6566731B2 (ja) 2015-06-05 2015-06-05 撮像装置及びその制御方法

Publications (3)

Publication Number Publication Date
JP2017005373A true JP2017005373A (ja) 2017-01-05
JP2017005373A5 JP2017005373A5 (ja) 2018-07-12
JP6566731B2 JP6566731B2 (ja) 2019-08-28

Family

ID=57452664

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015115037A Active JP6566731B2 (ja) 2015-06-05 2015-06-05 撮像装置及びその制御方法

Country Status (2)

Country Link
US (1) US9992426B2 (ja)
JP (1) JP6566731B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7071084B2 (ja) * 2017-10-10 2022-05-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN111641750B (zh) * 2020-05-19 2022-05-24 Oppo广东移动通信有限公司 截屏方法、终端及非易失性计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008289120A (ja) * 2007-04-18 2008-11-27 Panasonic Corp 撮像装置、撮像方法、集積回路およびプログラム
JP2010183460A (ja) * 2009-02-06 2010-08-19 Canon Inc 撮像装置およびその制御方法
JP2013055567A (ja) * 2011-09-06 2013-03-21 Olympus Imaging Corp 撮像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120511A (ja) 2002-09-27 2004-04-15 Minolta Co Ltd 撮像装置
US7245781B2 (en) * 2003-10-23 2007-07-17 Eastman Kodak Companny Applying a tone scale function to a digital image
JP2006081037A (ja) 2004-09-10 2006-03-23 Eastman Kodak Co 撮像装置
JP4733419B2 (ja) * 2005-04-26 2011-07-27 富士フイルム株式会社 合成画像データ生成装置およびその制御方法ならびにその制御プログラム
JP2008301360A (ja) * 2007-06-01 2008-12-11 Panasonic Corp 撮像装置、撮像方法および集積回路
JP5148989B2 (ja) * 2007-12-27 2013-02-20 イーストマン コダック カンパニー 撮像装置
US8355059B2 (en) * 2009-02-06 2013-01-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US9077905B2 (en) * 2009-02-06 2015-07-07 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
US8582001B2 (en) * 2009-04-08 2013-11-12 Csr Technology Inc. Exposure control for high dynamic range image capture
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9049380B2 (en) * 2011-09-26 2015-06-02 Canon Kabushiki Kaisha Image processing apparatus for generating an image having an expanded dynamic range and method thereof, and image capture apparatus
JP6675194B2 (ja) * 2015-12-15 2020-04-01 キヤノン株式会社 撮像装置及びその制御方法、プログラム並びに記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008289120A (ja) * 2007-04-18 2008-11-27 Panasonic Corp 撮像装置、撮像方法、集積回路およびプログラム
JP2010183460A (ja) * 2009-02-06 2010-08-19 Canon Inc 撮像装置およびその制御方法
JP2013055567A (ja) * 2011-09-06 2013-03-21 Olympus Imaging Corp 撮像装置

Also Published As

Publication number Publication date
JP6566731B2 (ja) 2019-08-28
US20160360085A1 (en) 2016-12-08
US9992426B2 (en) 2018-06-05

Similar Documents

Publication Publication Date Title
JP6576115B2 (ja) 撮像装置及びその制御方法
US10530986B2 (en) Image capturing apparatus, image capturing method, and storage medium
JP5822508B2 (ja) 撮像装置及びその制御方法
JP2024029115A (ja) 撮像装置及びその制御方法とプログラム
JP6883971B2 (ja) 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体
JP6566731B2 (ja) 撮像装置及びその制御方法
JP5371474B2 (ja) 撮像装置、制御方法、及びプログラム
CN109964479B (zh) 摄像设备及其控制方法
JP6765919B2 (ja) 画像処理装置、その制御方法、プログラム
JP6046952B2 (ja) 撮像装置及びその制御方法
JP7150452B2 (ja) 撮像装置とその制御方法およびプログラム、記録媒体
JP6688086B2 (ja) 撮像装置およびその制御方法ならびにプログラム
US20190007593A1 (en) Image capturing apparatus, control method for the same, and storage medium
JP2018061153A (ja) 撮像装置、撮像装置の制御方法およびプログラム
JP6670110B2 (ja) 画像処理装置、撮像装置、制御方法及びプログラム
JP2020048139A (ja) 画像処理装置
JP6559001B2 (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2017005374A (ja) 撮像装置及びその制御方法、プログラム、記憶媒体
JP2009118247A (ja) 撮影装置
JP2017005541A (ja) 撮像装置及びその制御方法
JP2018042066A (ja) 撮像装置およびその制御方法、プログラム
JP2017228961A (ja) 撮像装置およびその制御方法、プログラム
JP2020102794A (ja) 画像処理装置
JP2018014678A (ja) 撮像装置及びその制御方法、プログラム
JP2018198403A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180529

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180529

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190701

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190730

R151 Written notification of patent or utility model registration

Ref document number: 6566731

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151