JP2018061153A - 撮像装置、撮像装置の制御方法およびプログラム - Google Patents
撮像装置、撮像装置の制御方法およびプログラム Download PDFInfo
- Publication number
- JP2018061153A JP2018061153A JP2016198090A JP2016198090A JP2018061153A JP 2018061153 A JP2018061153 A JP 2018061153A JP 2016198090 A JP2016198090 A JP 2016198090A JP 2016198090 A JP2016198090 A JP 2016198090A JP 2018061153 A JP2018061153 A JP 2018061153A
- Authority
- JP
- Japan
- Prior art keywords
- dynamic range
- color
- change
- image data
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】ダイナミックレンジの変更に応じた被写体の色変化をユーザ報知すること。【解決手段】撮像装置は、被写体を撮像して画像データを出力する撮像部22と、画像データの階調補正を行う画像処理部24と、システム制御部50を有する。システム制御部50は、ダイナミックレンジが変更される場合、撮像手段の露出を制御するとともに、前記補正手段の特性を制御し、画像データから色成分ごとの信号値である色情報を取得し、ダイナミックレンジを変更する前後それぞれの画像データから取得した色情報に基づいて所定の色変化を判定し、所定の色変化をユーザに報知する処理を行う。【選択図】図5
Description
本発明は、撮像装置、撮像装置の制御方法およびプログラムに関する。
適正露出時よりも画像のダイナミックレンジを拡大する方法として、適正露出より低い露出(露出アンダー)で撮影し、ガンマ補正(階調補正)によって輝度を調整する方法がある。ユーザの目的の被写体のダイナミックレンジが映像に収まるようダイナミックレンジを変更する場合、背景や光源などの高輝度部の白とびの状態が変化する。この際、被写体の色によっては、画像データにおけるRGB成分や色差成分のいずれかの色成分が飽和することで元の被写体とは異なる色が出力されてしまう。この色変化を色曲がりと称して説明する。特許文献1は、いずれかの色成分が飽和した場合他の色成分も飽和させることで、全体の白バランスがとれるガンマ補正回路を開示している。また、特許文献2は、顔の白飛びに応じて高輝度部分の階調を制御することにより、色曲がりを抑制する技術を開示している。
しかしながら、いずれの特許文献においても、色成分が飽和している場合に、それが被写体の元々の色であるのか、ダイナミックレンジの変更に起因する色曲がりが発生している場合なのか、ユーザが認識することは困難である。
本発明は、ダイナミックレンジの変更に応じた被写体の色変化をユーザ報知する撮像装置を提供することを目的とする。
上記課題を解決するために、本発明の撮像装置は、被写体を撮像して画像データを出力する撮像手段と、前記画像データの階調補正を行う補正手段と、ダイナミックレンジが変更される場合、前記撮像手段の露出を制御するとともに、前記補正手段の特性を制御する制御手段と、前記画像データから色成分ごとの信号値である色情報を取得する取得手段と、前記ダイナミックレンジを変更する前後それぞれの前記画像データから取得した前記色情報に基づいて、所定の色変化を判定する判定手段と、前記所定の色変化をユーザに報知する処理を行う報知手段と、を備える。
本発明によれば、ダイナミックレンジの変更に応じた被写体の色変化をユーザ報知する撮像装置を提供することができる。
(第1実施形態)
図1は、撮像装置であるデジタルビデオカメラ(以下、カメラと記す)100の外観を示す外観図である。
表示部28は、画像や各種情報を表示する表示部である。録画スイッチ61は、撮影指示を行うための操作部である。モード切替スイッチ60は、各種モードを切り替えるための操作部である。コネクタ112は、接続ケーブルとカメラ100とのコネクタである。操作部70は、ユーザからの各種操作を受け付ける各種ボタン、十字キー等の操作部材を有する操作部である。電源スイッチ72は、電源オン、電源オフを切り替える。記録媒体200は、メモリカードやハードディスク等の外部メモリである。記録媒体スロット201は、記録媒体200を格納するためのスロットである。記録媒体スロット201に格納された記録媒体200は、カメラ100との通信が可能となる。
図1は、撮像装置であるデジタルビデオカメラ(以下、カメラと記す)100の外観を示す外観図である。
表示部28は、画像や各種情報を表示する表示部である。録画スイッチ61は、撮影指示を行うための操作部である。モード切替スイッチ60は、各種モードを切り替えるための操作部である。コネクタ112は、接続ケーブルとカメラ100とのコネクタである。操作部70は、ユーザからの各種操作を受け付ける各種ボタン、十字キー等の操作部材を有する操作部である。電源スイッチ72は、電源オン、電源オフを切り替える。記録媒体200は、メモリカードやハードディスク等の外部メモリである。記録媒体スロット201は、記録媒体200を格納するためのスロットである。記録媒体スロット201に格納された記録媒体200は、カメラ100との通信が可能となる。
図2は、本実施形態のカメラ100の内部構成を示すブロック図である。
撮影レンズ103は、ズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り101は、光量調整に使用する絞りである。ND104は、減光用に使用するND(Neutral Density)フィルタである。撮像部22は、光学像を電気信号に変換するCCDやCMOS素子等の撮像素子である。また、撮像部22は、電子シャッターによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。A/D変換器23は、アナログ信号をデジタル信号に変換する。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア102は、撮影レンズ103を含む撮像系を覆うことにより、撮影レンズ103、絞り101、撮像部22を含む撮像系の汚れや破損を防止する。
撮影レンズ103は、ズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像を結像させる。絞り101は、光量調整に使用する絞りである。ND104は、減光用に使用するND(Neutral Density)フィルタである。撮像部22は、光学像を電気信号に変換するCCDやCMOS素子等の撮像素子である。また、撮像部22は、電子シャッターによる蓄積の制御や、アナログゲイン、読み出し速度の変更などの機能も備える。A/D変換器23は、アナログ信号をデジタル信号に変換する。A/D変換器23は、撮像部22から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア102は、撮影レンズ103を含む撮像系を覆うことにより、撮影レンズ103、絞り101、撮像部22を含む撮像系の汚れや破損を防止する。
画像処理部24は、A/D変換器23からのデータ、又は、メモリ制御部15からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理、ガンマ補正、デジタルゲインの付加等の処理を行う。また、画像処理部24は、撮像した画像データを用いて所定の演算処理を行い、演算結果をシステム制御部50に送信する。システム制御部50は、画像処理部24から受信した演算結果に基づいて、露出制御、測距制御、ホワイトバランス制御等などの各種制御を行う。これにより、TTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理等が行われる。
A/D変換器23からの出力データは、画像処理部24及びメモリ制御部15を介して、或いは、メモリ制御部15を介してメモリ32に直接書き込まれる。メモリ32は、撮像部22によって撮像され、A/D変換器23によりデジタルデータに変換された画像データを格納する。なお、メモリ32は、所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。また、メモリ32は表示部28に表示する画像表示用のメモリ(ビデオメモリ)を兼ねている。D/A変換器13は、メモリ32に格納されている画像表示用のデジタルデータをアナログ信号に変換して、表示部28に供給する。こうして、メモリ32に書き込まれた表示用の画像データは、D/A変換器13を介して表示部28により表示される。
表示部28は、LCD(Liquid Crystal Display)等の表示器上に、D/A変換器13からのアナログ信号に応じた表示を行う。A/D変換器23によってA/D変換されメモリ32に蓄積されたデジタル信号を、D/A変換器13においてアナログ変換し、表示部28に逐次転送して表示することで、表示部28は電子ビューファインダとして機能し、スルー画像表示を行うことができる。
不揮発性メモリ56は、電気的に消去・記録可能なメモリであり、例えばEEPROM(Electrically Erasable Programmable Read−Only Memory)が用いられる。不揮発性メモリ56には、システム制御部50の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
システム制御部50は、カメラ100全体を制御する。不揮発性メモリ56に記録されたプログラムを実行することで、後述する各処理を実現する。また、システム制御部50はメモリ32、D/A変換器13、表示部28等を制御することにより表示制御も行う。
システムメモリ52は、ワークメモリであり、RAM(Random Access Memory)が用いられ、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開する。
システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
システムメモリ52は、ワークメモリであり、RAM(Random Access Memory)が用いられ、システム制御部50の動作用の定数、変数、不揮発性メモリ56から読み出したプログラム等を展開する。
システムタイマー53は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ60、録画スイッチ61、操作部70、電源スイッチ72は、ユーザがシステム制御部50に各種の動作指示を入力するための操作手段である。
モード切替スイッチ60は、システム制御部50の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切替スイッチ60で、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ60で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ61は、撮影待機状態と撮影状態を切り替える。システム制御部50は、録画スイッチ61により、撮像部22からの信号読み出しから記録媒体200への動画データの書き込みまでの一連の動作を開始する。電源スイッチ72は、電源オン、電源オフを切り替える。
モード切替スイッチ60は、システム制御部50の動作モードを、動画記録モード、静止画記録モード、再生モード等のいずれかに切り替える。動画記録モードや静止画記録モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムAEモード、カスタムモード等がある。モード切替スイッチ60で、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ60で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。録画スイッチ61は、撮影待機状態と撮影状態を切り替える。システム制御部50は、録画スイッチ61により、撮像部22からの信号読み出しから記録媒体200への動画データの書き込みまでの一連の動作を開始する。電源スイッチ72は、電源オン、電源オフを切り替える。
操作部70の各操作部材は、表示部28に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部28に表示される。ユーザは、表示部28に表示されたメニュー画面と、上下左右4方向の十字キーやSETボタンを用いて直感的に各種設定を行うことができる。
電源制御部80は、電池検出回路、DC−DCコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部80は、その検出結果及びシステム制御部50の指示に基づいてDC−DCコンバータを制御し、必要な電圧を必要な期間、記録媒体200を含む各部へ供給する。
電源部30は、アルカリ電池やリチウム電池等の一次電池やNiCd電池やNiMH電池、Liイオン電池等の二次電池、ACアダプター等からなる。記録媒体I/F18は、メモリカードやハードディスク等の記録媒体200とのインターフェースである。記録媒体200は、撮影された画像を記録するためのメモリカード等の外部の記録媒体であり、例えば、半導体メモリや磁気ディスク等である。
次に、本実施形態の動作について説明する。本実施形態のカメラ100は、最大の測光値の明るさとダイナミックレンジ(以下、Dレンジと記す)の差分を表示する機能(以下、Dレンジアシストと記す)を有している。ユーザがDレンジアシストを有効にした際に、Dレンジに応じて露出とガンマ補正特性を変更する処理を行う。また、本実施形態においては、Dレンジアシストを実行した際に、現在の撮影設定での色曲がりを検出する。色曲がりは、被写体の色によっては、画像データにおけるRGB成分や色差成分のいずれかの色成分が飽和することで元の被写体とは異なる色が出力されてしまう色変化である。なお、本実施形態における各処理は、システム制御部50が不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行することにより実現される。
まず、図3および図4を用いて、Dレンジに応じて露出とガンマ補正特性を変更する処理について説明する。ガンマ補正特性は、設定されたダイナミックレンジまで、あらかじめ準備された入射光に対する出力の関係となるようにダイナミックレンジに応じて変更する。このようにすることで、拡大前よりも広い範囲の入射光を入力し、入射光と出力を保った状態で出力することで、ダイナミックレンジを拡大することができる。
図3は、本実施形態における露出とガンマ補正特性の決定処理を示すフローチャートである。
まず、S301において、システム制御部50は、Dレンジアシストの状態を判断する。Dレンジアシストの有効、無効は、ユーザが操作部70を介して設定する。Dレンジアシストが無効であれば、処理を行わず終了する。一方、Dレンジアシストが有効であれば、S302に進む。
S302において、システム制御部50は、Dレンジの変更量を算出する。Dレンジの変更量Dchangeは、現在のDレンジをDnow、製品で設定できる最大のDレンジをDmaxとすると、Dレンジ変更量の段数は下記の式(1)で表される。
Dchange=log2(Dmax/Dnow) (1)
例えば、最大Dレンジが800%で、現在のDレンジが400%であるとすると、Dレンジ変更量Dchangeは1段となる。現在のDレンジが300%であるとすると、Dレンジ変更量Dchangeは約1.52段となる。
まず、S301において、システム制御部50は、Dレンジアシストの状態を判断する。Dレンジアシストの有効、無効は、ユーザが操作部70を介して設定する。Dレンジアシストが無効であれば、処理を行わず終了する。一方、Dレンジアシストが有効であれば、S302に進む。
S302において、システム制御部50は、Dレンジの変更量を算出する。Dレンジの変更量Dchangeは、現在のDレンジをDnow、製品で設定できる最大のDレンジをDmaxとすると、Dレンジ変更量の段数は下記の式(1)で表される。
Dchange=log2(Dmax/Dnow) (1)
例えば、最大Dレンジが800%で、現在のDレンジが400%であるとすると、Dレンジ変更量Dchangeは1段となる。現在のDレンジが300%であるとすると、Dレンジ変更量Dchangeは約1.52段となる。
次に、S303において、システム制御部50は、S302で算出したDレンジ変更量に基づいて、露出とガンマ補正特性を変更する。
露出は、絞り101、ND104、撮像部22における電子シャッター、アナログゲイン等で変更する。例えば、電子シャッターで変更する場合、Dレンジ変更前に電子シャッターが1/60であり、Dレンジ変更量が1段であれば、1/120に変更する。露出変更の方法は、センサから信号が出力される前に変更できる部分であれば、任意であり特に限定しない。
露出は、絞り101、ND104、撮像部22における電子シャッター、アナログゲイン等で変更する。例えば、電子シャッターで変更する場合、Dレンジ変更前に電子シャッターが1/60であり、Dレンジ変更量が1段であれば、1/120に変更する。露出変更の方法は、センサから信号が出力される前に変更できる部分であれば、任意であり特に限定しない。
同時に、画像処理部24のガンマ補正回路に設定するガンマ補正特性も変更する。Dレンジアシスト前の入力Xに対する出力Yとすると、Dレンジアシストの際は、X×Dnow/Dmaxの出力がYとなるようなガンマ補正特性とする。また、Dレンジアシスト前の入力の最大値をXmax、出力の最大値をYmaxとすると、Dレンジアシストの際は入力Xmax×Dnow/Dmaxの時にYmaxとし、それ以降の入力に対する出力はYmaxとする。
図4に、Dレンジアシスト前後のガンマ補正特性の一例を示す。横軸はガンマ補正回路の入力ビット、縦軸は出力ビットである。実線501が、Dレンジアシストのガンマ補正特性を示し、点線502が、Dレンジアシストを有効とした後のガンマ補正特性を示している。
図4は、Dnowが400%、Dmaxが800%の場合を例示している。Dnow/Dmaxが1/2(=400%/800%)なので、Dレンジアシスト前の入力Xに対する出力と、Dレンジアシスト後の入力X/2の出力が同じになるようなガンマ補正特性としている。またDレンジアシスト後は、Xmax/2の時にYmaxとなり、それ以降はYmaxを維持する特性としている。
システム制御部50は、Dnowに基づいてガンマ補正特性を決定し、決定されたガンマ補正特性に基づいた設定値を画像処理部24に送信する。画像処理部24において、受信した設定値に基づいてガンマ補正回路が設定される。
図4は、Dnowが400%、Dmaxが800%の場合を例示している。Dnow/Dmaxが1/2(=400%/800%)なので、Dレンジアシスト前の入力Xに対する出力と、Dレンジアシスト後の入力X/2の出力が同じになるようなガンマ補正特性としている。またDレンジアシスト後は、Xmax/2の時にYmaxとなり、それ以降はYmaxを維持する特性としている。
システム制御部50は、Dnowに基づいてガンマ補正特性を決定し、決定されたガンマ補正特性に基づいた設定値を画像処理部24に送信する。画像処理部24において、受信した設定値に基づいてガンマ補正回路が設定される。
次に、図5を用いて、色曲がりを検出し報知する処理に関して説明する。図5は、本実施形態における色曲がり検出処理を示すフローチャートである。
まず、S501において、システム制御部50は、Dレンジアシストの状態を判断する。Dレンジアシストの有効、無効は、ユーザが操作部70を介して設定する。Dレンジアシストが無効であれば、処理を行わず終了する。一方、Dレンジアシストが有効であれば、S502に進む。
まず、S501において、システム制御部50は、Dレンジアシストの状態を判断する。Dレンジアシストの有効、無効は、ユーザが操作部70を介して設定する。Dレンジアシストが無効であれば、処理を行わず終了する。一方、Dレンジアシストが有効であれば、S502に進む。
S502において、システム制御部50は、現在のダイナミックレンジにおける色情報を取得する。これは、DレンジアシストモードによってDレンジを変更する前すなわち露出とガンマ補正特性を変更する前の色情報の取得である。
色情報取得の概念を、図6(A)を用いて説明する。色情報取得では、撮像中の画角を1画素ごと、もしくは任意の画素集合に分割し、各領域ごとの色情報を取得する。画素集合から取得する場合は領域内の画素の平均値や中央値を取得結果とする。ここでの色情報とは、色成分ごとの信号値であり、例えば、映像信号のRGBそれぞれの信号値や色差信号Cr,Cbの信号値である。図6(A)では、各領域ごとのRGB値の平均値を算出し、画角中の位置情報と関連付けて記録する。ここでは領域(x0,y0)の各色情報が8bitの情報を持ち、R値が102、G値が85、B値が255であった。
また、別の領域として、例えば、領域(x1,y1)の各色情報が8bitでRGB値ともに255と飽和を示す値(最大値)の場合、この領域は白とびが発生していると判断できる。白とびが発生している領域は、階調補正による色曲がりが発生する領域ではないため、この後の色曲がり判定を行う対象から除外する。なお、飽和判定では、全色情報が飽和を示す最大値である場合に限られず、例えば、最大値からある程度の範囲(最大値近傍)についても白とびと判定するようにしてもよい。
色情報取得の概念を、図6(A)を用いて説明する。色情報取得では、撮像中の画角を1画素ごと、もしくは任意の画素集合に分割し、各領域ごとの色情報を取得する。画素集合から取得する場合は領域内の画素の平均値や中央値を取得結果とする。ここでの色情報とは、色成分ごとの信号値であり、例えば、映像信号のRGBそれぞれの信号値や色差信号Cr,Cbの信号値である。図6(A)では、各領域ごとのRGB値の平均値を算出し、画角中の位置情報と関連付けて記録する。ここでは領域(x0,y0)の各色情報が8bitの情報を持ち、R値が102、G値が85、B値が255であった。
また、別の領域として、例えば、領域(x1,y1)の各色情報が8bitでRGB値ともに255と飽和を示す値(最大値)の場合、この領域は白とびが発生していると判断できる。白とびが発生している領域は、階調補正による色曲がりが発生する領域ではないため、この後の色曲がり判定を行う対象から除外する。なお、飽和判定では、全色情報が飽和を示す最大値である場合に限られず、例えば、最大値からある程度の範囲(最大値近傍)についても白とびと判定するようにしてもよい。
次に、S503において、システム制御部50は、取得した色情報ごとの比率を算出する。
色情報比率算出の概念を、図6(B)を用いて説明する。S502において、各領域から取得したRGB値から、RとG値の比率、RとB値の比率、GとB値の比率をそれぞれ算出する。例えば領域(x0、y0)のR成分の値が102、G成分の値が85、B成分の値が255だった場合、RG比率は102/85=1.2、RB比率は102/255=0.4、GB比率は85/255=0.33…≒0.3と、各色情報の比率が算出できる。
色情報比率算出の概念を、図6(B)を用いて説明する。S502において、各領域から取得したRGB値から、RとG値の比率、RとB値の比率、GとB値の比率をそれぞれ算出する。例えば領域(x0、y0)のR成分の値が102、G成分の値が85、B成分の値が255だった場合、RG比率は102/85=1.2、RB比率は102/255=0.4、GB比率は85/255=0.33…≒0.3と、各色情報の比率が算出できる。
次に、S504において、システム制御部50は、図3において説明したDレンジアシストの動作にそって、露出とガンマ補正特性を変更する。Dレンジアシストにおいては、目標のダイナミックレンジとして、例えば、カメラ100において設定可能な最大Dレンジを実現する。この結果、露出条件が変化するため、各領域の色情報が変化する。このDレンジ変更後(ガンマ補正後)の状態で再度、色情報取得と各領域の色情報比率算出を行う(S505およびS506)。ここでは、S506におけるガンマ補正後の色情報比率算出の結果がそれぞれ、RG比率が1.2、RB比率が0.6、GB比率が0.4であったとする。
次に、S507において、システム制御部50は、Dレンジ変更前後(ガンマ補正前後)の色情報比率の差分を算出する。
そして、S508において、算出した色情報比率の差分を閾値と比較して色曲がり領域であるか否か判定する。色曲がり領域と判定された領域があった場合はS509に進み、いずれの領域においても色曲がり領域と判定されなかった場合は処理を終了する。
そして、S508において、算出した色情報比率の差分を閾値と比較して色曲がり領域であるか否か判定する。色曲がり領域と判定された領域があった場合はS509に進み、いずれの領域においても色曲がり領域と判定されなかった場合は処理を終了する。
色曲がり領域の判定について、図6(C)を用いて説明する。S503において算出した露出条件変更前(ガンマ補正前)の色情報比率と、S506で算出した露出条件変更後(ガンマ補正後)の色情報比率から、色情報比率の差分を算出する。図6の例では、領域(x0,y0)の露出条件変更前後の色情報比率の差分はそれぞれ、RG比率は1.2−1.2=0、RB比率は0.6−0.4=0.2、GB比率は0.4−0.3=0.1となる。ここで算出した差分値を閾値と比較する。ここでの閾値は製品ごとに画質調整項目として決まった値をとっても良いし、事前にユーザがカメラテストを行って設定しても良い。閾値の判断は各色情報比率の差分に対して個々に持っても良いし、閾値をひとつ持ち、各色情報比率の差分と比較してもよい。また、個々の差分を合計した値と比較してもよい。合計でなく平均値や最大値としても良い。図6(C)の例では、0.2という所定の閾値をひとつ持ち、この閾値を各色情報比率の差分と比較する。この結果、0.2であるRB比率が閾値以上であるため、領域(x0、y0)を色曲がり発生領域と判定する。
次に、S509において、システム制御部50は、色曲がりが検出された領域が、1画素であるか複数画素を含んだ領域であるか判定する。色曲がりが検出された領域が1画素であると判定された場合はS512に進む。一方、色曲がりが検出された領域が複数画素を含んだ領域であると判定された場合は、S510に進む。
S510において、色曲がり発生領域は、色情報取得時に複数画素を含んだ領域毎の平均値として算出されている。システム制御部50は、色曲がり発生領域を更に細かく検出するために、色曲がり発生領域と判断された領域を画素単位に分割する。そして、画素単位ごとに、露出・ガンマ補正変更前後の色情報を取得し、色情報の比率を算出し、露出・ガンマ補正変更前後の色情報比率の差分を算出する。S510の処理は、S502〜S507の処理を画素単位ごとに行ったものである。露出・ガンマ補正変更前後の色情報を取得するために、例えば、変更した露出・ガンマ補正特性を戻し、変更前の色情報を取得し、その後再度露出・ガンマ補正特性を変更し、変更後の色情報を取得してもよい。また、取得したい画素の露出・ガンマ補正特性変更後の色情報を取得し、露出・ガンマ補正特性変更値から変更前の色情報を逆算して取得してもよい。
S511において、S510において算出した画素ごとの色情報比率の差分を閾値と比較し、色曲がり発生画素判定を行う。これにより、画角内の色曲がり発生画素の情報を得る。差分値が閾値以上であり、色曲がりが発生していると判定された場合は、S512に進む。一方、差分値が閾値より小さく、色曲がりが発生していると判定されなかった画素については、処理を終了する。
S511において、S510において算出した画素ごとの色情報比率の差分を閾値と比較し、色曲がり発生画素判定を行う。これにより、画角内の色曲がり発生画素の情報を得る。差分値が閾値以上であり、色曲がりが発生していると判定された場合は、S512に進む。一方、差分値が閾値より小さく、色曲がりが発生していると判定されなかった画素については、処理を終了する。
最後に、S512において、システム制御部50は、検出した色曲がり発生領域の情報を表示手段に送り、警告表示することでユーザに色曲がりの発生とその領域を報知する。警告表示の一例を図7に示す。色曲がり発生領域700に示されるように、図5の処理において検出した色曲がり画素に対し、色をつけて強調表示し、ユーザに色曲がり警告を報知する。なお、ユーザに色曲がり領域を報知できるものであればその表示方法は問わない。
以上説明したように、色曲がり警告を表示すれることで、ユーザは現在の撮影設定の色曲がりの発生箇所とその程度を認識することができる。そのため、ユーザが撮影設定を決定する際のDレンジ変更の目安とすることができる。
(第2実施形態)
本実施形態において、色情報比率の差分を算出し、算出した差分を閾値と比較することで色曲がりを判定し、ユーザに報知するという処理の流れは第1実施形態と同様であるが、色情報の取得が第1実施形態とは異なる。第1実施形態では色情報取得時に画角内を複数画素の領域として分割し、色情報の取得を行った。本実施形態では最初から画素ごとの色情報取得を行う構成とする。また、第1実施形態では色情報はガンマ補正前の信号から取得していたが、本実施形態ではガンマ補正後の映像信号から取得する構成とする。撮像装置であるカメラ100の外観、構成は第1実施形態で示した図1、図2と同様であるため省略する。
本実施形態において、色情報比率の差分を算出し、算出した差分を閾値と比較することで色曲がりを判定し、ユーザに報知するという処理の流れは第1実施形態と同様であるが、色情報の取得が第1実施形態とは異なる。第1実施形態では色情報取得時に画角内を複数画素の領域として分割し、色情報の取得を行った。本実施形態では最初から画素ごとの色情報取得を行う構成とする。また、第1実施形態では色情報はガンマ補正前の信号から取得していたが、本実施形態ではガンマ補正後の映像信号から取得する構成とする。撮像装置であるカメラ100の外観、構成は第1実施形態で示した図1、図2と同様であるため省略する。
図8は、本実施形態におけるユーザ指定の測光値算出点の検出処理を示すフローチャートである。以下、図8のフローに沿って説明していく。図8において第1実施形態のフローチャート(図5)と同じステップには同じ符号を付し、その詳細な説明は省略する。なお、本実施形態における各処理は、システム制御部50が不揮発性メモリ56に格納されたプログラムをシステムメモリ52に展開して実行することにより実現される。
まず、S501において、Dレンジアシストが有効となっているかを判定する。有効と判定された場合、S801に進み、無効である場合は処理を終了する。また、Dレンジアシストが無効の場合には常時色情報取得を行うよう構成を変更しても良い。
S801において、システム制御部50は、現在のダイナミックレンジ(Dレンジアシストにおけるガンマ補正後)の映像信号から色情報の取得を行う。本実施形態では各色情報を、ガンマ補正後の映像信号から画素ごとに取得する。
S802において、システム制御部50は、同様に白とび判定を行い、白とびと判定されなかった画素の色情報から色情報比率を算出する。算出した色情報比率は画素の位置情報と共に記憶しておく。
S801において、システム制御部50は、現在のダイナミックレンジ(Dレンジアシストにおけるガンマ補正後)の映像信号から色情報の取得を行う。本実施形態では各色情報を、ガンマ補正後の映像信号から画素ごとに取得する。
S802において、システム制御部50は、同様に白とび判定を行い、白とびと判定されなかった画素の色情報から色情報比率を算出する。算出した色情報比率は画素の位置情報と共に記憶しておく。
次に、S803において、システム制御部50は、ユーザの操作に従い、ユーザの設定した目標のダイナミックレンジにダイナミックレンジを変更し、露出・ガンマ補正特性の変更を行う。
システム制御部50は、ダイナミックレンジ変更後(露出・ガンマ補正特性変更後)の映像信号に対し、S804およびS805において、画素ごとに色情報の取得をガンマ補正後の映像信号から行い、色情報比率計算を行う。ここで、露出・ガンマ補正特性変更前の画素が白とび判定されていた場合、露出・ガンマ補正特性変更後の色情報取得を行わなくても良い。
S806において、システム制御部50は、得られた露出・ガンマ補正特性変更前後の色情報比率から、画素ごとの差分値を算出する。この差分値を色曲がり判定の閾値と比較する。
システム制御部50は、ダイナミックレンジ変更後(露出・ガンマ補正特性変更後)の映像信号に対し、S804およびS805において、画素ごとに色情報の取得をガンマ補正後の映像信号から行い、色情報比率計算を行う。ここで、露出・ガンマ補正特性変更前の画素が白とび判定されていた場合、露出・ガンマ補正特性変更後の色情報取得を行わなくても良い。
S806において、システム制御部50は、得られた露出・ガンマ補正特性変更前後の色情報比率から、画素ごとの差分値を算出する。この差分値を色曲がり判定の閾値と比較する。
S508において、システム制御部50は、S806で算出した色情報比率の差分と閾値とを比較し、色曲がりの発生を検出する。本実施形態では、色曲がり判定の閾値をユーザの操作から取得する。予めユーザは撮影の前にカメラテストなどで青空のグラデーションや、色のグラデーションがあるチャートなどを撮影する。その際に、Dレンジアシスト機能を用いてDレンジを変更し、カメラの色曲がり具合をテストする。そして、許容できない色曲がり程度のDレンジを見つけ、許容できない色曲がりであることをカメラに設定する。カメラはこのDレンジを設定した際の色情報比率差分を検出時と同様の流れで算出しておき、ユーザが許容できないとした際の値を閾値として設定する。なお、閾値の設定はこの方法に限られるものではなく、例えば、実際に数値をユーザが設定する構成をとってもよい。
最後に、S512において、色曲がり判定によって検出した色曲がり画素の位置情報を表示手段に送り、色曲がり画素に色やパターンを重畳して強調表示し、ユーザに色曲がりが発生していることを報知する。ここでは表示手段によって色曲がり画素を表示しユーザに警告したが、色曲がり画素の位値情報と色情報、色情報比率を画像処理手段に送り、彩度を低減するなどの色曲がり補正を行う構成をとっても良い。
以上のように、本実施形態によれば、Dレンジや露出、ガンマ補正特性を変更しながら、色曲がりの発生を検出し、ユーザに報知することができる。そのため、ユーザは設定を変更しながら色曲がりの発生を確認することができ、ユーザがDレンジを調整する際の目安とすることができる。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。上述の実施形態の一部を適宜組み合わせてもよい。
22 撮像部
24 画像処理部
50 システム制御部
24 画像処理部
50 システム制御部
Claims (14)
- 被写体を撮像して画像データを出力する撮像手段と、
前記画像データの階調補正を行う補正手段と、
ダイナミックレンジが変更される場合、前記撮像手段の露出を制御するとともに、前記補正手段の特性を制御する制御手段と、
前記画像データから色成分ごとの信号値である色情報を取得する取得手段と、
前記ダイナミックレンジを変更する前後それぞれの前記画像データから取得した前記色情報に基づいて、所定の色変化を判定する判定手段と、
前記所定の色変化をユーザに報知する処理を行う報知手段と、を備えることを特徴とする撮像装置。 - 前記判定手段は、前記ダイナミックレンジを変更する前後それぞれの画像データから取得した前記色情報の比率を算出し、算出した前記比率の差分が閾値を超えた場合に、前記所定の色変化と判定することを特徴とする請求項1に記載の撮像装置。
- 前記所定の色変化は、色成分が飽和することにより発生する色曲がりであることを特徴とする請求項1または請求項2に記載の撮像装置。
- 取得手段は、前記画像データを任意の領域に分割し、領域ごとに色情報を取得することを特徴とする請求項1乃至3のうちいずれか1項に記載の撮像装置。
- 前記判定手段は、前記所定の色変化と判定された前記領域において、さらに画素ごとに前記所定の色変化の判定を行うことを特徴とする請求項4に記載の撮像装置。
- 前記取得手段は、前記色情報としてRGB値それぞれの信号値、もしくは、色差信号それぞれの信号値を取得することを特徴とする請求項1乃至5のうちいずれか1項に記載の撮像装置。
- 前記判定手段は、前記取得手段によって取得した色情報の全ての信号値が最大値近傍(飽和している状態)である領域は、前記所定の色変化の判定を行う対象から除外することを特徴とする請求項6に記載の撮像装置。
- 前記ダイナミックレンジを変更する前後のダイナミックレンジは、現在のダイナミックレンジと、目標のダイナミックレンジであり、
前記目標のダイナミックレンジは、設定を行うことができる最大のダイナミックレンジもしくはユーザが設定したダイナミックレンジであることを特徴とする請求項1乃至7のうちいずれか1項に記載の撮像装置。 - 前記補正手段は前記画像データのガンマ補正を行う手段であり、
前記制御手段は、現在のダイナミックレンジから目標のダイナミックレンジへの変更量に応じて前記露出を変更する制御および前記補正手段の特性を変更する制御を行うことを特徴とする請求項1乃至8のうちいずれか1項に記載の撮像装置。 - ダイナミックレンジが変更された場合に前記補正手段は、変更前の入力Xに対して現在のダイナミックレンジを乗じて目標のダイナミックレンジを除した値として算出される出力が、変更前の補正手段の出力Yと等しくなる特性に変更されることを特徴とする請求項9に記載の撮像装置。
- ダイナミックレンジの変更前の入力Xの最大値をXmaxとし、前記変更前の出力Yの最大値をYmaxとするとき、ダイナミックレンジの変更後の前記補正手段の特性において、Xmaxに現在のダイナミックレンジを乗じて目標のダイナミックレンジを除した値に等しいか又は当該値よりも大きい入力に対する出力はYmaxであることを特徴とする請求項10に記載の撮像装置。
- 前記報知手段は、前記所定の色変化と判定された領域を強調表示した画像を表示手段に表示させることを特徴とする請求項1乃至11のうちいずれか1項に記載の撮像装置。
- 被写体を撮像して画像データを出力する撮像工程と、
前記画像データの階調補正を行う補正工程と、
ダイナミックレンジが変更される場合、前記撮像工程における露出を制御するとともに、前記補正工程の特性を制御する制御工程と、
前記画像データから色成分ごとの信号値である色情報を取得する取得工程と、
前記ダイナミックレンジを変更する前後それぞれの前記画像データから取得した前記色情報に基づいて、所定の色変化を判定する判定工程と、
前記所定の色変化をユーザに報知する処理を行う報知工程と、を備えることを特徴とする撮像装置。 - コンピュータを請求項1乃至12のうちいずれか1項に記載の撮像装置が備える各手段として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016198090A JP2018061153A (ja) | 2016-10-06 | 2016-10-06 | 撮像装置、撮像装置の制御方法およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016198090A JP2018061153A (ja) | 2016-10-06 | 2016-10-06 | 撮像装置、撮像装置の制御方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018061153A true JP2018061153A (ja) | 2018-04-12 |
Family
ID=61908702
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016198090A Pending JP2018061153A (ja) | 2016-10-06 | 2016-10-06 | 撮像装置、撮像装置の制御方法およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018061153A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019170595A (ja) * | 2018-03-28 | 2019-10-10 | 株式会社三共 | 遊技機 |
-
2016
- 2016-10-06 JP JP2016198090A patent/JP2018061153A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019170595A (ja) * | 2018-03-28 | 2019-10-10 | 株式会社三共 | 遊技機 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5820120B2 (ja) | 撮像装置およびその制御方法 | |
JP2012257126A (ja) | 撮像装置及びその制御方法 | |
JP6752667B2 (ja) | 画像処理装置と画像処理方法およびプログラム | |
JP5822508B2 (ja) | 撮像装置及びその制御方法 | |
US10911684B2 (en) | Image processing apparatus and control method thereof | |
JP2018074199A (ja) | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 | |
JP6566731B2 (ja) | 撮像装置及びその制御方法 | |
JP2018061153A (ja) | 撮像装置、撮像装置の制御方法およびプログラム | |
JP6046952B2 (ja) | 撮像装置及びその制御方法 | |
US10341601B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
JP7150452B2 (ja) | 撮像装置とその制御方法およびプログラム、記録媒体 | |
JP2017126958A (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
US20190007593A1 (en) | Image capturing apparatus, control method for the same, and storage medium | |
JP6670110B2 (ja) | 画像処理装置、撮像装置、制御方法及びプログラム | |
JP6688086B2 (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP2015041823A (ja) | 撮像装置およびその制御方法、プログラム並びに記憶媒体 | |
JP6559001B2 (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2017038300A (ja) | 画像処理装置及び方法 | |
JP2019153971A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2017005541A (ja) | 撮像装置及びその制御方法 | |
JP2017005374A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
JP2018014678A (ja) | 撮像装置及びその制御方法、プログラム | |
JP2018042066A (ja) | 撮像装置およびその制御方法、プログラム | |
JP2014127770A (ja) | 撮像装置 | |
JP2021002716A (ja) | 撮像装置、撮像装置の制御方法、及びプログラム |