JP2021002716A - 撮像装置、撮像装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】ユーザが意図しない画質変化が生ずるのを防ぐことを課題とする。【解決手段】撮像装置は、露出制御を行う露出制御手段（２０１，２０２，２０３，２０７）と、画像信号に対してゲイン処理を行うゲイン処理手段（２０４，２０８）と、画像信号に対してノイズ低減処理を行うノイズ低減手段（２０６）と、画像信号に対するノイズ低減処理の強度を制御する強度制御手段（２０５）と、を有し、露出制御手段による露出制御は、ゲイン処理手段によるゲイン処理の制御を含み、制御されるゲイン処理には露出制御の応答速度を補うためのゲイン処理が含まれ、強度制御手段は、応答速度を補うためのゲイン処理を行う状態であるか否か、および、応答速度を補うためのゲイン処理の制御に使用するゲイン量の、少なくともいずれかに応じて、ノイズ低減処理の強度の制御を切り替える。【選択図】図２

Description

本発明は、撮像装置の制御技術に関する。

一般に、ビデオカメラ等の撮像装置は、撮像で得られた画像信号のレベルを検出し、そのレベルを基に、絞りの値や画像信号にかけるゲイン量を制御することで、適正な明るさの画像が得られるようにする、自動露出制御（ＡＥ）と呼ばれる機能を備えている。例えば被写体が暗い場合、撮像装置は、自動露出制御によって、絞りを開けるような制御や、画像信号にかけるゲイン量を増やすような制御を行って、適正な明るさの撮像画像が得られるようにする。

また撮像装置は、絞りなどの応答速度が遅いデバイスを駆動する際に、他のデバイスを補助として用いることで、その応答速度の遅さ分を補うような制御を行う場合がある。例えば、露出の調整等に用いられる絞りは、応答速度が遅いため、露出が変化する速度も遅くなる。このような露出の変化速度の遅さを補うための補助デバイスとして、素早く且つ細かい調整を行えるゲイン回路が用いられることがある。この場合、ゲイン回路は、絞りによる露出変化速度の遅れ分を補えるゲイン量を、画像信号に対してかけるようなゲイン処理を行う。これにより、絞りによる露出変化速度の遅れ分が補われた画像信号が得られる。

さらに近年は、液晶素子やＥＣ（Electrochromic）素子によって透過光量を連続的に変化させることができる可変ＮＤフィルタ（Neutral Density Filter）を、光路上に設けた撮像装置も存在する。この撮像装置は、可変ＮＤフィルタの光学濃度を変化させることで露出を変化させることができる。ただし、可変ＮＤフィルタは、光学濃度を変更する際の応答速度が遅いため、可変ＮＤフィルタ単体の制御では目標の露出応答性を満たすことが難しい。このため、可変ＮＤフィルタを用いる場合も、前述したような応答速度の遅さ分を補うゲイン処理による露出制御が有用となる。

ただし、被写体が暗い場合のように画像信号のレベルが低い状態でゲイン量を多くすると、ノイズが目立ちやすくなり、Ｓ／Ｎの低い撮像画像になってしまう。これに対し、例えば特許文献１には、露光制御信号に応じて、ノイズ低減を行うノイズリダクションの強さを制御するという手法が開示されている。特許文献１の手法では、被写体照度が暗くなって、画像信号にかけられるゲイン量が多くなってくると、ノイズリダクションが強くかけられるようになり、ノイズが目立ち難くなる。その他、特許文献２には、光量の低下に応じた補正係数を求め、その補正係数を用いて画像信号のレベルを補正する技術が開示されている。

特開平８−１８８５２号公報 特開２００６−１５７３４４号公報

しかしながら、撮像装置の画像信号に対してノイズ低減処理を行うと、例えば、鮮鋭さが失われたり、自然なノイズの粒状感が崩れたり、動体に対して残像が発生したりするなどの、様々な影響が画像に表れることがある。このため、例えばユーザが意図しないときにノイズ低減処理が行われると、ユーザは、その意図しないノイズ低減処理の影響を受けて画質が変化した画像によって、違和感あるいは不快感をもつ可能性がある。例えば、特許文献１に開示された手法の場合、被写体が暗くゲイン量が多くなったときに、ノイズリダクションを強くする制御が行われることになる。すなわち、ユーザの意図にかかわらず、被写体が暗くなったときにノイズリダクションが強くかけられるようになって、画質が変化することになり、ユーザに違和感あるいは不快感を与えてしまう可能性がある。前述したように、従来の撮像装置は、絞りや可変ＮＤフィルタ等による応答速度の遅さ分をゲイン処理により補うことができる一方で、ゲイン処理で増加するノイズを低減する処理によってユーザが意図していない画質変化が生ずることがある。

そこで、本発明は、ユーザが意図しない画質変化が生ずるのを防ぐことを目的とする。

本発明の撮像装置は、露出制御を行う露出制御手段と、画像信号に対してゲイン処理を行うゲイン処理手段と、前記画像信号に対してノイズ低減処理を行うノイズ低減手段と、前記画像信号に対する前記ノイズ低減処理の強度を制御する強度制御手段と、を有し、前記露出制御手段による前記露出制御は、前記ゲイン処理手段による前記ゲイン処理の制御を含み、前記制御される前記ゲイン処理には前記露出制御の応答速度を補うためのゲイン処理が含まれ、前記強度制御手段は、前記応答速度を補うためのゲイン処理を行う状態であるか否か、および、前記応答速度を補うためのゲイン処理の制御に使用するゲイン量の、少なくともいずれかに応じて、前記ノイズ低減処理の強度の制御を切り替えることを特徴とする。

本発明によれば、ユーザが意図しない画質変化が生ずるのを防ぐことができる。

実施形態の撮像装置の構成例を示すブロック図である。 画像処理部の内部構成例を示すブロック図である。 実施形態の撮像装置における処理の流れを表すフローチャートである。 第１の実施形態におけるＮＲ対応処理の流れを表すフローチャートである。 実施形態におけるプログラム線図を示すグラフである。 第２の実施形態におけるＮＲ対応処理の流れを表すフローチャートである。

以下、本発明の一実施の形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態の撮像装置の一適用例としてのデジタルビデオカメラ１００（以下、カメラ１００とする。）の概略構成例を示すブロック図である。
図１において、撮像レンズ１０３は、ズームレンズ、フォーカスレンズを含むレンズ群であり、被写体像等を結像させる。絞り１０１は、光量調節を行うための絞り機構である。ＮＤ１０４は、透過光量を連続的に変更可能な光学フィルタ（ＮＤフィルタ： Neutral Density Filter）であり、撮像時に撮像部２２へ入射する光量を減らす（減光する）。ＮＤ１０４は、例えば液晶素子やＥＣ（Electrochromic）素子を有して構成されている。撮像部２２は、撮像レンズ１０３により撮像面上に形成された光学像を電気信号に変換するＣＣＤ素子やＣＭＯＳ素子等で構成された撮像素子である。また撮像部２２は、電子シャッタによる蓄積制御や、アナログゲイン、読み出し速度の変更などの機能も備えている。撮像部２２の撮像素子からは、撮影中の画像やライブビュー画像のフレームごとのアナログ画像信号が出力される。バリア１０２は、カメラ１００の、撮像レンズ１０３を含む撮像系を覆うことにより、撮像レンズ１０３、絞り１０１、ＮＤ１０４、および撮像部２２を含む撮像系の汚れや破損を防止する。

Ａ／Ｄ変換器２３は、撮像部２２から出力されたアナログ画像信号を、デジタル画像信号に変換する。Ａ／Ｄ変換器２３から出力されたデジタル画像信号は、後述する画像処理部２４およびメモリ制御部１５を介してメモリ３２に、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。なおＡ／Ｄ変換器２３以降の構成はデジタル画像信号（画像データ）を扱うが、以下の説明では特に明記が必要な場合を除き、単に画像信号と表記する。
メモリ３２は、撮像部２２で撮像されてＡ／Ｄ変換器２３でデジタル変換された画像信号や、後述する表示部２８への表示用の画像信号などを、メモリ制御部１５による制御の下で格納する。なお、メモリ３２は、所定時間の動画像および音声の信号を格納するのに十分な記憶容量を備えており、また画像表示用のメモリ（ビデオメモリ）も兼ねている。

画像処理部２４は、Ａ／Ｄ変換器２３からの画像信号、またはメモリ３２に蓄積された後にメモリ制御部１５によって読み出された画像信号に対し、色変換処理、ガンマ補正、デジタルゲインを付加するゲイン処理、およびノイズ低減処理等の画像信号処理を行う。なお以下の説明ではノイズ低減処理（ノイズリダクション処理）をＮＲと表記する。本実施形態の場合、ゲインを付加するゲイン処理は、画像処理部２４で行われているが、例えば、デジタル領域ではなくアナログ領域で行われてもよく、あるいは撮像部２２が行ってもよく、ゲイン処理が行われる場所や手法は特に限定されない。また、画像処理部２４は、撮像部２２で撮像されてＡ／Ｄ変換器２３から出力された画像信号を用いて所定の演算処理を行い、その演算結果をシステム制御部５０に送る。このときのシステム制御部５０は、画像処理部２４から送られた演算結果に基づいて、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理などを行う。

Ｄ／Ａ変換器１３は、メモリ３２から読み出された画像表示用のデジタル画像信号をアナログ画像信号に変換して表示部２８に供給する。
表示部２８は、ＬＣＤ等の表示装置であり、Ｄ／Ａ変換器１３からのアナログ画像信号に応じた画像等を表示する。また表示部２８は、撮像部２２で撮像されている画像を逐次表示するようなスルー画像表示（ライブビュー表示）により、電子ビューファインダとしても使用可能となされている。

不揮発性メモリ５６は、電気的に消去・記録可能な記録媒体としてのメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムには、本実施形態のカメラ１００において後述する各種フローチャートの処理を実行するためのコンピュータプログラムが含まれる。
システムメモリ５２は、例えばＲＡＭからなる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出されたプログラム等が展開される。

システム制御部５０は、少なくとも一つのプロセッサまたは回路を有する制御部であり、カメラ１００全体を制御する。システム制御部５０は、不揮発性メモリ５６に記憶されているプログラムをシステムメモリ５２に展開して実行することにより、本実施形態に係る各部の制御や各種の処理を実行する。また、システム制御部５０は、メモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマ５３は、各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
モード切替スイッチ６０は、システム制御部５０の動作モードを、動画記録モード、静止画記録モード、再生モード、各種設定等の調整モード等のいずれかに切り替える際にユーザが操作するスイッチである。動画記録モードや静止画記録モードに含まれるモードとしては、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。ユーザは、モード切替スイッチ６０を操作することで、動画撮影モードに含まれるこれらのモードのいずれかに直接切り替えることができる。なお、モード切替スイッチ６０で動画撮影モードに一旦切り換えた後に、動画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようになされていても良い。

録画スイッチ６１は、ユーザが撮影待機状態と撮影状態とを切り替える際に操作されるスイッチである。システム制御部５０は、録画スイッチ６１から撮影状態への切り替え信号が入力されると、撮像部２２からの信号読み出しから記録媒体９０への信号書き込みまでの一連の動作を開始する。

操作部７０は、それぞれの図示は省略するが、ユーザにより操作される各操作部材と、それら各操作部材に対する機能の割り当てを制御し、その割り当てた機能に応じた情報を出力する機能制御部と、を有して構成される。機能制御部は、例えば表示部２８に表示される種々の機能アイコンが選択されることなどにより、場面ごとに応じて、各操作部材に対して割り当てる機能を適宜変更制御する。これにより、操作部７０の各操作部材は、それら割り当てられた各種機能ボタンとして作用する。機能ボタンとしては、例えばメニューボタン、上下左右の４方向を指示する十字キー、ＳＥＴボタン、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、および属性変更ボタン等がある。例えばユーザによりメニューボタンが押されると、そのメニューボタンに割り当てられた機能に応じた情報がシステム制御部５０に送られる。この時のシステム制御部５０は、そのメニューボタンの機能に応じた情報を基に、操作部７０を介した各種設定等を可能とするメニュー画面等を表示部２８に表示させる。これにより、ユーザは、表示部２８に表示されたメニュー画面と、十字キーやＳＥＴボタン等とを用いて、直感的に各種設定を行うことができるようになる。

電源制御部８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電源スイッチ７２のオン／オフ、電源部３０の電池の装着の有無、電池の種類、および電池残量の検出などを行う。また電源制御部８０は、その検出結果およびシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体９０を含む各部へ供給する。電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池からなり、ＡＣアダプターが含まれていてもよい。

Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体９０、または外部出力機器等とのインターフェースである。記録媒体９０は、画像信号等のデータを記録可能な記録媒体であり、半導体メモリや光ディスク、磁気ディスク等から構成される。図１の例では、カメラ１００が記録媒体９０と接続されている状態を示している。なお記録媒体９０に記録されたデータは、Ｉ／Ｆ１８によって読み出されてメモリ３２に転送される。

＜第１の実施形態＞
以下、本発明の第１の実施形態に係る画像処理部２４の内部構成について説明する。
図２は、第１の実施形態に係る画像処理部２４の内部構成と、図１に示した構成のうち特に本実施形態に係る撮像制御に関連した各構成とを示したブロック図である。通常、ホワイトバランス（ＷＢ）の制御、シャープネス制御、および階調補正などは、画像処理部２４で行われるが、本実施形態に係る撮像制御の説明には不要であるためそれらに関する記述は省略する。画像処理部２４内の各ブロックは、システム制御部５０を通じて、絞り１０１の絞り値や、ＮＤ１０４の減光量（光透過量もしくは光学濃度）等のＮＤ情報、およびシャッタ速度などの露出パラメータを含めたカメラ内部のあらゆるデータの取得が可能であるとする。
図２に示すように、画像処理部２４は、ゲイン処理部２０４、補助ゲイン処理部２０８、ＮＲ処理部２０６、ＮＲ制御部２０５、評価値算出部２０１、目標露出算出部２０２、露出制御部２０３、および補助ゲイン算出部２０７を有している。

評価値算出部２０１は、Ａ／Ｄ変換器２３からの画像信号のレベル、又はメモリ３２に一時的に保持された後に読み出された画像信号のレベルと、予め設定された露出制御用の重み付けデータとを用いて、露出制御用の評価値を算出する。評価値の算出方法としては、例えば中央部重点制御やスポット重点制御のように予め格納された種々の重み付けデータを用いる方法などがあるが、本実施形態では特にその算出方法は限定しない。

目標露出算出部２０２は、目標とする露出の画像を取得するための露出制御に用いられる露出パラメータを決定する。本実施形態の場合、目標露出算出部２０２は、評価値算出部２０１が画像信号のレベルを基に算出した評価値に対応した各露出パラメータ、もしくは、操作部７０を介したユーザ指示等の外部からの指示に対応した各露出パラメータを決定する。

補助ゲイン算出部２０７は、後述する補助ゲイン処理部２０８で補助ゲイン処理が行われる場合に使用される補助ゲイン量を算出する。本実施形態の場合、補助ゲイン算出部２０７は、目標露出算出部２０２で決定された露出パラメータに応じた露出制御が行われる際に、露出変化の応答速度が撮像装置において要求される応答速度に対してどの程度過不足になるかを算出する。さらに、補助ゲイン算出部２０７は、その露出変化の応答速度の過不足分を、後述する補助ゲイン処理部２０８の補助ゲイン処理によって補う場合に、どの程度の補助ゲイン量が必要になるかを算出する。

露出制御部２０３は、目標露出算出部２０２からの露出パラメータを基に、露出制御に係る各構成を制御する。例えば露出制御部２０３は、露出パラメータを基に、システム制御部５０を介して、絞り１０１の絞り値、ＮＤ１０４の減光量（光透過量）、および撮像部２２のシャッタ速度を制御し、またゲイン処理部２０４のゲイン量を制御するゲイン制御処理を行う。また露出制御部２０３は、補助ゲイン算出部２０７が算出した補助ゲイン量の情報を基に、補助ゲイン処理部２０８における補助ゲイン処理を制御するような補助ゲイン制御処理も行う。

ゲイン処理部２０４は、露出制御部２０３から送られてきたゲイン処理の制御情報を基に、Ａ／Ｄ変換器２３からの画像信号、またはメモリ制御部１５からの画像信号に対してデジタルゲインを付加するゲイン処理を行う。なお、ゲイン処理部２０４で行われるゲイン処理は、後述する図５のプログラム線図のＡＧＣ（自動利得制御）に対応したゲイン処理を含む。

補助ゲイン処理部２０８は、露出制御部２０３から受け取った補助ゲイン処理の制御情報を基に、ゲイン処理部２０４から出力された画像信号に対し、補助ゲイン算出部２０７で算出された補助ゲイン量のデジタルゲインを付加するような補助ゲイン処理を行う。

なお本実施形態では、ゲイン処理部２０４と補助ゲイン処理部２０８とを別個の回路構成として分けているが、これらは特に分けられていなくてもよく、ゲイン処理部２０４が補助ゲイン処理部２０８の機能を兼ね備えていてもよい。この場合のゲイン処理部２０４は、露出制御部２０３からのゲイン制御情報に応じたゲイン量に、さらに補助ゲイン算出部２０７で算出された補助ゲイン量を加えた分のゲイン処理を行うようにする。

ＮＲ制御部２０５は、ＮＲ処理部２０６におけるノイズ低減処理の強度（ＮＲ強度）を制御する。またＮＲ制御部２０５は、後述するようなＮＲ強度制御の切り替えも行う。ＮＲ制御部２０５におけるＮＲ強度制御の詳細は後述する。
ＮＲ処理部２０６は、ＮＲ制御部２０５により制御され、ゲイン処理部２０４でゲイン処理された画像信号、または、さらに補助ゲイン処理がなされた後の画像信号に対して、ＮＲ処理を行う。ＮＲ処理方法としては、時間方向の変化に基づいた３次元ＮＲ処理、フィルタリングによる１フレーム内のノイズを軽減するＮＲ処理などがあるが、本実施形態では特にどのようなＮＲ処理が用いられてもよい。

次に、前述した図１および図２に示した構成を有するカメラ１００が行う、本実施形態に係る動作について説明する。
図３は本実施形態のカメラ１００における撮像処理の流れを示したフローチャートである。
まずステップＳ３０１において、露出制御部２０３は、目標露出算出部２０２が算出した露出パラメータと、補助ゲイン算出部２０７が必要に応じて算出した補助ゲイン量とを基に、露出制御を行う。
次にステップＳ３０２において、撮像部２２は、撮像レンズ１０３を介し、さらに絞り１０１とＮＤ１０４を介して結像された被写体像等を撮像する。
次にステップＳ３０３において、画像処理部２４は、Ａ／Ｄ変換器２３からの画像信号、又はメモリ３２に一時的に保持された後に読み出された画像信号に対して、前述したＡＷＢ、シャープネス処理、階調補正、デジタルゲインの付加などの画像信号処理を行う。

さらにステップＳ３０４において、画像処理部２４は、ステップＳ３０３での画像処理後の画像データに対し、本実施形態に係るＮＲ対応処理を行う。このステップＳ３０４におけるＮＲ対応処理は、ＮＲ処理部２０６によるＮＲ処理とＮＲ制御部２０５によるＮＲ制御とを含み、ＮＲ対応処理の詳細は後述する。なお図３のフローチャートの場合、ステップＳ３０３の画像処理はステップＳ３０４のＮＲ対応処理の前に行われているが、ＮＲ対応処理の後に画像処理が行われてもよく、これら処理の順番は特に限定されない。

その後、ステップＳ３０５において、システム制御部５０は、画像処理部２４による処理後の画像データを、例えばＩ／Ｆ１８を介して出力等させる。
以上が本実施形態の撮像装置における撮像時の大まかな処理の流れである。

次に、本実施形態に係るＮＲ対応処理について説明する。図４は、ＮＲ対応処理の流れを示すフローチャートである。
まずステップＳ４０１において、ＮＲ制御部２０５は、露出制御の応答速度の遅れを補うための補助ゲインが使用されるか、つまり補助ゲイン処理部２０８において露出制御の応答速度の遅れを補うための補助ゲイン処理が行われるかを判定する。本実施形態の場合、ＮＲ制御部２０５は、露出制御部２０３が露出制御に用いる図５のプログラム線図を参考にして、露出制御の応答速度を補うための補助ゲイン処理が行われるかを判断する。図５に示したプログラム線図は、露出の変化に対して、シャッタ速度制御、絞り値制御、ＡＧＣ（自動利得制御）、およびＮＤ制御のための各露出パラメータを連続的にどのように変化させるかを表すグラフである。

図５のプログラム線図を参考にして、露出制御の応答速度を補うための補助ゲイン処理が行われるかを判断する場合、ＮＲ制御部２０５は、まず露出制御部２０３がプログラム線図のいずれの露出パラメータをメインで使用しているかを判定する。例えば、露出制御部２０３は、ＮＤ１０４を制御する場合、図５のプログラム線図の各露出パラメータのうち、ＮＤ制御の露出パラメータをメインの露出パラメータとして使用する。このことは、絞り制御の露出パラメータが使用される場合も同様であり、露出制御部２０３は、絞り１０１を制御する場合、図５のプログラム線図の各露出パラメータのうち、絞り制御の露出パラメータをメインの露出パラメータとして使用する。このため、ＮＲ制御部２０５は、露出制御部２０３においてメインとして使用される露出パラメータが、ＮＤ制御または絞り制御のための露出パラメータであるかどうかを判定する。そしてその上で、ＮＲ制御部２０５は、補助ゲイン算出部２０７で補助ゲインが算出されて使用される場合に、露出制御の応答速度を補うための補助ゲイン処理が行われると判断する。またこのときのＮＲ制御部２０５は、図５のプログラム線図上で、ＡＧＣの露出パラメータがメインとして使用されない明るさの領域で、補助ゲインが使用された場合に、露出制御の応答速度を補うための補助ゲイン処理が行われると判断してもよい。なお、この例では露出制御部２０３がプログラム線図のいずれの露出パラメータをメインで使用するかを判定し、その上で補助ゲインが使用されたかを判定したが、ＮＲ制御部２０５は、露出制御部２０３で設定された露出パラメータから直接判定してもよい。

その他、ＮＲ制御部２０５は、露出制御部２０３が使用する露出パラメータを参照せずに、補助ゲイン算出部２０７で算出された補助ゲイン量のみを基に、露出制御の応答速度を補うための補助ゲイン処理が行われることを判定してもよい。すなわち、露出制御部２０３がＮＤ１０４を制御するような場合、補助ゲイン算出部２０７ではＮＤ１０４の遅い応答速度を補う補助ゲインが算出され、補助ゲイン処理部２０８では画像信号に当該補助ゲインをかける補助ゲイン処理が行われる。このことは絞り制御が行われる場合も同様である。したがってＮＲ制御部２０５は、補助ゲイン算出部２０７で補助ゲインが算出された場合に、露出制御の応答速度を補うための補助ゲイン処理が行われると判断する。
なお本実施形態において、露出制御の応答速度を補うための補助ゲイン処理が行われるかどうかの判定方法は、前述した露出パラメータに基づく判定や補助ゲインの算出に基づく例には限定されず、さらに他の判定方法が用いられてもよい。

そしてＮＲ制御部２０５は、ステップＳ４０１の判定処理の結果、露出制御の応答速度を補う補助ゲインが使用されると判定した場合、つまり補助ゲイン処理部２０８で補助ゲイン処理が行われると判定した場合にはステップＳ４０２に処理を進める。一方、ＮＲ制御部２０５は、補助ゲインが使用されない、つまり補助ゲイン処理が行われないと判定した場合にはステップＳ４０３に処理を進める。なお、本実施形態では、露出制御の応答動作が遅い場合に補助ゲイン処理を行う例を挙げているが、これはあくまで一例であり本実施形態はこの例に限定されるわけではない。例えば、露出制御の応答動作が速すぎる場合にそれを補正する補助ゲイン処理が行われてもよい。

ステップＳ４０３に進むと、ＮＲ制御部２０５は、ＮＲ処理部２０６に対するＮＲ強度制御として第１のＮＲ強度制御を選択する。一方、ステップＳ４０２に進むと、ＮＲ制御部２０５は、ＮＲ処理部２０６に対するＮＲ強度制御として第２のＮＲ強度制御を選択する。

ここで、ステップＳ４０３における第１のＮＲ強度制御は、ゲイン処理部２０４および補助ゲイン処理部２０８の両ゲイン処理によるゲイン量が、第１の閾値よりも大きい場合に、ＮＲ処理の強度を上げるような制御である。ただし、ステップＳ４０１からステップＳ４０３に進んだ場合、補助ゲイン処理部２０８で補助ゲインは使用されていない。このため、ステップＳ４０３において第１の閾値と比較されるゲイン量は、ゲイン処理部２０４で用いられるゲイン量である。

一方、ステップＳ４０２における第２のＮＲ強度制御は、ゲイン処理部２０４および補助ゲイン処理部２０８の両ゲイン処理によるゲイン量が、第２の閾値よりも大きい場合に、ＮＲ処理の強度を上げるような制御である。ここで第２の閾値は、第１の閾値よりも大きい値である。言い換えると第２のＮＲ強度制御は、ゲイン処理部２０４と補助ゲイン処理部２０８の両ゲイン処理によるゲイン量が、第１の閾値より大きく第２の閾値以下である場合にはＮＲ処理の強度を上げない制御である。すなわち第２のＮＲ強度制御は、補助ゲイン処理が行われる場合にはＮＲ処理の強度を上げない制御である。このように、ステップＳ４０２の処理に進んだ場合、つまり補助ゲイン処理部２０８で補助ゲイン処理が行われる場合、ＮＲ制御部２０５は、ＮＲ処理部２０６に対してＮＲ処理の強度を上げないようなＮＲ強度制御を行う。なお、ステップＳ４０２では、第１の閾値を用いず、補助ゲイン処理で使用可能な補助ゲイン量に対して予め設定した第２の閾値のみを比較に用いてもよい。また、第２のＮＲ強度制御は、補助ゲイン処理が行われる場合にＮＲ強度を上げない制御であるが、この他に、ＮＤ１０４の応答速度を補うための補助ゲイン量に応じてはＮＲ強度を上げない、という制御でもよい。あるいは、第２のＮＲ強度制御は、ゲイン処理部２０４および補助ゲイン処理部２０８の両ゲイン処理によるゲイン量が、第１の閾値よりも大きい場合に、第１のＮＲ強度制御よりもＮＲ処理の強度を下げるように制限する、という制御でもよい。あるいは、第１のＮＲ強度制御と第２のＮＲ強度制御が、いずれもゲイン量に応じてＮＲ処理の強さを変更するものであって、ゲイン量が同じであれば、第２のＮＲ強度制御は、第１のＮＲ強度制御よりも、ＮＲ処理の強度を下げるように制限するものであってもよい。本実施形態では、特にそれら制御内容については限定しない。これらステップＳ４０３またはステップＳ４０２の後、ＮＲ制御部２０５は、ステップＳ４０４の処理を進める。

ステップＳ４０４に進むと、ＮＲ制御部２０５は、ＮＲ処理部２０６を制御して、ステップＳ４０２で選択された第２のＮＲ強度制御、またはステップＳ４０３で選択された第１のＮＲ強度制御に基づくＮＲ処理を行わせる。

本実施形態の画像処理部２４は、前述のようなＮＲ対応処理が行われることで、露出制御の応答速度を補う補助ゲインを使用しているか否かによってＮＲ強度制御を分けることができる。そして、画像処理部２４は、露出制御の応答速度を補助ゲインで補っている場合には、ＮＲ強度を上がり難くする制御が行われる。これにより、第２の実施形態によれば、ユーザが意図しないＮＲ処理による影響を受けて画質に変化が生じてしまうことを防ぐことができる。なお、本実施形態ではステップＳ４０１において補助ゲイン処理が行われるか否かを判定したが、補助ゲイン量が小さければ、画質変化の影響も小さいと考えられる。そこで、ステップＳ４０１において、補助ゲイン量が予め定めた基準値以上であればステップＳ４０２に進み、補助ゲイン量が基準値未満、あるいは、補助ゲイン処理が行われない場合にステップＳ４０３に進むようにしてもよい。このときの基準値は、第１のＮＲ強度制御をした場合に、画質変化が気になると推定されるゲイン量に基づいて設定すればよい。

＜第２の実施形態＞
前述の第１の実施形態では、露出制御の応答速度を補うための補助ゲインを使用しているかどうかによって、ＮＲ強度制御を切り換える例を挙げた。
しかしながら、画像やユーザ動作によっては、ＮＲ処理による画質への影響よりも、Ｓ／Ｎの低下がユーザにとって気になる場合がある。例えば動画の映像をユーザが観ている場合に、動画のフレーム間で画像のボケが多少増加したり、ノイズの粒状感が多少変化したりしたとしても、ユーザは、そのような変化をあまり感じないことがある。また例えば、カメラ１００においてズーミングやパンニングなどが行われた場合も、フレーム間で画像のボケが増加したり、ノイズの粒状感が変化したりしたとしても、ユーザは、それらを感じ難い。それよりも、例えば動画映像において全体的にノイズが増加したような場合に、その全体的に増加したノイズによるＳ／Ｎの低下が、ユーザから見て目立つことがある。また、Ｓ／Ｎの低下がユーザにとって気になる例として、例えばマニュアル操作でユーザが露出を変更した場合が挙げられる。マニュアル操作でユーザが露出を変更した場合、露出変化の変化量が大きくなることが多く、そのためノイズの量も多くなってＳ／Ｎの低下が目立ち易くなる。また、マニュアル操作の場合、ユーザが意図して露出を変更しており、ユーザは映像の露出変化を注視するため、その映像のＳ／Ｎ低下に気づき易い。

第２の実施形態はこのような場合への対応例である。第２の実施形態におけるカメラ１００の構成は基本的には前述した第１の実施形態の構成と同様であるため、図示を説明は省略する。
第２の実施形態の場合、画像処理部２４のＮＲ制御部２０５は、前述の第１の実施形態で説明した機能に加え、画像信号のフレーム間の変化量を測定する変化測定機能をも有している。第２の実施形態の場合、ＮＲ制御部２０５には、画像信号も入力されるとする。
以下、前述したＮＲ対応処理が行われる場合において、第２の実施形態のＮＲ制御部２０５が有する変化測定機能について図６のフローチャートを参照しながら説明する。なお図６のフローチャートにおいて、図４のフローチャートと同じ処理ステップには図４と同一の参照符号を付してそれらの説明は省略する。

まずステップＳ６０１において、ＮＲ制御部２０５は、画像信号がフレーム間で大きく変化したかを判定する。例えば、ＮＲ制御部２０５は、フレーム間で測定した変化量が所定の閾値以上である場合、前述したステップＳ４０３の第１のＮＲ強度制御を選択する。一方、変化量が所定の閾値未満である場合、ＮＲ制御部２０５の処理は、前述したステップＳ４０１に進む。ステップＳ４０１以降の処理は、前述の第１の実施形態と同様であるため、説明は省略する。

このように、第２の実施形態のＮＲ制御部２０５は、フレーム間で画像の変化量を測定し、その変化量が大きいかどうかの判定結果に基づいて、第１の実施形態で説明したＮＲ対応処理へ進むか、あるいは第１のＮＲ強度制御に進むかを決定している。すなわち、第２の実施形態では、画像信号のレベルを基に目標露出値が設定される場合と、ユーザ指示などの外部からの指示を基に目標露出値が設定される場合とで、ＮＲ処理の強度の制御が切り替えられる。本実施形態の場合、例えば全体的にノイズが増加する場合や、マニュアル操作により露出の調整が行われるような場合に、第１のＮＲ強度制御が行われることで、全体的にノイズが増加することを防ぐことができるようになる。

以上、本発明の係る実施形態について詳述してきたが、本発明は前述した実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。前述した実施形態は、撮像装置（カメラ１００）の画像処理部２４が、前述した露出制御、ゲイン制御、およびＮＲ制御の構成を有している例を示したが、それらは画像処理部２４とは別に設けられていてもよいし、また撮像装置とは別に設けられてもよい。

前述した各実施形態の各機能やフローチャートの処理は、ハードウェア構成のみで実現されてもよいし、ＣＰＵ等がプログラムを実行することによるソフトウェア構成により実現されてもよい。また、一部がハードウェア構成で残りがソフトウェア構成により実現されてもよい。このソフトウェア構成のためのプログラムは、予め用意されている場合だけでなく、不図示の外部メモリ等の記録媒体から取得されたり、不図示のネットワーク等を介して取得されたりしてもよい。

また前述の実施形態では、ビデオカメラへの適用例を挙げたが、動画撮影が可能なデジタルカメラ、監視カメラ、工業用カメラ、車載カメラ、医療用カメラ、動画撮影機能を備えたスマートフォン、タブレット端末などにも適用可能である。

本発明に係る信号処理における１以上の機能を実現するプログラムは、ネットワーク又は記憶媒体を介してシステム又は装置に供給可能であり、そのシステム又は装置のコンピュータの１つ以上のプロセッサにより読また出し実行されることで実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

前述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

２４：画像処理部、５０：システム制御部、１００：デジタルビデオカメラ、２０１：評価値算出部、２０２：目標露出算出部、２０３：露出制御部、２０４：ゲイン処理部、２０５：ＮＲ制御部、２０６：ＮＲ処理部、２０７：補助ゲイン算出部、２０８：補助ゲイン処理部

Claims (14)

1. 露出制御を行う露出制御手段と、
   画像信号に対してゲイン処理を行うゲイン処理手段と、
   前記画像信号に対してノイズ低減処理を行うノイズ低減手段と、
   前記画像信号に対する前記ノイズ低減処理の強度を制御する強度制御手段と、を有し、
   前記露出制御手段による前記露出制御は、前記ゲイン処理手段による前記ゲイン処理の制御を含み、前記制御される前記ゲイン処理には前記露出制御の応答速度を補うためのゲイン処理が含まれ、
   前記強度制御手段は、前記応答速度を補うためのゲイン処理を行う状態であるか否か、および、前記応答速度を補うためのゲイン処理の制御に使用するゲイン量の、少なくともいずれかに応じて、前記ノイズ低減処理の強度の制御を切り替えることを特徴とする撮像装置。
2. 前記強度制御手段は、前記応答速度を補うためのゲイン処理を行う制御の状態である場合には、前記応答速度を補うためのゲイン処理を行う制御の状態でない場合よりも、前記ノイズ低減処理の強度を制限することを特徴とする請求項１に記載の撮像装置。
3. 前記強度制御手段は、
   前記応答速度を補うためのゲイン処理を行わない状態の場合、前記ゲイン処理手段による前記ゲイン処理で使用されるゲイン量が第１の閾値以下であれば、前記ノイズ低減処理の強度を第１の強度とし、前記ゲイン処理手段による前記ゲイン処理で使用されるゲイン量が前記第１の閾値より大きければ、前記ノイズ低減処理の強度を前記第１の強度よりも上げる制御を行い、
   前記応答速度を補うためのゲイン処理を行う状態の場合、前記ゲイン処理手段による前記ゲイン処理で使用されるゲイン量が前記第１の閾値より大きい第２の閾値以下であれば、前記ノイズ低減処理の強度を前記第１の強度とし、前記ゲイン処理手段による前記ゲイン処理で使用されるゲイン量が前記第２の閾値より大きければ、前記ノイズ低減処理の強度を前記第１の強度よりも上げる制御を行うことを特徴とする請求項２に記載の撮像装置。
4. 前記強度制御手段は、前記応答速度を補うためのゲイン処理を行う制御に使用するゲイン量が基準値以上である場合には、前記応答速度を補うためのゲイン処理を行う制御に使用するゲイン量が前記基準値未満である場合よりも、前記ノイズ低減処理の強度を制限することを特徴とする請求項１に記載の撮像装置。
5. 前記強度制御手段は、
   前記応答速度を補うためのゲイン処理の制御に使用するゲイン量が前記基準値未満である場合、前記ゲイン処理手段による前記ゲイン処理で使用されるゲイン量が第１の閾値以下であれば、前記ノイズ低減処理の強度を第１の強度とし、前記ゲイン処理手段による前記ゲイン処理で使用されるゲイン量が前記第１の閾値より大きければ、前記ノイズ低減処理の強度を前記第１の強度よりも上げる制御を行い、
   前記応答速度を補うためのゲイン処理の制御に使用するゲイン量が前記基準値以上である場合、前記ゲイン処理手段による前記ゲイン処理で使用されるゲイン量が前記第１の閾値より大きい第２の閾値以下であれば、前記ノイズ低減処理の強度を前記第１の強度とし、前記ゲイン処理手段による前記ゲイン処理で使用されるゲイン量が前記第２の閾値より大きければ、前記ノイズ低減処理の強度を前記第１の強度よりも上げる制御を行うことを特徴とする請求項４に記載の撮像装置。
6. 前記強度制御手段は、前記露出制御手段が前記ゲイン処理の制御に使用するゲイン量を基に前記ノイズ低減処理の強度の制御を切り替えることを特徴とする請求項１に記載の撮像装置。
7. 前記強度制御手段は、前記応答速度を補うためのゲイン処理を行う制御の状態である場合には、前記応答速度を補うためのゲイン処理を行う制御の状態でない場合よりも、前記露出制御手段が前記ゲイン処理の制御に使用するゲイン量に対する前記ノイズ低減処理の強度を下げることを特徴とする請求項６に記載の撮像装置。
8. 前記強度制御手段は、前記応答速度を補うためのゲイン処理の制御に使用するゲイン量が基準値以上である場合には、前記応答速度を補うためのゲイン処理の制御に使用するゲイン量が基準値未満である場合よりも、前記露出制御手段が前記ゲイン処理の制御に使用するゲイン量に対する前記ノイズ低減処理の強度を下げることを特徴とする請求項６に記載の撮像装置。
9. 前記露出制御手段は、
   前記画像信号のレベルまたは外部からの指示を基に目標露出値を設定し、
   前記目標露出値に応じて、前記露出制御に用いる露出パラメータを制御し、
   前記露出パラメータには、前記画像信号に対するゲイン処理で用いるゲイン量を示すパラメータが含まれることを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 前記強度制御手段は、前記露出制御手段において前記画像信号のレベルを基に前記目標露出値が設定される場合と、前記外部からの指示を基に前記目標露出値が設定される場合とで、前記ノイズ低減処理の強度の制御の切り替えを行うか行わないかを更に切り替えることを特徴とする請求項９に記載の撮像装置。
11. 透過光量を変更可能な光学フィルタを有し、
    前記露出制御手段が行う前記露出制御は、前記光学フィルタを透過する光量の制御を含み、前記光学フィルタを透過する光量の制御を行う場合に、前記露出制御の応答速度を補うためのゲイン処理も行われることを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
12. 前記強度制御手段は、前記画像信号のレベルの変化が所定の閾値より大きい場合には、前記ノイズ低減処理の強度の制御の切り替えを行わないことを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。
13. 露出制御を行う露出制御工程と、
    画像信号に対してゲイン処理を行うゲイン処理工程と、
    前記画像信号に対してノイズ低減処理を行うノイズ低減工程と、
    前記画像信号に対する前記ノイズ低減処理の強度を制御する強度制御工程と、を有し、
    前記露出制御工程による前記露出制御は、前記ゲイン処理工程による前記ゲイン処理の制御を含み、前記制御される前記ゲイン処理には前記露出制御の応答速度を補うためのゲイン処理が含まれ、
    前記強度制御工程では、前記応答速度を補うためのゲイン処理を行う状態であるか否か、および、前記応答速度を補うためのゲイン処理の制御に使用するゲイン量の、少なくともいずれかに応じて、前記ノイズ低減処理の強度の制御を切り替えることを特徴とする撮像装置の制御方法。
14. 撮像装置が有するコンピュータを、請求項１から１２のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images