JP2016046610A

JP2016046610A - 撮像装置

Info

Publication number: JP2016046610A
Application number: JP2014168031A
Authority: JP
Inventors: 寺山　公太; Kimita Terayama; 公太寺山
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2014-08-21
Filing date: 2014-08-21
Publication date: 2016-04-04

Abstract

【課題】撮像装置を構成する撮像素子や信号処理回路などの個体差によりノイズ量がばらつく問題を改善すること。
【解決手段】被写体像を撮像および現像処理し撮影画像を得る撮像手段と、撮影画像から所定の被写体を認識し被写体領域を出力する被写体認識手段と、前記被写体領域情報より撮影画像の所定領域を対象領域としてノイズ量を学習するノイズ量学習手段とを備え、学習したノイズ量があらかじめ設定された目標ノイズ量と一致するように、撮像手段の現像パラメータを変更する。
【選択図】図１

Description

本発明は、撮影画像のノイズ量を適切に低減するノイズリダクション設定を行う撮像装置及びその制御方法に関する。

撮影画像のノイズ量を低減する方法として、デジタルカメラなどの撮像装置においては、主に撮影感度などの撮影条件に応じて、ノイズリダクション処理の強度を設定する方法が一般的に知られている。しかし、撮影画像のノイズ量は撮像装置を構成する撮像素子や信号処理回路などの個体差により異なるため、撮像装置の個体ごとに撮影画像のノイズ量を適切に低減することは、この方法ではできなかった。

特許文献１では、撮像装置の個体ごとに撮影画像のノイズ量を適切に低減する方法として、取得した無彩色画像からノイズ量を算出して予め定められた基準ノイズ量と比較することにより、画像に施すノイズ低減処理の強度パラメータを決定する方法が開示されている。

特開２０１０−１３０６２７号公報

前記特許文献１では、取得した無彩色画像からノイズ量を算出して予め定められた基準ノイズ量と比較することにより、画像に施すノイズ低減処理の強度パラメータを決定するため、撮像装置の個体ごとに撮影画像のノイズ量を適切に低減することを可能としている。

しかしながら、比較のための無彩色画像を何らかの方法で取得する必要があり、ユーザー自身が撮影する手間を強いられる、あるいは撮像装置の起動時や被写体画像の撮影直後などに遮光状態で黒画像を撮影するなど、撮像装置のレスポンス面での使い勝手を損ねる、などの問題がある。また、撮影画像のノイズ量は撮影時の装置の温度により変動するため、撮影画像の撮影条件に近い状態で無彩色画像を撮影する必要があるなどの難しさがある。

そこで、本発明の目的は、ユーザーが特に意識することなく一般的なシーンを撮影するだけで、撮影画像のノイズ量を撮像装置の個体ごとに適切に低減する撮像装置を提供することにある。

前述の課題を解決するために本発明の撮像装置は、
被写体像を撮像および現像処理し撮影画像を得る撮像手段と、撮影画像から所定の被写体を認識し被写体領域情報を出力する被写体認識手段と、前記被写体領域情報より撮影画像の所定領域を対象領域としてノイズ量を学習するノイズ量学習手段とを備え、学習したノイズ量があらかじめ設定された目標ノイズ量と一致するように、撮像手段の現像パラメータを変更することを特徴とする。

本発明の撮像装置によれば、ユーザーが特に意識することなく一般的なシーンを撮影するだけで、撮影画像のノイズ量を撮像装置の個体ごとに適切に低減することが可能となる。

本実施形態の撮像装置の概略構成を示す図である。図１におけるデジタル信号処理部の構成を示す図である。本実施形態の撮影装置の撮影動作のフローチャート図である。図３における撮影のサブルーチンのフローチャート図である。ノイズ量テーブルおよび被写体領域情報の一例を示す図である。

以下、本発明の実施形態について図面を参照しながら説明する。

図１は本発明の実施形態を適用した撮像装置の概略構成を示す図である。本実施形態の撮像装置は光学系１０１より入射した光を固体撮像素子上に結像させることで被写体を撮像する。光学系制御部１０２は、前記光学系１０１の露出やズーム、フォーカス、光学式ブレ補正等を制御する。固体撮像素子１０３は、結像させた光学像を電気信号に変換する。撮像系制御部１０４は、前記固体撮像素子１０３を駆動するための制御系である。アナログ信号処理部１０５は、前記固体撮像素子１０３の出力にクランプ、ゲインをかける等の処理を行う。

アナログ／デジタル（Ａ／Ｄ）変換部１０６はアナログ信号からデジタル信号にＡ／Ｄ変換を行い、デジタル信号処理部１０７は前記Ａ／Ｄ変換されたデジタル画像データの現像処理を行って出力画像データを生成する。内部記憶部１０８は、前記デジタル信号処理部１０７にて出力画像データを生成する際の画像データや、ライブ画像を表示する電子ビューファインダ（以下ＥＶＦと記す）動作用の画像データなどを一時的に格納する。また後述する被写体認識部１１１により、認識された被写体領域情報など、各種演算データの一時記憶用途でも使用される。

インターフェース（Ｉ／Ｆ）部１０９は、生成された出力画像データを最終的に保存するための外部記録装置とつながっている。画像表示部１１０は、ＥＶＦ動作の表示機能を備え、ライブ画像のほか撮像装置の各種設定情報などを表示する。

被写体認識部１１１は、前記デジタル信号処理１０７にて現像処理された撮影画像について被写体認識を行い、認識された被写体領域情報を出力する。被写体認識の方法については、例えば画像の特徴点を抽出してその位置をテンプレートと比較する方法や、画像をブロック分割して各ブロックの周波数特性や色相を求めその構成を解析する方法など、公知の方法を用いればよい。

本実施例において被写体認識の対象とする被写体領域は、空、木、草、山、人物の顔、人物とする。また、ノイズ量算出用に所定のチャートを被写体認識の対象として加える。

システム制御部１１２は、後述する撮影動作のフローチャートに従って前記光学系制御部１０２や前記撮像系制御部１０４を制御し、その制御情報を前記デジタル信号処理部１０７に提供するなど、システム全体の制御を行う。なお、１１３は撮影スタンバイ動作を行うためのスイッチ（以下ＳＷ１と記す）、１１４はＳＷ１の操作後、撮影を行う撮影スイッチ（以下ＳＷ２と記す）、１１５はシステムに電源を投入するためのメインスイッチ（以下メインＳＷと記す）である。

図２は、図１におけるデジタル信号処理部１０７の構成の一例を示す図である。現像パラメータ設定部２０１は、前記システム制御部１１２より撮影条件情報や撮影時設定を取得し、それに応じて最適な現像処理を行うための現像パラメータを設定する。現像処理部２０２は、前記現像パラメータ設定部２０１で設定された現像パラメータを用いて現像処理を行い、出力画像データを生成する。画像圧縮部２０３は前記現像処理された出力画像データを圧縮処理し、インターフェース部１０９を介して外部記録装置に保存する。

本実施形態の撮像装置は、光学系１０１から現像処理部２０２までを含めて撮像手段とし、前記現像処理部２０２の出力画像データを単独、または連続して複数フレーム記録することで静止画及び動画を撮影可能としている。

さらに、ノイズ量学習部２０４は、ノイズ量算出部２０５、ノイズ量記録部２０６、目標ノイズ量記録部２０７、ノイズ量比較部２０８から構成され、前記ノイズ量学習部２０４は必要に応じて内部記憶部１０８を一時記憶用途で使用する。また、現像パラメータ設定部２０１は、ノイズ量比較部２０８によるノイズ量比較結果により現像パラメータを変更することが可能な構成となっている。

図３は、本発明の実施例を適用した撮像装置の撮影動作を表すフローチャート図である。まず、ステップＳ３０１ではシステムに電源を投入するメインＳＷの状態を検出し、ＯＮであればステップＳ３０２へ進む。ステップＳ３０２ではインターフェース部１０９を介した外部記録装置の残容量を調べ、残容量が０であればステップＳ３０３へ進み、そうでなければステップＳ３０４へ進む。ステップＳ３０３では前記残容量が０であることを警告してステップＳ３０１に戻る。警告は画像表示部１１０に表示するか又は図示しない音声出力部から警告音を出すか、又はその両方を行ってもよい。

ステップＳ３０４では、撮像手段から出力されたライブ画像を画像表示部１１０に表示するＥＶＦ動作を行うと同時に、被写体認識部１１１においてライブ画像から被写体認識を行う。ここで、所定の被写体領域や所定のチャートが認識された場合には、認識された被写体領域情報を内部記憶部１０８に記憶し、所定の被写体領域や所定のチャートが認識されなかった場合には、内部記憶部１０８に記憶されている直前の被写体領域情報を消去する。

ステップＳ３０５ではスイッチＳＷ１の状態を調べ、ＯＮであればステップＳ３０７へ進み、そうでなければステップＳ３０６へ進む。ここでＳＷ１の機能は、ＡＦやＡＥなどの撮影スタンバイ動作を行うことである。ステップＳ３０６ではメインＳＷの状態を調べ、ＯＮであればステップＳ３０４へ、そうでなければステップＳ３０１へ進む。ステップＳ３０７では光学系制御部１０２を介して露出を制御してＡＥ処理を行い、ステップＳ３０８では光学制御系１０２を介してフォーカスレンズを制御してＡＦ処理を行う。

前記撮影スタンバイ動作を済ませた後のステップＳ３０９は、ＳＷ２のＯＮによる撮影動作スタート前準備状態であり、撮像手段から出力されたライブ画像を画像表示部１１０に表示して、撮影者のＳＷ２操作を待つ。さらに、ステップＳ３０４と同様に、被写体認識部１１１においてライブ画像から被写体認識を行って、所定の被写体領域や所定のチャートが認識された場合には、認識された被写体領域情報を内部記憶部１０８に記憶し、所定の被写体領域や所定のチャートが認識されなかった場合には、内部記憶部１０８に記憶されている直前の被写体領域情報を消去する。このようにして、撮影直前まで被写体認識処理を行う。

ステップＳ３１０ではＳＷ２の状態を調べ、ＯＮであればステップＳ３１２へ、そうでなければステップＳ３１１へ進む。ここに、ＳＷ２の機能はＳＷ１の操作後撮影動作を開始することである。ステップＳ３１１ではＳＷ１の状態を調べ、ＯＮであればステップＳ３０９へ戻り、そうでなければステップＳ３０４へ戻る。ステップＳ３１２では後述する図４のフローチャートにしたがって撮影動作を行う。ステップＳ３１３ではインターフェース部１０９を介した外部記録装置の残容量を調べ、前記残容量が０であればステップＳ３０３へ進み、そうでなければステップＳ３１４へ進む。ステップＳ３１４ではＳＷ２の状態を調べ、ＯＮでなければステップＳ３１１へ進む。

図４は、図３のフローチャートにおける撮影のサブルーチンのフローチャート図である。本フローチャートは、ライブ画像および記録用画像のノイズ量を学習可能なノイズ量学習部２０４により、あらかじめ設定された目標ノイズ量と一致するように、撮像手段の現像パラメータを変更して現像する処理のフローを示す。

また、図５にノイズ量テーブルの例と被写体認識部１１１が認識した被写体領域情報の例を示す。なお、前記被写体領域情報の例の図については、参考例として、得られた被写体領域情報に対するノイズ算出領域設定例もあわせて示した。本実施例では、ノイズ算出領域は、被写体領域情報に対してではなく、ノイズ量算出対象画像に設定する。

図５ａ）に示すノイズ量テーブルについて説明する。ノイズ量テーブルは６つの輝度レベル別のノイズ量を撮影感度別に記録するものである。撮像装置の設計時に目標ノイズ量記録部２０７に記録される目標ノイズ量を目標ノイズ量テーブルとして、またノイズ量記録部２０６に学習されていく算出ノイズ量を学習ノイズ量テーブルとして、前記ノイズ量テーブルの形式に揃えて記録することで、撮影条件別かつ輝度レベル別にノイズ量の比較が可能となる。記録するノイズ量としては、標準偏差、分散、最大値と最小値との差、高周波成分の大きさの何れかとする。以下の本実施例ではノイズ量として標準偏差を扱うものとするが、標準偏差算出のため、ノイズ量を算出した回数も同時に記録する。

以下、図４のフローチャート図について、被写体認識部１１１により認識された所定の被写体領域が空であった場合として具体的に説明する。被写体認識部１１１により所定のチャートが認識された場合は、ノイズ算出領域設定が少し異なるため、別途説明する。図５ｂ）と図５ｃ）にそれぞれの該当シーン例と被写体領域情報の例を示す。

ステップＳ４０１では、図３のフローチャートにおけるステップＳ３０４またはステップＳ３０９のＥＶＦ動作にて、被写体認識部１１１によりライブ画像から認識された被写体領域情報が内部記憶部１０８に記憶されているかを調べる。内部記憶部１０８に被写体領域情報が記憶されており被写体認識ＯＫであればステップＳ４０２へ進み、被写体領域情報が記憶されておらず被写体認識ＯＫでなければステップＳ４０５へ進む。

ステップＳ４０２では、内部記憶部１０８より被写体認識部１１１が出力した被写体領域情報を読み出し、ノイズ算出領域を設定する。図５ｂ）に示すように被写体領域情報は認識された空の領域は白、その他の領域は黒で表現され、ノイズ量算出部２０５は空の領域を複数の領域に分割し、ノイズ量学習対象である撮影動作開始直前のライブ画像にノイズ算出領域を設定する。

ここで、所定像高より像高の高い領域では主に光学系に起因した周辺光量落ちが発生する場合があり、小さな領域内でも輝度差が大きくなる問題や、周辺光量落ち対策のため画像信号がゲインアップされ結果として該領域のノイズが大きくなる問題がある。このため本実施例では、例えば像高８割などの所定像高より像高の高い領域はノイズ学習領域としては不適と判断し、ノイズ算出領域を設定しない。

ステップＳ４０３では、ノイズ量算出部２０５にて、ステップＳ４０２で設定した複数の各ノイズ算出領域について、ノイズ量と輝度レベルを算出する。

ステップＳ４０４では、ステップＳ４０３で算出した算出ノイズ量を、ノイズ量記録部２０６にて学習する。具体的には、例えばシステム制御部１１２より得た撮影動作開始直前のライブ画像の撮影感度がｉｓｏ２００であった場合は、各ノイズ算出領域で算出された輝度レベルが前記学習ノイズ量テーブルＬｖ１からＬｖ６のどの輝度レベルに相当するか調べ、対応するｌ２１からｌ２６の前記学習ノイズ量テーブルの標準偏差を更新する。

また、ノイズ算出領域内の輝度レベルの最大値最小値の差が所定量以上であった場合には、鳥など空以外の物体の写りこみや、日当たりで明暗差のある雲の領域である可能性が高いため、ノイズ学習対象領域から除外する。さらに、前記学習ノイズ量テーブルのＬｖ６より低輝度であったノイズ算出領域については、ノイズ学習対象領域から除外する。これは星空画像を遮光状態での暗黒画像としてノイズ量を学習してしまう問題を避けるためである。

ステップＳ４０５では、目標ノイズ量記録部２０７は前記目標ノイズ量テーブルを読み出し、ノイズ量比較部２０８はシステム制御部１１２より撮影前スタンバイ動作によって決定された記録画像撮影条件を取得し、ノイズ量記録部２０７より撮影条件に合致する前記学習ノイズ量テーブルの標準偏差を、前記目標ノイズ量テーブルの標準偏差と比較し、現像パラメータを設定する。

撮影感度がｉｓｏ４００であった場合の具体的な比較方法を説明する。図５ａ）の学習ノイズ量テーブルより学習ノイズ量であるｌ３１からｌ３６の標準偏差を読み出し、同目標ノイズ量テーブルのｔ３１からｔ３６と比較する。比較の結果、所定の誤差範囲内であれば現像パラメータ設定部２０１は撮影感度ｉｓｏ４００用に最適化された現像パラメータを設定する。一方で比較の結果、前記学習ノイズ量の標準偏差が大きく設計目標よりノイズ量が大きい場合には、より高感度のｉｓｏ８００の目標ノイズ量テーブルと再度比較し、前記学習ノイズ量が小さければ、撮影感度ｉｓｏ４００用の現像パラメータと撮影感度ｉｓｏ８００用の現像パラメータより最適な現像パラメータを補間演算などにより設定する。また輝度レベル別にノイズ量を比較することが可能であるので、輝度レベル別に設定可能な現像パラメータを個別に変更して設定することも可能である。

ステップＳ４０６では、ステップＳ４０５で設定された現像パラメータを用いて現像処理部２０２にて現像処理を行う。

ステップＳ４０７では、ステップＳ４０６で現像処理された現像画像について、被写体認識部１１１により被写体認識を行う。ここで、所定の被写体領域や所定のチャートが認識された場合には、認識された被写体領域情報を内部記憶部１０８に記憶し、所定の被写体領域や所定のチャートが認識されなかった場合には、内部記憶部１０８に記憶されている（ライブ画像の）被写体領域情報を消去する。

ステップＳ４０８では、ステップＳ４０７にて被写体認識部１１１により現像画像から認識された被写体領域情報が内部記憶部１０８に記憶されているかを調べる。内部記憶部１０８に被写体領域情報が記憶されており被写体認識ＯＫであればステップＳ４０９へ進み、被写体領域情報が記憶されておらず被写体認識ＯＫでなければステップＳ４１２へ進む。

ステップＳ４０９からステップＳ４１１で行われる処理は、ステップＳ４０２からステップＳ４０４でライブ画像に対して行ったノイズ量学習の処理をステップＳ４０６で現像された記録用画像に対して処理する内容で、ほぼ同じ処理であるため省略する。注意点としては、ライブ画像と記録用画像では撮像素子からの読み出しが異なり、画像サイズやベース感度が異なる場合である。この場合には、ライブ画像と記録用画像で目標ノイズ量テーブルおよび学習ノイズテーブルを別々に用意し、さらにライブ画像と記録用画像のノイズ量を関連付けるなどの対策が必要となる。

ステップＳ４１２では、画像圧縮部２０３にて現像画像を圧縮処理し、インターフェース部１０９を介して外部記録装置に画像を保存する。

続けて、被写体認識部１１１により所定のチャートが認識された場合について、ステップＳ４０２におけるノイズ算出領域設定について説明する。ステップＳ４０２では、内部記憶部１０８より被写体認識部１１１が出力した被写体領域情報を読み出し、ノイズ算出領域を設定する。図５ｃ）に示すように被写体領域情報は認識された所定のチャートについては各パッチ領域を明示的に表し、所定チャート以外の領域は黒で表現され、ノイズ量算出部２０５は認識されたチャートの所定パッチ領域に対して、ノイズ量学習対象である撮影動作開始直前のライブ画像にノイズ算出領域を設定する。ここでノイズ算出領域を設定する前記所定パッチは、適正露出で撮影されていればノイズ量テーブルで設定される各輝度レベルに対応した輝度のパッチであり、前記学習ノイズ量テーブルの学習をより容易にするものである。

本実施形態では、現像処理後の画像よりノイズ量の学習を行っているため、現像処理で設定されたＷＢ係数により算出するノイズ量の値は影響を受ける。例えば一般的なＲＧＢのカラーフィルタをベイヤー配列で備えた個体撮像素子を搭載した撮像装置では、Ａ光光源下におけるＡｕｔｏＷＢ設定でＢ信号のＷＢ係数が大きく設定されるため、ノイズが大きめに出る傾向がある。その他ＭａｎｕａｌＷＢ設定での撮影も考慮し、現像時のＷＢ係数が所定の設定範囲から外れる画像については、ノイズ学習対象としない構成としてもよい。

また、本実施形態では空領域を含む画像がある程度頻繁に撮影されないと、ノイズ量を適切に低減する効果を発揮できないため、例えば風景モードなど空を撮影する頻度が高い所定のモードにおいてのみ、ノイズ量を学習し適切な現像パラメータを設定する構成としてもよい。また空を誤検出してノイズ量を学習することは好ましくないため、例えばパーティーモードなど屋内で使われ空を撮影する頻度が低い所定のモードにおいては、ノイズ量を学習し適切な現像パラメータを設定しない構成としてもよい。

以上説明したように本発明を適用した撮像装置によれば、撮影画像の所定領域を対象領域としてノイズ量を学習して、あらかじめ設定された目標ノイズ量と一致するように、撮像手段の現像パラメータを変更することで、撮影画像のノイズ量を撮像装置の個体ごとに適切に低減することが可能となる。

１０１光学系、１０２光学系制御部、１０３撮像素子、１０４撮像系制御部、
１０５アナログ信号処理部、１０６Ａ／Ｄ変換部、１０７デジタル信号処理部、
１０８内部記憶部、１０９Ｉ／Ｆ、１１０画像表示部、１１１被写体認識部、
１１２システム制御部、１１３ＳＷ１、１１４ＳＷ２、１１５メインＳＷ

Claims

被写体像を撮像および現像処理し撮影画像を得る撮像手段と、撮影画像から所定の被写体を認識し被写体領域情報を出力する被写体認識手段と、前記被写体領域情報より撮影画像の所定領域を対象領域としてノイズ量を学習するノイズ量学習手段とを備え、学習したノイズ量があらかじめ設定された目標ノイズ量と一致するように、撮像手段の現像パラメータを変更することを特徴とする撮像装置。
前記ノイズ量学習手段においてノイズ量を学習する前記対象領域は、前記被写体認識手段にて空と認識された領域であることを特徴とする請求項１に記載の撮像装置。
前記ノイズ量学習手段においてノイズ量を学習する前記対象領域は、前記被写体認識手段にて所定チャートと認識された領域であることを特徴とする請求項１に記載の撮像装置。
前記ノイズ量学習手段がノイズ量を学習する撮影画像は電子ビューファインダに表示するライブ画像であることを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
前記撮像手段の現像パラメータを変更し現像される撮影画像は記録用の画像であることを特徴とする請求項１乃至請求項４の何れか一項に記載の撮像装置。
前記目標ノイズ量は撮影感度別に設定され、前記ノイズ量学習手段は撮影感度別にノイズ量を学習することを特徴とする請求項１乃至請求項５の何れか一項に記載の撮像装置。
前記ノイズ量学習手段は前記対象領域を複数領域に分割し、各領域の輝度レベル別にノイズ量を学習することを特徴とする請求項１乃至請求項６の何れか一項に記載の撮像装置。
前記ノイズ量学習手段は前記対象領域の輝度レベルが所定輝度レベル以下であった場合にはノイズ量を学習しないことを特徴とする請求項１乃至請求項７の何れか一項に記載の撮像装置。
前記ノイズ量学習手段は所定像高より像高の高い前記対象領域は除外してノイズ量を学習することを特徴とする請求項１乃至請求項８の何れか一項に記載の撮像装置。
前記ノイズ量学習手段は、所定の撮影モードにおいてノイズ量を学習することを特徴とする請求項１乃至請求項９の何れか一項に記載の撮像装置。
前記ノイズ量学習手段が学習するノイズ量は、前記所定領域の画像信号における標準偏差、分散、最大値と最小値との差、高周波成分の大きさの何れかであることを特徴とする請求項１乃至請求項１０の何れか一項に記載の撮像装置。