JP2023161987A - 撮像装置、制御方法、プログラム - Google Patents

Abstract

【課題】記録映像のノイズ特性をシミュレートしたモニタ用映像を生成する。【解決手段】撮像装置は、撮像映像を取得する取得手段と、撮像映像に表示用処理を適用してモニタ用映像を生成して表示出力する出力手段と、撮像映像に記録用処理を適用して記録映像を生成して記録する記録手段と、モニタ用映像の用途が、記録映像のノイズ特性の確認用途であるか否かを判断する判断手段と、を有し、出力手段は、モニタ用映像の用途が記録映像のノイズ特性の確認用途である場合に、表示用処理を、記録映像のノイズ特性をシミュレートする処理に変更してモニタ用映像を生成する。【選択図】図３

Description

本発明は、撮像装置、制御方法、プログラムに関し、特に記録映像のノイズ特性をシミュレートする技術に関する。

撮像素子が撮像した映像信号の出力過程では、信号レベルを調整するためのゲイン（アナログゲイン、デジタルゲイン）が適用される。一方、適用されるゲインが増大することで、出力される映像信号におけるノイズレベルも増大するため、Ｓ／Ｎ比が悪化する。このようなＳ／Ｎ比の悪化を低減すべく、撮像装置には、ノイズリダクション処理によってノイズレベルを低減する機能が備えられている（特許文献１）。

ノイズリダクション処理の効果は、撮像中には、撮像装置が有する表示装置や撮像装置に接続された外部の表示装置に処理後の映像信号（モニタ用映像）を表示することによって、ユーザに目視で確認させることが可能である。

特開２０１９－０９６２２２号公報

ところで、撮像装置で記録される映像信号（以下、記録映像として言及）に表れるノイズ特性は、撮像中にユーザがモニタ用映像にて目視で確認したノイズ特性と異なる場合がある。これは例えば、モニタ用映像が表示される表示装置の解像度が記録映像の解像度と異なることや、記録処理の過程で適用される種々の処理によってＳ／Ｎ比が変化し得ること等、種々の条件によって引き起こされる。従って、ユーザの撮像中に想定していたノイズ特性と異なる映像が記録される可能性があった。

本発明は、上述の問題点に鑑みてなされたものであり、記録映像のノイズ特性をシミュレートしたモニタ用映像を生成する撮像装置、制御方法、プログラムを提供することを目的とする。

前述の目的を達成するために、本発明の撮像装置は、撮像映像を取得する取得手段と、撮像映像に表示用処理を適用してモニタ用映像を生成して表示出力する出力手段と、撮像映像に記録用処理を適用して記録映像を生成して記録する記録手段と、モニタ用映像の用途が、記録映像のノイズ特性の確認用途であるか否かを判断する判断手段と、を有し、出力手段は、モニタ用映像の用途が記録映像のノイズ特性の確認用途である場合に、表示用処理を、記録映像のノイズ特性をシミュレートする処理に変更してモニタ用映像を生成することを特徴とする。

このような構成により本発明によれば、記録映像のノイズ特性をシミュレートしたモニタ用映像を生成することが可能となる。

本発明の実施形態及び変形例に係るデジタルカメラ１００の機能構成を示したブロック図 本発明の実施形態１に係るノイズ特性の変化を説明するための図 本発明の実施形態１に係るデジタルカメラ１００で実行される生成処理を例示したフローチャート 本発明の実施形態１に係る、記録映像のノイズ特性をシミュレートしたモニタ用映像を説明するための図 本発明の実施形態２に係るノイズ特性の変化を説明するための図 本発明の実施形態２に係るデジタルカメラ１００で実行される生成処理を例示したフローチャート 本発明の実施形態３に係るデジタルカメラ１００で実行される生成処理を例示したフローチャート

［実施形態］
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

以下に説明する一実施形態は、撮像装置の一例としての、撮像により得られた映像信号の記録と撮像中のモニタ用の映像信号出力が可能なデジタルカメラに、本発明を適用した例を説明する。しかし、本発明は、撮像中の映像信号を記録する際のノイズ特性をシミュレートした映像信号を生成することが可能な任意の機器に適用可能である。

また本明細書では、便宜上、次の文言を用いて各種映像信号を識別する。まず「撮像映像」とは、撮像によって撮像素子から出力された映像信号に対して、現像に係る所定の画像処理を適用して出力される映像信号を指すものとする。ここで、現像に係る所定の画像処理には、ゲインを適用する処理と、これに伴うＳ／Ｎ比の悪化を低減するためのノイズリダクション処理が含まれるものとする。また「モニタ用映像」とは、撮像中に撮像映像の状態を確認する（モニタする）ために、撮像映像に対して、表示に必要な処理（表示用処理）をさらに適用して出力される映像信号を指すものとする。対して、「記録映像」とは、撮像映像に対して、記録に必要な画像処理（記録用処理）をさらに適用して出力される映像信号を指すものとする。一般的に、撮像と表示との同時性が要求されるというモニタ用映像の特性上、表示用処理とは記録用処理とは異なる。一態様では、表示用処理は、記録用処理よりも処理時間が短い、あるいは演算負荷が低い処理であってよい。また「映像信号」とは、画像信号（画像データ）もしくは一連の画像信号（画像シーケンス）を指し、静止画像、動画像を限定するものではない。なお、映像信号は、以下の説明において、画像信号や画像データと読み替えて言及する場合がある。

《デジタルカメラ１００の機能構成》
図１は、本実施形態に係るデジタルカメラ１００の機能構成を示したブロック図である。図示される態様では、デジタルカメラ１００はレンズ交換式の撮像装置であり、交換レンズ１０１がデジタルカメラ１００と分離して示されている。デジタルカメラ１００内に示したブロックは、基本的にはデジタルカメラ１００の筐体内に内蔵されるハードウェアとして実現されるが、表示部１０７及び外部出力部１２１は、筐体表面（外側）に設けられるものとする。

なお、各ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよいし、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。

交換レンズ１０１は、デジタルカメラ１００に着脱可能な、複数のレンズ群からなる撮像光学系であり、フォーカスレンズ、ズームレンズ、シフトレンズを内部に備えるほか、絞りを含む。なお、デジタルカメラ１００に着脱可能な交換レンズ１０１ではなく、デジタルカメラ１００と一体的に構成されたレンズであってもよい。

ＮＤフィルタ１０３（光透過率可変素子）は、交換レンズ１０１に備えられた絞りとは別に、入射光量を調整するためにデジタルカメラに設けられたものである。

撮像素子１０２は、それぞれが光電変換素子を有する複数の画素が二次元状に配列された画素部を有する。撮像素子１０２は、交換レンズ１０１により結像された被写体光学像を各画素で光電変換し、アナログゲイン回路によってゲイン制御を行い、さらにＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位の画像信号（ＲＡＷ画像データ）を出力する。

画像処理部１１８は、撮像素子１０２から出力された撮像映像に対し、各種の画像処理を適用する。画像処理部１１８は、撮像素子１０２に起因するレベル差を補正する画像処理を行う。例えば、撮像素子１０２の画素部が遮光されたＯＢ領域を有する場合、ＯＢ領域の画素の画像信号を用いて遮光されていない有効領域の画素の画像信号のレベルを補正したり、欠陥画素の画像信号を周囲の画素の画像信号を用いて補正したりする。また、周辺光量落ちに対する補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、デモザイク、圧縮といった処理や、デジタルゲイン処理を行う。

画像処理部１１８は、撮像素子１０２から入力されたＲＡＷ画像データに対して上記処理を行うと、補正した画像データを各部へ出力する。メモリ１１７は、不揮発性メモリであり、画像データを一時的に記憶する記憶領域や、画像処理部１１８が行う各種の画像処理の作業領域として用いられてよい。

本体制御部１１９は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、ＣＰＵが、ＲＯＭに格納されたプログラムをＲＡＭの作業領域に展開し、実行することにより、デジタルカメラ１００の全体の動作を制御する。また、本体制御部１１９は、当該プログラムを実行することで、後述する本実施形態の各処理を実現する。ＲＡＭは、本体制御部１１９の動作用の定数、変数、ＲＯＭから読み出したプログラム等を展開するために用いられる。

記録媒体Ｉ／Ｆ部１０４は、記録媒体１０５とデジタルカメラ１００とのインタフェースであり、記録媒体１０５に対して、画像処理部１１８から入力された画像データ（記録映像）の書き込みや、記録した画像データの読み出しを制御する。記録媒体１０５は、記録映像を含むデータを記録するための半導体メモリ等で構成される記憶装置である。記録媒体１０５は、デジタルカメラ１００に内蔵される記憶装置であってもよいし、デジタルカメラ１００（記録媒体Ｉ／Ｆ部１０４）に着脱可能に接続される記憶装置であってもよい。

表示用Ｉ／Ｆ部１０６は、画像処理部１１８から出力された画像データ、及びＧＰＵ１１５がＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）に描画した文字列や図形等の画像データに対して、重畳合成やリサイズ処理等を行い、表示部１０７に出力する。表示部１０７は、表示用Ｉ／Ｆ部１０６から出力された画像データ（モニタ用映像）を表示するディスプレイやファインダ等である。表示部１０７にモニタ用映像が表示されることで、ノイズ特性を含む撮像映像の状態の確認をユーザに可能ならしめる。

ＧＰＵ１１５は、デジタルカメラ１００の各種情報表示やメニュー画面をＶＲＡＭに描画するレンダリングエンジンである。文字列や図形等の描画機能のほか、拡大縮小描画機能や、回転描画機能、レイヤ合成機能を備えている。ＶＲＡＭに描画された文字列や図形等の画像データは透過度を表すアルファチャネルを備えており、表示用Ｉ／Ｆ部１０６によって映像上にオンスクリーン表示することができる。

以下に説明するゲイン制御部１０９、シャッタ制御部１１０、ＮＤ制御部１１１及び絞り制御部１１２は、いずれも露出制御のためのブロックである。画像処理部１１８から出力された画像データの輝度レベルを本体制御部１１９において導出した結果に基づいて、あるいはユーザがマニュアル設定した動作パラメータに基づいて、本体制御部１１９によってこれらの制御部の制御が行われる。ゲイン制御部１０９は、撮像素子１０２のゲイン（アナログゲイン）を制御する。シャッタ制御部１１０は、撮像素子１０２のシャッタスピードを制御する。ＮＤ制御部１１１は、ＮＤフィルタ１０３を介して撮像素子１０２に入射する光量を制御する。絞り制御部１１２は、交換レンズ１０１の絞りを制御する。

フォーカス制御部１１３は、本体制御部１１９で保持されるフォーカス駆動状態がＡＦ（オートフォーカス）かＭＦ（マニュアルフォーカス）かによって異なる動作を行う。ＭＦのときは、フォーカス制御部１１３は制御を停止する。この場合、撮影者が交換レンズ１０１に組み込まれた不図示のフォーカスリングを回転させることによって、任意のフォーカス調整を行うことができる。ＡＦのときは、画像処理部１１８から出力された画像データを参照して本体制御部１１９が合焦情報を導出し、それをもとにフォーカス制御部１１３が交換レンズ１０１内部のフォーカスレンズを制御する。本体制御部１１９で画像データの部分領域にＡＦ枠を設定し、ＡＦ枠内の被写体のみに基づいて合焦情報を導出することもできる。

防振制御部１１４は、像振れを相殺するように交換レンズ１０１内部のシフトレンズを制御する光学式防振処理を行う。

外部出力用Ｉ／Ｆ部１２０は、画像処理部１１８から出力された画像データにリサイズ処理を行う。また、外部出力部１２１の規格に適した信号変換及び制御信号の付与を行い、外部出力部１２１に出力する。外部出力部１２１は、外部出力用Ｉ／Ｆ部１２０から出力された画像データ（モニタ用映像）を外部に出力する端子であり、例えばＳＤＩ端子やＨＤＭＩ（登録商標）端子である。外部出力部１２１には、例えば、外部の表示装置や記憶装置を接続することができる。外部出力部１２１に表示装置が接続される場合、当該表示装置にてモニタ用映像が表示されることで、ノイズ特性を含む撮像映像の状態の確認をユーザに可能ならしめる。

外部操作用Ｉ／Ｆ部１２２は、外部操作部１２３による制御指示を受信し、本体制御部１１９へ通知するインタフェースである。外部操作用Ｉ／Ｆ部１２２は、例えば、赤外線リモコン受光部や、無線ＬＡＮインタフェースや、ＬＡＮＣ（登録商標）が相当する。外部操作部１２３は、外部操作用Ｉ／Ｆ部１２２に対して制御指示を送信する。これにより、外部操作部１２３から、デジタルカメラ１００や交換レンズ１０１に組み込まれた各種操作に相当する指示や、表示部１０７で表示するメニュー画面における設定変更情報を送信することができる。

操作部１２４は、キー（ボタン）やダイヤル、タクトスイッチ、リング等の操作部材からなる。いずれも撮影者の操作入力を受けつけ、本体制御部１１９に対して制御指示を通知する役割を担っている。これらの操作部材の一部は、メニュー画面を介した機器設定において、操作部材に割り当てる役割を入れ替えたり、別の機能を割り当てたりすることも可能である。

《モニタ用映像の生成》
次に、本実施形態のデジタルカメラ１００において行われる、記録映像のノイズ特性をシミュレートしたモニタ用映像の生成について説明する。

従来、表示部１０７の表示装置または外部出力部１２１に接続された表示装置の画面解像度が撮像映像の解像度と異なる場合、モニタ用映像は、表示用Ｉ／Ｆ部１０６または外部出力用Ｉ／Ｆ部１２０において撮像映像にリサイズ処理を適用して生成されていた。即ち、モニタ用映像を生成する表示用処理にはリサイズ処理が含まれる場合がある。ここで、リサイズ処理は、画素の間引きや、補間によって新たな信号レベルを導出する工程を含むため、生成されるモニタ用映像は撮像映像と異なるノイズ特性を示し得る。故に、モニタ用映像は、撮像映像に対して記録用処理を適用して生成される記録映像と異なるノイズ特性を示すことがある。より詳しくは、記録用処理において適用されるリサイズ処理と、当該表示用処理において適用されるリサイズ処理と、が異なる処理内容である（異なる倍率を使用する、リサイズ方式が異なる等）場合に、モニタ用映像と記録映像とでノイズ特性が異なり得る。

例えば、表示装置の画面解像度が撮像映像の解像度よりも小さいでは、図２（ａ）に示されるような撮像映像２０１が縮小されて、図２（ｂ）に示されるようなモニタ用映像２０２が生成されて表示される。このとき、撮像映像２０１に表れていたノイズは、モニタ用映像２０２の生成時に、位置が偏ったり、他の画素と混じってレベルが変化したりすることでその状態が変化する。撮像映像２０１の縮小により生成されたモニタ用映像２０２は、比較の観点で撮像映像２０１と同サイズに調整した場合、例えば図２（ｃ）に示されるように撮像映像２０１と異なるノイズ特性を示す。

本実施形態のデジタルカメラ１００では、このようなリサイズ処理に起因したノイズ特性への影響を加味した上で、記録映像と同程度のノイズ特性を示すモニタ用映像を生成してユーザに提示する手法を説明する。より詳しくは、本実施形態のデジタルカメラ１００では、記録映像のノイズ特性の確認用途でモニタ用映像の表示要求がなされている場合に、当該モニタ用映像を、記録映像に表れるノイズ特性をシミュレートした態様に調整する処理が行われる。

〈生成処理〉
以下、本実施形態のデジタルカメラ１００においてモニタ用映像の生成に係り実行される生成処理について、図３のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、本体制御部１１９が、例えばＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行し、各ブロックの動作を制御することにより実現することができる。本生成処理は、例えばモニタ用映像の表示出力要求に係る操作入力が検出された際に開始されるものとして説明する。

なお、本生成処理の実行中、撮像素子１０２は所定の頻度（撮像フレームレート）で撮像を行い、画像処理部１１８は同頻度で撮像映像を出力するものとする。また本実施形態の生成処理では、発明の理解を容易にすべく、表示部１０７にモニタ用映像を表示出力する態様について説明する。従って、本生成処理の実行中、表示部１０７には順次取得された撮像映像に基づいて生成されたモニタ用映像が順次表示され、ライブビュー表示が実現されるものとする。

Ｓ３０１で、本体制御部１１９は、今般生成するモニタ用映像がノイズ特性の確認用途であるか否かを判断する。本ステップの判断は、例えばモニタ用映像の表示出力に係る操作入力を受け付けた操作部材の種類に基づいて行われるものであってもよい。あるいは、判断は、例えばノイズリダクション処理の設定変更を受け付け中や、アナログゲインとデジタルゲインの組み合わせの選択により記録映像のノイズ特性の設定変更を受け付け中である等、デジタルカメラ１００の状態に基づいて行われてもよい。この他、本ステップの判断は、任意の手法に基づいて行われるものであってよい。本体制御部１１９は、生成するモニタ用映像がノイズ特性の確認用途であると判断した場合は処理をＳ３０２に移し、それ以外の用途であると判断した場合は処理をＳ３０４に移す。

Ｓ３０２で、本体制御部１１９は、表示部１０７に係る表示用処理に含まれるリサイズ処理と記録用処理に含まれるリサイズ処理とでリサイズ内容が異なるか否かを判断する。本ステップの判断は、例えば単純にリサイズ処理の拡縮率が異なるか否かに基づいて行われるものであってもよいし、リサイズ処理の処理内容が異なるか否に基づいて行われるものであってもよい。あるいは、判断は、例えば拡縮率の差が閾値を上回るか否かや、リサイズ処理の結果として得られる映像信号におけるノイズ特性を定量化した評価値の差が閾値を上回るか否か等に基づいて行われるものであってよい。後者の態様は、例えばデジタルカメラ１００において記録可能な記録映像の解像度のそれぞれについて、予め複数の露出条件で得られた記録映像のノイズ特性の評価を行い、その評価結果に基づいて統計的な評価値の差がＲＯＭ等に格納されることで実現できる。本体制御部１１９は、表示用処理のリサイズ処理と記録用処理のリサイズ処理とでリサイズ内容が異なると判断した場合は処理をＳ３０３に移し、リサイズ内容が同一である（もしくは、同一とみなす）と判断した場合は処理をＳ３０４に移す。

Ｓ３０３で、表示用Ｉ／Ｆ部１０６は本体制御部１１９の制御の下、現在の記録設定で記録される記録映像と同程度のノイズ特性をシミュレートしたモニタ用映像を生成する。本実施形態の生成処理では、モニタ用映像は、撮像映像に対して記録用処理において適用されるリサイズ処理と同一（もしくは同程度）の拡縮率のリサイズ処理を適用して得られた映像信号を用いて生成される。このとき、記録用処理においてリサイズ処理を適用しない場合には、表示用Ｉ／Ｆ部１０６は、撮像映像にリサイズ処理を適用せずにモニタ用映像を生成する。また表示部１０７の表示画素数が記録映像の画素数よりも小さい（水平画素数及び垂直画素数の少なくともいずれかが小さい）場合、表示用Ｉ／Ｆ部１０６は、映像信号から表示部１０７の表示画素数の領域を切り出すことでモニタ用映像を生成する。

例えば、記録映像が撮像映像と同一の画素数である、即ち、記録用処理においてリサイズ処理が適用されない（記録用処理において適用されるリサイズ処理の拡縮率が１である）場合は、モニタ用映像は図４のように生成される。図４は、表示部１０７の表示画素数が記録映像の画素数（撮像映像の画素数）よりも小さい態様における、撮像映像４０１と本ステップで生成されるモニタ用映像４０２との関係を示している。図示されるように、記録用処理においてリサイズ処理が適用されない場合には、撮像映像４０１から表示部１０７の表示画素数の領域を切り出すことで、モニタ用映像４０２が生成される。

一方、Ｓ３０１においてモニタ用映像がノイズ特性の確認用途でないと判断された場合、またはＳ３０２において表示用処理と記録用処理とでリサイズ内容が同一であると判断された場合、表示用Ｉ／Ｆ部１０６はＳ３０４でモニタ用映像を生成する。本ステップで生成されるモニタ用映像は、ノイズ特性の確認用途ではなく、モニタ用映像の表示出力要求に対して表示部１０７に通常表示出力される映像信号である。従って、表示用Ｉ／Ｆ部１０６は、入力された撮像映像に対して通常の表示用処理を適用することでモニタ用映像を生成する。

Ｓ３０５で、本体制御部１１９は、モニタ用映像の表示出力停止に係る操作入力が検出されたか否かを判断する。本体制御部１１９は、モニタ用映像の表示出力停止に係る操作入力が検出されたと判断した場合は本生成処理を完了し、検出されていないと判断した場合は処理をＳ３０１に戻し、ライブビュー表示の更新後のフレームについて同様の処理を行う。

以上説明したように、本実施形態の撮像装置によれば、記録映像のノイズ特性をシミュレートしたモニタ用映像を生成し、ユーザに確認させることができる。

なお、本実施形態の生成処理では、現在の記録設定で記録される記録映像と同程度のノイズ特性をシミュレートしたモニタ用映像を生成する手法として、図４に示したような切り出しを採用して説明したが、本発明の実施はこれに限られるものではない。即ち、記録映像と同程度のノイズ特性を示すモニタ用映像を生成するものであれば、他の手法を採用しても本発明の実施は可能である。

また上述した生成処理では、撮像映像を拡縮するリサイズ処理によりモニタ用映像を生成する手法を主として説明したが、本発明の実施はこれに限られるものではなく、ラインを間引くリサイズ処理であっても適用可能であることは言うまでもない。

また、本実施形態の生成処理では、表示用Ｉ／Ｆ部１０６が表示部１０７に表示されるモニタ用映像を生成する態様について説明したが、本発明の実施がこれに限られるものでないことは容易に理解されよう。即ち、外部出力部１２１に接続された表示装置を用いてノイズ特性の確認が行われる態様では、外部出力用Ｉ／Ｆ部１２０が同様にモニタ用映像を生成すればよい。あるいは、表示用Ｉ／Ｆ部１０６や外部出力用Ｉ／Ｆ部１２０がモニタ用映像を生成しない態様では、画像処理部１１８がモニタ用映像を生成してもよい。これは以下に示す実施形態及び変形例でも同様である。

［実施形態２］
上述した実施形態では記録映像のノイズ特性をシミュレートしたモニタ用映像を生成する手法として、撮像映像に記録用処理と同様のリサイズ処理を適用し、そのうちから表示装置の表示画素数の領域を切り出す手法を説明した。一方で、モニタ用映像と記録映像とでノイズ特性が異なる要因は、各映像の生成時に適用されるリサイズ処理に限定されるものではない。

記録映像の記録形式（ファイル形式）によっては記録用処理において符号化処理が含まれる。符号化処理の中には、高周波帯域を減少させる処理を含むものも存在し、このような符号化処理が適用された場合、撮像映像中の高周波のノイズが低減されることになる。従って、符号化処理を適用せずに生成されるモニタ用映像と記録映像とに異なるノイズ特性を示すことになる。例えば、情報を圧縮すべく、符号化処理として離散コサイン変換が適用される場合、明るさや色の情報が周波数に変換され、高周波成分と低周波成分に分離した後に、高周波成分を０とみなすことで情報量を低減する情報処理が行われる。従って、例えば撮像映像が図５（ａ）の５０１のようである場合、離散コサイン変換の適用により得られる記録映像は図５（ｂ）の５０２のようになる。ここで、撮像映像５０１に存在していたノイズは、高周波成分がなくなったことで記録映像５０２に示されるように、エッジのぼやけやレベルの変化が生じる。

従って、本実施形態では記録用処理において適用される符号化処理によるノイズ特性の変化を考慮し、当該ノイズ特性をシミュレートしたモニタ用映像を生成する手法について説明する。

《生成処理》
以下、本実施形態のデジタルカメラ１００においてモニタ用映像の生成に係り実行される生成処理について、図６のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、本体制御部１１９が、例えばＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行し、各ブロックの動作を制御することにより実現することができる。本生成処理は、例えばモニタ用映像の表示出力要求に係る操作入力が検出された際に開始されるものとして説明する。

なお、本実施形態の生成処理の説明において、実施形態１の生成処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下では本実施形態に特有の処理を行うステップについてのみ説明する。

Ｓ３０１において、生成するモニタ用映像がノイズ特性の確認用途であると判断した場合、本体制御部１１９はＳ６０１で、現在の記録設定にて行われる記録用処理に符号化処理が含まれるか否かを判断する。ここで、本実施形態では簡易的に、記録用処理に符号化処理が含まれる場合に、記録映像に撮像映像と異なるノイズ特性が表れるものと判断する態様を説明するが、本発明の実施はこれに限られるものではない。詳細には、本体制御部１１９は、ノイズ特性を変化させる符号化処理が記録用処理に含まれるか否かに応じて本ステップの判断を行うものであってもよいことは言うまでもない。あるいは、本ステップの判断は、例えば符号化処理の結果として得られる映像信号（記録映像）におけるノイズ特性の評価値と撮像映像におけるノイズ特性の評価値の差が閾値を上回るか否かに基づいて行われるものであってもよい。本体制御部１１９は、記録用処理に符号化処理が含まれると判断した場合は処理をＳ６０２に移し、含まれないと判断した場合は処理をＳ３０４に移す。

Ｓ６０２で、表示用Ｉ／Ｆ部１０６は本体制御部１１９の制御の下、現在の記録設定で記録される記録映像と同程度のノイズ特性をシミュレートしたモニタ用映像を生成する。本実施形態の生成処理では、モニタ用映像は、撮像映像に対して記録用処理と同一の符号化処理（例えば、離散コサイン変換）を適用して得られた映像信号を復号処理することで生成される。なお、本ステップの処理は、記録映像に適用されるものと同一の符号化処理を適用する手法に限られるものではなく、記録映像と同程度のノイズ特性を示すモニタ用映像を生成できる手法であればどのような手法を採用して行われてもよい。例えば、表示用Ｉ／Ｆ部１０６は、撮像映像に対してローパスフィルタを適用することで高周波成分を除去し、記録映像と同程度のノイズ特性を示すモニタ用映像を生成してもよい。即ち、本ステップで生成されるモニタ用映像は、記録映像と同等のノイズ特性が示されるよう、符号化処理に対応するノイズリダクション処理を撮像映像に適用するものであってよい。

なお、本実施形態では符号化処理の一例として離散コサイン変換を示したが、本発明の実施はこれに限られるものではない。記録用処理において適用される符号化処理は、その他の種類の変換処理を含むものであってよく、モニタ用映像の生成は、当該変換処理によるノイズ特性の変化をシミュレートすることにより行われるものであってよい。

［実施形態３］
上述した実施形態では記録用処理に係るリサイズ処理の設定や符号化処理の設定に基づいて、記録映像のノイズ特性をシミュレートしたモニタ用映像を生成する手法を説明したが、本発明の実施はこれに限られるものではない。例えば、感度設定の変更等、撮像設定の変更によっても記録映像のノイズ特性は変化し得る。本実施形態では、記録映像のノイズ特性が変化し得る撮像設定の変更がなされた場合に、変更後の記録映像のノイズ特性をシミュレートしたモニタ用映像を生成してユーザ確認用に表示する態様を説明する。

《生成処理》
以下、本実施形態のデジタルカメラ１００においてモニタ用映像の生成に係り実行される生成処理について、図７のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、本体制御部１１９が、例えばＲＯＭに記憶されている対応する処理プログラムを読み出し、ＲＡＭに展開して実行し、各ブロックの動作を制御することにより実現することができる。本生成処理は、例えばモニタ用映像の表示出力要求に係る操作入力が検出された際に開始されるものとして説明する。

なお、本実施形態の生成処理の説明において、実施形態１の生成処理と同様の処理を行うステップについては同一の参照番号を付して説明を省略し、以下では本実施形態に特有の処理を行うステップについてのみ説明する。

Ｓ７０１で、本体制御部１１９は、撮像設定の変更がなされたか否かを判断する。本体制御部１１９は、撮像設定の変更がなされたと判断した場合は処理をＳ７０２に移し、なされていないと判断した場合は処理をＳ３０４に移す。

Ｓ７０２で、本体制御部１１９は、なされた撮像設定の変更が記録映像のノイズ特性を変化させ得るものであるか否かを判断する。あるいは、本ステップの判断は、例えば変更された撮像設定において得られる映像信号（記録映像）におけるノイズ特性の評価値と撮像映像におけるノイズ特性の評価値の差が閾値を上回るか否かに基づいて行われるものであってもよい。または、判断は、例えば変更前の撮像設定において得られる映像信号におけるノイズ特性の評価値と変更後の撮像設定において得られる映像信号におけるノイズ特性の評価値の差が閾値を上回るか否かに基づいて行われるものであってもよい。本体制御部１１９は、なされた撮像設定の変更が記録映像のノイズ特性を変化させ得るものであると判断した場合は処理をＳ７０３に移し、変化させないものであると判断した場合は処理をＳ３０４に移す。

Ｓ７０３で、表示用Ｉ／Ｆ部１０６は本体制御部１１９の制御の下、現在の撮像設定で記録される記録映像と同程度のノイズ特性をシミュレートしたモニタ用映像を生成する。本実施形態の生成処理では、モニタ用映像は、変更された撮像設定に対応する画像処理を撮像映像に適用することで生成される。例えば、なされた撮像設定の変更が感度を６ｄＢ上昇させるものであった場合には、表示用Ｉ／Ｆ部１０６は撮像映像に対して６ｄＢのゲインを適用してモニタ用映像を生成する。なお、本ステップの処理は、なされた撮像設定の変更と同一の画像処理を適用する手法に限られるものではなく、設定変更と同程度のノイズ特性の変化を示すようにモニタ用映像を生成できる手法であればどのような手法を採用して行われてもよい。

［変形例１］
上述した実施形態１乃至３では、表示用処理と記録用処理におけるリサイズ処理または符号化処理に起因するノイズ特性の違い、またはノイズ特性を異ならせ得る撮像設定の変更に応じて、ノイズ特性をシミュレートしたモニタ用映像を生成する態様を説明した。しかしながら、これらの実施形態に記載したモニタ用映像のシミュレートに係る処理は、それぞれの実施形態で参照したパラメータのみを参照して独立して行われるものである必要はない。これらの実施形態の一以上は、適宜組み合わせて行われるものであってもよい。即ち、本発明は、撮像映像に対して表示用処理と記録用処理を適用して生成する映像信号間でノイズ特性に差が生じるのであれば適用可能である。即ち、本発明は、撮像映像に対して表示用処理と記録用処理を適用して生成する映像信号間でノイズ特性に差が生じる場合に、前者の処理において記録映像のノイズ特性と差のないモニタ用映像を生成するよう制御するものであればよい。従って、本発明の実施は、映像信号の生成に際してノイズ特性を変化させ得る処理が含まれるものであればよく、例えばＬＵＴを参照して出力ガンマ特性を変更している態様であっても適用することができる。

［変形例２］
上述した実施形態では、ライブビュー表示がノイズ特性の確認用途であるか否かに応じて、記録映像のノイズ特性をシミュレートしたモニタ用映像を生成するか否かを切り替える態様を説明したが、本発明の実施はこれに限られるものではない。例えば、このようなシミュレートしたモニタ用映像は並行して常に生成されており、必要に応じて当該映像を表示可能なよう、表示出力を切り替える態様であってもよい。あるいは、撮像映像に通常の表示用処理を適用して得られるモニタ用映像と、記録映像のノイズ特性をシミュレートしたモニタ用映像とは、例えば表示領域を分割する等して同時に表示されるものであってもよい。

［まとめ］
本明細書の開示は、以下の撮像装置、制御方法及びプログラムを含む。
（項目１）
撮像映像を取得する取得手段と、
前記撮像映像に表示用処理を適用してモニタ用映像を生成して表示出力する出力手段と、
前記撮像映像に記録用処理を適用して記録映像を生成して記録する記録手段と、
前記モニタ用映像の用途が、前記記録映像のノイズ特性の確認用途であるか否かを判断する判断手段と、
を有し、
前記出力手段は、前記モニタ用映像の用途が前記記録映像のノイズ特性の確認用途である場合に、前記表示用処理を、前記記録映像のノイズ特性をシミュレートする処理に変更して前記モニタ用映像を生成することを特徴とする撮像装置。
（項目２）
前記出力手段は、前記モニタ用映像の用途が前記記録映像のノイズ特性の確認用途であり、かつ、前記表示用処理を適用して生成される前記モニタ用映像と前記記録用処理を適用して生成される前記記録映像とのノイズ特性の評価値の差が閾値を上回る場合に、前記表示用処理を前記シミュレートする処理に変更して前記モニタ用映像を生成することを特徴とする項目１に記載の撮像装置。
（項目３）
前記表示用処理は、前記撮像映像を表示画素数の映像にリサイズするリサイズ処理を含み、
前記出力手段は、前記シミュレートする処理において、前記リサイズ処理を適用していない前記撮像映像から前記表示画素数の映像を切り出すことで、前記記録映像のノイズ特性をシミュレートした前記モニタ用映像を生成する
ことを特徴とする項目１または２に記載の撮像装置。
（項目４）
前記表示用処理は、前記撮像映像を表示画素数の映像にリサイズする第１のリサイズ処理を含み、
前記記録用処理は、前記撮像映像を所定の画素数の映像にリサイズする第２のリサイズ処理を含み、
前記出力手段は、前記シミュレートする処理において、前記撮像映像に前記第１のリサイズ処理を適用せずに前記第２のリサイズ処理を適用し、得られた映像から前記表示画素数の映像を切り出すことで、前記記録映像のノイズ特性をシミュレートした前記モニタ用映像を生成する
ことを特徴とする項目１または２に記載の撮像装置。
（項目５）
前記記録用処理は、符号化処理を含み、
前記出力手段は、前記シミュレートする処理において、前記符号化処理に対応する変換処理を前記撮像映像に適用することで、前記記録映像のノイズ特性をシミュレートした前記モニタ用映像を生成する
ことを特徴とする項目１乃至４のいずれか１項に記載の撮像装置。
（項目６）
撮像設定の変更を受け付ける入力手段をさらに有し、
前記出力手段はさらに、前記入力手段により受け付けられた撮像設定の変更が前記記録映像のノイズ特性を変更させるものである場合に、前記表示用処理を、前記記録映像のノイズ特性をシミュレートする処理に変更して前記モニタ用映像を生成する
ことを特徴とする項目１乃至５のいずれか１項に記載の撮像装置。
（項目７）
前記モニタ用映像を表示する表示手段をさらに有することを特徴とする項目１乃至６のいずれか１項に記載の撮像装置。
（項目８）
撮像映像を取得する取得工程と、
前記撮像映像に表示用処理を適用してモニタ用映像を生成して表示出力する出力工程と、
前記撮像映像に記録用処理を適用して記録映像を生成して記録する記録工程と、
前記モニタ用映像の用途が、前記記録映像のノイズ特性の確認用途であるか否かを判断する判断工程と、
を有し、
前記出力工程において、前記モニタ用映像の用途が前記記録映像のノイズ特性の確認用途である場合に、前記表示用処理を、前記記録映像のノイズ特性をシミュレートする処理に変更して前記モニタ用映像が生成されることを特徴とする撮像装置の制御方法。
（項目９）
コンピュータを、項目１乃至７のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００：デジタルカメラ、１０２：撮像素子、１０６：表示用Ｉ／Ｆ部、１０７：表示部、１１８：画像処理部、１１９：本体制御部、１２０：外部出力用Ｉ／Ｆ部、１２１：外部出力部

Claims (9)

1. 撮像映像を取得する取得手段と、
   前記撮像映像に表示用処理を適用してモニタ用映像を生成して表示出力する出力手段と、
   前記撮像映像に記録用処理を適用して記録映像を生成して記録する記録手段と、
   前記モニタ用映像の用途が、前記記録映像のノイズ特性の確認用途であるか否かを判断する判断手段と、
   を有し、
   前記出力手段は、前記モニタ用映像の用途が前記記録映像のノイズ特性の確認用途である場合に、前記表示用処理を、前記記録映像のノイズ特性をシミュレートする処理に変更して前記モニタ用映像を生成することを特徴とする撮像装置。
2. 前記出力手段は、前記モニタ用映像の用途が前記記録映像のノイズ特性の確認用途であり、かつ、前記表示用処理を適用して生成される前記モニタ用映像と前記記録用処理を適用して生成される前記記録映像とのノイズ特性の評価値の差が閾値を上回る場合に、前記表示用処理を前記シミュレートする処理に変更して前記モニタ用映像を生成することを特徴とする請求項１に記載の撮像装置。
3. 前記表示用処理は、前記撮像映像を表示画素数の映像にリサイズするリサイズ処理を含み、
   前記出力手段は、前記シミュレートする処理において、前記リサイズ処理を適用していない前記撮像映像から前記表示画素数の映像を切り出すことで、前記記録映像のノイズ特性をシミュレートした前記モニタ用映像を生成する
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記表示用処理は、前記撮像映像を表示画素数の映像にリサイズする第１のリサイズ処理を含み、
   前記記録用処理は、前記撮像映像を所定の画素数の映像にリサイズする第２のリサイズ処理を含み、
   前記出力手段は、前記シミュレートする処理において、前記撮像映像に前記第１のリサイズ処理を適用せずに前記第２のリサイズ処理を適用し、得られた映像から前記表示画素数の映像を切り出すことで、前記記録映像のノイズ特性をシミュレートした前記モニタ用映像を生成する
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記記録用処理は、符号化処理を含み、
   前記出力手段は、前記シミュレートする処理において、前記符号化処理に対応する変換処理を前記撮像映像に適用することで、前記記録映像のノイズ特性をシミュレートした前記モニタ用映像を生成する
   ことを特徴とする請求項１に記載の撮像装置。
6. 撮像設定の変更を受け付ける入力手段をさらに有し、
   前記出力手段はさらに、前記入力手段により受け付けられた撮像設定の変更が前記記録映像のノイズ特性を変更させるものである場合に、前記表示用処理を、前記記録映像のノイズ特性をシミュレートする処理に変更して前記モニタ用映像を生成する
   ことを特徴とする請求項１に記載の撮像装置。
7. 前記モニタ用映像を表示する表示手段をさらに有することを特徴とする請求項１に記載の撮像装置。
8. 撮像映像を取得する取得工程と、
   前記撮像映像に表示用処理を適用してモニタ用映像を生成して表示出力する出力工程と、
   前記撮像映像に記録用処理を適用して記録映像を生成して記録する記録工程と、
   前記モニタ用映像の用途が、前記記録映像のノイズ特性の確認用途であるか否かを判断する判断工程と、
   を有し、
   前記出力工程において、前記モニタ用映像の用途が前記記録映像のノイズ特性の確認用途である場合に、前記表示用処理を、前記記録映像のノイズ特性をシミュレートする処理に変更して前記モニタ用映像が生成されることを特徴とする撮像装置の制御方法。
9. コンピュータを、請求項１乃至７のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images