JP2023123127A - 電子機器及びその制御方法、プログラム及び記憶媒体 - Google Patents
電子機器及びその制御方法、プログラム及び記憶媒体 Download PDFInfo
- Publication number
- JP2023123127A JP2023123127A JP2022027010A JP2022027010A JP2023123127A JP 2023123127 A JP2023123127 A JP 2023123127A JP 2022027010 A JP2022027010 A JP 2022027010A JP 2022027010 A JP2022027010 A JP 2022027010A JP 2023123127 A JP2023123127 A JP 2023123127A
- Authority
- JP
- Japan
- Prior art keywords
- noise level
- control
- electronic device
- gain
- sensitivity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 83
- 238000003860 storage Methods 0.000 title claims description 4
- 230000035945 sensitivity Effects 0.000 claims abstract description 54
- 238000003384 imaging method Methods 0.000 claims abstract description 31
- 230000008859 change Effects 0.000 claims description 68
- 238000012545 processing Methods 0.000 claims description 44
- 238000006243 chemical reaction Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 10
- 230000009467 reduction Effects 0.000 claims description 7
- 238000002834 transmittance Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000005375 photometry Methods 0.000 claims description 5
- 230000008569 process Effects 0.000 description 67
- 230000000875 corresponding effect Effects 0.000 description 33
- 230000007704 transition Effects 0.000 description 15
- 230000006870 function Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000004043 responsiveness Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- ORQBXQOJMQIAOY-UHFFFAOYSA-N nobelium Chemical compound [No] ORQBXQOJMQIAOY-UHFFFAOYSA-N 0.000 description 1
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/634—Warning indications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/51—Control of the gain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
Abstract
【課題】 制限したいノイズレベルでゲインを制限できるようにすること。【解決手段】 被写体を撮影して画像データを出力する撮像手段と、前記撮像手段の感度を制御する制御手段と、前記画像データに基づいて画像を表示する表示手段と、前記表示手段に表示された画像のノイズに基づいて、許容できるノイズレベルを選択する選択手段と、を有し、前記制御手段は、前記選択されたノイズレベルに基づいて、前記感度を制限する。【選択図】 図3
Description
本発明は電子機器及びその制御方法、プログラム及び記憶媒体に関し、特に、ゲイン増幅時のノイズに対する技術に関する。
撮像装置には、従来、AGC(オートゲインコントロール)リミットという機能がある。これは、ゲイン制御の特徴として、ゲイン増加に伴いノイズも増加することでS/N比が悪化するため、一定以上ノイズを増やさないことを目的として利用されるものである。
図15は、撮像装置におけるゲインによるISO感度とノイズレベルの関係を説明する図である。
図15(a)は、アナログゲイン回路を備えていない撮像装置、すなわちデジタルゲイン回路のみでゲイン制御を行う撮像装置におけるISO感度とノイズレベルの関係を示す。ゲインが増加するのに伴って、ノイズレベルが悪化していく関係になる。
図15(a)は、アナログゲイン回路を備えていない撮像装置、すなわちデジタルゲイン回路のみでゲイン制御を行う撮像装置におけるISO感度とノイズレベルの関係を示す。ゲインが増加するのに伴って、ノイズレベルが悪化していく関係になる。
特許文献1においては、大幅な露出変化によって、画像データにノイズが発生したり、輝度のチラツキが発生したりすることを抑制するために、一度の露出変化量を制限することで解決する手法が開示されている。
一方、撮像装置内にアナログゲイン回路が複数存在する場合、その組み合わせを複数パターン用いることで、可能な限りノイズレベルが低くなるようなゲイン制御を実現している撮像装置も存在している。
図15(b)は、アナログゲイン回路を複数備えた撮像装置におけるISO感度とノイズレベルの関係を示す。デジタルゲインが増加するのに伴って、ノイズレベルが悪化していくが、アナログゲインの切り替わりポイントにおいて、ノイズレベルが改善し、またそこからデジタルゲインの増加に伴ってノイズレベルが悪化する、という関係になる。この例では、ISO1600までが同じアナログゲインを利用し、ISO1600からISO3200までが次のアナログゲイン、さらにISO3200からISO6400まで、ISO6400以上でそれぞれ別のアナログゲインを利用している。
さらに、低感度用と高感度用の2つの基準感度を備えるアナログゲイン回路を利用することで、ゲイン増加に伴うノイズを低減させる機能を備えた撮像装置が一般的に知られている。図15(c)は、アナログゲイン回路が低感度用と高感度用の2つの基準感度を備えた撮像装置におけるゲインとノイズレベルの関係を示す。低感度用と高感度用で別のアナログゲイン回路を利用しつつ、基準感度からのゲイン増加はデジタルゲインのみを利用する。
図15(c)に示すゲインとノイズレベルの関係性として、それぞれの基準感度におけるノイズレベルはほぼ同等であり、基準感度からゲインを増加させた場合のノイズの増加量にも相関があるという特徴がある。この特徴を活かして、映像制作の編集処理において、同程度のノイズレベルの映像、すなわち基準感度からのゲイン増加量が同じ映像に対しては同じNR(ノイズリダクション)設定を使いまわすことで工数を削減することが可能となる。
図15(a)に示すようにデジタルゲイン回路のみを用いた場合、アナログゲイン回路を利用する場合よりもノイズが多く発生する。
一方、図15(b)及び(c)に示すようにアナログゲイン回路とデジタルゲイン回路を併用する場合、ゲイン増加に伴うノイズレベルの増加がリニアではないという特徴がある。そのため、AGCリミット機能を利用した場合、本来制限したいノイズレベルよりも低いノイズレベルでゲインを制限してしまう可能性があった。また、画像の編集処理においても、どのゲイン設定時に同程度のノイズレベルになるのかが分からなくなるという課題も発生することになる。
本発明は上記問題点を鑑みてなされたものであり、本来制限したいノイズレベルでゲインを制限できるようにすることを目的とする。
上記目的を達成するために、本発明の電子機器は、被写体を撮影して画像データを出力する撮像手段と、前記撮像手段の感度を制御する制御手段と、前記画像データに基づいて画像を表示する表示手段と、前記表示手段に表示された画像のノイズに基づいて、許容できるノイズレベルを選択する選択手段と、を有し、前記制御手段は、前記選択されたノイズレベルに基づいて、前記感度を制限する。
本発明によれば、本来制限したいノイズレベルでゲインを制限することが可能となる。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
本実施形態では、撮像装置の一例としてデジタルカメラ100について説明する。
図1は、本実施形態におけるデジタルカメラ100の概略構成を示すブロック図である。デジタルカメラ100は、図1の機能ブロックの多くを内包する外装であり、各種の操作部や表示部107、外部出力部121はデジタルカメラ100の表面に露出している。
図1は、本実施形態におけるデジタルカメラ100の概略構成を示すブロック図である。デジタルカメラ100は、図1の機能ブロックの多くを内包する外装であり、各種の操作部や表示部107、外部出力部121はデジタルカメラ100の表面に露出している。
交換レンズ101は、デジタルカメラ100に着脱可能な、複数のレンズ群からなる撮影レンズであり、フォーカスレンズ、ズームレンズ、シフトレンズを内部に備えるほか、絞りを含む。なお、デジタルカメラ100に着脱可能な交換レンズ101ではなく、デジタルカメラ100と一体的に構成されたレンズであってもよい。
NDフィルタ103(光透過率可変素子)は、交換レンズ101に備えられた絞りとは別に、入射光量を調整するためにデジタルカメラに設けられたものである。
撮像素子102は、それぞれが光電変換素子を有する複数の画素が二次元状に配列された画素部を有する。撮像素子102は、交換レンズ101により結像された被写体光学像を各画素で光電変換し、アナログゲイン回路によってゲイン制御を行い、さらにA/D変換回路によってアナログ・デジタル変換して、画素単位の画像信号(RAW画像データ)を出力する。
画像処理部118は、撮像素子102から送られるRAW画像データに対し、撮像素子102に起因するレベル差を補正する画像処理を行う。例えば、撮像素子102の画素部が遮光されたOB領域を有する場合、OB領域の画素の画像信号を用いて遮光されていない有効領域の画素の画像信号のレベルを補正したり、欠陥画素の画像信号を周囲の画素の画像信号を用いて補正したりする。また、周辺光量落ちに対する補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、デモザイク、圧縮といった処理や、デジタルゲイン制御部108によってデジタルゲイン処理を行う。
画像処理部118は、撮像素子102から入力されたRAW画像データに対して上記処理を行うと、補正した画像データを各部へ出力する。メモリ117は、画像データを一時的に記憶する。
本体制御部119は、CPU、ROM、RAM等を備え、CPUが、ROMに格納されたプログラムをRAMの作業領域に展開し、実行することにより、デジタルカメラ100の全体の動作を制御する。また、本体制御部119は、ROMに記憶されたプログラムを実行することで、後述する本実施形態の各処理を実現する。RAMは、本体制御部119の動作用の定数、変数、ROMから読み出したプログラム等を展開するために用いられる。
記録媒体I/F部104は、記録媒体105とデジタルカメラ100とのインターフェースであり、記録媒体105に対して、画像処理部118から入力された画像データの記録や記録した画像データの読み出しを制御する。記録媒体105は、撮影された映像あるいは画像データを記録するための半導体メモリ等で構成される記録媒体であり、記録媒体I/F部104による制御に応じて画像データの記録や記録された画像データの読み出しを実行する。
表示用I/F部106は、画像処理部118からの映像データ及びGPU115がVRAM(Video RAM)に描画した文字列や図形等の画像データに対して、重畳合成及びリサイズ処理を行い、表示部107へ出力する。表示部107は、表示用I/F部106から出力された画像データを画角確認用に表示するモニタやファインダである。
GPU115は、デジタルカメラ100の各種情報表示やメニュー画面をVRAMに描画するレンダリングエンジンである。文字列や図形等の描画機能のほか、拡大縮小描画機能や、回転描画機能、レイヤ合成機能を備えている。VRAMに描画された文字列や図形等の画像データは透過度を表すアルファチャネルを備えており、表示用I/F部106によって映像上にオンスクリーン表示することができる。
以下に説明するデジタルゲイン制御部108、アナログゲイン制御部109、シャッター制御部110、ND制御部111及び絞り制御部112は、いずれも露出制御のための制御部である。画像処理部118から出力された画像データの輝度レベルを本体制御部119で算出した結果に基づいて、あるいは撮影者がマニュアル設定した動作パラメータに基づいて、本体制御部119によってこれらの制御部の制御が行われる。デジタルゲイン制御部108は画像処理部118のゲインを制御し、アナログゲイン制御部109は、撮像素子102のゲインを制御する。シャッター制御部110は、撮像素子102のシャッタースピードを制御する。ND制御部111は、NDフィルタ103を介して撮像素子102に入射する光量を制御する。絞り制御部112は、交換レンズ101の絞りを制御する。
フォーカス制御部113は、本体制御部119で保持されるフォーカス駆動状態がAF(オートフォーカス)かMF(マニュアルフォーカス)かによって異なる動作を行う。MFのときは、フォーカス制御部113は制御を停止する。この場合、撮影者が交換レンズ101に組み込まれたフォーカスリング134を回転させることによって、任意のフォーカス調整を行うことができる。AFのときは、画像処理部118から出力された画像データを参照して本体制御部119でフォーカスの合焦情報を算出し、それをもとにフォーカス制御部113が交換レンズ101内部のフォーカスレンズを制御する。本体制御部119で画像データの部分領域にAF枠を設定し、AF枠内の被写体のみに基づいてフォーカス合焦情報を算出することもできる。
防振制御部114は、像ブレを相殺するように交換レンズ101内部のシフトレンズを制御する光学式防振処理を行う。
外部出力用I/F部120は、画像処理部118からの映像データにリサイズ処理を行う。また、外部出力部121の規格に適した信号変換及び制御信号の付与を行い、外部出力部121へ出力する。外部出力部121は、映像データを外部に出力する端子であり、例えばSDI端子やHDMI(登録商標)端子である。例えば、モニターディスプレイや外部記録装置が接続可能である。
外部操作用I/F部122は、外部操作部123による制御指示を受信し、本体制御部119へ通知するインターフェースである。例えば、赤外線リモコン受光部や、無線LANインターフェースや、LANC(登録商標)が相当する。外部操作部123は、外部操作用I/F部122に対して制御指示を送信する。デジタルカメラ100や交換レンズ101に組み込まれた各種操作に相当する指示を送信することができるほか、表示部107で表示するメニュー画面における設定変更情報を送信することができる。
操作部124は、キー(ボタン)やダイヤル、タクトスイッチ、リング等の部材からなる。いずれも撮影者の操作を受けつけ、本体制御部119に対して制御指示を通知する役割を担っている。これらの操作部の一部は、メニュー画面内の設定によって、キーの役割を交換したり、別の機能にアサインしたりすることも可能である。
<第1の実施形態>
第1の実施形態では、撮像素子102におけるアナログゲイン制御と、デジタルゲイン制御部108とにより、図15(b)に示すISO感度の制御を行う場合について説明する。なお、第1の実施形態を分かりやすく説明するために、ここでは図2を用いて説明する。図2において、ISO100~ISO1600のグラフ201は第1のアナログゲインとデジタルゲイン、ISO1600~ISO3200のグラフ202は第2のアナログゲインとデジタルゲインを用いた場合のISO感度とノイズレベルの関係を示す。また、ISO3200~ISO6400のグラフ203は第3のアナログゲインとデジタルゲイン、ISO6400以上のグラフ304は第4のアナログゲインとデジタルゲインを用いた場合のISO感度とノイズレベルの関係を示す。ISO感度(ゲイン)とノイズレベルの関係は、予め取得して本体制御部119のROMに記憶しておいても良いし、不図示のメモリに記憶しておいても良い。図2から分かるように、この場合、ゲインの増加に伴うノイズレベルの増加がリニアではなくなる。
このため、第1の実施形態では、従来のAGCリミットではなく、ノイズレベルでゲインを制限する。
第1の実施形態では、撮像素子102におけるアナログゲイン制御と、デジタルゲイン制御部108とにより、図15(b)に示すISO感度の制御を行う場合について説明する。なお、第1の実施形態を分かりやすく説明するために、ここでは図2を用いて説明する。図2において、ISO100~ISO1600のグラフ201は第1のアナログゲインとデジタルゲイン、ISO1600~ISO3200のグラフ202は第2のアナログゲインとデジタルゲインを用いた場合のISO感度とノイズレベルの関係を示す。また、ISO3200~ISO6400のグラフ203は第3のアナログゲインとデジタルゲイン、ISO6400以上のグラフ304は第4のアナログゲインとデジタルゲインを用いた場合のISO感度とノイズレベルの関係を示す。ISO感度(ゲイン)とノイズレベルの関係は、予め取得して本体制御部119のROMに記憶しておいても良いし、不図示のメモリに記憶しておいても良い。図2から分かるように、この場合、ゲインの増加に伴うノイズレベルの増加がリニアではなくなる。
このため、第1の実施形態では、従来のAGCリミットではなく、ノイズレベルでゲインを制限する。
図3(a)~(c)は、ユーザが許容できるノイズレベルを選択するための画面の例を示す。図3(a)に示す画面でユーザがNext操作を実行すると、ノイズレベルが増加した図3(b)に示す画面に遷移し、さらにNext操作を実行すると、さらにノイズレベルが増加した図3(c)に示す画面に遷移する。図3(c)に示す画面で、Cancel操作をすると、選択画面から抜ける。
また、ユーザが図3(a)に表示された画像のノイズの状態を確認してOK操作を行うと、図3(d)に示す画面に遷移して、選択可能なISO感度の範囲を確定させると共に、確定した選択可能なISO感度の範囲を表示してユーザに通知する。例えば、図3(a)に表示された画像が第1のアナログゲインを用いてISO800に対応するゲインを掛けたものである場合、「以下のISOが選択可能になりました」というメッセージと、「ISO100~ISO800」を表示する。
同様に、ユーザが図3(b)に表示された画像のノイズの状態を確認してOK操作を行うと、図3(e)に示す画面に遷移して、選択可能なISO感度の範囲を確定させると共に、確定した選択可能なISO感度の範囲を表示してユーザに通知する。図2に示す例では、第1のアナログゲインを用いてISO1600に対応するゲインを掛けた場合と、第2のアナログゲインを用いてISO2500に対応するゲインを掛けた場合は、ノイズレベルが同等となる。従って、例えば、図3(b)で、第2のアナログゲインを用いてISO2500に対応するゲインを掛けた画像を表示した場合、図3(e)で「以下のISOが選択可能になりました」というメッセージと、「ISO100~ISO2500」を表示する。なお、図3(b)に表示する画像は、第1のアナログゲインを用いてISO1600に対応するゲインを掛けた画像であっても良い。
また、ユーザが図3(c)に表示された画像のノイズの状態を確認してOK操作を行うと、図3(f)に示す画面に遷移して、選択可能なISO感度の範囲を確定させると共に、確定した選択可能なISO感度の範囲を表示してユーザに通知する。図2に示す例では、第2のアナログゲインを用いてISO3200に対応するゲインを掛けた場合と、第3のアナログゲインを用いてISO4300に対応するゲインを掛けた場合は、ノイズレベルが同等となる。従って、例えば、図3(c)で、第3のアナログゲインを用いてISO4300に対応するゲインを掛けた画像を表示した場合、図3(f)で「以下のISOが選択可能になりました」というメッセージと、「ISO100~ISO4300」を表示する。なお、図3(c)に表示する画像は、第2のアナログゲインを用いてISO3200に対応するゲインを掛けた画像であっても良い。
図4は、第1の実施形態に係る、図3に示す画面遷移により、許容ノイズレベルを選択して、ゲインを制限する処理を示すフローチャートである。
まず、ステップS101において、第1のアナログゲインを用いてISO800に対応するゲインを掛けた画像をノイズ選択画面(図3(a)に示す画面)に表示し、ステップS102に進む。ステップS102においてOK操作が実行された場合、ステップS110に進み、選択可能なゲインをISO100~ISO800の範囲に制限した上で、処理を終了する。この際に、図3(d)に示す画面を表示する。
まず、ステップS101において、第1のアナログゲインを用いてISO800に対応するゲインを掛けた画像をノイズ選択画面(図3(a)に示す画面)に表示し、ステップS102に進む。ステップS102においてOK操作が実行された場合、ステップS110に進み、選択可能なゲインをISO100~ISO800の範囲に制限した上で、処理を終了する。この際に、図3(d)に示す画面を表示する。
一方、ステップS102においてOK操作が実行されない場合、ステップS103に進み、Next操作が実行されたかどうかを判断する。Next操作が実行された場合、ステップS104に進み、第2のアナログゲインを用いてISO2500に対応するゲインを掛けた画像をノイズ選択画面(図3(b)に示す画面)に表示して、ステップS105に進む。なお、ステップS103においてNext操作が実行されない場合、ステップS102に戻る。
ステップS105においてOK操作が実行された場合、ステップS111に進み、選択可能なゲインをISO100~ISO2500の範囲に制限した上で、処理を終了する。この際に、図3(e)に示す画面を表示する。
ステップS105においてOK操作が実行されない場合、ステップS106に進み、Next操作が実行されたかどうかを判断する。Next操作が実行された場合、ステップS107に進み、第3のアナログゲインを用いてISO4300に対応するゲインを掛けた画像をノイズ選択画面(図3(c)に示す画面)に表示して、ステップS108に進む。なお、ステップS106においてNext操作が実行されない場合、ステップS105に戻る。
ステップS108においてOK操作が実行された場合、ステップS112に進み、選択可能なゲインをISO100~ISO4300の範囲に制限した上で、許容ノイズレベル選択処理を終了する。この際に、図3(f)に示す画面を表示する。ステップS108においてOK操作が実行されない場合、ステップS109に進み、Cancel操作が実行されたかどうかを判断する。Cancel操作が実行された場合、処理を終了し、Cancel操作が実行されない場合、ステップS108に戻る。
上記の通り第1の実施形態によれば、ユーザが許容したノイズレベル以下となるようにISO感度を制限することが可能となる。これにより、AGCリミット機能を利用した場合に、本来制限したいノイズレベルよりも低いノイズレベルでゲインを制限してしまう、という問題を解決することが可能となる。
なお、以上の処理は、図15(b)に示すようなゲイン制御に対して有効なものであるため、図15(a)のようにデジタルゲインのみで制御する場合には従来通りのAGCリミット機能を提供すればよい。
また、上述した例では、ノイズレベルの許容範囲を3段階に分けた場合について説明したが、アナログゲインやデジタルゲインの各回路の特徴に応じて、3段階以外、例えば、2段階または4段階以上に分けて選択できるようにしてもよい。
更に、図3及び図4に示す例では、ノイズレベルの低い方から順に画像を表示していく場合について説明したが、ノイズレベルの高い方から順に画像を表示していくように制御しても良い。
また、ノイズレベルの異なる画像(例えば、図3(a)~(c)の画像)を1つの画面に並列に表示して、その中からユーザが許容できるノイズレベルの画像を選択するようにしても良い。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。
第1の実施形態で説明したゲイン制御を行った場合、同程度のノイズレベルで撮影できるゲイン値が複数存在するという特徴がある。この特徴を利用して、第2の実施形態では、同程度のノイズレベルで撮影できるデジタルゲインの選択肢を提示する制御について説明する。なお、第2の実施形態においても、撮像素子102におけるアナログゲイン制御と、デジタルゲイン制御部108とにより、図15(b)に示すゲイン制御を行う場合について説明する。なお、第2の実施形態を分かりやすく説明するために、ここでは図5を用いて説明する。図5において、ISO100~ISO1600のグラフ501は第1のアナログゲインとデジタルゲイン、ISO1600~ISO3200(またはISO4000)のグラフ502は第2のアナログゲインとデジタルゲインを用いた場合のゲインとノイズレベルの関係を示す。また、ISO3200~ISO6400のグラフ503は第3のアナログゲインとデジタルゲイン、ISO6400以上のグラフ504は第4のアナログゲインとデジタルゲインを用いた場合のゲインとノイズレベルの関係を示す。図5から分かるように、この場合、ゲインの増加に伴うノイズレベルの増加がリニアではなくなる。
次に、本発明の第2の実施形態について説明する。
第1の実施形態で説明したゲイン制御を行った場合、同程度のノイズレベルで撮影できるゲイン値が複数存在するという特徴がある。この特徴を利用して、第2の実施形態では、同程度のノイズレベルで撮影できるデジタルゲインの選択肢を提示する制御について説明する。なお、第2の実施形態においても、撮像素子102におけるアナログゲイン制御と、デジタルゲイン制御部108とにより、図15(b)に示すゲイン制御を行う場合について説明する。なお、第2の実施形態を分かりやすく説明するために、ここでは図5を用いて説明する。図5において、ISO100~ISO1600のグラフ501は第1のアナログゲインとデジタルゲイン、ISO1600~ISO3200(またはISO4000)のグラフ502は第2のアナログゲインとデジタルゲインを用いた場合のゲインとノイズレベルの関係を示す。また、ISO3200~ISO6400のグラフ503は第3のアナログゲインとデジタルゲイン、ISO6400以上のグラフ504は第4のアナログゲインとデジタルゲインを用いた場合のゲインとノイズレベルの関係を示す。図5から分かるように、この場合、ゲインの増加に伴うノイズレベルの増加がリニアではなくなる。
図6(a)~(c)は、ユーザに同程度のノイズレベルで撮影可能なデジタルゲインの選択肢を提示するための画面の例を示す。図6(a)に示す画面でユーザがNext操作を実行すると、ノイズレベルが増加した図6(b)に示す画面に遷移し、さらにNext操作を実行すると、さらにノイズレベルが増加した図6(c)に示す画面に遷移する。図6(c)に示す画面で、Cancel操作をすると、選択画面から抜ける。
また、ユーザが図6(a)に表示された画像のノイズの状態を確認してOK操作を行うと、図6(d)に示す画面に遷移して、選択可能なISO感度を確定させると共に、確定した選択可能なISO感度の選択肢を表示してユーザに通知する。図5に示す例では、第1のアナログゲインを用いてISO1200に対応するゲインを掛けた場合と、第2のアナログゲインを用いてISO2000に対応するゲインを掛けた場合は、ノイズレベルが同等となる。従って、例えば、図6(a)で、第2のアナログゲインを用いてISO2000に対応するゲインを掛けた画像を表示した場合、図6(d)では、「以下のISOが選択可能になりました」というメッセージと、「ISO1200 ISO2000」を表示する。なお、図6(a)に表示する画像は、第1のアナログゲインを用いてISO1200に対応するゲインを掛けた画像であっても良い。
同様に、ユーザが図6(b)に表示された画像のノイズの状態を確認してOK操作を行うと、図6(e)に示す画面に遷移して、選択可能なISO感度の範囲を確定させると共に、確定した選択可能なISO感度の範囲を表示してユーザに通知する。図5に示す例では、第1のアナログゲインを用いてISO1600に対応するゲインを掛けた場合と、第2のアナログゲインを用いてISO2500に対応するゲインを掛けた場合と、第3のアナログゲインを用いてISO3200に対応するゲインを掛けた場合は、ノイズレベルが同等とある。従って、例えば、図6(b)で、第3のアナログゲインを用いてISO3200に対応するゲインを掛けた画像を表示した場合、図6(e)では、「以下のISOが選択可能になりました」というメッセージと、「ISO1600 ISO2500 ISO3200」を表示する。なお、図6(a)に表示する画像は、第1のアナログゲインを用いてISO1600に対応するゲインを掛けた画像、または第2のアナログゲインを用いてISO2500に対応するゲインを掛けた画像であっても良い。
また、ユーザが図6(c)に表示された画像のノイズの状態を確認してOK操作を行うと、図6(f)に示す画面に遷移して、選択可能なISO感度の範囲を確定させると共に、確定した選択可能なISO感度の範囲を表示してユーザに通知する。図5に示す例では、第2のアナログゲインを用いてISO4000に対応するゲインを掛けた場合と、第3のアナログゲインを用いてISO5600に対応するゲインを掛けた場合と、第4のアナログゲインを用いてISO6400に対応するゲインを掛けた場合は、ノイズレベルが同等となる。従って、例えば、図6(c)で、第4のアナログゲインを用いてISO6400に対応するゲインを掛けた画像を表示した場合、図6(f)では、「以下のISOが選択可能になりました」というメッセージと、「ISO4000 ISO5600 ISO6400」を表示する。なお、図6(c)に表示する画像は、第2のアナログゲインを用いてISO4000に対応するゲインを掛けた画像、または第3のアナログゲインを用いてISO5600に対応するゲインを掛けた画像であっても良い。
図7は、第2の実施形態に係る、図6に示す画面遷移により、ノイズレベルを選択してゲインを制限する処理を示すフローチャートである。
まず、ステップS201において、第2のアナログゲインを用いてISO2000に対応するゲインを掛けた画像をノイズ選択画面(図6(a)に示す画面)に表示し、ステップS202に進む。ステップS202においてOK操作が実行された場合、ステップS210に進み、選択可能なゲインをISO1200とISO2000とした上で、処理を終了する。この際に、図6(d)に示す画面を表示する。
まず、ステップS201において、第2のアナログゲインを用いてISO2000に対応するゲインを掛けた画像をノイズ選択画面(図6(a)に示す画面)に表示し、ステップS202に進む。ステップS202においてOK操作が実行された場合、ステップS210に進み、選択可能なゲインをISO1200とISO2000とした上で、処理を終了する。この際に、図6(d)に示す画面を表示する。
一方、ステップS202においてOK操作が実行されない場合、ステップS203に進み、Next操作が実行されたかどうかを判断する。Next操作が実行された場合、ステップS204に進み、第3のアナログゲインを用いてISO3200に対応するゲインを掛けた画像をノイズ選択画面(図6(b)に示す画面)に表示して、ステップS205に進む。なお、ステップS203においてNext操作が実行されない場合、ステップS202に戻る。
ステップS205においてOK操作が実行された場合、ステップS211に進み、選択可能なゲインをISO1600とISO2500とISO4000に制限した上で、処理を終了する。この際に、図6(e)に示す画面を表示する。
ステップS205においてOK操作が実行されない場合、ステップS206に進み、Next操作が実行されたかどうかを判断する。Next操作が実行された場合、ステップS207に進み、第4のアナログゲインを用いてISO6400に対応するゲインを掛けた画像をノイズ選択画面(図6(c)に示す画面)に表示して、ステップS208に進む。なお、ステップS206においてNext操作が実行されない場合、ステップS205に戻る。
ステップS208においてOK操作が実行された場合、ステップS212に進み、選択可能なゲインをISO4000とISO5600とISO6400に制限した上で、ノイズレベル選択処理を終了する。この際に、図6(f)に示す画面を表示する。ステップS208においてOK操作が実行されない場合、ステップS209に進み、Cancel操作が実行されたかどうかを判断する。Cancel操作が実行された場合、処理を終了し、Cancel操作が実行されない場合、ステップS208に戻る。
上記の通り第2の実施形態によれば、ユーザが許容したノイズレベルが同等のゲイン値だけを選択可能にすることができる。これにより、編集処理でNR設定が流用可能な撮影をユーザに分かり易く提示することが可能となる。
なお、以上の処理は、図15(b)のようなゲイン制御に対して有効なものであるため、図15(a)のようにデジタルゲインのみで制御する場合には無効にして、操作できないようにしておくとよい。
また、上述した例では、ノイズレベルを3段階に分けた場合について説明したが、アナログゲインやデジタルゲインの各回路の特徴に応じて、3段階以外、例えば、2段階または4段階以上に分けて選択できるようにしてもよい。
更に、図6及び図7に示す例では、ノイズレベルの低い方から順に画像を表示していく場合について説明したが、ノイズレベルの高い方から順に画像を表示していくように制御しても良い。
更に、図6及び図7に示す例では、ノイズレベルの低い方から順に画像を表示していく場合について説明したが、ノイズレベルの高い方から順に画像を表示していくように制御しても良い。
また、ノイズレベルの異なる画像(例えば、図6(a)~(c)の画像)を1つの画面に並列に表示して、その中からユーザが許容できるノイズレベルの画像を選択するようにしても良い。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。
第3の実施形態では、図6(a)~(c)に示す画面で、ユーザがノイズレベルを選択する際に自動で画像の明るさを目標値へ制御する場合、すなわち、所謂AE制御を行う場合について説明する。なお、本実施形態においては、ノイズレベル選択画面を表示するカメラモードを「ノイズレベル選択モード」と呼び、それ以外のモードを「通常モード」と呼ぶ。モード変更の制御及びAEを含む露出変更制御は本体制御部119によって指示される。ノイズレベル選択モード時は、ユーザによるノイズレベルの選択値に応じたゲイン値へ変更し、ゲイン以外の露出制御手段を用いてAE制御を行う。一方、ノイズレベルの選択を行わない通常モードにおいては、ゲインも使用してAE制御を行う。
次に、本発明の第3の実施形態について説明する。
第3の実施形態では、図6(a)~(c)に示す画面で、ユーザがノイズレベルを選択する際に自動で画像の明るさを目標値へ制御する場合、すなわち、所謂AE制御を行う場合について説明する。なお、本実施形態においては、ノイズレベル選択画面を表示するカメラモードを「ノイズレベル選択モード」と呼び、それ以外のモードを「通常モード」と呼ぶ。モード変更の制御及びAEを含む露出変更制御は本体制御部119によって指示される。ノイズレベル選択モード時は、ユーザによるノイズレベルの選択値に応じたゲイン値へ変更し、ゲイン以外の露出制御手段を用いてAE制御を行う。一方、ノイズレベルの選択を行わない通常モードにおいては、ゲインも使用してAE制御を行う。
なお、本実施形態において、図1のNDフィルタ103は電圧値によって透過率が変動する既知の透過率可変型NDフィルタを搭載している場合を例とし、その透過率はND制御部111で制御可能な構成とする。
図8は、ノイズレベル選択モードにおいて露出設定を変更する画面の一例を示す図である。
ボタン801は、自動的に露出を調整するAEモードと、ユーザがマニュアルで絞りや、NDフィルタ、シャッター等を個別に調整することで露出を調整するマニュアルモードを切り替えるためのボタンである。ボタン801を押下する度に、AEモードとマニュアルモードが切り替わる構成となっており、ノイズレベル選択モードにおいてもマニュアルモードを選択することで、ユーザは任意の露出設定を選択可能である。マニュアルモード時の処理についての説明は省略する。
ボタン801は、自動的に露出を調整するAEモードと、ユーザがマニュアルで絞りや、NDフィルタ、シャッター等を個別に調整することで露出を調整するマニュアルモードを切り替えるためのボタンである。ボタン801を押下する度に、AEモードとマニュアルモードが切り替わる構成となっており、ノイズレベル選択モードにおいてもマニュアルモードを選択することで、ユーザは任意の露出設定を選択可能である。マニュアルモード時の処理についての説明は省略する。
AEシフトバー802は、AEモードにおいて映像の明るさ目標をユーザが変更するために用いる設定バーである。一般にAEシフト機能として知られており、通常モードにおいても表示される。AEモードで目標とする明るさの輝度値については、AEシフトバー802のユーザ指示に応じて変更され、中央の±0の位置が選択されている場合は、カメラの推奨設定となる。+2側にすると推奨値に対してより明るい目標へ変更され、-2側にするとより暗い目標へと変更がなされる。中央の±0から遠いほど明るさの変化量は大きくなる。
続いて、図9を用いてAEモードにおける制御について説明を行う。図9は、カメラのモードに応じたAE制御のフローチャートを示す図である。
ステップS301において、ノイズレベル選択モードであるか否かを判定する。通常モードである場合は、ステップS302へ進む。ステップS302において、本体制御部119は、通常モード用のAE制御設定である第1露出設定へ変更を行う。既知のAE制御では、予め設定された評価測光枠内の所定閾値内となる各画素の輝度平均値が、目標輝度値となるように露出制御を行う。そのため、第1露出設定は以下の設定等を含む。すなわち、映像中の明るさを評価するための評価測光枠の位置とサイズ、飽和部やノイズの多い暗部を除去して評価測光するための色または輝度情報の閾値、目標とする明るさの輝度範囲を含む。更に、輝度を目標値に合わせる際の露出応答性に関わる露出制御変化量、例えば1フレームあたりの露出変化の量を含み、これにより目標の明るさに到達するまでの時間が変わる。
ステップS301において、ノイズレベル選択モードであるか否かを判定する。通常モードである場合は、ステップS302へ進む。ステップS302において、本体制御部119は、通常モード用のAE制御設定である第1露出設定へ変更を行う。既知のAE制御では、予め設定された評価測光枠内の所定閾値内となる各画素の輝度平均値が、目標輝度値となるように露出制御を行う。そのため、第1露出設定は以下の設定等を含む。すなわち、映像中の明るさを評価するための評価測光枠の位置とサイズ、飽和部やノイズの多い暗部を除去して評価測光するための色または輝度情報の閾値、目標とする明るさの輝度範囲を含む。更に、輝度を目標値に合わせる際の露出応答性に関わる露出制御変化量、例えば1フレームあたりの露出変化の量を含み、これにより目標の明るさに到達するまでの時間が変わる。
第1露出設定への変更後、ステップS303に進み、明るさが目標の輝度範囲内であるかを判定し、目標とする輝度範囲外であれば、ステップS304へ進み、目標輝度値と露出制御変化量に応じて、絞り、シャッター、ゲイン、可変NDの露出制御値を変更する。露出制御値の変更後、ステップS303へと戻り、目標の輝度範囲内に入るまで露出制御値の変更が行われる。一方、ステップS303において、明るさが目標の輝度範囲内であると判定された場合、処理を終了する。
また、ステップS301において、ノイズレベル選択モードであると判定された場合、ステップS305へと進み、ノイズレベル選択モードに適したAE制御設定である第2露出設定へ変更を行う。ノイズレベル選択モードでは、主に、暗部のダークランダムノイズを確認したいことが想定される。そのため、第2露出設定では、第1露出設定に対して、暗部の確認を重視したAE設定へと変更を行う。本実施形態においては、目標とする明るさの輝度値を通常モードよりも低くする場合を例とする。これにより、通常モードとノイズレベル選択モードそれぞれにおいて、AEシフトバー802で±0を選択した場合、同一被写体であっても、ノイズレベル選択モードの方がより暗い映像となる。なお、通常モードに対して、評価測光枠を暗部領域に設定しても良い。また、評価対象とする輝度情報の閾値を上げる等しても良く、この場合、通常モードよりも明るい被写体を含めて評価測光するためより暗い映像となる。
また、通常モードでは、急峻な映像の明るさ変化が問題となる場合がある。一方、ノイズレベル選択モードでは、その応答性は問題となりにくい。そのため応答性に関わる露出制御変化量を通常モードよりも大きい値に設定しても良い。
第2露出設定への変更後、ステップS306へ進み、ユーザにより選択されたノイズレベルを取得する。続いてステップS307へ進み、選択されたノイズレベルに変更があるかを判定する。選択されたノイズレベルに変更があったと判定された場合、ステップS308へ進み、第1の実施形態と同様に、ユーザが選択したノイズレベルに対応したゲイン値へ変更する。
ゲイン値の変更後、またはS307で選択されたノイズレベルに変更が無いと判定された場合、ステップS309へと進み、S303と同様に明るさが目標範囲内であるかを判定し、目標範囲外であればステップS310へ進む。S310では、第2露出設定に含まれる目標輝度値と露出制御変化量に応じて、絞り、シャッター、可変NDの露出制御値を変更する。ここでゲインの変更は行われない。また、絞り値を変更してしまうと、絞りに応じた周辺光量の落ち補正が変化し、確認していたノイズ特性が変わってしまう場合等が考えられる。また一般に、可変NDによる透過率変更は画質への影響が少ないことが知られている。そのため、ノイズレベル選択時のAE制御である第二露出制御では、可変NDの透過率を変更することを優先したAE制御を行う。
露出変更後、S306へと戻り、ノイズレベル値に応じたゲイン値の変更と、ゲイン値以外を用いたAE制御が行われる。ステップS309において、明るさが目標範囲内であると判定された場合、処理を終了する。
上記の通り第3の実施形態によれば、ノイズレベル選択モードの場合、選択されたノイズレベルを維持しつつ、AE制御を実施することができる。また、ノイズレベル選択モードに適した暗部重視のAE制御を実施することが可能となる。これにより、ユーザがノイズレベルを選択する際に、暗部のダークランダムノイズを確認しながらノイズレベル変更の指示を簡単に行うことが可能となる。なお、以上の処理は、ダークランダムノイズの確認を主眼としているが、光ショットノイズ等暗部以外に発生するノイズを確認したい場合もある。そのため、AEシフトバー802により、AE制御で用いる明るい目標値をユーザが指示することができる。
<第4の実施形態>
次に、本発明の第4の実施形態について説明する。
図15(b)に示すようなゲイン制御を行った場合、同程度のノイズレベルで撮影できるゲイン値が複数存在する可能性がある、という特徴があるが、それら同程度のノイズレベルのISO値を移動制御する際、図6(b)のノイズレベルを表す図5の点線と、グラフ501、502、503との交点から分かるように、設定できるISO値は等間隔ではない。すなわち、デジタルカメラ100で設定されたISO値の制御分解能で移動制御できない。そこで、第4の実施形態では、設定された制御分解能に合わせた移動制御について説明する。
次に、本発明の第4の実施形態について説明する。
図15(b)に示すようなゲイン制御を行った場合、同程度のノイズレベルで撮影できるゲイン値が複数存在する可能性がある、という特徴があるが、それら同程度のノイズレベルのISO値を移動制御する際、図6(b)のノイズレベルを表す図5の点線と、グラフ501、502、503との交点から分かるように、設定できるISO値は等間隔ではない。すなわち、デジタルカメラ100で設定されたISO値の制御分解能で移動制御できない。そこで、第4の実施形態では、設定された制御分解能に合わせた移動制御について説明する。
同程度のノイズレベルでISO値をデジタルカメラ100で設定された制御分解能、例えば、1/3段、2/3段刻みに移動制御する際、同程度のノイズレベルを保ちながら露出値のみを変化させる必要がある。そのため、ノイズレベルに影響が少ない露出制御手段を用いて、制御分解能を調整する必要がある。また、撮像画像の画作りに影響が少ない露出制御手段を用いる必要がある。例えば、被写界深度や、動解像感に影響がある絞り制御部112、シャッター制御部110による露出調整は極力使用しない方が良い。そこで、ノイズレベルの変動が少なく同程度のノイズレベルを実現できるアナログゲイン回路を備える撮像素子102、NDフィルタ103を優先して使用し、露出値のみを変化させる露出調整制御を行う。
図10(a)の点線は、図6(b)の画像のノイズレベルの状態を示している。図10(a)の点線とグラフ501、502、503との交点であるISO値は、低感度側からISO1600、ISO2500、ISO3200である。ここで、ISO1600とISO2500間は2/3段刻みであるが、ISO2500とISO3200間は1/3段刻みであり、制御分解能が異なっている。そこで、露出調整手段を用いることで、露出調整可能な方向に露出調整を行う。例えば、デジタルカメラ100で設定されている制御分解能が2/3段刻みの場合、撮像素子102に内蔵されているアナログゲイン回路により露出調整可能な場合、ISO3200から1/3段分露出を高感度側に露出調整することで、ISO1600、ISO2500、ISO4000の2/3段刻みに移動制御できるように露出調整が可能である。また、NDフィルタ103により低感度側に露出調整することで、ISO1250、ISO2000、ISO3200に露出調整することも可能である。これらの露出調整方法により、ノイズレベルを同程度に保ちながらデジタルカメラ100で設定されている制御分解能で移動制御を可能にする。
図11は、図10に示す露出調整処理を示すフローチャートである。ステップS401において、デジタルカメラ100に設定されている制御分解能と同程度のノイズレベルで選択可能なISO値の制御分可能が一致しているか否かを判定する。ここで、一致していると判定された場合、露出調整を行わず、現在の分解能で移動制御を行う。反対に、ステップS401において、制御分解能が異なると判定された場合、ステップS402に進む。ステップS402において、デジタルカメラ100に設定されている制御分解能と同程度のノイズレベルで選択可能なISO値の制御分解能の刻み幅を比較する。ここで、デジタルカメラ100に設定されている制御分解能と同程度のノイズレベルで選択可能なISO値の制御分解能の刻み幅が大きいと判定された場合、露出制御手段により露出を暗くする方向に露出調整する。
例えば、デジタルカメラ100に設定されている制御分解能が2/3段刻みであり、同程度のノイズレベルで選択可能なISO値が、ISO1600、ISO2500、ISO5000である場合を想定する。この場合、ISO1600とISO2500との間は2/3段刻みであるが、ISO2500とISO5000との間は1段刻みである。その場合、NDフィルタ103等の露出を暗くできる露出調整手段を用いて、ISO5000をISO4000にする露出調整を行う。これにより、デジタルカメラ100に設定されている制御分解能と同程度のノイズレベルで選択可能なISO値の制御分解能を一致させる。
同様に、ステップS402において、デジタルカメラ100に設定されている制御分解能と同程度のノイズレベルで選択可能なISO値の制御分可能の刻み幅が小さいと判定された場合、露出調整手段により露出を明るくする方向に露出調整する。例えば、デジタルカメラ100に設定されている制御分解能が2/3段刻みであり、同程度のノイズレベルで選択可能なISO値が、ISO1600、ISO2500、ISO3200である場合を想定する。この場合、ISO1600とISO2500との間は2/3段刻みであるが、ISO2500とISO3200との間は1/3段刻みである。その場合、撮像素子102に内蔵されているアナログゲイン回路等露出を明るくできる露出調整手段を用いて、ISO3200をISO4000にする露出調整を行う。これらの露出調整方法によりノイズレベルを同程度に保ちながらデジタルカメラ100で設定されている制御分解能で移動制御を可能にする。
上記の通り第4の実施形態によれば、同程度のノイズレベルで撮影できるモード時においても、撮像装置に設定されている制御分解能で移動制御することが可能になる。
なお、ここでは、撮像画像の画づくりに影響が少ないアナログゲイン回路、NDフィルタでの制御を示しているが、画づくりにこだわらない場合や、絞り制御部112やシャッター制御部110がAUTO制御に設定されている場合等において、絞り、シャッタースピードで露出調整しても構わない。
<第5の実施形態>
次に、本発明の第5の実施形態について説明する。
ノイズレベルをユーザが選択した後、ノイズレベル以外のカメラ設定変更によって、ノイズレベルやノイズの粒状性等のノイズ特性が変化する場合がある。例えば、4K出力の設定から2K出力へと設定変更した時、2K映像を4K映像からの縮小によって生成している場合にはノイズ特性は変化する。なお、縮小処理時に所謂帯域フィルタ処理を施して高周波成分を低減することでモアレやノイズを低減する技術は既知である。また縮小処理によってノイズ1つ1つのサイズが小さくなるため、ノイズの粒状性が変化することが知られている。
次に、本発明の第5の実施形態について説明する。
ノイズレベルをユーザが選択した後、ノイズレベル以外のカメラ設定変更によって、ノイズレベルやノイズの粒状性等のノイズ特性が変化する場合がある。例えば、4K出力の設定から2K出力へと設定変更した時、2K映像を4K映像からの縮小によって生成している場合にはノイズ特性は変化する。なお、縮小処理時に所謂帯域フィルタ処理を施して高周波成分を低減することでモアレやノイズを低減する技術は既知である。また縮小処理によってノイズ1つ1つのサイズが小さくなるため、ノイズの粒状性が変化することが知られている。
本実施形態ではノイズレベル選択後、ノイズレベルの変更(つまりゲイン値の変更)や、ノイズ低減機能である既知のノイズリダクション処理の設定変更のような、ノイズレベル変化が明らかな設定以外の変更によってノイズ特性が変わる場合に、ユーザへ警告表示を行う例について説明を行う。特に撮影経験の少ないユーザにとって、このような警告表示は、同程度のノイズレベルでの撮影を行う上で参考となる。警告表示は、本体制御部119の指示に基づいて、例えば、表示部107に表示されるが、表示の代わりに、例えば、音声等の別の方法によりユーザに警告しても構わない。
本実施形態では、ノイズレベルの選択後、上述のように出力解像度を4Kから2Kに変更する場合を例として図12及び図13を用いて説明する。
図12は、設定変更によってノイズレベルに変化がある際、ユーザへ警告表示を行う画面表示例である。ノイズレベルに変化の生じる設定変更をユーザが実施した時には、図12(a)に示すような画面を表示し、図12(a)に対してユーザがOK操作を実行するとカメラ設定変更の後、ノイズレベルの再変更を促す図12(b)に示すような画面を表示する。図12(b)の画面においてユーザがOK操作を実行すると、図3または図6に示される、ユーザに同程度のノイズレベルで撮影可能なゲイン値を提供するための画面遷移へと移行する。図12(a)の状態でCancel操作をすると、選択画面から抜けるとともにカメラ設定の変更は実施されない。また、図12(b)の状態でCancel操作をすると、選択画面から抜ける。
図13は、図12に示す画面遷移の処理を示すフローチャートである。
ステップS501において、ノイズレベルをユーザが選択した状態であるかどうかを判定する。ノイズレベルが選択された状態でなければステップS503へと進み、ユーザ指示のあったカメラ設定への変更を行い、処理を終了する。一方、ノイズレベルをユーザが選択した状態であれば、ステップS502へと進み、カメラ設定の変更によってノイズレベルが変化するかどうかを判定する。
ステップS501において、ノイズレベルをユーザが選択した状態であるかどうかを判定する。ノイズレベルが選択された状態でなければステップS503へと進み、ユーザ指示のあったカメラ設定への変更を行い、処理を終了する。一方、ノイズレベルをユーザが選択した状態であれば、ステップS502へと進み、カメラ設定の変更によってノイズレベルが変化するかどうかを判定する。
ノイズレベルの変化の判定は、予め各カメラ設定で測定したノイズレベルを本体制御部119内のROM等に記憶しておき、設定変更によってノイズレベルが変化するかを本体制御部119で判定する。本実施形態では、4K、2Kそれぞれのノイズレベルを記憶しており、それぞれの比較によってノイズレベルが変化するかを判定するものとする。ノイズレベルに変化が無ければ、ステップS504へと進み、設定変更を実施して処理を終了する。
ノイズレベルに変更ありと判定した場合、ステップS504へと進み、図12(a)に示す、カメラ設定を変更するかを問う画面を表示する。続いてステップS505へと進み、図12(a)に示す画面でCanselが操作された場合は、カメラ設定を変更せずに処理を終了する。OK操作がなされた場合は、ステップS506へと進み、カメラ設定を変更する。ここでは、4Kから2Kへと変更する。カメラ設定変更後、ステップS507へと進み、図12(b)に示すノイズレベル選択の再設定を行うかを問う画面を表示する。続いてステップS508へと進み、図12(b)に示す画面でCanselが操作された場合には、ノイズレベルの再設定をせずに処理を終了する。一方、OKが操作された場合には、ステップS509へと進み、図3または図6に示すノイズレベル選択画面に遷移し、ノイズレベルの選択処理の後、処理を終了する。
上記の通り第5の実施形態によれば、ノイズの影響が明らかではないカメラ設定の変更によってノイズレベルが変化した際に、ユーザがノイズの変化に気付くことができるため、ノイズレベルを同等にする撮影を行い易くすることが可能となる。
なお、ここでは、図12(a)に示すようなカメラ設定の変更を行うか問う画面、及び図12(b)に示すようなノイズレベル選択を行うかを問う画面を警告表示する場合を例に挙げて説明した。しかし、カメラ設定の変更によってノイズレベルが変化する場合に、設定変更後にノイズレベルが変化した、というより単純な警告表示を行っても良い。図14(a)は、ノイズレベルが変化したことに対する警告表示例を示す。
また、ノイズレベルの変化の有無を警告する例で説明を行ったが、予め各設定におけるダークランダムノイズのS/N値を測定・記録しておき、そのS/N値の変化を表示しても良い。より具体的には、図13に示す処理において、図12(a)や、図14に示す表示の代わりに、暗部のS/N変化を図14(b)及び図14(c)に示すようにdBで表示しておいてもよい。
また、設定変更に伴うノイズレベル変化の警告について、軽微なノイズ変化であれば警告不要な場合や、十分な撮影経験を持つユーザにとって警告自体が不要な場合もある。そこで、図14(d)に示すような画面で、ユーザがS/N変化警告の閾値を指定できるようにしておいても良い。例えば、図14(d)に示すように±2.0dBと設定されている場合、カメラ設定の変更によって生じるS/N変化が1.0dBであるような場合には警告表示を行わないように制御する。このような設定を予めユーザが行っておくことで、警告が頻繁に出ることを防ぐことが可能となる。
この場合、図13に示すフローチャートのS502において、ノイズレベル変化を判定する際に、設定変更によって生じる暗部のS/N変化が、ユーザ設定の閾値を超えているか否かで判定する構成とすれば良い。
また、ノイズレベル変化の設定例として出力解像度を4Kから2Kに変更する映像の縮小処理を例に説明したが、以下のような処理の変更でもノイズ特性は変化することが知られている。例えば、電子防振処理を含む映像の拡大縮小処理、H.264や、YCC420、YCC422等のコーデック記録方式、加算・非加算等の撮像手段のセンサ駆動方式である。また、周辺光量補正や回折補正で知られる光学補正処理、彩度・色相・色域に関わる色変換処理、シャープネス等の輪郭強調処理、ガンマ等に代表される階調変換処理、オートブラックバランスや、ペデスタル等で知られる黒レベル補正処理でも変化する。
また、撮像手段のセンサ温度に応じてもノイズ特性が変化することが知られている。従って、撮像素子102にセンサ温度を取得するためのサーミスタを備え、そのサーミスタ温度に応じてノイズレベルを推定し、推定したノイズレベルに応じてノイズレベルの変化を判定しても良い。その際、ノイズレベルの推定及びノイズレベル変化の判定は本体制御部119で行えば良い。
上述した各設定におけるノイズレベルを予め測定しておき、本体制御部119内のROMへ測定データを格納しておくことで、ノイズレベル変化の判定を行うことができる。なお、レンズ遮光状態中に各設定における画像からノイズレベルを判定しても良く、ノイズレベル変化の判定方法については特に限定されるものではない。
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
なお、上述した各実施形態においては、本発明をデジタルカメラに適用した場合を例にして説明したが、この例に限定されるものではない。すなわち、本発明は、撮像素子が付随したあらゆるデバイスに適用してもよい。すなわち携帯電話端末や携帯型の画像ビューワ、カメラを備えるテレビ、デジタルフォトフレーム、音楽プレーヤー、ゲーム機、電子ブックリーダー、画像を撮像可能な電子機器であれば、本発明は適用可能である。
<他の実施形態>
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
また、本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100:デジタルカメラ、101:交換レンズ、102:撮像素子、103:NDフルタ、104:記録媒体I/F部、105:記録媒体、106:表示用I/F部、107:表示部、108:デジタルゲイン制御部、109:アナログゲイン制御部、110:シャッター制御部、111:ND制御部、112:絞り制御部、113:フォーカス制御部、114:防振制御部、115:GPU、117:メモリ、118:画像処理部、119:本体制御部、120:外部出力I/F部、121:外部出力部、122:外部操作用I/F部、123:外部操作部、124:操作部
Claims (24)
- 被写体を撮影して画像データを出力する撮像手段と、
前記撮像手段の感度を制御する制御手段と、
前記画像データに基づいて画像を表示する表示手段と、
前記表示手段に表示された画像のノイズに基づいて、許容できるノイズレベルを選択する選択手段と、を有し、
前記制御手段は、前記選択されたノイズレベルに基づいて、前記感度を制限することを特徴とする電子機器。 - 前記制御手段は、アナログゲインを制御する第1のゲイン制御手段と、デジタルゲインを制御する第2のゲイン制御手段とを有し、
前記制御手段は、前記アナログゲインと前記デジタルゲインの組み合わせにより前記感度を制御することを特徴とする請求項1に記載の電子機器。 - 前記デジタルゲインの分解能は、前記アナログゲインの分解能よりも細かいことを特徴とする請求項2に記載の電子機器。
- 前記アナログゲインを変更する第1のモードと、前記アナログゲインを変更しない第2のモードとを有し、
前記第1のモードが設定されている場合に、前記選択手段を有効にし、前記第2のモードが設定されている場合に、前記選択手段を無効にすることを特徴とする請求項2または3に記載の電子機器。 - 前記撮像手段は、前記制御手段により制御された異なる感度の複数の画像データを出力し、
前記表示手段は、前記複数の画像データに基づく複数の画像を順に表示することを特徴とする請求項1乃至4のいずれか1項に記載の電子機器。 - 前記撮像手段は、前記制御手段により制御された異なる感度の複数の画像データを出力し、
前記表示手段は、前記複数の画像データに基づく複数の画像を並列に表示することを特徴とする請求項5に記載の電子機器。 - 前記選択手段は、ノイズが許容できる画像を選択することにより、前記許容できるノイズレベルを選択することを特徴とする請求項1乃至6のいずれか1項に記載の電子機器。
- 前記制御手段は、前記選択されたノイズレベル以下となるように前記感度の範囲を制限することを特徴とする請求項1乃至7のいずれか1項に記載の電子機器。
- 前記表示手段は、前記制限された感度の範囲を表示することを特徴とする請求項8に記載の電子機器。
- 前記制御手段は、前記選択されたノイズレベルとなる感度に制限することを特徴とする請求項1乃至7のいずれか1項に記載の電子機器。
- 前記表示手段は、前記制限された感度を表示することを特徴とする請求項10に記載の電子機器。
- 前記許容できるノイズレベルを選択する第3のモードと、前記許容できるノイズレベルを選択しない第4のモードとを切り替える切り替え手段を更に有し、
前記制御手段は、予め決められた目標輝度値となるように前記感度を含む露出を調整するための制御値を制御し、
前記第3のモードが設定されている場合に、前記制御手段は、前記感度の制御値を変更しないことを特徴とする請求項1乃至11のいずれか1項に記載の電子機器。 - 前記露出を調整するための制御値は、感度、絞り、シャッタ、光透過率可変素子を制御するための制御値を含むことを特徴とする請求項12に記載の電子機器。
- 前記制御手段は、前記第3のモードと、前記第4のモードとで、前記画像データの明るさを評価するための、測光枠のサイズ、測光枠の位置、評価対象とする色または輝度情報の閾値、目標とする輝度値のうち、少なくともいずれか1つを異ならせることを特徴とする請求項12または13に記載の電子機器。
- 前記制御手段は、予め決められた目標輝度値となるように前記感度を含む露出を調整するための制御値を制御し、
前記アナログゲインの分解能と、前記電子機器に設定されているゲイン値の制御分解能が異なる場合に、前記制御手段は、前記制御値のうち、前記感度を除く制御値を調整することにより、前記制御分解能と一致するように前記露出をシフトすることを特徴とする請求項2乃至4のいずれか1項に記載の電子機器。 - 前記制御値は、感度、絞り、シャッタ、光透過率可変素子を制御するための制御値を含むことを特徴とする請求項15に記載の電子機器。
- 電子機器の設定または前記撮像手段の特性に応じてノイズレベルの変化を判定する判定手段と、
前記選択手段により前記許容できるノイズレベルが選択され、前記判定手段によりノイズレベルに変化があると判定した場合に、警告を行う警告手段と
を更に有することを特徴とする請求項1乃至16のいずれか1項に記載の電子機器。 - 前記判定手段は、前記撮像手段から出力された画像データの拡大縮小処理、防振処理、画像データの記録方式、前記撮像手段の読み出し方式、前記撮像手段の駆動方式、光学補正処理、彩度および色相に関する色変換処理、色域の変換処理、輪郭強調処理、階調変換処理、ノイズリダクション処理、黒レベル補正処理のうち、少なくともいずれかに基づいてノイズレベルが変化したかどうかを判定することを特徴とする請求項17に記載の電子機器。
- 前記撮像手段の温度を取得する取得手段を更に備え、
前記判定手段は、取得した温度に応じてノイズレベルが変化したかどうかを判定することを特徴とする請求項17または18に記載の電子機器。 - 前記電子機器の設定または前記撮像手段の特性に応じてノイズレベルの変化量を推定する推定手段を更に備え、
前記警告手段は、前記推定手段で推定されたノイズレベルの変化量を警告することを特徴とする請求項17乃至19のいずれか1項に記載の電子機器。 - 許容できる前記ノイズレベルの変化量を設定する設定手段を更に備え、
前記警告手段は、前記推定手段で推定されたノイズレベルの変化量が前記許容できるノイズレベルの変化量を超えた場合に、警告を行うことを特徴とする請求項20に記載の電子機器。 - 撮像手段が、被写体を撮影して画像データを出力する撮像工程と、
制御手段が、前記撮像手段の感度を制御する制御工程と、
表示手段が、前記画像データに基づいて画像を表示する表示工程と、
選択手段が、前記表示手段に表示された画像のノイズに基づいて、許容できるノイズレベルを選択する選択工程と、を有し、
前記制御工程では、前記選択されたノイズレベルに基づいて、前記感度を制限することを特徴とする電子機器の制御方法。 - コンピュータに、請求項22に記載の電子機器の制御方法の各工程を実行させるためのプログラム。
- 請求項23に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022027010A JP2023123127A (ja) | 2022-02-24 | 2022-02-24 | 電子機器及びその制御方法、プログラム及び記憶媒体 |
US18/169,969 US20230269467A1 (en) | 2022-02-24 | 2023-02-16 | Electronic apparatus and control method thereof, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022027010A JP2023123127A (ja) | 2022-02-24 | 2022-02-24 | 電子機器及びその制御方法、プログラム及び記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023123127A true JP2023123127A (ja) | 2023-09-05 |
Family
ID=87574877
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022027010A Pending JP2023123127A (ja) | 2022-02-24 | 2022-02-24 | 電子機器及びその制御方法、プログラム及び記憶媒体 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20230269467A1 (ja) |
JP (1) | JP2023123127A (ja) |
-
2022
- 2022-02-24 JP JP2022027010A patent/JP2023123127A/ja active Pending
-
2023
- 2023-02-16 US US18/169,969 patent/US20230269467A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230269467A1 (en) | 2023-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7071137B2 (ja) | 電子機器およびその制御方法 | |
JP4845832B2 (ja) | 撮像装置および制御方法 | |
US8379131B2 (en) | Image capturing apparatus and control method thereof using amplification ratio based on current accumulated exposure time | |
JP4556995B2 (ja) | 撮像装置及びその露出制御方法、露出制御プログラム | |
JP5681957B2 (ja) | 撮像装置 | |
US9270888B2 (en) | Image processing apparatus and control method thereof | |
JP6752667B2 (ja) | 画像処理装置と画像処理方法およびプログラム | |
CN110661967B (zh) | 有多个可设置摄像模式的摄像设备、控制方法和存储介质 | |
KR20110132224A (ko) | 화상 처리 장치, 카메라 시스템, 화상 처리 방법, 및 프로그램 | |
JP2001245204A (ja) | 撮像装置および輝度分布表示方法 | |
JP5223686B2 (ja) | 撮像装置および撮像方法 | |
JP4999871B2 (ja) | 撮像装置およびその制御方法 | |
JP4831175B2 (ja) | 撮像装置及び撮像方法 | |
JP6071440B2 (ja) | 撮像装置及びその制御方法 | |
JP2008301371A (ja) | 撮像装置および画像処理プログラム | |
JP2017130836A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2012095223A (ja) | 撮像装置、撮像方法及びプログラム | |
US20230269467A1 (en) | Electronic apparatus and control method thereof, and storage medium | |
JP2004096392A (ja) | デジタルカメラ | |
JP4388906B2 (ja) | 撮像装置 | |
JP2009118052A (ja) | 画像信号処理方法及び装置 | |
JP2017102393A (ja) | 撮像装置 | |
JP5984533B2 (ja) | 撮像装置、その制御方法およびプログラム | |
JP4845182B2 (ja) | 撮像装置および輝度分布表示方法 | |
US11778308B2 (en) | Image processing apparatus, image processing method, and image capturing apparatus |