JP2016163207A - Image processing apparatus - Google Patents
Image processing apparatus Download PDFInfo
- Publication number
- JP2016163207A JP2016163207A JP2015040991A JP2015040991A JP2016163207A JP 2016163207 A JP2016163207 A JP 2016163207A JP 2015040991 A JP2015040991 A JP 2015040991A JP 2015040991 A JP2015040991 A JP 2015040991A JP 2016163207 A JP2016163207 A JP 2016163207A
- Authority
- JP
- Japan
- Prior art keywords
- black level
- level reference
- reference signal
- unit
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 65
- 230000001629 suppression Effects 0.000 claims abstract description 206
- 238000012937 correction Methods 0.000 claims abstract description 59
- 238000003384 imaging method Methods 0.000 claims abstract description 55
- 238000006243 chemical reaction Methods 0.000 claims abstract description 49
- 230000002159 abnormal effect Effects 0.000 claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims description 11
- 230000003321 amplification Effects 0.000 claims description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 10
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 8
- 238000000034 method Methods 0.000 description 8
- 230000007547 defect Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 4
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000875 corresponding effect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置で撮像された画像の黒レベルを補正する画像処理装置に関する。 The present invention relates to an image processing apparatus that corrects a black level of an image captured by an imaging apparatus.
従来、この種の技術としては、例えば特許文献1に記載されたものが知られている。同文献1には、OB(オプティカルブラック)データに基づいて、有効画素領域で得られた画像信号の黒レベルを補正する黒バランス調整装置が記載されている。
Conventionally, as this type of technology, for example, one described in
この黒バランス調整装置は、撮像素子に設けられた暗電流補正用の画素領域となるOB領域(光学的黒領域)の光電変換素子から出力される出力信号(OBデータ)を任意の数取得する。黒バランス調整装置は、取得した任意の数のOBデータの平均値を算出し、算出したOBデータの平均値を黒レベル補正値とし、この黒レベル補正値に基づいて黒レベルを補正している。 This black balance adjusting device obtains an arbitrary number of output signals (OB data) output from photoelectric conversion elements in an OB area (optical black area) that is a pixel area for dark current correction provided in the imaging element. . The black balance adjusting device calculates an average value of an arbitrary number of acquired OB data, uses the calculated average value of the OB data as a black level correction value, and corrects the black level based on the black level correction value. .
上記従来の技術において、OBデータを単に平均化するだけでは、雑音や温度変化などの外的要因に起因するOBデータの変動を抑制することは困難であった。 In the above-described conventional technique, it is difficult to suppress fluctuations in OB data caused by external factors such as noise and temperature change simply by averaging OB data.
また、従来の技術では、光電変換素子の異常などの内的要因に起因するOBデータの変動を抑制することは困難であった。 Further, with the conventional technology, it has been difficult to suppress fluctuations in OB data caused by internal factors such as abnormality of the photoelectric conversion element.
したがって、変動を抑制することが困難なOBデータに基づいて算出される黒レベル補正値は、精度が悪かった。この結果、従来の技術では、撮像された画像の黒レベルを補正する精度が低下していた。 Therefore, the accuracy of the black level correction value calculated based on the OB data for which fluctuation is difficult to suppress is poor. As a result, in the conventional technique, the accuracy of correcting the black level of the captured image has been reduced.
本発明の目的は、撮像された画像の黒レベルを補正する精度を向上した画像処理装置を提供することである。 An object of the present invention is to provide an image processing apparatus with improved accuracy for correcting the black level of a captured image.
本発明は、撮像装置の撮像部に設けられた光学的黒領域に配置された複数の光電変換素子で得られた黒レベル基準信号の内、周囲の前記光電変換素子で得られた黒レベル基準信号の信号レベルに対して異常な信号レベルの黒レベル基準信号を、周囲の正常な黒レベル基準信号の信号レベルに補正する黒レベル基準信号補正部と、前記黒レベル基準信号補正部で補正された黒レベル基準信号を含む、前記光学的黒領域に配置された前記光電変換素子で得られたすべての黒レベル基準信号の信号レベルの平均値を、前記撮像装置で撮像された画像を構成するフレーム毎に算出し、フレーム毎に算出した黒レベル基準信号の信号レベルの平均値を第1平均黒レベル基準信号として出力する第1平均値算出部と、所定のフレーム数分の第1抑制黒レベル基準信号の信号レベルの平均値を算出し、算出した平均値を第2平均黒レベル基準信号として出力する第2平均値算出部と、前記第2平均値算出部から出力された第2平均黒レベル基準信号の信号レベル及び予め設定されたしきい値に基づいて決定される第1抑制範囲内に、前記第1平均値算出部で算出された第1平均黒レベル基準信号の信号レベルを抑制し、信号レベルを抑制した第1平均黒レベル基準信号を第1抑制黒レベル基準信号として出力する第1抑制部と、前記第1抑制部から出力された第1抑制黒レベル基準信号の信号レベルまたは第2抑制黒レベル基準信号の信号レベルと予め設定されたしきい値とに基づいて決定される第2抑制範囲内に、第1抑制黒レベル基準信号の信号レベルを抑制し、信号レベルを抑制した第1抑制黒レベル基準信号を第2抑制黒レベル基準信号として出力する第2抑制部と、前記第2抑制部から出力された第2抑制黒レベル基準信号に基づいて、前記撮像部に設けられた有効画素領域の光電変換素子で得られた画像信号の黒レベルを補正する黒レベル補正部とを有することを特徴とする画像処理装置を提供する。 The present invention provides a black level reference obtained by surrounding photoelectric conversion elements among black level reference signals obtained by a plurality of photoelectric conversion elements arranged in an optical black region provided in an imaging unit of an imaging apparatus. A black level reference signal correction unit that corrects a black level reference signal having an abnormal signal level to a signal level of a surrounding normal black level reference signal and the black level reference signal correction unit. The average value of the signal levels of all the black level reference signals obtained by the photoelectric conversion elements arranged in the optical black area, including the black level reference signal, constitutes an image captured by the imaging device. A first average value calculation unit that calculates the average value of the signal level of the black level reference signal calculated for each frame and outputs the average value of the black level reference signal as the first average black level reference signal; and first suppression black for a predetermined number of frames Lebe A second average value calculation unit that calculates an average value of the signal levels of the reference signal and outputs the calculated average value as a second average black level reference signal; and a second average black output from the second average value calculation unit The signal level of the first average black level reference signal calculated by the first average value calculation unit is suppressed within a first suppression range determined based on the signal level of the level reference signal and a preset threshold value. And a first suppression unit that outputs the first average black level reference signal with the signal level suppressed as a first suppression black level reference signal, and a signal level of the first suppression black level reference signal output from the first suppression unit. Alternatively, the signal level of the first suppression black level reference signal is suppressed within a second suppression range determined based on the signal level of the second suppression black level reference signal and a preset threshold, and the signal level is Suppressed first suppression A second suppression unit that outputs a black level reference signal as a second suppression black level reference signal, and an effective pixel provided in the imaging unit based on the second suppression black level reference signal output from the second suppression unit There is provided an image processing apparatus comprising a black level correction unit that corrects a black level of an image signal obtained by a photoelectric conversion element in a region.
本発明の画像処理装置によれば、撮像された画像の黒レベルを補正する際に用いる信号の精度を高めることができる。これにより、本発明の画像処理装置は、撮像された画像の黒レベルを補正する精度を向上することができる。 According to the image processing apparatus of the present invention, it is possible to improve the accuracy of a signal used when correcting the black level of a captured image. Thereby, the image processing apparatus of this invention can improve the precision which correct | amends the black level of the imaged image.
以下、図面を用いて本発明を実施するための実施形態を説明する。 Hereinafter, embodiments for carrying out the present invention will be described with reference to the drawings.
(実施形態)
実施形態の画像処理装置は、動画像を撮像する機能を備えた様々な機器に搭載することができる。動画像を撮像する機能を備えた機器としては、例えばビデオカメラやスチルカメラなどの撮像装置、撮像機能を備えた携帯電話、携帯情報端末などが挙げられる。
(Embodiment)
The image processing apparatus according to the embodiment can be mounted on various devices having a function of capturing a moving image. Examples of the device having a function of capturing a moving image include an imaging device such as a video camera and a still camera, a mobile phone having an imaging function, and a portable information terminal.
以下の説明では、画像処理装置がビデオカメラなどの撮像装置に搭載された場合を一例として説明する。 In the following description, a case where the image processing apparatus is mounted on an imaging apparatus such as a video camera will be described as an example.
まず、実施形態の画像処理装置を説明する前に、画像処理装置が搭載された撮像装置の全体の概略構成を説明する。 First, before describing the image processing apparatus according to the embodiment, an overall schematic configuration of an imaging apparatus equipped with the image processing apparatus will be described.
図1は撮像装置1の構成を示すブロック図である。図1において、撮像装置1は、被写体を撮像して、被写体のアナログ画像信号を得る撮像部100を備えている。
FIG. 1 is a block diagram illustrating a configuration of the
撮像部100は、ズームレンズ1001、フォーカスレンズ1002、絞り1003、及びイメージセンサなどで構成される撮像素子1004を備えている。
The
ズームレンズ1001は図示しないズームアクチュエータによって光軸に沿って移動する。同様に、フォーカスレンズ1002は、図示しないフォーカスアクチュエータによって光軸に沿って移動する。絞り1003は、図示しない絞りアクチュエータに駆動されて動作する。
The
撮像部100を用いた撮像は以下の手順で行われる。撮像素子1004はズームレンズ1001、フォーカスレンズ1002、及び絞り1003を通過した光を光電変換して、被写体のアナログ画像信号を生成する。生成されたアナログ画像信号は、アナログ画像信号処理部101に与えられる。
Imaging using the
アナログ画像信号処理部101は、撮像部100から与えられたアナログ画像信号を例えば相関二重サンプリングなどのサンプリング処理を行うことにより増幅する。増幅する際のゲインは、後述する撮像制御部113によって調整制御される。アナログ画像信号処理部101は、増幅したアナログ画像信号をA/D変換部102に出力する。
The analog image
A/D変換部102は、増幅されたアナログ画像信号をデジタル画像信号に変換する。A/D変換部102は、変換によって得られたデジタル画像信号を画像入力コントローラ103に出力する。
The A /
画像入力コントローラ103は、A/D変換部102から与えられたデジタル画像信号を取り込んで、取り込んだデジタル画像信号をバス104を介してバス104に接続されたRAM105に記憶する。
The
バス104には、デジタル信号処理部106及びROM107が接続されている。
A digital
デジタル信号処理部106は、バス104を介してRAM105に格納されたデジタル画像信号を読み込み、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。
The digital
デジタル信号処理部106は、撮像素子1004から出力される撮像時の感度情報、例えばAGCゲインまたはISO感度に基づき、デジタル画像信号の各種デジタル補正処理を行う。各種デジタル補正処理は、例えばオフセット処理、ガンマ補正処理、ゲイン処理、RGB補間処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等である。
The digital
AGCは、Automatic Gain Control:自動利得制御の略称であり、ISOは、International Organization for Standardization:国際標準化機構の略称である。 AGC is an abbreviation for Automatic Gain Control, and ISO is an abbreviation for International Organization for Standardization.
ROM107は、ユーザの設定情報等、撮像装置1の動作に関する各種設定情報を格納する。ROM107は、後述する撮像制御部113で実行される制御プログラムを格納する。
The
バス104には、入出力I/F(インターフェイス)108を介して液晶モニタ109、スピーカ110、操作部111及び入出力端子112が接続されている。
A
液晶モニタ109は、例えばRAM105に一時記録された画像信号や各種メニュー画像等、各種画像を表示する。スピーカ110は、例えばRAM105に一時記録された音声を出力する。操作部111は、図示しないリレーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ109上に重畳されたタッチパネル等から構成されている。操作部111は、ユーザの撮像装置1への操作入力を受け付ける。
The
入出力端子112は、図示しないテレビモニタやPC(Personal Computer)等に接続される。 The input / output terminal 112 is connected to a television monitor, a PC (Personal Computer), or the like (not shown).
撮像制御部113は、バス104を介してROM107に記憶された撮像装置1の全体の動作を制御する制御プログラムを読み出し、読み出した制御プログラムに基づいて撮像装置1の全体の動作を統括制御する。撮像制御部113は、CPUを有するマイクロコンピュータによって構成することができる。
The
撮像制御部113は、アナログ画像信号処理部101がアナログ画像信号を増幅する際の増幅ゲインを制御する。撮像制御部113は、絞り1003や入射光を光電変換する時間だけでは調整しきれない撮像素子1004に入射する光量の変化を補償するように、増幅ゲインを制御する。すなわち、撮像制御部113は、撮像素子1004に入射する光量が少なくなるほど増幅ゲインを大きくする。
The
撮像装置1は、実施形態の画像処理装置10を備えている。
The
画像処理装置10は、バス104に接続され、バス104を介して以下に説明する画像処理装置10で行われる各種処理に必要な信号を入出力する。画像処理装置10は、黒レベル基準信号補正部20、平均値算出部30、第1抑制部40、第2抑制部50及び黒レベル補正部60を備えている。
The
なお、以下の説明において、画像処理装置10で処理される各種信号は、画像処理装置10の上記構成要件により補正、演算、比較、平均値算出などの各種処理が行われる。この各種処理では、特に断らない限り各種信号の信号レベルが補正、比較、演算されたり、信号レベルの平均値が算出される。例えば、2つの所定の信号が比較されると記載されている場合には、所定の信号の信号レベルが比較されることを意味する。
In the following description, various signals such as correction, calculation, comparison, and average value calculation are performed on various signals processed by the
黒レベル基準信号補正部20は、撮像素子1004に設けられたOB領域の各画素を構成する各光電変換素子から出力され、画像入力コントローラ103からバス104を介して出力されるデジタル画像信号を黒レベル基準信号として入力する。黒レベル基準信号補正部20は、入力した黒レベル基準信号から信号レベルが異常な黒レベル基準信号を補正する。ここで、信号レベルが異常であるとは、光電変換素子に欠陥などの不具合が発生し、周囲の正常な光電変換素子で得られた黒レベル基準信号の信号レベルとの差が極端に大きい場合をいうものとする。
The black level reference
図2は撮像素子1004の模式図である。
FIG. 2 is a schematic diagram of the
図2において、撮像素子1004は、各画素を構成する光電変換素子(図示せず)が複数行列状に配列された画素領域1005を備えている。画素領域1005は、画像の画素信号を出力する有効画素領域1006と、黒レベル基準信号を出力するOB領域(光学的黒領域)1007とで構成されている。
In FIG. 2, the
OB領域1007は、図2に示す一例では、画素領域1005の内、左端部の画素領域1005と下端部の画素領域1005とが割り当てられている。OB領域1007の配置位置や大きさは、図2に示す一例に限ることはなく、画素領域のいずれの箇所に設けることができ、例えば画素領域の四隅に設けることができる。
In the example shown in FIG. 2, the
OB領域1007に配列された光電変換素子は、遮光膜が形成され、遮光膜により入射光が遮断されている。OB領域1007に配列された各光電変換素子は、遮光状態における出力信号として黒レベル基準信号を出力する。
In the photoelectric conversion elements arranged in the
黒レベル基準信号補正部20は、図3に示すように、記憶部21、記憶制御部22、配列部23及び選択部24を備えている。
As shown in FIG. 3, the black level reference
記憶部21は、記憶制御部22の制御の下に、OB領域1007の光電変換素子で得られた黒レベル基準信号を記憶する。記憶部21は、記憶制御部22の制御の下に、記憶された黒レベル基準信号を配列部23に読み出す。
The
記憶制御部22は、OB領域1007の光電変換素子で得られた黒レベル基準信号を入力する。記憶制御部22は、入力した黒レベル基準信号を記憶部21に記憶する動作、及び配列部23に読み出す動作を制御する。
The
配列部23は、記憶部21から読み出された黒レベル基準信号が入力される。配列部23は、補正しようとする黒レベル基準信号を出力する光電変換素子と、この光電変換素子の周囲の複数の光電変換素子の黒レベル基準信号の大きさを比較し、大きい順に黒レベル基準信号を配列する。ここでは配列部23は、大きい順に黒レベル基準信号を配列するとしたが、小さい順に黒レベル基準信号を配列しても良い。選択部24は、配列した黒レベル基準信号を選択部24に出力する。
The
選択部24は、配列部23から出力された黒レベル基準信号を入力し、配列された黒レベル基準信号の配列順序における中央の黒レベル基準信号を選択する。ここで、配列された黒レベル基準信号の配列順序における中央とは、配列された黒レベル基準信号が奇数個の例えば9個であれば、大きい方から5番目の黒レベル基準信号を指す。一方、配列された黒レベル基準信号が偶数個の例えば6個であれば、配列された黒レベル基準信号の中央とは、信号レベルが大きい方から3番目もしくは4番目の黒レベル基準信号を指す。
The
選択部24は、補正前の黒レベル基準信号に代えて、選択した黒レベル基準信号を補正後の補正黒レベル基準信号として平均値算出部30に出力する。
The
黒レベル基準信号補正部20の補正動作は、以下に示すようにして行われる。
The correction operation of the black level reference
ここで、OB領域1007の光電変換素子1008は、例えば図4(a)に示すように、3行12列に配列され、OB領域1007は、36個のそれぞれ独立した光電変換素子1008を備えているものとする。
Here, the
図4(a)において、OB領域1007の各光電変換素子1008で得られた黒レベル基準信号は、信号レベルの大きさが例えば12ビットの数値で表されている。ここで、図4(a)に示すように、例えば画素Xと画素Yとの光電変換素子1008は、欠陥が生じているものとする。
In FIG. 4A, the black level reference signal obtained by each
画素Xの黒レベル基準信号は、信号レベルの値が「010」となり、周囲の画素の黒レベル基準信号の信号レベル「07F」、「080」、「081」に比べて極端に小さな値となり、異常な信号レベルを示している。同様に、画素Yの黒レベル基準信号は、信号レベルの値が「F00」となり、周囲の画素の黒レベル基準信号の信号レベル「07F」、「080」、「081」に比べて極端に大きな値となり、異常な信号レベルを示している。 The black level reference signal of the pixel X has a signal level value “010”, which is extremely small compared to the signal levels “07F”, “080”, “081” of the black level reference signals of the surrounding pixels, An abnormal signal level is indicated. Similarly, the black level reference signal of the pixel Y has a signal level value “F00”, which is extremely larger than the signal levels “07F”, “080”, and “081” of the black level reference signals of the surrounding pixels. Value, indicating an abnormal signal level.
ここでは、特に黒レベル基準信号の信号レベルが異常な画素Xと画素Yに着目して、画素Xと画素Yとの黒レベル基準信号が補正される動作を説明する。 Here, the operation of correcting the black level reference signal of the pixel X and the pixel Y will be described by paying attention to the pixel X and the pixel Y where the signal level of the black level reference signal is particularly abnormal.
まず、OB領域1007のすべての光電変換素子1008で得られた黒レベル基準信号が記憶部21に読み込まれる。
First, black level reference signals obtained by all the
画素Xの黒レベル基準信号が補正される際には、画素Xの黒レベル基準信号とその周囲の8個の画素の黒レベル基準信号とが記憶部21から配列部23に与えられる。すなわち、図4(a)の破線X1で囲まれた9個の画素の黒レベル基準信号が配列部23に与えられる。
When the black level reference signal of the pixel X is corrected, the black level reference signal of the pixel X and the black level reference signals of the eight surrounding pixels are supplied from the
配列部23に与えられた9個の黒レベル基準信号は、信号レベルが大きい順に配列される。すなわち、9個の黒レベル基準信号は、信号レベルが大きい順に「081、081、080、080、080、07F、07F、07F、010」というように配列される。
The nine black level reference signals given to the
このように配列された9個の黒レベル基準信号は、中央となる黒レベル基準信号が選択部24により選択される。すなわち、信号レベルが大きい方から5番目の信号レベル「080」の黒レベル基準信号が選択される。選択された信号レベル「080」の黒レベル基準信号は、図4(b)に示すように、異常な信号レベル「010」の黒レベル基準信号に置き換えられ、画素Xの補正黒レベル基準信号として出力される。
The nine black level reference signals arranged in this way are selected by the
画素Yの黒レベル基準信号が補正される際には、画素Yの黒レベル基準信号とその周囲の8個の画素の黒レベル基準信号とが記憶部21から配列部23に与えられる。すなわち、図4(a)の破線Y1で囲まれた9個の画素の黒レベル基準信号が配列部23に与えられる。
When the black level reference signal of the pixel Y is corrected, the black level reference signal of the pixel Y and the black level reference signals of eight surrounding pixels are supplied from the
配列部23に与えられた9個の黒レベル基準信号は、信号レベルが大きい順に配列される。すなわち、9個の黒レベル基準信号は、信号レベルが大きい順に「F00、081、081、080、080、07F、07F、07F、07F」というように配列される。
The nine black level reference signals given to the
このように配列された9個の黒レベル基準信号は、中央となる黒レベル基準信号が選択部24により選択される。すなわち、信号レベルが大きい方から5番目の信号レベル「080」の黒レベル基準信号が選択される。選択された信号レベル「080」の黒レベル基準信号は、図4(b)に示すように、異常な信号レベル「F00」の黒レベル基準信号と置き換えられ、画素Yの補正黒レベル基準信号として出力される。
The nine black level reference signals arranged in this way are selected by the
なお、OB領域1007の四隅を除く左右上下端の画素の黒レベル基準信号を補正する際には、配列部23は、補正する画素とその周囲の5個の画素の計6個の画素の黒レベル基準信号の信号レベルを大きい順に配列する。選択部24は、配列された6個の画素の黒レベル基準信号の中央の信号として大きい方から3番目もしくは4番目の黒レベル基準信号を選択する。
Note that when correcting the black level reference signals of the pixels at the upper and lower left and right except for the four corners of the
OB領域1007の四隅の画素の黒レベル基準信号を補正する際には、配列部23は、補正する画素とその周囲の3個の画素の計4個の画素の黒レベル基準信号の信号レベルを大きい順に配列する。選択部24は、配列された4個の画素の黒レベル基準信号の中央の信号として大きい方から2番目もしくは3番目の黒レベル基準信号を選択する。
When correcting the black level reference signals of the pixels at the four corners of the
黒レベル基準信号補正部20は、上述したように、OB領域1007のすべての画素に対して補正動作を行う。このとき、周囲の黒レベル基準信号との差が極僅かな正常な信号レベルの黒レベル基準信号は、周囲との信号レベルとの差が極僅かであるので、補正動作が行われても、概ね補正前の信号レベルと変わることはない。
As described above, the black level reference
平均値算出部30は、図5に示すように、第1平均値算出部31と第2平均値算出部32とを備えている。
As shown in FIG. 5, the average
第1平均値算出部31は、黒レベル基準信号補正部20から出力されるOB領域1007のすべての画素の補正黒レベル基準信号を入力し、入力した補正黒レベル基準信号の平均値を算出する。第1平均値算出部31は、入力したOB領域1007のすべての画素の補正黒レベル基準信号を加算し、加算した総和を加算した信号数で除算して平均値を算出する。第1平均値算出部31は、撮像装置1で撮像された動画像のフレーム毎に平均値を算出する。第1平均値算出部31は、算出した平均値を第1平均黒レベル基準信号として第1抑制部40に出力する。
The first average
第2平均値算出部32は、後述する第1抑制部40から出力された第1抑制黒レベル基準信号を入力し、撮像装置1で撮像された画像の複数フレーム例えば16フレームに渡る第1抑制黒レベル基準信号の平均値を算出する。
The second average
第2平均値算出部32は、図6に示すように、バッファ部321と算出部322を備えている。
As illustrated in FIG. 6, the second average
バッファ部321は、現フレームの第1抑制黒レベル基準信号を入力する。バッファ部321は、平均値を算出しようするとする現フレームの直前の15フレーム分の第1抑制黒レベル基準信号を保持する。バッファ部321は、平均値を算出する毎に、15フレーム前に入力されて保持された最も古い第1抑制黒レベル基準信号に代えて、現フレームの第1抑制黒レベル基準信号を保持する。バッファ部321は、保持した15フレーム分の第1抑制黒レベル基準信号を算出部322に出力する。
The
算出部322は、現フレームの第1抑制黒レベル基準信号と、バッファ部321に保持された現フレームの直前の15フレーム分の第1抑制黒レベル基準信号との平均値を算出する。算出部322は、現フレームと15フレーム分の第1抑制黒レベル基準信号を加算し、加算した総和を信号数の16で除算して平均値を算出する。算出部322は、算出した平均値を第2平均黒レベル基準信号として第1抑制部40に出力する。
The calculating
第1抑制部40は、図7に示すように、加算部41(第1加算部)、減算部42(第1減算部)、しきい値保持部43、44、算出部45を備えている。
As shown in FIG. 7, the
加算部41は、第2平均値算出部32から出力された第2平均黒レベル基準信号を入力し、入力した第2平均黒レベル基準信号としきい値th1(第1しきい値)とを加算する。加算部41は、加算結果を算出部45に出力する。
The
減算部42は、第2平均値算出部32から出力された第2平均黒レベル基準信号を入力し、入力した第2平均黒レベル基準信号からしきい値th2(第2しきい値)を減算する。減算部42は、減算結果を算出部45に出力する。
The
しきい値保持部43は、予め設定されたしきい値th1を保持し、保持したしきい値th1を加算部41に与える。
The
しきい値保持部44は、予め設定されたしきい値th2を保持し、保持したしきい値th2を減算部42に与える。
The
算出部45は、第1平均値算出部31から出力された第1平均黒レベル基準信号、加算部41の加算結果及び減算部42の減算結果を入力し、第1抑制黒レベル基準信号を算出する。
The
算出部45は、第1平均黒レベル基準信号と加算結果及び減算結果とを比較し、比較結果に基づいて第1抑制黒レベル基準信号を算出する。
The
算出部45は、比較結果において、第1平均黒レベル基準信号が加算結果よりも大きい場合には、加算結果を信号レベルとする第1抑制黒レベル基準信号を算出する。算出部45は、比較結果において、第1平均黒レベル基準信号が加算結果よりも小さいかもしくは同じ場合には、第1平均黒レベル基準信号を第1抑制黒レベル基準信号として算出する。
When the first average black level reference signal is larger than the addition result in the comparison result, the
算出部45は、比較結果において、第1平均黒レベル基準信号が減算結果よりも小さい場合には、減算結果を信号レベルとする第1抑制黒レベル基準信号を算出する。算出部45は、比較結果において、第1平均黒レベル基準信号が減算結果よりも大きいかもしくは同じ場合には、第1平均黒レベル基準信号を第1抑制黒レベル基準信号として算出する。
When the first average black level reference signal is smaller than the subtraction result in the comparison result, the
第1平均黒レベル基準信号が、第1抑制範囲外にある場合には、第1平均黒レベル基準信号は、実証的な観点から何らかの雑音の影響により信号レベルが変動しているものと推測される。ここで、第1抑制範囲とは、加算部41の加算結果以下かつ減算部42の減算結果以上の範囲である。
When the first average black level reference signal is outside the first suppression range, the signal level of the first average black level reference signal is presumed to have fluctuated due to some noise from an empirical viewpoint. The Here, the first suppression range is a range below the addition result of the
そこで、第1抑制部40は、第1平均黒レベル基準信号が、第1抑制範囲外にある場合には、上述した演算処理を実行することにより、第1平均黒レベル基準信号を第1抑制範囲内に抑制する。これにより、第1抑制部40は、雑音の影響による第1平均黒レベル基準信号の信号レベルの変動を抑制して第1抑制黒レベル基準信号を生成する。第1抑制部40は、算出した第1抑制黒レベル基準信号を平均値算出部30の第2平均値算出部32及び第2抑制部50に出力する。
Therefore, when the first average black level reference signal is outside the first suppression range, the
第2抑制部50は、図8に示すように、加算部51a,51b、減算部52a,52b、しきい値保持部53、クリップ部54a,54b、バッファ部55、比較部56、選択部57を備えている。
As shown in FIG. 8, the
加算部51aは、第1抑制部40から出力された第1抑制黒レベル基準信号を入力し、入力した第1抑制黒レベル基準信号としきい値th3(第3しきい値)とを加算する。加算部51aは、加算結果をクリップ部54aに出力する。
The adding unit 51a receives the first suppression black level reference signal output from the
加算部51b(第2加算部)は、後述するバッファ部55に保持された第1抑制黒レベル基準信号または第2抑制黒レベル基準信号としきい値th3とを加算する。加算部51bは、加算結果を比較部56に出力する。
The adding
減算部52a(第2減算部)は、第1抑制部40から出力された第1抑制黒レベル基準信号を入力し、入力した第1抑制黒レベル基準信号からしきい値th3を減算する。減算部52aは、減算結果をクリップ部54aに出力する。
The
減算部52bは、バッファ部55に保持された第1抑制黒レベル基準信号または第2抑制黒レベル基準信号からしきい値th3を減算する。減算部52bは、減算結果を比較部56に出力する。
The
しきい値保持部53は、予め設定されたしきい値th3を保持し、保持したしきい値th3を加算部51a、51b、及び減算部52a,52bに与える。
The threshold
クリップ部54aは、加算部51aから出力された加算結果を入力し、入力した加算結果の上限を予め任意に設定された上限値に制限する。クリップ部54aは、上限が制限された加算結果を選択部57に出力する。なお、加算部51aの加算結果は、クリップ部54aを介さずに上限を制限されることなく直接選択部57に与えられるようにしてもよい。
The
クリップ部54bは、減算部52aから出力された減算結果を入力し、入力した減算結果の下限を予め任意に設定された下限値に制限する。クリップ部54bは、下限が制限された減算結果を選択部57に出力する。なお、減算部52aの減算結果は、クリップ部54bを介さずに下限が制限されることなく直接選択部57に与えられるようにしてもよい。
The
バッファ部55は、動作開始時に撮像装置1で撮像された画像の最初の1フレームでは、後述する選択部57から出力される第1抑制黒レベル基準信号を入力し、入力した第1抑制黒レベル基準信号を1フレームの期間保持する。
The
バッファ部55は、動作開始時に撮像装置1で撮像された画像の最初の1フレーム以降のフレームでは、選択部57から出力される第2抑制黒レベル基準信号を入力し、入力した第2抑制黒レベル基準信号を1フレームの期間保持する。バッファ部55は、第2抑制部50で第2抑制黒レベル基準信号が1フレーム毎に生成されると、それまで保持していた第1抑制黒レベル基準信号もしくは第2抑制黒レベル基準信号を新たに生成された第2抑制黒レベル基準信号に置き換える。これにより、バッファ部55は、それまで保持していた信号を新たに生成された信号に更新する。
The
バッファ部55は、保持した第1抑制黒レベル基準信号または第2抑制黒レベル基準信号を加算部51b及び減算部52bに出力する。
The
比較部56は、第1抑制部40から出力される第1抑制黒レベル基準信号と、加算部51bから出力される加算結果と、減算部52bから出力される減算結果とを入力する。
The
比較部56は、動作開始時に撮像装置1で撮像された画像の最初の1フレームでは、入力した第1抑制黒レベル基準信号、加算結果及び減算結果によらず、第1選択信号を選択部57に出力する。
The
比較部56は、動作開始時に撮像装置1で撮像された画像の最初の1フレーム以降のフレームでは、入力した第1抑制黒レベル基準信号、加算結果及び減算結果の比較結果にしたがって、選択信号を選択部57に出力する。
In the first and subsequent frames of the image captured by the
比較部56は、第1抑制黒レベル基準信号と加算結果とを比較し、第1抑制黒レベル基準信号が加算結果よりも大きい場合には、第2選択信号を選択部57に出力する。比較部56は、第1抑制黒レベル基準信号が加算結果よりも大きくない場合には、第3選択信号を選択部57に出力する。
The
比較部56は、第1抑制黒レベル基準信号と減算結果とを比較し、第1抑制黒レベル基準信号が減算結果よりも小さい場合には、第4選択信号を選択部57に出力する。比較部56は、第1抑制黒レベル基準信号が減算結果よりも小さくない場合には、第3選択信号を選択部57に出力する。
The
選択部57は、第1抑制部40から出力された第1抑制黒レベル基準信号、クリップ部54aから出力された加算結果、クリップ部54bから出力された減算結果、比較部56から出力された第1選択信号〜第4選択信号を入力する。選択部57は、第1選択信号〜第4選択信号に基づいて、第1抑制黒レベル基準信号、加算結果、減算結果のいずれか1つを選択する。
The
選択部57は、第1選択信号が比較部56から与えられると、第1抑制黒レベル基準信号を選択する。選択部57は、選択した第1抑制黒レベル基準信号をバッファ部55に出力し、かつ第2抑制黒レベル基準信号として黒レベル補正部60に出力する。
When the first selection signal is given from the
選択部57は、第2選択信号が比較部56から与えられると、減算結果を選択する。選択部57は、減算結果を選択すると、選択した減算結果を信号レベルとする第2抑制黒レベル基準信号を黒レベル補正部60に出力する。
When the second selection signal is given from the
選択部57は、第3選択信号が比較部56から与えられると、第1抑制黒レベル基準信号を選択する。選択部57は、第1抑制黒レベル基準信号を選択すると、選択した第1抑制黒レベル基準信号を第2抑制黒レベル基準信号として黒レベル補正部60に出力する。
When the third selection signal is given from the
選択部57は、第4選択信号が比較部56から与えられると、加算結果を選択する。選択部57は、加算結果を選択すると、選択した加算結果を信号レベルとする第2抑制黒レベル基準信号を黒レベル補正部60に出力する。
When the fourth selection signal is given from the
第2抑制黒レベル基準信号は、前フレームに生成された第1抑制黒レベル基準信号が第2抑制範囲内にある場合には、前フレームに生成された第1抑制黒レベル基準信号となる。ここで、第2抑制範囲とは、加算部51bの加算結果以下かつ減算部52の減算結果以上の範囲である。これにより、しきい値th3以下の微少変動が第1抑制黒レベル基準信号にある場合でも、この微少変動は第2抑制黒レベル基準信号の生成に影響を与えることはない。
The second suppression black level reference signal is the first suppression black level reference signal generated in the previous frame when the first suppression black level reference signal generated in the previous frame is within the second suppression range. Here, the second suppression range is a range that is equal to or less than the addition result of the
一方、第1抑制黒レベル基準信号が、第2抑制範囲外にある場合には、第1抑制黒レベル基準信号は、実証的な観点から温度変化などに起因する雑音の影響により信号レベルが微少変動しているものと推測される。 On the other hand, when the first suppression black level reference signal is outside the second suppression range, the signal level of the first suppression black level reference signal is very small due to the influence of noise due to temperature change or the like from an empirical viewpoint. Presumed to be fluctuating.
そこで、第2抑制部50は、第1抑制黒レベル基準信号が第2抑制範囲外にある場合には、上述した演算処理を実行することにより、第1抑制黒レベル基準信号を第2抑制範囲内に抑制する。第2抑制部50は、第2抑制範囲内に抑制した第1抑制黒レベル基準信号を第2抑制黒レベル基準信号として生成する。
Therefore, when the first suppression black level reference signal is out of the second suppression range, the
これにより、第2抑制部50は、雑音の影響による第1抑制黒レベル基準信号の信号レベルの微少変動を抑制して、第2抑制黒レベル基準信号を生成する。第2抑制部50は、フレーム毎に生成した第2抑制黒レベル基準信号を、撮像装置1で撮像された画像の黒レベルを補正するための黒レベル基準信号として黒レベル補正部60に出力する。
As a result, the
黒レベル補正部60は、図2に示す撮像素子1004の有効画素領域1006の各画素で得られたデジタル画像信号と、第2抑制部50から出力された黒レベル基準信号とを入力する。黒レベル補正部60は、入力したデジタル画像信号から黒レベル基準信号を減算する。この演算により、黒レベル補正部60は、有効画素領域1006の各画素で得られたデジタル画像信号の黒レベルを補正する。黒レベル補正部60は、バス104を介して黒レベルを補正したデジタル画像信号をデジタル信号処理部106に出力する。
The black
上記構成において、画像処理装置10は、デジタル画像信号の黒レベルを以下に示すようにして補正する。
In the above configuration, the
撮像素子1004に設けられたOB領域1007の各画素に対応した各光電変換素子で得られたアナログ画像信号は、デジタル画像信号に変換された後、黒レベル基準信号としてバス104を介して黒レベル基準信号補正部20に入力される。
An analog image signal obtained by each photoelectric conversion element corresponding to each pixel of the
黒レベル基準信号補正部20に入力された黒レベル基準信号は、異常な黒レベル基準信号が黒レベル基準信号補正部20により補正される。補正された黒レベル基準信号は、補正黒レベル基準信号として平均値算出部30の第1平均値算出部31に入力される。
The black level reference signal input to the black level reference
第1平均値算出部31に入力されたOB領域1007のすべての画素の補正黒レベル基準信号は、撮像装置1で撮像された画像のフレーム毎に第1平均値算出部31により平均値が算出される。算出された平均値は、第1平均黒レベル基準信号として第1抑制部40に入力される。
The corrected black level reference signal of all the pixels in the
第1抑制部40に入力された第1平均黒レベル基準信号は、加算部41の加算結果及び減算部42の減算結果と比較され、比較結果に基づいて、第1抑制黒レベル基準信号が算出される。
The first average black level reference signal input to the
第1平均黒レベル基準信号が加算結果よりも大きい場合には、加算結果を信号レベルとする第1抑制黒レベル基準信号が算出される。第1平均黒レベル基準信号が減算結果よりも小さい場合には、減算結果を信号レベルとする第1抑制黒レベル基準信号が算出される。 When the first average black level reference signal is larger than the addition result, a first suppression black level reference signal is calculated with the addition result as the signal level. When the first average black level reference signal is smaller than the subtraction result, a first suppression black level reference signal having the subtraction result as the signal level is calculated.
第1平均黒レベル基準信号が加算結果よりも小さいかもしくは同じ場合には、第1平均黒レベル基準信号が第1抑制黒レベル基準信号として算出される。第1平均黒レベル基準信号が減算結果よりも大きいかもしくは同じ場合には、第1平均黒レベル基準信号が第1抑制黒レベル基準信号として算出される。 When the first average black level reference signal is smaller than or equal to the addition result, the first average black level reference signal is calculated as the first suppression black level reference signal. If the first average black level reference signal is greater than or equal to the subtraction result, the first average black level reference signal is calculated as the first suppression black level reference signal.
算出された第1抑制黒レベル基準信号は、平均値算出部30の第2平均値算出部32及び第2抑制部50に入力される。
The calculated first suppression black level reference signal is input to the second average
第2平均値算出部32に入力された第1抑制黒レベル基準信号は、撮像装置1で撮像された画像の16フレーム分の平均値が算出される。算出された平均値は、第2平均黒レベル基準信号として第1抑制部40に入力される。
As the first suppression black level reference signal input to the second average
第1抑制部40に入力された第2平均黒レベル基準信号は、加算部41でしきい値保持部43に保持されたしきい値th1と加算される。加算結果は、算出部45に入力される。また、第1抑制部40に入力された第2平均黒レベル基準信号は、減算部42でしきい値保持部43に保持されたしきい値th2が減算される。減算結果は、算出部45に入力される。
The second average black level reference signal input to the
第2抑制部50に入力された第1抑制黒レベル基準信号は、比較部56で加算部51bの加算結果及び減算部52bの減算結果と比較される。
The first suppression black level reference signal input to the
バッファ部55に保持された第2抑制黒レベル基準信号としきい値保持部53に保持されたしきい値th3とは、加算部51bで加算される。加算結果は、比較部56に入力される。バッファ部55に保持された第2抑制黒レベル基準信号は、しきい値保持部53に保持されたしきい値th3が減算部52bで減算される。減算結果は、比較部56に入力される。
The second suppression black level reference signal held in the
動作開始時に撮像装置1で撮像された画像の最初のフレームでは、加算部51bの加算結果及び減算部52bの減算結果によらず、第1選択信号が選択部57に入力される。
In the first frame of the image captured by the
動作開始時に撮像装置1で撮像された画像の最初のフレーム以降のフレームでは、第1抑制黒レベル基準信号、加算結果及び減算結果の比較結果にしたがって、第2〜第4の選択信号が選択部57に入力される。
In frames after the first frame of the image captured by the
すなわち、第1抑制黒レベル基準信号が加算結果よりも大きい場合には、第2選択信号が選択部57に入力される。第1抑制黒レベル基準信号が加算結果よりも大きくない場合、及び第1抑制黒レベル基準信号が減算結果よりも小さくない場合には、第3選択信号が選択部57に入力される。第1抑制黒レベル基準信号が減算結果よりも小さい場合には、第4選択信号が選択部57に入力される。
That is, when the first suppression black level reference signal is larger than the addition result, the second selection signal is input to the
第1選択信号または第3選択信号が選択部57に入力されると、第1抑制黒レベル基準信号が選択される。第2選択信号が選択部57に入力されると、クリップ部54bで下限値が制限された減算部52aの減算結果が選択される。第4選択信号が選択部57に入力されると、クリップ部54aで上限値が制限された加算部51aの加算結果が選択される。
When the first selection signal or the third selection signal is input to the
選択された第1抑制黒レベル基準信号、減算結果または加算結果は、第2抑制黒レベル基準信号としてバッファ部55及び黒レベル補正部60に入力される。
The selected first suppression black level reference signal, subtraction result or addition result is input to the
バッファ部55に入力された第1抑制黒レベル基準信号または第2抑制黒レベル基準信号は、1フレームの期間保持され、第2抑制黒レベル基準信号が新たに生成される毎に、新たに生成された第2抑制黒レベル基準信号に更新される。バッファ部55に保持された第1抑制黒レベル基準信号または第2抑制黒レベル基準信号は、加算部51b及び減算部52bに入力される。
The first suppression black level reference signal or the second suppression black level reference signal input to the
黒レベル補正部60に入力された第2抑制黒レベル基準信号は、撮像素子1004の有効画素領域1006の各画素で得られたデジタル画像信号から減算される。この演算により、デジタル画像信号の黒レベルが補正される。
The second suppression black level reference signal input to the black
実施形態において、しきい値保持部43、44、53は、ユーザにより入力された任意の値をしきい値th1、th2、th3として保持することができる。これらのしきい値th1、th2、th3は、実験や机上検討等に基づいて設定することができる。すなわち、しきい値th1、th2、th3は、これらのしきい値を用いて実行される演算の処理内容に応じて予め適宜設定することができる。
In the embodiment, the threshold
一方、しきい値保持部53は、撮像制御部113の制御の下に、保持するしきい値th3を変更することができる。
On the other hand, the threshold
前述したように、撮像制御部113は、撮像素子1004に入射する光量が少なくなるほどアナログ画像信号処理部101の増幅ゲインを大きくしている。増幅ゲインが大きくなるほど、撮像素子1004で行われる光電変換動作にともなうノイズは大きく増幅される。このため、第2抑制黒レベル基準信号は、ノイズが大きく増幅された信号に基づいて生成されるので、ノイズによる信号レベルの変動が大きくなってしまう。
As described above, the
そこで、撮像制御部113は、増幅ゲインが大きくなるほどしきい値保持部53に保持されるしきい値th3を大きくする。これにより、第1抑制黒レベル基準信号の信号レベルにしきい値th3以上の変動がある場合には、この変動分は第2抑制黒レベル基準信号の生成には影響を与えることはない。したがって、増幅ゲインが大きくなるほどしきい値th3を大きくすることは、光電変換動作にともなうノイズが第2抑制黒レベル基準信号の生成に与える影響を低減することができる。
Therefore, the
以上説明したように、実施形態の画像処理装置10は、以下に示す技術的特徴を備えることにより以下に示す効果を得ることができる。
As described above, the
画像処理装置10は、黒レベル基準信号補正部20を備えている。黒レベル基準信号補正部20は、周囲の光電変換素子で得られた黒レベル基準信号の信号レベルに対して異常な信号レベルの黒レベル基準信号を、周囲の正常な黒レベル基準信号の信号レベルに補正する。
The
画像処理装置10は、第1平均値算出部31を備えている。第1平均値算出部31は、黒レベル基準信号補正部20で補正された黒レベル基準信号を含む、すべての黒レベル基準信号の信号レベルの平均値をフレーム毎に算出する。第1平均値算出部31は、算出した黒レベル基準信号の信号レベルの平均値を第1平均黒レベル基準信号として出力する。
The
画像処理装置10は、第2平均値算出部32を備えている。第2平均値算出部32は、所定のフレーム数分の第1抑制黒レベル基準信号の信号レベルの平均値を算出する。第2平均値算出部32は、算出した平均値を第2平均黒レベル基準信号として出力する。
The
画像処理装置10は、第1抑制部40を備えている。第1抑制部40は、第2平均黒レベル基準信号の信号レベル及び予め設定されたしきい値th1、th2に基づいて決定される第1抑制範囲内に、第1平均黒レベル基準信号の信号レベルを抑制する。第1抑制部40は、信号レベルを抑制した第1平均黒レベル基準信号を第1抑制黒レベル基準信号として出力する。
The
画像処理装置10は、第2抑制部50を備えている。第2抑制部50は、第1抑制黒レベル基準信号の信号レベルまたは第2抑制黒レベル基準信号の信号レベルと予め設定されたしきい値とに基づいて決定される第2抑制範囲内に、第1抑制黒レベル基準信号の信号レベルを抑制する。第2抑制部50は、信号レベルを抑制した第1抑制黒レベル基準信号を第2抑制黒レベル基準信号として出力する。
The
画像処理装置10は、黒レベル補正部60を備えている。黒レベル補正部60は、第2抑制黒レベル基準信号に基づいて、有効画素領域1006の光電変換素子で得られた画像信号の黒レベルを補正する。
The
上記技術的特徴を採用することにより、画像処理装置10は、黒レベル基準信号の異常な信号レベルを補正することができる。これにより、画像処理装置10は、光電変換素子の欠陥などの不具合による黒レベル基準信号の精度の低下を抑制することができる。また、画像処理装置10は、補正されたすべての黒レベル基準信号の平均値を算出することにより、黒レベル基準信号のばらつきを抑えることができる。この結果、画像処理装置10は、従来に比べて、黒レベル基準信号の精度を高めることができる。
By employing the above technical feature, the
画像処理装置10は、第1平均黒レベル基準信号の信号レベルを第1抑制範囲内に抑制して第1抑制黒レベル基準信号を算出する。これにより、画像処理装置10は、第1抑制黒レベル基準信号を算出する際に、画像信号の黒レベルを補正する動作に悪影響を及ぼし信号レベルの変動を招く雑音の影響を抑えることができる。この結果、第1抑制黒レベル基準信号の精度を高めることができる。
The
画像処理装置10は、第1抑制黒レベル基準信号の信号レベルを第2抑制範囲内に抑制して第2抑制黒レベル基準信号を算出する。これにより、画像処理装置10は、第2抑制黒レベル基準信号を算出する際に、画像信号の黒レベルを補正する動作に悪影響を及ぼし信号レベルの変動を招く温度変化の影響を抑えることができる。この結果、精度の良い第2抑制黒レベル基準信号を生成することができる。
The
画像処理装置10は、精度の良い第2抑制黒レベル基準信号に基づいて、画像信号の黒レベルを補正するので、画像の黒レベルを補正する精度を向上することができる。この結果、画像処理装置10は、黒レベルが良好な画像を提供することができる。
Since the
黒レベル基準信号補正部20は、配列部23と選択部24とを備えている。
The black level reference
配列部23は、OB領域1007に配置された補正しようとする1つの光電変換素子で得られた黒レベル基準信号と、この黒レベル基準信号を得た光電変換素子の周囲の光電変換素子で得られた複数の黒レベル基準信号とを信号レベルの大きい順に配列する。
The
選択部24は、配列部23で配列された複数の黒レベル基準信号の配列順序における中央の黒レベル基準信号を選択する。
The
黒レベル基準信号補正部20は、補正しようとする1つの光電変換素子で得られた黒レベル基準信号の信号レベルを、選択部24で選択された黒レベル基準信号の信号レベルに補正する。
The black level reference
上記技術的特徴を採用することにより、画像処理装置10は、簡易な構成により、光電変換素子の欠陥などの不具合による黒レベル基準信号の精度の低下を抑制することができる。
By adopting the above technical features, the
第1抑制部40は、第2平均黒レベル基準信号の信号レベルとしきい値th1とを加算する加算部41と、第2平均黒レベル基準信号の信号レベルからしきい値th2を減算する減算部42とを備えている。第1抑制範囲は、加算部41の加算結果以下かつ減算部42の減算結果以上である。
The
上記技術的特徴を採用することにより、画像処理装置10は、第2平均黒レベル基準信号としきい値th1、th2とを用いて第1抑制範囲を規定することができる。
By employing the above technical feature, the
第2抑制部50は、加算部51bと減算部52bとを備えている。
The
加算部51bは、第1抑制黒レベル基準信号の信号レベルまたは第2抑制黒レベル基準信号の信号レベルとしきい値th3とを加算する。減算部52bは、第1抑制黒レベル基準信号の信号レベルまたは第2抑制黒レベル基準信号の信号レベルからしきい値th3を減算する。第2抑制範囲は、加算部51bの加算結果以下かつ減算部52bの減算結果以上である。
The
上記技術的特徴を採用することにより、画像処理装置10は、第1抑制黒レベル基準信号または第2抑制黒レベル基準信号としきい値th3とを用いて第2抑制範囲を規定することができる。
By adopting the above technical features, the
しきい値th3は、有効画素領域1006に配置された光電変換素子で得られた画像信号を増幅する際の増幅ゲインが大きくなるほど大きくする。
The threshold th3 is increased as the amplification gain at the time of amplifying the image signal obtained by the photoelectric conversion element arranged in the
上記技術的特徴を採用することにより、画像処理装置10は、第2抑制黒レベル基準信号を生成する際に、撮像素子1004で行われる光電変換動作にともなうノイズの影響を低減することができる。
By employing the above technical features, the
1 撮像装置
10 画像処理装置
20 黒レベル基準信号補正部
23 配列部
24,57 選択部
30 平均値算出部
31 第1平均値算出部
32 第2平均値算出部
40 第1抑制部
41,51a、51b 加算部
42,52a,52b 減算部
43,44,53 しきい値保持部
50 第2抑制部
56 比較部
60 黒レベル補正部
100 撮像部
1006 有効画素領域
1007 OB領域(光学的黒領域)
DESCRIPTION OF
Claims (5)
前記黒レベル基準信号補正部で補正された黒レベル基準信号を含む、前記光学的黒領域に配置された前記光電変換素子で得られたすべての黒レベル基準信号の信号レベルの平均値を、前記撮像装置で撮像された画像を構成するフレーム毎に算出し、フレーム毎に算出した黒レベル基準信号の信号レベルの平均値を第1平均黒レベル基準信号として出力する第1平均値算出部と、
所定のフレーム数分の第1抑制黒レベル基準信号の信号レベルの平均値を算出し、算出した平均値を第2平均黒レベル基準信号として出力する第2平均値算出部と、
前記第2平均値算出部から出力された第2平均黒レベル基準信号の信号レベル及び予め設定されたしきい値に基づいて決定される第1抑制範囲内に、前記第1平均値算出部で算出された第1平均黒レベル基準信号の信号レベルを抑制し、信号レベルを抑制した第1平均黒レベル基準信号を第1抑制黒レベル基準信号として出力する第1抑制部と、
前記第1抑制部から出力された第1抑制黒レベル基準信号の信号レベルまたは第2抑制黒レベル基準信号の信号レベルと予め設定されたしきい値とに基づいて決定される第2抑制範囲内に、第1抑制黒レベル基準信号の信号レベルを抑制し、信号レベルを抑制した第1抑制黒レベル基準信号を第2抑制黒レベル基準信号として出力する第2抑制部と、
前記第2抑制部から出力された第2抑制黒レベル基準信号に基づいて、前記撮像部に設けられた有効画素領域の光電変換素子で得られた画像信号の黒レベルを補正する黒レベル補正部と、
を有することを特徴とする画像処理装置。 Among the black level reference signals obtained by a plurality of photoelectric conversion elements arranged in the optical black area provided in the imaging unit of the imaging device, the signal level of the black level reference signal obtained by the surrounding photoelectric conversion elements On the other hand, a black level reference signal correction unit that corrects a black level reference signal having an abnormal signal level to a signal level of a surrounding normal black level reference signal;
The average value of the signal levels of all the black level reference signals obtained by the photoelectric conversion elements arranged in the optical black region, including the black level reference signal corrected by the black level reference signal correction unit, A first average value calculation unit that calculates the average value of the signal level of the black level reference signal calculated for each frame, and outputs the average value of the black level reference signal calculated for each frame as a first average black level reference signal;
A second average value calculating unit that calculates an average value of the signal levels of the first suppressed black level reference signals for a predetermined number of frames and outputs the calculated average value as a second average black level reference signal;
In the first suppression range determined based on the signal level of the second average black level reference signal output from the second average value calculation unit and a preset threshold value, the first average value calculation unit A first suppression unit that suppresses the signal level of the calculated first average black level reference signal and outputs the first average black level reference signal with the signal level suppressed as a first suppression black level reference signal;
Within a second suppression range determined based on the signal level of the first suppression black level reference signal or the signal level of the second suppression black level reference signal output from the first suppression unit and a preset threshold value. A second suppression unit that suppresses the signal level of the first suppression black level reference signal and outputs the first suppression black level reference signal that suppresses the signal level as a second suppression black level reference signal;
Based on the second suppression black level reference signal output from the second suppression unit, a black level correction unit that corrects the black level of the image signal obtained by the photoelectric conversion element in the effective pixel region provided in the imaging unit When,
An image processing apparatus comprising:
前記光学的黒領域に配置された補正しようとする1つの光電変換素子で得られた黒レベル基準信号と、前記黒レベル基準信号を得た光電変換素子の周囲の複数の光電変換素子で得られた複数の黒レベル基準信号とを、信号レベルの大きい順又は小さい順に配列する配列部と、
前記配列部で配列された複数の黒レベル基準信号の配列順序における中央の黒レベル基準信号を選択する選択部とを備え、
前記補正しようとする1つの光電変換素子で得られた黒レベル基準信号の信号レベルを、前記選択部で選択された黒レベル基準信号の信号レベルに補正する
ことを特徴とする請求項1に記載の画像処理装置。 The black level reference signal correction unit is
Obtained by a black level reference signal obtained by one photoelectric conversion element to be corrected arranged in the optical black region and a plurality of photoelectric conversion elements around the photoelectric conversion element from which the black level reference signal was obtained. A plurality of black level reference signals arranged in order of increasing or decreasing signal level;
A selection unit that selects a central black level reference signal in the arrangement order of the plurality of black level reference signals arranged in the arrangement unit,
The signal level of the black level reference signal obtained by one photoelectric conversion element to be corrected is corrected to the signal level of the black level reference signal selected by the selection unit. Image processing apparatus.
第2平均黒レベル基準信号の信号レベルと第1しきい値とを加算する第1加算部と、
第2平均黒レベル基準信号の信号レベルから第2しきい値を減算する第1減算部と、
を備え、
前記第1抑制範囲は、前記第1加算部の加算結果以下かつ前記第1減算部の減算結果以上である
ことを特徴とする請求項1または2に記載の画像処理装置。 The first suppression unit is
A first adder for adding the signal level of the second average black level reference signal and the first threshold;
A first subtraction unit for subtracting a second threshold value from the signal level of the second average black level reference signal;
With
The image processing apparatus according to claim 1, wherein the first suppression range is equal to or less than an addition result of the first addition unit and equal to or more than a subtraction result of the first subtraction unit.
第1抑制黒レベル基準信号の信号レベルまたは第2抑制黒レベル基準信号の信号レベルと第3しきい値とを加算する第2加算部と、
第1抑制黒レベル基準信号の信号レベルまたは第2抑制黒レベル基準信号の信号レベルから第3しきい値を減算する第2減算部と、
を備え、
前記第2抑制範囲は、前記第2加算部の加算結果以下かつ前記第2減算部の減算結果以上である
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。 The second suppression unit is
A second addition unit that adds the signal level of the first suppression black level reference signal or the signal level of the second suppression black level reference signal and the third threshold value;
A second subtraction unit that subtracts a third threshold value from the signal level of the first suppression black level reference signal or the signal level of the second suppression black level reference signal;
With
The image processing apparatus according to claim 1, wherein the second suppression range is equal to or less than an addition result of the second addition unit and equal to or more than a subtraction result of the second subtraction unit.
ことを特徴とする請求項4に記載の画像処理装置。 5. The image according to claim 4, wherein the third threshold value is increased as an amplification gain at the time of amplifying an image signal obtained by the photoelectric conversion element arranged in the effective pixel region is increased. Processing equipment.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015040991A JP6319140B2 (en) | 2015-03-03 | 2015-03-03 | Image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015040991A JP6319140B2 (en) | 2015-03-03 | 2015-03-03 | Image processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016163207A true JP2016163207A (en) | 2016-09-05 |
JP6319140B2 JP6319140B2 (en) | 2018-05-09 |
Family
ID=56847593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015040991A Active JP6319140B2 (en) | 2015-03-03 | 2015-03-03 | Image processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6319140B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005086784A (en) * | 2003-09-11 | 2005-03-31 | Sanyo Electric Co Ltd | Digital clamp circuit |
JP2008236271A (en) * | 2007-03-20 | 2008-10-02 | Sony Corp | Streaking correction signal generation circuit, streaking correction signal generating method, program, streaking correction circuit and imaging apparatus |
JP2015008448A (en) * | 2013-05-30 | 2015-01-15 | パナソニックIpマネジメント株式会社 | Clamp processing method |
-
2015
- 2015-03-03 JP JP2015040991A patent/JP6319140B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005086784A (en) * | 2003-09-11 | 2005-03-31 | Sanyo Electric Co Ltd | Digital clamp circuit |
JP2008236271A (en) * | 2007-03-20 | 2008-10-02 | Sony Corp | Streaking correction signal generation circuit, streaking correction signal generating method, program, streaking correction circuit and imaging apparatus |
JP2015008448A (en) * | 2013-05-30 | 2015-01-15 | パナソニックIpマネジメント株式会社 | Clamp processing method |
Also Published As
Publication number | Publication date |
---|---|
JP6319140B2 (en) | 2018-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4978214B2 (en) | Imaging system and pixel defect correction apparatus | |
JP4875032B2 (en) | Solid-state imaging device | |
US8648946B2 (en) | Image processing device, image processing method, and solid-state image pickup device | |
JP5526014B2 (en) | Imaging device | |
US20120092533A1 (en) | Imaging apparatus and imaging method | |
US9635289B2 (en) | Image capturing apparatus, control method thereof, and storage medium | |
US8922681B2 (en) | Image processing device that performs image processing to correct target pixels in a region surrounding a defective pixel | |
JP2010081511A (en) | Imaging device, method of changing set value, and program | |
US8885075B2 (en) | Image processing device, image processing method, and solid-state imaging device | |
US8941763B2 (en) | Image capture device, method for generating composite image, and storage medium | |
JP2007300191A (en) | Infrared image processor and infrared image processing method | |
US8692911B2 (en) | Image processing device, image processing method, and camera module | |
JP2006217304A (en) | Vertically striped noise reduction system | |
US20100085451A1 (en) | Signal processing apparatus, signal processing method, and image pickup apparatus | |
US8576307B2 (en) | Imaging device having a characteristic converting section | |
JP6319140B2 (en) | Image processing device | |
WO2018029972A1 (en) | Image correction method and image capture device | |
US8866939B2 (en) | Black level adjustment control device and solid-state imaging device | |
JP2012175169A (en) | Image processor | |
JP2015050671A (en) | Solid state imaging apparatus | |
US10791289B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable recording medium | |
US10791290B2 (en) | Image processing apparatus, image processing method, and non-transitory computer readable recording medium | |
JP5794670B2 (en) | Imaging apparatus and imaging method | |
JP2009159404A (en) | Image processing method, image processing device, and image formation device | |
JP2017163233A (en) | Photographing apparatus and photographing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170330 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180306 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180319 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6319140 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |