JP2007251904A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2007251904A JP2007251904A JP2006076444A JP2006076444A JP2007251904A JP 2007251904 A JP2007251904 A JP 2007251904A JP 2006076444 A JP2006076444 A JP 2006076444A JP 2006076444 A JP2006076444 A JP 2006076444A JP 2007251904 A JP2007251904 A JP 2007251904A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- luminance
- exposure time
- average value
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 66
- 230000015654 memory Effects 0.000 claims abstract description 37
- 238000004364 calculation method Methods 0.000 claims abstract description 19
- 238000009792 diffusion process Methods 0.000 claims description 26
- 238000012546 transfer Methods 0.000 claims description 23
- 238000005036 potential barrier Methods 0.000 claims description 13
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 239000000284 extract Substances 0.000 abstract description 6
- 230000007423 decrease Effects 0.000 abstract description 3
- 238000012545 processing Methods 0.000 description 49
- 235000019557 luminance Nutrition 0.000 description 44
- 238000006243 chemical reaction Methods 0.000 description 22
- 238000009825 accumulation Methods 0.000 description 15
- 238000000034 method Methods 0.000 description 12
- 230000035945 sensitivity Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 229920006395 saturated elastomer Polymers 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000006837 decompression Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
この発明は、移動物体や動画などの撮像においてもダイナミックレンジを拡大可能な撮像装置に関する。 The present invention relates to an imaging apparatus capable of expanding a dynamic range even when imaging a moving object or a moving image.
CCDやCMOSセンサを用いた撮像装置において、明るい被写体から暗い被写体までが含まれるシーンを撮像しようとすると、これら撮像装置のダイナミックレンジが狭いため、明るい部分が飽和して飛んでしまう、暗い部分のS/Nが悪くノイズにうずもれ、見えなくなるなどの欠点がある。また、広ダイナミックレンジレンジ化の技術は色々と試みられてきたが、カメラの基本特性である感度、解像度、高速性を犠牲にせずにダイナミックレンジを拡大することは著しく困難である。 In an imaging device using a CCD or CMOS sensor, when trying to capture a scene including a bright subject to a dark subject, the dynamic range of these imaging devices is narrow, so the bright part is saturated and flies. There are drawbacks such as poor S / N, swaying by noise, and invisible. Various techniques for wide dynamic range have been tried, but it is extremely difficult to expand the dynamic range without sacrificing sensitivity, resolution, and high speed, which are basic characteristics of the camera.
従って、目でモニタ画像を確認する場合や画像処理技術を用いて自動車などの衝突防止や自動運転する場合には感度、解像度、高速性を維持したままでダイナミックレンジを拡大する技術の確立が強く期待されている。 Therefore, when confirming a monitor image with the eyes or when using an image processing technology to prevent collisions or drive automatically, there is a strong establishment of technology that expands the dynamic range while maintaining sensitivity, resolution, and high speed. Expected.
これを解決するために、高速シャッタ画像と低速シャッタ画像の2枚の画像を同じに撮像装置から取り出し、これらを合成することにより、ダイナミックレンジを広げて明るい部分から暗い部分に至るまで、鮮明に撮影できる方法も提案され、実用化されている。 In order to solve this, two images of the high-speed shutter image and the low-speed shutter image are taken out from the image pickup device in the same way, and by combining them, the dynamic range is widened so that it is clear from the bright part to the dark part. A method of taking a picture has also been proposed and put into practical use.
ところが、実際には、高速シャッタ、低速シャッタ画像を取り出す際にシャッタ速度を理想的な値に瞬時に設定することが極めて難しい。これを解決する手段として、撮像された画像を分割することにより、この中の情報から最適シャッタ速度を決定しようとする試みも行われている。 However, in practice, it is extremely difficult to instantaneously set the shutter speed to an ideal value when taking out a high-speed shutter image and a low-speed shutter image. As means for solving this problem, an attempt has been made to determine the optimum shutter speed from information in the captured image by dividing the captured image.
即ち、被写体の1画面の中から、明るい部分を選択して取り出し、この明るい部分の輝度情報を検出して、この大きさによって高速画像用電子シャッタ時間を決定する。一方、被写体の1画面の中から、暗い部分を選択して取り出し、この暗い部分の輝度情報を検出して、その輝度情報の大きさによって低速画像用電子シャッタ時間を決定する。 That is, a bright part is selected and extracted from one screen of the subject, luminance information of the bright part is detected, and the high-speed image electronic shutter time is determined based on this size. On the other hand, a dark portion is selected and extracted from one screen of the subject, luminance information of the dark portion is detected, and the electronic shutter time for low-speed images is determined based on the size of the luminance information.
この具体的方法は、被写体の1画面の中をたとえば5×5の25分割して、この各領域内で輝度情報を検出して明るい方から暗い方に並べて順番をつける。そこで、明るい方から、例えば6個の領域を選択して、この領域内の輝度情報を抽出して、高速画像用電子シャッタ時間を決定する。一方、暗い方から、例えば5個の領域を選択して、この領域内の輝度情報を抽出して、低速画像用電子シャッタ時間を決定する。 In this specific method, one screen of a subject is divided into 25 by 5 × 5, for example, and luminance information is detected in each region, and the images are arranged in order from brighter to darker. Therefore, for example, six areas are selected from the brighter side, luminance information in these areas is extracted, and the electronic shutter time for high-speed images is determined. On the other hand, for example, five areas are selected from the dark side, luminance information in these areas is extracted, and the electronic shutter time for low-speed images is determined.
このようにして、被写体のシーンが変化するに伴い、高速画像用、低速画像用それぞれの電子シャッタ時間を任意に設定することができる。これを適応型制御と呼んでいる(特許文献1及び2参照)。
In this way, the electronic shutter time for high-speed images and low-speed images can be arbitrarily set as the subject scene changes. This is called adaptive control (see
しかしながら、これらの方法を用いたとしても、被写体の中に急速に移動する物体が含まれていると、この部分が二重像になる、輪郭がぼける、1画面のメモリが必要になるため信号取得までに時間がかかり、画像処理が迅速にできないなどの欠点がある。このため、見たいところが必ずしも鮮明に見えるとは限らず、しかも信号の高速性が失われ、車載カメラや移動体に取り付けて使うカメラでは十分満足できるような撮像装置を作ることは困難となる。 However, even if these methods are used, if an object that moves rapidly is included in the subject, this portion becomes a double image, the outline is blurred, and a one-screen memory is required. There are drawbacks such as that it takes time to obtain images and image processing cannot be performed quickly. For this reason, what is desired to be seen does not always look clear, and the high speed of the signal is lost, making it difficult to produce an imaging device that can be satisfactorily satisfied with an in-vehicle camera or a camera attached to a moving body.
また、高感度画素と低感度画素をラインごとに配置したCCD(非特許文献1参照)を用いると上記画像が2重になる欠点は軽減されるが、画素が2倍必要となり、利用できる光量が1/2に減少してしまう。そのため、感度が悪くなり、低照度の被写体が撮影できない、暗い場合には画像処理が使えないという欠点がある。 In addition, when a CCD (see Non-Patent Document 1) in which high-sensitivity pixels and low-sensitivity pixels are arranged for each line is used, the disadvantage of the above-mentioned double image is reduced. Decreases to ½. For this reason, there is a drawback in that the sensitivity is deteriorated, the low-illuminance subject cannot be photographed, and the image processing cannot be used in the dark.
一方、撮像装置でダイナミックレンジを広げる手段としては上述した技術のほかに、明るいシーンから暗いシーンまで広範囲に感度を有するような撮像デバイスを開発して、これを用いて撮像装置をつくればそれなりの効果が期待できると予想される。 On the other hand, as a means of expanding the dynamic range in an imaging device, in addition to the above-described technology, if an imaging device having a wide range of sensitivity from a bright scene to a dark scene is developed and an imaging device is created using this, an appropriate device Expected to be effective.
しかしながら、ダイナミックレンジ拡大は撮像デバイス開発技術者の永遠の課題であって、プロセス技術の改良や設計手法の改良など数々の試みがなされてきたが、ノイズが増大して、感度が悪くなるなどの弊害が生じ、一般に利用できるカメラが作れる状況には至っていない。 However, dynamic range expansion is an eternal problem for imaging device development engineers, and many attempts have been made to improve process technology and design methods. However, noise has increased and sensitivity has deteriorated. There has been a problem, and it has not reached a situation where a camera that can be used in general can be made.
この中で、フォトダイオードで蓄積状態において、振幅を小さくしたリセットパルスを加えることにより蓄積された信号電荷の一部を掃き出し消去させた後に、再度、信号電荷を蓄積させる動作方法がある(非特許文献2参照)。この動作によって、光量対信号電荷の特性曲線に折れ線特性を持たせることにより、実質的にダイナミックレンジを広げようとする試みである。しかしながら、この方式においても、リセットパルスの振幅値が画素ごとに変化すると掃き出し電荷量が変化してしまい、画素ごとに一様な信号が得られず、ノイズが発生するという欠点があり、実用的に困難である。 Among these, there is an operation method in which a signal charge is accumulated again after sweeping out and erasing a part of the accumulated signal charge by applying a reset pulse having a reduced amplitude in the accumulation state with a photodiode (non-patent document). Reference 2). By this operation, an attempt is made to substantially widen the dynamic range by giving a polygonal line characteristic to the characteristic curve of light quantity versus signal charge. However, even in this method, when the amplitude value of the reset pulse changes for each pixel, the amount of discharged charges changes, and a uniform signal cannot be obtained for each pixel, and noise is generated. It is difficult to.
なお、2ライン同時読み出し型の固体イメージセンサを用いて、第1フィールドの露光時間を長く、第2フィールドの露光時間を短くして、1フィールド毎に露光条件の異なるビデオ信号を交互に得る方法もあるが、ブレの影響を受けやすく、かつ各フィールドに対応したビデオ信号を収容するフィールドメモリを備える必要がある(特許文献3参照)。
この発明は、画質の低下を招くことなくダイナミックレンジを拡大できると共に動画像もぶれることなく鮮明に撮像できる撮像装置を提供することを目的とする。 An object of the present invention is to provide an imaging apparatus capable of expanding a dynamic range without causing a deterioration in image quality and capable of capturing a clear image without blurring a moving image.
本発明の第1の形態に係る撮像装置は、被写体の2次元画像を、少なくとも一部期間が重複している第1の露光時間および第2の露光時間で撮像可能であって、前記第1の露光時間で撮像された第1映像信号を格納するための第1のラインメモリおよび前記第2の露光時間で撮像された第2映像信号を格納するための第2のラインメモリとを備え、前記第1及び第2のラインメモリ間の対応する映像信号を並行して出力可能なイメージセンサと、前記2次元画像を複数のエリアに分割し、当該エリアごとに対応する前記第1のラインメモリから得られる信号と前記第2のラインメモリからの信号を選択的に抽出して前記複数のエリアごとにそれぞれの積算値を求め、各エリアの積算値を比較して、輝度レベルの低い順にn個の低輝度エリアを抽出し、そのn個の低輝度エリアの輝度平均値を算出する低輝度平均値算出手段と、前記2次元画像を複数のエリアに分割し、当該エリアごとに対応する前記第1のラインメモリから得られる信号と前記第2のラインメモリから得られる信号を選択的に抽出して前記複数のエリアごとにそれぞれの積算値を求め、各エリアの積算値を比較して、輝度レベルの高い順にm個の高輝度エリアを抽出し、そのm個の高輝度エリアの輝度平均値を算出する高輝度平均値算出手段と、前記各輝度平均値の算出結果に基づき、それぞれ前記第1,第2の露光時間を個別に制御する第1,第2の制御信号を生成する手段とを具備したことを特徴とする。 The imaging apparatus according to the first aspect of the present invention is capable of imaging a two-dimensional image of a subject with a first exposure time and a second exposure time that overlap at least partially. A first line memory for storing the first video signal imaged at the exposure time of the second line memory and a second line memory for storing the second video signal imaged at the second exposure time; An image sensor capable of outputting a corresponding video signal between the first and second line memories in parallel, and the first line memory corresponding to each area by dividing the two-dimensional image into a plurality of areas. And a signal from the second line memory are selectively extracted to obtain respective integrated values for each of the plurality of areas, and the integrated values of the respective areas are compared, and the n in order of increasing luminance level. Pieces of low-intensity areas A low-brightness average value calculation unit that calculates a luminance average value of the n low-brightness areas, and the two-dimensional image is divided into a plurality of areas and obtained from the first line memory corresponding to each area. And a signal obtained from the second line memory are selectively extracted to obtain respective integrated values for each of the plurality of areas, and the integrated values of the respective areas are compared, and m signals in descending order of luminance level. A high luminance average value calculating means for calculating the luminance average value of the m high luminance areas, and the first and second exposures based on the calculation results of the luminance average values, respectively. And a means for generating first and second control signals for individually controlling time.
また、本発明の第2の形態に係る撮像装置は、被写体の2次元画像を、第1の露光時間および第2の露光時間で撮像可能であって、前記第1の露光時間で撮像された第1映像信号を格納するための第1のラインメモリおよび前記第2の露光時間で撮像された第2映像信号を格納するための第2のラインメモリとを備え、第1の露光時間および第2の露光時間の和が1/30fps未満であってかつ、前記第1及び第2のラインメモリ間の対応する映像信号を並行して出力可能なイメージセンサと、前記第1のラインメモリからの第1の信号出力の輝度平均値を算出する第1輝度平均値算出手段と、前記第1輝度平均値算出手段の結果にもとづいて、前記第1の映像信号を得る光量を個別に制御する第1の制御信号を生成する第1制御信号生成手段と、前記第2のラインメモリからの第2の信号出力の輝度平均値を算出する第2輝度平均値算出手段と、前記第2輝度平均値算出手段の結果にもとづいて、前記第2の映像信号を得る光量を個別に制御する第2の制御信号を生成する第2制御信号生成手段とを備えたことを特徴とする。 In addition, the imaging apparatus according to the second aspect of the present invention can capture a two-dimensional image of a subject with a first exposure time and a second exposure time, and has been captured with the first exposure time. A first line memory for storing a first video signal, and a second line memory for storing a second video signal imaged at the second exposure time. An image sensor capable of outputting a corresponding video signal between the first and second line memories in parallel, and a sum of exposure times of 2 is less than 1/30 fps; A first luminance average value calculating means for calculating a luminance average value of the first signal output, and a light amount for obtaining the first video signal is individually controlled based on the result of the first luminance average value calculating means. First control signal generation for generating one control signal A second luminance average value calculating means for calculating a luminance average value of the second signal output from the second line memory, and the second luminance average value calculating means based on the result of the second luminance average value calculating means. And a second control signal generating means for generating a second control signal for individually controlling the amount of light for obtaining the video signal.
この発明によれば、画質の低下を招くことなくダイナミックレンジを拡大できると共に動画像もぶれることなく鮮明に撮像できる撮像装置が得られる。 According to the present invention, it is possible to obtain an imaging apparatus capable of expanding a dynamic range without causing deterioration in image quality and capable of capturing a clear image without blurring a moving image.
以下、図面を参照して、本発明に係る撮像装置の一実施形態を説明する。 Hereinafter, an embodiment of an imaging apparatus according to the present invention will be described with reference to the drawings.
[第1実施形態] 図1は、本発明の第1実施形態に係る撮像装置のCMOSイメージセンサ1の概略構成を示すブロック図である。図1に示すように、このCMOSイメージセンサ1は、主に、光を検出する画素部11と、画素部11を制御する同期信号を生成する同期信号生成部12と、画素部11からの出力信号を格納する格納部13とから構成されている。
1ST EMBODIMENT FIG. 1: is a block diagram which shows schematic structure of the
画素部11には、複数の画素を有し、レンズを介して光が入射され、光電変換によって入射光量に応じた電荷が生成される。各画素の電荷の蓄積量は後述する露光時間により制御される。生成された電荷に対応するアナログ信号は、格納部13に出力される。
The
同期信号生成部12は、後述する露光時間を決定するタイミングパルスを生成するタイミングジェネレータ121と、フローティングディフュージョンFDに転送するための読み出しトランジスタへのゲート電圧を印加するためのレベルシフタ122と、各画素を駆動するための垂直走査を行う垂直シフトレジスタ123と、水平走査を行う水平シフトレジスタ124とを備えている。
The synchronization
格納部13は、画素部11で得られるアナログ信号に対して、ノイズを除去しデジタル変換を行うCDS/ADC部131と、1ライン分の高速シャッタに対応する映像信号SHを記憶する第1(ライン)メモリ132と、1ライン分の低速シャッタに対応する映像信号SLを記憶する第2(ライン)メモリ133とを備えている。
The
画素部11は、例えば、縦480画素、横640画素が配列され、感光面となっている。これらの1画素は、図1に示すように、4つのトランジスタ(行選択トランジスタTa、増幅トランジスタTb、リセットトランジスタTc、読み出しトランジスタTd)とフォトダイオードPDとから構成されている。上記トランジスタTa,Tbの電流通路は、電源VDDと垂直信号線VLIN間に直列接続される。行選択トランジスタTaのゲートには、転送ゲートパルスADRESnが供給される。リセットトランジスタTcの電流通路は、電源VDDと増幅トランジスタTbのゲートとの間に接続され、そのゲートにはリセットパルスRESETnが供給される。また、上記トランジスタTdの電流通路の一端は、上記フローティングディフュージョンFDに接続され、そのゲートに読み出しパルスREADnが供給される。そして、上記トランジスタTdの電流通路の他端にフォトダイオードPDのカソードが接続され、このフォトダイオードPDのアノードは接地されている。なお、上記図1では、1画素分の4つのトランジスタのみを表示したが、実際には複数の画素の各々に対し、図1のような4つのトランジスタが配置されている。
For example, the
このように形成されたCMOSイメージセンサ1により、撮像が行われる。この撮像された光学像は、フォトダイオードPDで光電変換される。まず、フローティングディフュージョンFDのリーク信号を除去するために、リセットパルスRESETnがリセットトランジスタTcに印加され、フローティングディフュージョンFDをリセットレベル(電圧VDD)にリセットする。このリセットレベルは、転送ゲートパルスADRESnが印加され、行選択トランジスタTbがオンになると、CDS/ADC部131へ信号として読み出される。次に、フォトダイオードPDで光電変換された信号電荷は、読み出しパルスREADnが印加されると読み出しトランジスタTdがオンになり、フローティングディフュージョンFDに転送される。そして、転送ゲートパルスADRESnが印加されると行選択トランジスタTbがオンになり、増幅トランジスタTbで増幅された信号が垂直信号線VLINを経由してCDS/ADC部131に信号及びリセットレベルとして読み出される。CDS/ADC部131で信号及びリセットレベルから先のリセットレベルを差分動作させることで信号成分のみを抽出することができる。そして、抽出した信号のみをCDS/ADC部131でアナログデジタル変換している。なお、フォトダイオードPDは、読み出しパルスREADnが印加された後にも、継続して光が当たっているので、蓄積状態に入り、光電変換が継続して行われている。
Imaging is performed by the
次に、図2〜図5を参照して、本実施形態の撮像装置のCMOSセンサの3種類の動作パターンを説明する。 Next, with reference to FIGS. 2 to 5, three types of operation patterns of the CMOS sensor of the imaging apparatus of the present embodiment will be described.
[第1動作パターン] 図2は、本発明の撮像装置のCMOSセンサの第1動作パターンを示す図である。図2(a)の符号HPは、水平同期パルスのタイミングを示すもので、例えば、VGA画素では1V=1/30fpsで画面が構成され、全体で525個のパルスが発生することになる。パルスの間隔は15.74kHzであって、符号1Hで示されている。
[First Operation Pattern] FIG. 2 is a diagram showing a first operation pattern of the CMOS sensor of the imaging apparatus of the present invention. The symbol HP in FIG. 2A indicates the timing of the horizontal synchronization pulse. For example, in a VGA pixel, the screen is configured with 1V = 1/30 fps, and 525 pulses are generated as a whole. The pulse interval is 15.74 kHz and is denoted by
図2(b)は、リセットパルスRESETnの信号を示すものである。リセットパルスRESETnは、フローティングディフュージョンFDを電源VDDの電圧にリセットすることにより、信号電荷を空にする。図2(c)は、読み出しパルスREADnを示している。この読み出しパルスREADnによりフォトダイオードPDに蓄積された信号電荷をフローティングディフュージョンFDに転送する。図2(d)は、転送ゲートパルスADRESnを示すものである。この転送ゲートパルスADRESnは、信号電荷を出力線に読み出すためのセンシングパルスとなる。 FIG. 2B shows the signal of the reset pulse RESETn. The reset pulse RESETn empties the signal charge by resetting the floating diffusion FD to the voltage of the power supply VDD. FIG. 2C shows the read pulse READn. The signal charges accumulated in the photodiode PD are transferred to the floating diffusion FD by the read pulse READn. FIG. 2D shows the transfer gate pulse ADRESn. This transfer gate pulse ADRESn serves as a sensing pulse for reading signal charges to the output line.
フォトダイオードPDに蓄積される信号電荷は、入射光量が一定であれば、蓄積時間に比例して増大する。そこで、低速シャッタに対応する映像信号SLを得るためには長時間露光、高速シャッタに対応する映像信号SHを得るためには短時間露光にすればよい。本実施の形態では、長時間露光TLと短時間露光THとの2つの信号蓄積モードがある。長時間露光TLはt=t0で蓄積が開始され、t=t7で終了する。そして、短時間露光THはt=t3で蓄積が開始され、t=t5で終了する。それぞれの蓄積終了の時間であるt=t5、t7は、同一の1Hの期間内であることが必要なので、設定の自由度は小さいが、蓄積開始の時間、t=t0、t=t3は異なる1Hの範囲でよく、各々任意の時間に設定できる。TLとTHとは少なくとも一部が重複している露光時間である。 If the amount of incident light is constant, the signal charge accumulated in the photodiode PD increases in proportion to the accumulation time. Therefore, long exposure may be used to obtain the video signal SL corresponding to the low speed shutter, and short exposure may be used to obtain the video signal SH corresponding to the high speed shutter. In the present embodiment, there are two signal accumulation modes of long exposure TL and short exposure TH. The long exposure TL starts accumulation at t = t0 and ends at t = t7. The short-time exposure TH starts to be accumulated at t = t3 and ends at t = t5. The accumulation end times t = t5 and t7 need to be within the same 1H period, so the degree of freedom of setting is small, but the accumulation start times t = t0 and t = t3 are different. It may be in the range of 1H, and can be set at any time. TL and TH are exposure times at least partially overlapping.
図2(e)は、図2(a)〜図2(d)に示した制御によるフォトダイオードPDの信号電荷の蓄積の変化を示すものである。短時間露光THにおける強い光が入射された画素は、SH2の直線に沿って信号電荷が増加していき、短時間露光THにおける弱い光が入射された画素は、SH1の直線に沿って信号電荷が増加する。また、更に弱い光が入射された長時間露光TLにおける画素は、SLの直線に沿って信号電荷を蓄積する。 FIG. 2 (e) shows changes in the accumulation of signal charges in the photodiode PD by the control shown in FIGS. 2 (a) to 2 (d). The pixel in which strong light is incident in the short exposure TH increases in signal charge along the straight line SH2, and the pixel in which weak light is incident in the short exposure TH is in signal charge along the straight line SH1. Will increase. In addition, the pixels in the long-time exposure TL in which weaker light is incident accumulate signal charges along the straight line SL.
次に、図2〜図4を参照して、信号電荷の時間的変化を詳細に説明する。図3及び図4(a)〜(c)において、上段(a)は入射光量が大であり短時間露光THとされる画素(高輝度画素)の場合、中段(b)は入射光量が中であり短時間露光THとされる画素(中輝度画素)の場合、下段(c)は入射光量が小であり長時間露光TLとされる画素(低輝度画素)におけるt=t1〜t7の信号電荷を示す。フォトダイオードPDに光があたると信号電荷は徐々に増加していく。t=t1の時点では(a)の場合、信号電荷は飽和し、読み出しトランジスタTdのポテンシャル障壁を超えてフローティングディフュージョンFDに流入する。一方、(b)及び(c)の場合、信号電荷は未飽和の状態にある。 Next, the temporal change of the signal charge will be described in detail with reference to FIGS. 3 and 4 (a) to (c), the upper stage (a) is a pixel (high luminance pixel) that has a large incident light quantity and is subjected to short exposure TH, and the middle stage (b) has a medium incident light quantity. In the case of a pixel (medium luminance pixel) that is short-time exposure TH, the lower stage (c) is a signal of t = t1 to t7 in a pixel (low-luminance pixel) that has a small incident light amount and is long-time exposure TL. Indicates charge. When the photodiode PD is exposed to light, the signal charge gradually increases. At time t = t1, in the case of (a), the signal charge is saturated and flows into the floating diffusion FD over the potential barrier of the read transistor Td. On the other hand, in the cases (b) and (c), the signal charge is in an unsaturated state.
次に、時間t=t2では、リセットパルスRESETnが加えられ、リセットトランジスタTcのポテンシャル障壁が、押下げられ、(a)〜(c)のフローティングディフュージョンFDに蓄積された信号電荷は、消去される。続いて、t=t3において、振幅Vmの読み出しパルスREADnが加えられると、読み出しトランジスタTdのポテンシャル障壁がエネルギーVmまで下がり、(a)においては、このレベル以上の信号電荷は、フローティングディフュージョンFDに流入する。これに対し、(b)及び(c)においては、信号電荷は、ポテンシャル障壁のエネルギーVmまで達していないので、信号電荷はそのまま変化することはない。この後、読み出しパルスREADnは停止し、ポテンシャル障壁は、0V近くまで上昇するので、井戸型ポテンシャルに余裕ができ、高感度画素でも信号蓄積が再開される。t=t4において、リセットパルスRESETnが加えられ、リセットトランジスタTcのポテンシャル障壁が引き下げられ、フローティングディフュージョンFDの蓄積電荷は消去される。そして、t=t5において、再び、読み出しトランジスタTdのポテンシャル障壁をエネルギーVmまで引き下げ、フローティングディフュージョンFDに電荷を蓄積し、この状態で転送ゲートパルスADRESnを加え、電荷量を読み取る。すなわち、(a)ではt=t3以降に新たに蓄積された信号電荷量SH1valueのみが読み出される。同様に、(b)では振幅Vmを越えた信号電荷量SH2valueのみが読み出される。このとき、t=t5で読み出された第1の信号電荷量SH1value,SH2valueは、高速シャッタ信号に対応する映像信号SHとして、CDS/ADC部131を経て、第1メモリ132に格納され出力される。
Next, at time t = t2, the reset pulse RESETn is applied, the potential barrier of the reset transistor Tc is pushed down, and the signal charge accumulated in the floating diffusion FD of (a) to (c) is erased. . Subsequently, when a read pulse READn having an amplitude Vm is applied at t = t3, the potential barrier of the read transistor Td is lowered to the energy Vm. In (a), a signal charge higher than this level flows into the floating diffusion FD. To do. On the other hand, in (b) and (c), the signal charge does not reach the potential barrier energy Vm, so the signal charge does not change as it is. Thereafter, the readout pulse READn stops and the potential barrier rises to near 0 V, so that a well-type potential can be afforded, and signal accumulation is resumed even in the high sensitivity pixel. At t = t4, the reset pulse RESETn is applied, the potential barrier of the reset transistor Tc is lowered, and the accumulated charge in the floating diffusion FD is erased. At t = t5, the potential barrier of the read transistor Td is again lowered to the energy Vm, charges are accumulated in the floating diffusion FD, and the transfer gate pulse ADRESn is added in this state to read the charge amount. That is, in (a), only the signal charge amount SH1 value newly accumulated after t = t3 is read out. Similarly, in (b), only the signal charge amount SH2 value exceeding the amplitude Vm is read out. At this time, the first signal charge amounts SH1 value and SH2 value read at t = t5 are stored in the
信号電荷を読み出した後、t=t6で、t=t4時と同様にフローティングディフュージョンFDをリセットし、t=t7で読み出しトランジスタTdのポテンシャル障壁をエネルギーVnまで下げ、フォトダイオードPDの全ての蓄積電荷をフローティングディフュージョンFDに流入させる。即ち、蓄積された信号電荷に関係なく、残された信号電荷が、全て読み出される。この状態で、再び、転送ゲートパルスADRESnが加えられるが、t=t5において信号電荷が読み出された画素(図3(a),(b))に対しては、SL2valueの信号レベルが読み出される。そして、t=t5で読み出された信号SH1value,SH2valueとt=t7で読み出した信号SL2valueは、CDS/ADC部131に出力される。t=t5で信号電荷が読み出されない画素(図3(c))は、CDS/ADC部131へ出力されること無くt=t7で読み出したSL1valueのみを信号電荷として出力する。
After reading the signal charge, at t = t6, the floating diffusion FD is reset in the same manner as at t = t4. At t = t7, the potential barrier of the read transistor Td is lowered to the energy Vn, and all accumulated charges in the photodiode PD are obtained. Into the floating diffusion FD. That is, all remaining signal charges are read out regardless of the accumulated signal charges. In this state, the transfer gate pulse ADRESn is applied again, but the signal level of the SL2 value is read for the pixel from which the signal charge is read at t = t5 (FIGS. 3A and 3B). It is. The signals SH1 value and SH2 value read at t = t5 and the signal SL2 value read at t = t7 are output to the CDS /
図3(c)の場合、即ち直線SL(図2)に沿って蓄積される電荷量は、小さいため、エネルギーVmに達することはなく、t=t7まで読み出しトランジスタTdのポテンシャル障壁を越えることはない。したがって、t=t7において初めて、t=t0から蓄積された信号電荷がフローティングディフュージョンFDに流入する。この流入した信号電荷量SL1valueが、転送ゲートパルスADRESnにより読み取られる。t=t7で読み取られた信号SL(図2)の信号電荷量SL1valueは、低速シャッタ信号に対応する映像信号SLとして、CDS/ADC部131を経て、第2メモリ133に格納され出力される。上記の短時間露光信号SHと長時間露光信号SLは、水平レジスタ124により同時に読み出すことができる。
In the case of FIG. 3C, that is, the amount of charge accumulated along the straight line SL (FIG. 2) is small, the energy Vm is not reached, and the potential barrier of the read transistor Td is not exceeded until t = t7. Absent. Therefore, for the first time at t = t7, the signal charge accumulated from t = t0 flows into the floating diffusion FD. The inflow signal charge amount SL1 value is read by the transfer gate pulse ADRESn. The signal charge amount SL1 value of the signal SL (FIG. 2) read at t = t7 is stored and output to the
[第2動作パターン] 次に、図5を参照して、本発明の第1実施形態に係る撮像装置のCMOSセンサの第2動作パターンを説明する。第1動作パターンにおいて、図2〜図4を用いて説明した際には、t=t3までに蓄積した信号電荷を捨て去る構成であったが、第2動作パターンにおいては、この信号電荷を積極的に活用する構成とされている。したがって、第1動作パターンのように、t=t4においてリセットパルスRESRTnを加えることはない。すなわち、t=t4まで蓄積された信号をフローティングディフュージョンFDに保持して得られる信号SHvalueを読み出す。次に、時間t=t5においてRESETnパルスを印加して、フローティングディフュージョンFDの電荷を消去しリセットレベルを出力する。そして、CDS/ADC部131により時刻t=t4とt=t5の信号差分を信号成分としてデジタル信号に変換している。この信号差分を高速シャッタ信号SH1value,SH2valueとして読み出し、第1メモリ132に蓄積させる。そして、t=t6においてフローティングディフュージョンFDの電荷を消去する。その前に、READnパルスで電圧Vmを印加して、Vm以上の信号電荷を排出する。この動作により、時刻t=t7で各画素に対応した信号SH1value,SH2valueのLOレベル側の信号SL2value(図5)を出力することが出来る。t=t7において読み出しトランジスタTdに読み出しパルスREADnを加えてフォトダイオードPDに蓄積された信号電荷をすべてフローティングディフュージョンFDに転送して、転送ゲートパルスADRESnを加えて読出し、CDS/ADC部131により時刻t=t6とt=t7の信号差分を信号成分としてデジタル信号に変換して、第2メモリ133に低速シャッタ信号SL1value,SL2valueとして蓄積させる。このように第2動作パターンにおいても、第1動作パターンと同様に高感度及び低感度の信号電荷を得ることができる。
[Second Operation Pattern] Next, a second operation pattern of the CMOS sensor of the imaging device according to the first embodiment of the present invention will be described with reference to FIG. In the first operation pattern, when described with reference to FIGS. 2 to 4, the signal charge accumulated up to t = t3 is discarded, but in the second operation pattern, this signal charge is positively removed. It is configured to be used for. Therefore, unlike the first operation pattern, the reset pulse RESRTn is not applied at t = t4. That is, the signal SH value obtained by holding the signal accumulated until t = t4 in the floating diffusion FD is read. Next, at time t = t5, a RESETn pulse is applied to erase the charge in the floating diffusion FD and output a reset level. Then, the CDS /
なお、第2動作パターンにおいても、第1動作パターンと同様にt=t3で読み出しトランジスタTdに印加するパルスの振幅をVmにして、ポテンシャル障壁を所定のエネルギーまで下げ、信号電荷の一部をフォトダイオードPDに保存する構成である。 In the second operation pattern, similarly to the first operation pattern, the amplitude of the pulse applied to the read transistor Td at t = t3 is set to Vm, the potential barrier is lowered to a predetermined energy, and a part of the signal charge is photonized. It is the structure preserve | saved in the diode PD.
上記の第1動作パターン及び第2動作パターンに記載のように、読み出しパルスREADnの振幅を変化させて、読み出しトランジスタTdのポテンシャル障壁を変化させた場合の補足説明をする。例えば、図6(a)に示すように、t=ta,tb,tcにおいて読み出しパルスREADnによりポテンシャル障壁をV=Vm,V1,V2と変化させたとする。これに伴い、光量に対する信号出力は、図6(b)に示すように、いわゆる折れ線特性を示すことになる。この折れ線特性を有する理由は、第1動作パターンの図3及び図4に示したように、光量が大きいために一度信号電荷があふれて飽和した画素も、再度信号電荷が蓄積可能になるためである。 As described in the first operation pattern and the second operation pattern, a supplementary explanation will be given when the potential barrier of the read transistor Td is changed by changing the amplitude of the read pulse READn. For example, as shown in FIG. 6A, assume that the potential barrier is changed to V = Vm, V1, and V2 by the read pulse READn at t = ta, tb, and tc. Along with this, the signal output with respect to the light quantity shows so-called broken line characteristics as shown in FIG. The reason for having this polygonal line characteristic is that, as shown in FIGS. 3 and 4 of the first operation pattern, the signal charge once again overflows and is saturated due to the large amount of light, so that the signal charge can be accumulated again. is there.
[第3動作パターン] 次に、図7を参照して、本発明の第1実施形態に係る撮像装置の第3動作パターンを説明する。 [Third Operation Pattern] Next, a third operation pattern of the imaging apparatus according to the first embodiment of the present invention will be described with reference to FIG.
図7に示すように、第3動作パターンでは、読み込みパルスREADnの振幅を電圧Vnに大きくしてt=t3で全ての信号電荷を読み出すようにしている。このようにすると一旦フォトダイオードPDに蓄積されてきた信号電荷全てが、t=t3までフローティングディフュージョンFDに読み出され、フォトダイオードPDの信号電荷は一旦ゼロになる。この信号電荷の蓄積時間が、蓄積時間TLとなる。この時点t=t3から再び、信号電荷の蓄積が開始されt=t7までが高速シャッタ信号に対応する映像信号SHの蓄積時間THとなる。まず、時刻t=t4で信号SLvalueを読出し、次の時刻t=t5でフローティングディフュージョンFDをリセットする。次に、CDS/ADC部131で時刻t=t4とt=t5の信号差分を信号成分としてCDS/ADC部131でデジタル信号に変換している。本動作パターンでは、見かけ上フォトダイオードPDの飽和信号電荷量を約2倍にすることが出来る。特に、微細画素で飽和電荷量が減少するのを改善するのに有効である。また、本動作パターンは前半の蓄積時間を短くTH期間とし、後半の蓄積時間を長くTL期間として動作しても良い。このような動作に対し、信号読み出しの次にRESET動作をし、リセットレベルを読み出す方法であれば、RESET動作により、リセットノイズが混入する。一方、上記第3の動作パターンにおける動作のように、RESET動作でリセットレベルを読み出し、次に信号レベルを読み出す動作は、RESET動作が途中に入らないため、純粋に信号成分のみCDS/ADC部131で抽出できるため高S/Nの信号が得られる。この場合、露光時間の和が1/30fps未満である。
As shown in FIG. 7, in the third operation pattern, the amplitude of the read pulse READn is increased to the voltage Vn, and all signal charges are read at t = t3. In this way, all the signal charges once accumulated in the photodiode PD are read out to the floating diffusion FD until t = t3, and the signal charge of the photodiode PD once becomes zero. This signal charge accumulation time is the accumulation time TL. From this time t = t3, signal charge accumulation is started again and t = t7 is the accumulation time TH of the video signal SH corresponding to the high-speed shutter signal. First, the signal SL value is read at time t = t4, and the floating diffusion FD is reset at the next time t = t5. Next, the CDS /
[信号処理回路の構成] このようにして得られた高速シャッタ信号に対応する映像信号SHと低速シャッタに対応する映像信号SLは、図8に示すような信号処理回路4に加えられる。この信号処理回路4において、上記のCMOSセンサ1から出力される低速シャッタ信号SLと高速シャッタ信号SHとは、それぞれ非直線処理を行う非直線部41a,41b、Retinex変換部42により所望の特性に変換された後、加算部43に入力される。このとき、各信号の振幅値は、必要に応じてレベル変換回路で変化させる構成であってもよい。加算部43の出力は、ダイナミックレンジ拡大信号となっているが、デジタル信号処理部(DSP)44を通すことにより、白黒信号或いはカラー信号とすることができる。さらに、NTSCエンコーダ45によりアナログのNTSC信号とすることができる。また、必要に応じて、信号出力はデジタル信号のままで取り出したり、LVDS信号にしたりすることができる。
[Configuration of Signal Processing Circuit] The video signal SH corresponding to the high-speed shutter signal and the video signal SL corresponding to the low-speed shutter obtained in this way are applied to the
一方、低速シャッタ信号SL及び高速シャッタ信号SHは、マイコン46に入力される。
On the other hand, the low-speed shutter signal SL and the high-speed shutter signal SH are input to the
このマイコン46は、画面分割部47と、低輝度平均値算出部48aと、高輝度平均値算出部48bと、低速シャッタ制御部49aと、高速シャッタ制御部49bとを備えている。また、マイコン46は、EEPROM46aを備えており、EEPROM46aには、上記画面分割部47〜高速シャッタ制御部49bを制御するプログラムが格納されている。
The
まず、マイコン46に入力された低速シャッタ信号SL及び高速シャッタ信号SHは、画面分割部47に入力され、分割されたエリア内の輝度を積算する。つづいて、その出力は低輝度画素の平均値を求める低輝度平均値算出部48aと、高輝度画素の平均値を求める高輝度平均値算出部48bとに入力され、各々低速シャッタ制御部49a及び高速シャッタ制御部49bによりシャッタ時間を制御する。すなわち、低速シャッタ制御部49a及び高速シャッタ制御部49bにより生成した制御信号は、図1に示したタイミングジェネレータ121に入力され、タイミングジェネレータ121は、図2、図5、図7に示したタイミングで制御パルスを出力する。なお、実際には画面分割部46まではマイコンのソフトプログラムにより構成される。低速シャッタ制御部49a、高速シャッタ制御部49bはそれぞれ図3の低速シャッタ時間TL、高速シャッタ時間THを決めるもので、被写体の内容によって長くなったり、短くなったり変化する。
First, the low-speed shutter signal SL and the high-speed shutter signal SH input to the
すなわち、低速シャッタ時間TLは図2(c)のt=t0からt=t7であり、高速シャッタ時間THは図2(c)のt=t3からt=t5である。実際には、t5,t7の位置は決まっているので、低速シャッタ制御49a、高速シャッタ制御部49bで決めるのはt=t0とt=t3のタイミングということになる。
That is, the low-speed shutter time TL is from t = t0 to t = t7 in FIG. 2C, and the high-speed shutter time TH is from t = t3 to t = t5 in FIG. Actually, since the positions of t5 and t7 are determined, the timing determined by the low-
図9は、第1実施形態における画像処理の具体例を示した図である。画面分割部47は、低速シャッタ信号、高速シャッタ信号のそれぞれ画面を図9に示すように、例えば縦横5×5の25ブロックに分ける。次に、このブロックごとに明るさを算出する。
FIG. 9 is a diagram showing a specific example of image processing in the first embodiment. The
各ブロック内で積算された輝度情報を基に25のブロックを明るい方から暗い方に並べて順番(1〜25)をつける。そして、高輝度平均値算出部48bは、図9に示すように、明るい方から、例えば5個(1〜5)の領域を選択して、この領域内の輝度情報を抽出して、高速画像用電子シャッタ時間を決定する。一方、低輝度平均値算出部48aは、暗い方から、例えば5個(21〜25)の領域を選択して、この領域内の輝度情報を抽出して、低速画像用電子シャッタ時間を決定する。このようにすると、被写体のシーンが変化するに伴い、高速画像用、低速画像用それぞれの電子シャッタ時間を低速シャッタ制御部49a及び低感度シャッタ制御部49bにより、その都度、任意に設定することができる。
Based on the luminance information accumulated in each block, 25 blocks are arranged in order from 1 to 25 in order from the brighter to the darker. Then, as shown in FIG. 9, the high luminance average
被写体の輝度分布が平坦であれば、明るい方から選んだ5個の領域の輝度と暗い方から選んだ5個(21〜25)の輝度とが接近するので、高速画像用、低速画像用それぞれの電子シャッタ時間が接近する。 If the brightness distribution of the subject is flat, the brightness of the five areas selected from the brighter and the brightness of the five selected from the darker (21-25) approach each other. The electronic shutter time approaches.
一方、被写体の中に西日のような明るい部分と、逆光の木陰のような暗い部分が混在していると、その被写体の輝度分布は大きく変化したものとなる。このようなシーンでは、明るい方から選んだ5個の領域の輝度が大きく、暗い方から選んだ5個の輝度が小さくなる。従って、高速画像用の電子シャッタ時間が短く、低速画像用の電子シャッタ時間が長く両者のシャッタ時間は大きく離れる。 On the other hand, if a subject has a bright portion such as a western sun and a dark portion such as a shade of backlight, the luminance distribution of the subject changes greatly. In such a scene, the brightness of the five areas selected from the brighter side is large, and the brightness of the five areas selected from the darker side is low. Therefore, the electronic shutter time for high-speed images is short, the electronic shutter time for low-speed images is long, and the shutter times of the two are greatly separated.
このように、被写体が変化するとそれに応じて輝度情報を的確に判断して、最適シャッタ時間を決定することができる。 As described above, when the subject changes, the luminance information can be accurately determined according to the change, and the optimum shutter time can be determined.
図10は、図8に示したRetinex変換部42を説明する図である。Retinex変換部42は、環境光による成分と被写体が反射して発生する物体光成分とを分離し、それぞれに最適処理を施した上で合成するものである。まず、入力信号は2次元LPF421に加えられ、環境光成分が分離される。物体光成分は原信号から環境光成分を除去することによって得られるので、原信号は引算部422に加えられ、2次元LPF421の出力が引き算され、物体光成分が得られる。環境光成分は必要に応じて圧縮部423aにより圧縮され、利得調整部424aを経て加算部425に加えられる。一方、物体光成分は必要に応じて伸長部423bにより伸長され利得調整部424bを経て加算部425に加えられる。加算部425の出力がRetinex変換された信号となる。なお、引算部422を第2の2次元LPFに置換して構成することもできる。
FIG. 10 is a diagram illustrating the
以上のような適応型制御をCMOSセンサ及びその周辺回路に適用することによって、CMOSセンサの特徴を十分に引き出すことができ、高性能の広ダイナミックレンジを有する撮像装置を構成できる。 By applying the adaptive control as described above to the CMOS sensor and its peripheral circuits, the characteristics of the CMOS sensor can be sufficiently extracted, and an imaging device having a high performance and a wide dynamic range can be configured.
また、従来にあっては、高感度画像と低感度画像の間に時間遅れがあるため、画像を合成すると二重画像になり、著しく画質が低下するという欠陥があった。特に高速で移動する被写体を撮るとエッジが二重になり、画像処理を行う場合にも誤差が大きく、精度が向上しないという問題があった。 Conventionally, since there is a time delay between the high-sensitivity image and the low-sensitivity image, there is a defect that when the images are combined, a double image is formed, and the image quality is remarkably lowered. In particular, when a subject moving at high speed is photographed, the edges are doubled, and there is a problem that the error is large even when image processing is performed, and the accuracy is not improved.
この発明においては、図1のような新規な構成と動作を有する撮像デバイスを適応型処理に適応した場合、従来は時分割で低感度画像、高感度画像を交互に取り出していたものが、並列処理で取り出すことが可能になるという大きな効果がある。 In the present invention, when an imaging device having a novel configuration and operation as shown in FIG. 1 is applied to adaptive processing, a conventional technique in which low-sensitivity images and high-sensitivity images are alternately extracted in time division is There is a great effect that it can be taken out by processing.
[第2実施形態] 次に、図11を参照して、本発明の第2実施形態に係る撮像装置を説明する。第2実施形態に係る撮像装置は、第1実施形態と信号処理部のみが異なる構成である。すなわち、第2実施形態に係る信号処理部4’は、低速シャッタ信号と高速シャッタ信号とにそれぞれ独立したRetinex変換部42a,42bを備えており、加算部を備えていない。このような構成により、画像処理を行う場合などの目的に応じて加算部を介さずに、Retinex変換部42a,42bからの出力を各々DSP回路44a,44bに加えることにより低速シャッタ信号、高速シャッタ信号を別々に出力とすることも可能である。
Second Embodiment Next, an imaging device according to a second embodiment of the present invention will be described with reference to FIG. The imaging apparatus according to the second embodiment has a configuration that differs from the first embodiment only in the signal processing unit. That is, the
[第3実施形態] 次に、図12を参照して、本発明の第3実施形態に係る撮像装置を説明する。第3実施形態の撮像装置は、第1実施形態と信号処理部のみが異なり、その回路を簡素化している。すなわち、第3実施形態に係る信号処理部4aは、図12に示すように、第1及び第2実施形態と異なり、画面分割部を備えていないマイコン46’を有する構成である。
[Third Embodiment] Next, an imaging device according to a third embodiment of the present invention will be described with reference to FIG. The imaging apparatus of the third embodiment is different from the first embodiment only in the signal processing unit, and the circuit is simplified. That is, as shown in FIG. 12, the
この信号処理部4aは、単純に全画面の低輝度平均値算出部48aの結果に応じて低速シャッタ制御49aを制御し、また、全画面の高輝度平均値算出部48bの結果に応じて高速シャッタ制御部49bを制御している。このような構成であれば、低輝度平均値算出レベルを高レベルに設定することにより、低輝度の信号を見易くすることが出来る。また、高輝度平均値算出レベルを低レベルに設定することで、高輝度の信号レベルをより大きいレベルまで再生することが出来る。第3実施形態の信号処理回路では、画面分割用の25個のメモリと、順番を並べ替える回路が不要となる。
The
[第4実施形態] 次に、図13を参照して、本発明の第4実施形態に係る撮像装置を説明する。第4実施形態の撮像装置は、第1実施形態と信号処理部のみが異なり、その回路を簡素化している。すなわち、第4実施形態に係る信号処理部4bは、図13に示すように、第1及び第2実施形態と異なるマイコン46’’を備えている。
4TH EMBODIMENT Next, with reference to FIG. 13, the imaging device which concerns on 4th Embodiment of this invention is demonstrated. The imaging device of the fourth embodiment is different from the first embodiment only in the signal processing unit, and the circuit is simplified. That is, the
マイコン46’’は、画面分割部、高輝度平均値算出部及び低輝度平均値算出部を備えておらず、全画面の輝度平均値を算出する輝度平均値算出部48cと、低速シャッタの制御時間の1/N(N>1)の制御時間を導く1/N変換部48dを備えている。
The
このマイコン46’’においては、単純に加算信号の全画面の輝度平均値算出48cの結果に応じて低速シャッタ制御部49aを制御している。また、この低速シャッタの制御信号をもとに1/N変換部48dにより高速シャッタ制御部49bを制御する。即ち、1/N変換部48dは、第1の制御信号(低速シャッタの制御信号)をもとに第2の制御信号を生成する第2制御信号生成部として機能する。第4実施形態では、複雑な低速シャッタ制御と高速シャッタ制御の制御が不要で、使いやすい撮像装置が提供できる。特に携帯電話などのカメラでは小型(回路規模も小さい)簡単制御のセンサ要求に合っている。
In the
[第5実施形態] 次に、図14を参照して、本発明の第5実施形態に係る撮像装置を説明する。第5実施形態に係る撮像装置は、第4実施形態と信号処理部のみが異なる構成である。すなわち、第5実施形態に係る信号処理部4cは、第4実施形態と異なり、低速シャッタ信号側の機能構成は、非直線処理部41aとRetinex変換部42aの構成が入れ替わり、Retinex変換部42aの処理の後に非直線処理部41aの処理がなされる構成とされている。また、高速シャッタ信号側の機能構成は、Retinex変換部を有しておらず、非直線処理部41bのみを有する構成とされている。これら以外の構成は、第4実施形態と同様である。
5TH EMBODIMENT Next, with reference to FIG. 14, the imaging device which concerns on 5th Embodiment of this invention is demonstrated. The imaging apparatus according to the fifth embodiment has a configuration that differs from the fourth embodiment only in the signal processing unit. That is, the
通常の撮影では、低速シャッタ側の不要光線による広がりの影響が大きい。例えば、車載カメラで夜間の道路を撮影する場合、対向車のヘッドランプが画面に入ると、低速シャッタ画像において、ヘッドランプ周辺に明るいフレアのような広がりが生じることがある。この画像信号にRetinex処理を施すと、フレア成分が除去でき、ヘッドランプの明るさの広がりを除去できる。このようにすると、ヘッドランプ近くに人影が存在する場合にもフレア成分で、人影が見えなくならず、鮮明な画像をとらえることができる。このように、高輝度の被写体が画面に入ってきた場合には本発明の効果は大変大きなものとなる。このような場合には、高速シャッタ画像ではヘッドランプの信号はさほど大きくないので、周辺のフレア状の明るさの広がりもは大きくなく、画像に与える影響も小さい。したがって、高速シャッタ画像には特にRetinex処理を施す必要がなく鮮明な画像をとらえることができる。 In normal photographing, the influence of the spread due to unnecessary light on the low-speed shutter side is large. For example, when shooting a night road with an in-vehicle camera, if a headlamp of an oncoming vehicle enters the screen, a bright flare spread may occur around the headlamp in a low-speed shutter image. When this image signal is subjected to Retinex processing, flare components can be removed and the spread of brightness of the headlamp can be removed. In this way, even when a human figure is present near the headlamp, the human figure cannot be seen with the flare component, and a clear image can be captured. As described above, when a high-luminance subject enters the screen, the effect of the present invention becomes very large. In such a case, since the signal of the headlamp is not so large in the high-speed shutter image, the spread of the peripheral flare-like brightness is not large and the influence on the image is small. Therefore, it is not necessary to perform Retinex processing on the high-speed shutter image, and a clear image can be captured.
上記説明のように、低速シャッタ画像だけに処理を加えることにより、回路規模が小さくでき、その結果消費電力も押さえることができるというメリットがある。 As described above, by adding processing only to the low-speed shutter image, there is an advantage that the circuit scale can be reduced, and as a result, power consumption can be suppressed.
[第6実施形態] 次に、図15を参照して、本発明の第6実施形態に係る撮像装置を説明する。第6実施形態に係る撮像装置は、第5実施形態と信号処理部のみが異なる構成である。すなわち、第6実施形態に係る信号処理部4dは、第5実施形態と異なり、非直線処理部42bの後に、Retinex変換部41bを有する構成とされている。これら以外の構成は、第5実施形態と同様である。
6TH EMBODIMENT Next, with reference to FIG. 15, the imaging device which concerns on 6th Embodiment of this invention is demonstrated. The imaging apparatus according to the sixth embodiment has a configuration that differs from the fifth embodiment only in the signal processing unit. That is, unlike the fifth embodiment, the
[第7実施形態] 次に、図16を参照して、本発明の第7実施形態に係る撮像装置を説明する。第7実施形態の撮像装置は、第1実施形態とRetinex変換部のみが異なる構成である。第1実施形態に係るRetinex変換部は、一般にハローと呼ばれる輪郭部付近に発生するハレーションが生じる虞がある。そこで、第7実施形態に係るRetinex変換部は、ハレーションを除去する処理を施した回路構成とされている。すなわち、第7実施形態に係るRetinex変換部42’は、2次元補正処理部426と、その出力信号を加算する加算部427とを備える構成である。Retinex変換部42’に入力された入力信号は、2次元LPF(ローパスフィルタ)421と、引算部422と、2次元補正処理部426に入力される。2次元補正処理部426に入力された信号は、補正処理が施され、引算部422からの出力信号と加算部427において加算される。この加算された信号は、伸長部423bに入力され、以下、第1実施形態と同様の信号処理がなされる。なお、引算部422は、第2の2次元LPFに置換して構成し、2次元LPF421を第1の2次元LPFとして機能させることも可能である。
7TH EMBODIMENT Next, with reference to FIG. 16, the imaging device which concerns on 7th Embodiment of this invention is demonstrated. The imaging apparatus according to the seventh embodiment is different from the first embodiment only in the Retinex conversion unit. In the Retinex conversion unit according to the first embodiment, there is a possibility that halation that occurs in the vicinity of a contour portion generally called a halo occurs. Therefore, the Retinex conversion unit according to the seventh embodiment has a circuit configuration subjected to a process for removing halation. That is, the
[他の実施形態] 上記説明では、撮像デバイスとして、CMOSセンサ1の例で説明してきたが、CCDセンサ1’でも同様に実施できる。
[Other Embodiments] In the above description, the example of the
図17は、2ラインメモリに相当する2個のライン転送部を有するインターライン転送のCCDセンサ1’の構成を説明したものである。ここでは、原理説明のため垂直6画素、水平3画素のいわゆる3×6の画素部11’を有するCCDセンサ1’について示してある。
FIG. 17 illustrates the configuration of an interline
垂直方向に高感度画素Hと低感度画素Lとが交互に配列されており、それぞれの画素に隣接して垂直転送部が4個ずつ配列され、いわゆる垂直転送は4相駆動の例である。高速シャッタ信号SH、低速シャッタ信号SLは垂直転送後、それぞれ格納部13’に設けられたL用ライン転送部131’、H用ライン転送部132’にライン毎の信号として一旦メモリされ、読み出される。従って、このライン転送部をラインメモリとみなすこともできる。なお、この際の読み出しタイミングとしては高感度信号H、低感度信号Lを同時に読み出すことも、時間ごとに順次に読み出すこともできる。
High-sensitivity pixels H and low-sensitivity pixels L are alternately arranged in the vertical direction, and four vertical transfer units are arranged adjacent to each pixel. So-called vertical transfer is an example of four-phase driving. After the vertical transfer, the high-speed shutter signal SH and the low-speed shutter signal SL are temporarily stored and read as signals for each line in the L
以上のように、本発明によると、被写体の輝度差が大きく変化するようなシーンが続く場合であってもそのシーンに応じて最適な高感度画像と低感度画像が得られ、しかも、高感度画像と低感度画像に時間差がないので、被写体やカメラが動いた場合でもぶれや2重像になることがなく、鮮明で最適な広ダイナミックレンジ画像を容易に得ることができるという大きな効果がある。 As described above, according to the present invention, an optimum high-sensitivity image and low-sensitivity image can be obtained in accordance with the scene even when a scene in which the luminance difference of the subject changes greatly continues. Since there is no time difference between the image and the low-sensitivity image, there is a great effect that a clear and optimum wide dynamic range image can be easily obtained without blurring or a double image even when the subject or the camera moves. .
例えば、図18は従来の手法によるWDRカメラの出力特性の一例である。この例では低速シャッタ速度を1/60s、高速シャッタ速度を1/11,000sにそれぞれ設定し、これらの合成比率を10%と90%で合成したものである。しかしながら、カーブの中で40nit付近に不連続点が生じている。 For example, FIG. 18 shows an example of output characteristics of a WDR camera according to a conventional method. In this example, the low-speed shutter speed is set to 1/60 s and the high-speed shutter speed is set to 1 / 11,000 s, and the composition ratios are synthesized at 10% and 90%. However, there is a discontinuous point around 40 nit in the curve.
本来、低速シャッタ速度で得られる画像の比率を10%でなく、30〜40%程度に大きくして、感度向上を図りたいところである。しかしながら、このような比率で合成すると、不連続点が大きくなり、この付近の明るさに対して画像の再現が著しく低下するという欠点があった。 Originally, it is desired to improve sensitivity by increasing the ratio of images obtained at a low shutter speed to about 30 to 40% instead of 10%. However, when synthesized at such a ratio, the discontinuity becomes large, and there is a drawback that the reproduction of the image is remarkably reduced with respect to the brightness in the vicinity.
ここで、本願発明は、低速シャッタ画像成分を分析すると本来必要な被写体からの反射光成分に加えて、外部照明による環境光の影響に起因することに着目して、なされたものである。即ち、本願発明は、カメラで撮影する際に必要な被写体からの光学像の成分を抽出することにより、低速シャッタ速度で得られる画像の比率を大きくしても不連続性を起すことなく、WDR画像を著しく改善したものである。 Here, the present invention has been made by paying attention to the fact that, when the low-speed shutter image component is analyzed, it is caused by the influence of ambient light due to external illumination in addition to the reflected light component from the subject that is originally required. That is, the present invention extracts the components of the optical image from the subject necessary for shooting with the camera, so that the WDR does not cause discontinuity even if the ratio of the image obtained at the low shutter speed is increased. This is a significant improvement of the image.
特に、本願発明は車載カメラや移動体に取り付けるカメラでは被写体が高速に移動したり、変化したりすることが多いが、高感度画像と低感度画像の露光条件を高速に精度よく決定することができ、しかも高感度画像と低感度画像とが同時に得られるので、高解像度で確実な広ダイナミックレンジ画像を容易に得ることができるという大きな効果がある。 In particular, according to the present invention, in-vehicle cameras and cameras attached to moving objects, the subject often moves or changes at high speed. However, it is possible to determine exposure conditions for high-sensitivity images and low-sensitivity images with high speed and accuracy. In addition, since a high-sensitivity image and a low-sensitivity image can be obtained simultaneously, there is a great effect that a reliable and wide dynamic range image can be easily obtained.
また、レベルシフタと1Hメモリを加えるだけで、CMOSセンサの画素構成を大きく変えることがないため、CMOSセンサの特性を最大限活用した上で、S/Nがよく高感度の広ダイナミックレンジカメラを構成できるというメリットがある。 In addition, by simply adding a level shifter and 1H memory, the pixel configuration of the CMOS sensor does not change significantly. Therefore, a wide dynamic range camera with good S / N and high sensitivity can be constructed with maximum utilization of the characteristics of the CMOS sensor. There is a merit that you can.
また、同時に分離した高感度画像と低感度画像が得られるため、信号を分離する必要がなく、個別に非直線処理や、輝度信号平均値算出などの信号処理が実施できる。また、時間分割で高感度画像と低感度画像を得る方式に対して、同時に画像がえられるため、高速動作が可能となる。 Further, since a high-sensitivity image and a low-sensitivity image that are separated at the same time are obtained, it is not necessary to separate signals, and signal processing such as non-linear processing and luminance signal average value calculation can be performed individually. Further, since the images can be obtained simultaneously with respect to the method of obtaining the high-sensitivity image and the low-sensitivity image by time division, high speed operation is possible.
さらに、これらの信号を用いて、白線検出や障害物検出、前方車両との距離計測などの画像処理を行う場合にも高感度、高解像度、広ダイナミックレンジの画像を高速で得られるので、確実で精度のよい処理ができるという大きな効果がある。 In addition, these images can be used to perform high-sensitivity, high-resolution, wide dynamic range images even when performing image processing such as white line detection, obstacle detection, and distance measurement with the vehicle ahead. With this, there is a great effect that accurate processing can be performed.
従来方式では感度、解像度、ダイナミックレンジの3大要件の一つを改良しようとするとどこかに弊害が発生することが多かったが、本発明によれば3大要件のいずれの性能も低下することなしに、どの特性も大幅に特性が改善できるとともに時間遅れがなく高速に信号が得られるという特徴がある。更に本発明の信号処理を用いると、本発明の効果が一層発揮できる。即ち、カメラ全体のダイナミックレンジが広くなると階調範囲が一定である場合には当然、注目したい被写体のコントラストが低下してしまい、判別しにくくなるが、本発明の回路処理を施すことにより、鮮明な画像が得られるという特徴がある。 In the conventional method, attempts to improve one of the three major requirements of sensitivity, resolution, and dynamic range often caused some harm, but according to the present invention, the performance of any of the three major requirements is reduced. None of the characteristics is that the characteristics can be greatly improved and signals can be obtained at high speed with no time delay. Furthermore, when the signal processing of the present invention is used, the effects of the present invention can be further exhibited. That is, when the dynamic range of the entire camera is widened, if the gradation range is constant, the contrast of the subject to be noticed naturally decreases and becomes difficult to discriminate. However, by applying the circuit processing of the present invention, it becomes clear. The characteristic is that a clear image can be obtained.
このことにより、画像認識の際の誤動作がなくなり、悪条件下でも確実な制御が可能になるという利点がある。さらに、本発明によれば、高速動作が可能になるので、従来、2シャッタ方式では使えないといわれていた車内監視カメラや側方に設置する車載カメラにも使用可能になり、用途が大きく広がるという効果がある。 As a result, there is an advantage that malfunction during image recognition is eliminated, and reliable control is possible even under adverse conditions. Furthermore, according to the present invention, since high-speed operation is possible, it can be used for an in-vehicle surveillance camera that has been said to be unusable in the conventional two-shutter method and a vehicle-mounted camera that is installed on the side, and the use greatly expands. There is an effect.
上記したように、車載カメラは従来、一長一短があって、広く普及することができなかったが、本発明のカメラは特に移動体に取り付けられることを前提とした車載カメラに好適な機能を数多く含んでおり、車載カメラに最適である。 As described above, the in-vehicle camera has conventionally had advantages and disadvantages and could not be widely used. However, the camera of the present invention includes many functions suitable for an in-vehicle camera that is particularly assumed to be attached to a moving body. It is ideal for in-vehicle cameras.
以上、発明の実施形態を説明したが、本発明はこれらに限定されるものではなく、発明の趣旨を逸脱しない範囲内において種々の変更、追加、置換等が可能である。例えば、各ブロックの組み合わせは任意であり、また、上記画像装置は、単体の装置で構成する必要はなく、複数の装置の組み合わせであってもよい。 As mentioned above, although embodiment of invention was described, this invention is not limited to these, A various change, addition, substitution, etc. are possible within the range which does not deviate from the meaning of invention. For example, the combination of each block is arbitrary, and the image device does not need to be configured as a single device, and may be a combination of a plurality of devices.
1・・・CMOSセンサ、1’・・・CCDセンサ、11・・・画素部、12・・・同期信号生成部、121・・・タイミングジェネレータ、122・・・レベルシフタ、123・・・垂直レジスタ、124・・・水平レジスタ、13・・・格納部、131・・・CDS/ADC部、132・・・第1メモリ、133・・・第2メモリ、131’・・・L用ライン転送部、132’・・・H用ライン転送部、41a,41b・・・非直線処理回路、42a,42b・・・Retinex変換部、421・・・2次元LPF、422・・・引算部、423・・・圧縮部、423・・・伸長部、424a,424b・・・利得調整部、425・・・加算部、426・・・2次元補正処理部、43・・・加算部、44・・・DSP、45・・・NTSCエンコーダ、46,46’,46’’・・・マイコン、47・・・画面分割部、48a・・・低輝度平均値算出部、48b・・・高輝度平均値算出部、49a・・・低速シャッタ制御部、49b・・・高速シャッタ制御部、Ta・・・行選択トランジスタ、Tb・・・増幅トランジスタ、Tc・・・リセットトランジスタ、Td・・・読み出しトランジスタ、PD・・・フォトダイオード、Vn・・・電源、VLIN・・・垂直信号線。
DESCRIPTION OF
Claims (8)
前記2次元画像を複数のエリアに分割し、当該エリアごとに対応する前記第1のラインメモリから得られる信号を選択的に抽出して前記複数のエリアごとにそれぞれの積算値を求め、各エリアの積算値を比較して、輝度レベルの低い順にn個の低輝度エリアを抽出し、そのn個の低輝度エリアの輝度平均値を算出する低輝度平均値算出手段と、
前記2次元画像を複数のエリアに分割し、当該エリアごとに対応する前記第2のラインメモリからの信号を選択的に抽出して前記複数のエリアごとにそれぞれの積算値を求め、各エリアの積算値を比較して、輝度レベルの高い順にm個の高輝度エリアを抽出し、そのm個の高輝度エリアの輝度平均値を算出する高輝度平均値算出手段と、
前記各輝度平均値の算出結果に基づき、それぞれ前記第1,第2の露光時間を個別に制御する第1,第2の制御信号を生成する手段と
を具備したことを特徴とする撮像装置。 A two-dimensional image of a subject can be captured with a first exposure time and a second exposure time that overlap at least partially, and a first video signal captured with the first exposure time is stored. And a second line memory for storing the second video signal imaged at the second exposure time, and corresponding to the first and second line memories. An image sensor capable of outputting video signals in parallel;
The two-dimensional image is divided into a plurality of areas, a signal obtained from the first line memory corresponding to each area is selectively extracted, and an integrated value is obtained for each of the plurality of areas. Low luminance average value calculating means for extracting n low luminance areas in order of increasing luminance level and calculating the luminance average value of the n low luminance areas;
The two-dimensional image is divided into a plurality of areas, a signal from the second line memory corresponding to each area is selectively extracted, and an integrated value is obtained for each of the plurality of areas. High luminance average value calculating means for comparing the integrated values, extracting m high luminance areas in descending order of luminance level, and calculating average luminance values of the m high luminance areas;
An image pickup apparatus comprising: means for generating first and second control signals for individually controlling the first and second exposure times based on the calculation results of the respective luminance average values.
前記第1のラインメモリからの第1の信号出力の輝度平均値を算出する第1輝度平均値算出手段と、
前記第1輝度平均値算出手段の結果にもとづいて、前記第1の映像信号を得る光量を個別に制御する第1の制御信号を生成する第1制御信号生成手段と、
前記第2のラインメモリからの第2の信号出力の輝度平均値を算出する第2輝度平均値算出手段と、
前記第2輝度平均値算出手段の結果にもとづいて、前記第2の映像信号を得る光量を個別に制御する第2の制御信号を生成する第2制御信号生成手段と、
を備えたことを特徴とする撮像装置。 A first line memory capable of capturing a two-dimensional image of a subject with a first exposure time and a second exposure time, and storing a first video signal imaged with the first exposure time; A second line memory for storing a second video signal imaged at the second exposure time, and the sum of the first exposure time and the second exposure time is less than 1/30 fps, and An image sensor capable of outputting corresponding video signals between the first and second line memories in parallel;
First luminance average value calculating means for calculating a luminance average value of the first signal output from the first line memory;
First control signal generating means for generating a first control signal for individually controlling the amount of light to obtain the first video signal based on the result of the first luminance average value calculating means;
Second luminance average value calculating means for calculating a luminance average value of the second signal output from the second line memory;
Second control signal generating means for generating a second control signal for individually controlling the amount of light to obtain the second video signal based on the result of the second luminance average value calculating means;
An imaging apparatus comprising:
前記第2の映像信号は、前記第1の露光時間よりも短時間である第2の露光時間で検出した信号であることを特徴とする請求項1〜2のいずれか1項記載の撮像装置。 The first video signal is a signal detected at a first exposure time;
3. The imaging apparatus according to claim 1, wherein the second video signal is a signal detected in a second exposure time that is shorter than the first exposure time. 4. .
電源と信号線との間に直列接続された行選択トランジスタおよび増幅トランジスタと、
前記電源と前記増幅トランジスタのゲートとを接続するリセットトランジスタと、
一端にフォトダイオードが接続され、他端がフローティングディフュージョンに接続される読み出しトランジスタとを備え、
行選択トランジスタのゲートには前記フローティングディフュージョンから電荷を転送する転送ゲートパルスが供給され、前記リセットトランジスタのゲートには前記フローティングディフュージョンに蓄積された電荷を消去するリセットパルスが供給され、前記読み出しトランジスタのゲートには前記フローティングディフュージョンに電荷を蓄積する読み出しパルスが供給される、ことを特徴とする請求項1または2記載の撮像装置。 Each pixel of the image sensor is
A row selection transistor and an amplification transistor connected in series between the power source and the signal line;
A reset transistor connecting the power source and the gate of the amplification transistor;
A photodiode connected to one end and a read transistor connected to the floating diffusion at the other end,
A transfer gate pulse for transferring charge from the floating diffusion is supplied to the gate of the row selection transistor, and a reset pulse for erasing the charge accumulated in the floating diffusion is supplied to the gate of the reset transistor. 3. The imaging apparatus according to claim 1, wherein a readout pulse for accumulating electric charges in the floating diffusion is supplied to the gate.
8. The signal charge accumulated corresponding to the second exposure time is read out by applying the readout pulse to the gate of the readout transistor in the middle of the first exposure time. Imaging device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006076444A JP2007251904A (en) | 2006-03-20 | 2006-03-20 | Imaging apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006076444A JP2007251904A (en) | 2006-03-20 | 2006-03-20 | Imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007251904A true JP2007251904A (en) | 2007-09-27 |
JP2007251904A5 JP2007251904A5 (en) | 2009-04-23 |
Family
ID=38595681
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006076444A Pending JP2007251904A (en) | 2006-03-20 | 2006-03-20 | Imaging apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007251904A (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011239236A (en) * | 2010-05-11 | 2011-11-24 | Nippon Hoso Kyokai <Nhk> | Imaging device |
CN106534708A (en) * | 2015-09-15 | 2017-03-22 | 瑞昱半导体股份有限公司 | Wide dynamic range imaging method |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04243383A (en) * | 1991-01-17 | 1992-08-31 | Olympus Optical Co Ltd | Solid-state image pickup device |
JPH07111978A (en) * | 1993-10-18 | 1995-05-02 | Olympus Optical Co Ltd | Image processor for endoscope |
JPH07298142A (en) * | 1994-04-25 | 1995-11-10 | Canon Inc | Image pickup device having gradation control function |
JPH1093868A (en) * | 1996-09-18 | 1998-04-10 | Sony Corp | Solid-state image pickup element and its drive method |
JP2000188717A (en) * | 1998-12-21 | 2000-07-04 | Sony Corp | Photographing method, image pickup device, image processing method and image processor |
JP2003198948A (en) * | 2001-12-25 | 2003-07-11 | Sony Corp | Solid-state image pickup device and driving method therefor |
JP2003319250A (en) * | 2002-04-22 | 2003-11-07 | Toshiba Lsi System Support Kk | Image pickup apparatus and image pickup method |
-
2006
- 2006-03-20 JP JP2006076444A patent/JP2007251904A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04243383A (en) * | 1991-01-17 | 1992-08-31 | Olympus Optical Co Ltd | Solid-state image pickup device |
JPH07111978A (en) * | 1993-10-18 | 1995-05-02 | Olympus Optical Co Ltd | Image processor for endoscope |
JPH07298142A (en) * | 1994-04-25 | 1995-11-10 | Canon Inc | Image pickup device having gradation control function |
JPH1093868A (en) * | 1996-09-18 | 1998-04-10 | Sony Corp | Solid-state image pickup element and its drive method |
JP2000188717A (en) * | 1998-12-21 | 2000-07-04 | Sony Corp | Photographing method, image pickup device, image processing method and image processor |
JP2003198948A (en) * | 2001-12-25 | 2003-07-11 | Sony Corp | Solid-state image pickup device and driving method therefor |
JP2003319250A (en) * | 2002-04-22 | 2003-11-07 | Toshiba Lsi System Support Kk | Image pickup apparatus and image pickup method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011239236A (en) * | 2010-05-11 | 2011-11-24 | Nippon Hoso Kyokai <Nhk> | Imaging device |
CN106534708A (en) * | 2015-09-15 | 2017-03-22 | 瑞昱半导体股份有限公司 | Wide dynamic range imaging method |
CN106534708B (en) * | 2015-09-15 | 2020-02-18 | 瑞昱半导体股份有限公司 | Wide dynamic range image method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8174590B2 (en) | Image pickup apparatus and image pickup method | |
JP5458865B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP3630905B2 (en) | Imaging method and imaging apparatus | |
US8248481B2 (en) | Method and apparatus for motion artifact removal in multiple-exposure high-dynamic range imaging | |
JP4607006B2 (en) | Video signal processing method and video signal processing apparatus | |
JP4154157B2 (en) | Imaging device | |
JP6082274B2 (en) | Imaging apparatus and control method thereof | |
JP2013066145A (en) | Image processing apparatus, image processing method, and program | |
JP2009152669A (en) | Imaging apparatus, imaging processing method and imaging control program | |
JP4024581B2 (en) | Imaging device | |
JP2014154982A (en) | Image pickup device and control method therefor | |
JP2011254125A (en) | Image processing device, camera system, image processing method, and program | |
WO2010100866A1 (en) | Imaging apparatus which corrects effects of flash | |
JP2011135152A (en) | Image pickup apparatus and method of picking up image | |
JP2003319250A (en) | Image pickup apparatus and image pickup method | |
JP2004282552A (en) | Solid state imaging device and solid state imaging apparatus | |
JP5037078B2 (en) | Solid-state imaging device and driving method thereof | |
JP2003158669A (en) | Image pickup device | |
JP2007251904A (en) | Imaging apparatus | |
JP2006108889A (en) | Solid-state image pickup device | |
JP2007251905A (en) | Imaging apparatus | |
JP5947625B2 (en) | Imaging apparatus and control method thereof | |
JP3848023B2 (en) | Motion adaptive video sensitivity enhancement device | |
JP2014175778A (en) | Imaging apparatus and imaging method | |
JP4847281B2 (en) | Imaging apparatus, control method therefor, and imaging system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090310 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090310 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110531 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20111011 |