JP2007214772A - Image signal processing apparatus - Google Patents
Image signal processing apparatus Download PDFInfo
- Publication number
- JP2007214772A JP2007214772A JP2006031032A JP2006031032A JP2007214772A JP 2007214772 A JP2007214772 A JP 2007214772A JP 2006031032 A JP2006031032 A JP 2006031032A JP 2006031032 A JP2006031032 A JP 2006031032A JP 2007214772 A JP2007214772 A JP 2007214772A
- Authority
- JP
- Japan
- Prior art keywords
- image
- signal
- image signal
- signal processing
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、固体撮像素子の画像出力を分割して読み出し、読み出された複数の出力信号の信号差を補正する画像信号処理装置に関する。 The present invention relates to an image signal processing apparatus that divides and reads an image output of a solid-state imaging device and corrects a signal difference between a plurality of read output signals.
近年ディジタル信号処理技術及び半導体技術の進歩により、標準テレビ方式、例えばNTSC方式やPAL方式の動画像信号をディジタル記録する記録再生装置と撮像装置を一体化したディジタルビデオカメラが製品化されている。このようなディジタルビデオカメラでは、ディジタル記録という特徴を生かして、静止画記録機能を備えるものがある。また、コンピュータ等との接続のためにディジタルI/Fを具備し、撮影した画像をコンピュータに取り込む機能を有するものもある。さらに、複数の記録媒体を具備し、画像の使用目的に応じて記録媒体を選択できるようになっているものもある。 In recent years, with the advancement of digital signal processing technology and semiconductor technology, a digital video camera in which a recording / playback device for digitally recording a moving picture signal of a standard television system, for example, NTSC system or PAL system, and an imaging device has been commercialized. Some digital video cameras have a still image recording function by taking advantage of the feature of digital recording. Some have a digital I / F for connection with a computer or the like, and have a function of taking a captured image into the computer. Furthermore, there are some which have a plurality of recording media and can select the recording media according to the purpose of use of the image.
このような装置において、記録された画像をテレビに接続して再生する場合は、その画像サイズはディジタルビデオ規格で定められるもの、例えば720×480画素でなんら問題は無いが、ディジタルI/Fを介して他のメディアに画像を転送する場合は、画質上の問題からより多くの画素数が要求される場合がある。 In such an apparatus, when a recorded image is reproduced by connecting to a television, the image size is determined by the digital video standard, for example, 720 × 480 pixels, but there is no problem, but the digital I / F is not used. When transferring an image to other media via a network, a larger number of pixels may be required due to image quality problems.
撮像素子の多画素化に伴い、撮像素子の全画素の情報を読み出すためにはより高い周波数で撮像素子を駆動する必要があり、S/Nの劣化や消費電力の増大を招く。 Accompanying the increase in the number of pixels of the image sensor, it is necessary to drive the image sensor at a higher frequency in order to read out information of all the pixels of the image sensor, leading to S / N degradation and increased power consumption.
撮像素子の駆動周波数を低く抑えたまま撮像情報のデータレートを上げる方法の一つとして、撮像面を複数の領域に分割し、それぞれの領域に独立した電荷転送部、増幅器及び出力端子を持たせ、撮像信号を並列に読み出す方法がある。このような撮像素子の例を図4に示す。同図において撮像素子1400の撮像面は左右の2領域に分割されており、1401、1402は光電変換及び垂直転送部、1403、1404は水平転送部、1405、1406は増幅器、1407、1408は出力端子である。このような構造の撮像素子を用いることにより、撮像素子の駆動周波数に対し2倍のデータレートの撮像情報が得られる利点がある。
As one method for increasing the data rate of imaging information while keeping the driving frequency of the imaging device low, the imaging surface is divided into a plurality of regions, and independent charge transfer units, amplifiers, and output terminals are provided in each region. There is a method of reading the imaging signals in parallel. An example of such an image sensor is shown in FIG. In the same figure, the imaging surface of the
従来例としては、例えば特許文献1と特許文献2をあげることが出来る。
しかしながらこの方法の欠点として、各領域の電荷転送部もしくは増幅器の特性の不均一により、複数の領域を合成して画像を生成した場合に、領域間の信号差による境界線が生じるなどの画質劣化が発生する問題があった。 However, the disadvantage of this method is that image quality degradation such as the occurrence of a boundary line due to signal differences between regions when images are generated by combining multiple regions due to non-uniform characteristics of the charge transfer unit or amplifier in each region. There was a problem that occurred.
通常、撮像装置では、撮像素子から出力される光学的黒レベル(以下OBレベル)を一定値に補正する黒レベル補正手段があるが、黒レベル補正後に、前述の領域間の信号差を補正するとOBレベルが変動してしまうという問題点があった。 Usually, in an imaging apparatus, there is a black level correction unit that corrects an optical black level (hereinafter referred to as an OB level) output from an imaging device to a constant value. There was a problem that the OB level fluctuated.
本発明は、領域分割読出し式撮像素子を用いた撮像装置において、領域間の信号差を補正した後に、黒レベルを補正することによって、合成画像の画質を改善することを目的とする。 An object of the present invention is to improve the image quality of a composite image by correcting a black level after correcting a signal difference between regions in an imaging device using an area division readout type imaging device.
前述の課題を解決するために、本発明の請求項1記載の画像信号処理装置は、撮像素子の複数の出力端子から出力される画像信号の信号差を補正する信号差補正手段と信号差補正手段の出力信号に対して黒レベルを補正する、黒レベル補正手段を有する。
In order to solve the above-described problem, an image signal processing apparatus according to
本発明によれば、領域分割読出し式撮像素子を用いた撮像装置において、領域間の信号差を補正した後に、黒レベルを補正することによって、合成画像の画質を改善することができる。 According to the present invention, in an imaging apparatus using an area-divided readout image sensor, the image quality of a composite image can be improved by correcting a black level after correcting a signal difference between areas.
(実施例1)
図1は本発明の特徴を最もよく表す図面であり、本発明の検出装置を搭載した撮像装置のブロック図である。同図において、レンズ101を通った画像は撮像素子103上に結像する。本実施例では撮像素子はCCDエリアセンサとする。CCDエリアセンサ103上に結像した画像信号は、電気信号に変えられ、左右に2分割されて読み出され、左半分がバッファ105Aへ、右半分がバッファ105Bへ加えられる。
(Example 1)
FIG. 1 is a drawing that best represents the features of the present invention, and is a block diagram of an imaging apparatus equipped with the detection apparatus of the present invention. In the figure, an image passing through a lens 101 is formed on an image sensor 103. In this embodiment, the image sensor is a CCD area sensor. The image signal imaged on the CCD area sensor 103 is converted into an electric signal, divided into left and right parts and read out, and the left half is added to the buffer 105A and the right half is added to the buffer 105B.
CCDエリアセンサ103の具体例を図2に示す。エリアセンサ部分の左半分が201Aであり、右半分が201Bである。エリアセンサ部の両端にはオプティカルブラック部203A、203Bがある。エリアセンサ部分201A、201Bから順次垂直転送されてきた画像は、水平転送部205A、205Bに左右それぞれ加えられ、左の水平転送部205Aでは同図の左方向に、右の水平転送部205Bでは同図の右方向に水平転送され、それぞれ読み出しアンプ207A、207Bで電圧に変換され、出力端子209A、209Bに出力される。
A specific example of the CCD area sensor 103 is shown in FIG. The left half of the area sensor portion is 201A, and the right half is 201B. There are optical
出力される画像信号のタイミングを図3を用いて説明する。301A、301Bがそれぞれ左側と右側の画像信号における1水平期間を示す。横軸は時間である。同じ水平期間の左右の画像信号は同じ1水平期間で読み出され、順番としては、外側から内側に向かって読み出されるので、まずオプティカルブラック部が読み出され、次に両サイドから中心に向かって画像が読み出され、全ての画像が読み終わってもしばらく水平転送パルスを与え続けることにより、ダミーデータが読み出される。図3(a)のダミーデータ部を拡大したのが図3(b)である。本実施例では原色フィルタを例に説明する。原色市松フィルタの場合、GBGBの色フィルタとRGRGの色フィルタとが1ラインごとに交互に貼られている。同図においては、GBラインの場合の例を示しており、左画面の信号303AはGBGBと順次読み出されたあと、ダミー画素がDM1A、DM2A…と読み出される。また右画面の信号303Bは右端から読み出されているので、GとBとの順番が逆になっており、BGBGと読み出されたあと、ダミー画素がDM1B、DM2B…と読み出される。
The timing of the output image signal will be described with reference to FIG. 301A and 301B indicate one horizontal period in the left and right image signals, respectively. The horizontal axis is time. The left and right image signals in the same horizontal period are read out in the same horizontal period, and as an order, they are read out from the outside to the inside, so the optical black portion is read first, and then from both sides toward the center. Dummy data is read by continuously applying the horizontal transfer pulse for a while even after all the images have been read. FIG. 3B is an enlarged view of the dummy data portion in FIG. In this embodiment, a primary color filter will be described as an example. In the case of the primary color checkered filter, the GBGB color filter and the RGRG color filter are alternately attached to each line. In the figure, an example in the case of the GB line is shown, and after the
図1に戻り説明を続ける。バッファ105A、105Bの出力はCDS109A、109Bへ加えられる。CDS109A、109Bで、左右のCCD出力波形にそれぞれ相関二重サンプルを施すことで低周波ノイズを除去し、次にA/D111A、111Bでアナログ信号をディジタル信号に変換し、結果をダミークランプ手段112A、112Bに加える。 Returning to FIG. The outputs of the buffers 105A and 105B are applied to the CDS 109A and 109B. The CDS 109A, 109B removes low frequency noise by applying correlated double samples to the left and right CCD output waveforms, respectively, and then the analog signals are converted into digital signals by the A / D 111A, 111B, and the result is a dummy clamp means 112A , 112B.
ダミークランプ手段112A,112Bはダミー読み出し手段1120A,1120Bと減算手段1121A,1121Bからなり、ダミー読み出し手段1120A,1120BはCCDエリアセンサのダミー部分の画素値を読み出し結果をチャンネル別に減算手段1121A,1121Bに加える。左右分割2チャンネル読み出しのCCDエリアセンサでは、図2に示すように、左右両側に電荷を水平転送しているため、時間的に、外側から中央部に向かって読み出される。画素を読み終えてから水平駆動パルスを加え続けると、いわゆるダミーレベルが両方のチャンネルから読み出される。このダミーレベルは中央付近の電位を表しており、両チャンネルに読み出された当該ダミーレベルを揃えることで左右2画面のオフセットを合わせることができる。 The dummy clamp means 112A and 112B are composed of dummy readout means 1120A and 1120B and subtraction means 1121A and 1121B. The dummy readout means 1120A and 1120B read out the pixel value of the dummy part of the CCD area sensor and output the result to the subtraction means 1121A and 1121B for each channel. Add. As shown in FIG. 2, in the CCD area sensor with two-channel reading on the left and right sides, charges are horizontally transferred to both the left and right sides, so that they are read out from the outside toward the center. If the horizontal drive pulse is continuously applied after reading the pixels, so-called dummy levels are read from both channels. This dummy level represents a potential in the vicinity of the center, and the offset of the left and right two screens can be adjusted by aligning the dummy levels read to both channels.
ダミークランプ手段112A,112Bの出力はリニアリティ補正手段123A、123Bに加えられる。リニアリティ補正手段123Aはリニアリティを補正する。リニアリティはCCDやアナログフロントエンドごとに異なるので、工場出荷時に露光制御手段157を用いてリニアリティを計測し、演算手段145に外付けした記憶手段163に記憶しておき、電源投入時に演算手段145が記憶手段163から読み出し、リニアリティ補正手段123A、123Bに設定することでリニアリティを補正する。 The outputs of the dummy clamp means 112A and 112B are applied to the linearity correction means 123A and 123B. The linearity correction unit 123A corrects the linearity. Since the linearity differs for each CCD and analog front end, the linearity is measured using the exposure control means 157 at the time of shipment from the factory and stored in the storage means 163 externally attached to the calculation means 145. The linearity is corrected by reading from the storage unit 163 and setting it in the linearity correction units 123A and 123B.
リニアリティ補正手段123A、123Bの出力は黒レベル補正手段125A,125Bに加えられる。黒レベル補正手段125A,125Bは、OB読み出し手段1250A,1250Bと減算手段1251A,1251Bからなる。OB読み出し手段1250A,1250Bはチャンネル別に図2の203A,203Bに示すOB部分の画素の平均値を算出し、結果を演算手段145に出力する。演算手段145は両チャンネルのOBレベルの平均値を算出し、結果をチャンネル別にOB減算手段1251A,1251Bに加えることでOBレベルを引き算し、結果をゲイン補正手段129A、129Bに加える。 The outputs of the linearity correction means 123A and 123B are applied to the black level correction means 125A and 125B. The black level correction means 125A, 125B includes OB reading means 1250A, 1250B and subtraction means 1251A, 1251B. The OB reading means 1250A and 1250B calculate the average value of the pixels in the OB portion shown by 203A and 203B in FIG. 2 for each channel, and output the result to the computing means 145. The calculation means 145 calculates the average value of the OB levels of both channels, adds the result to the OB subtraction means 1251A and 1251B for each channel, subtracts the OB level, and adds the result to the gain correction means 129A and 129B.
ゲイン補正手段129A、129B(図示しない右側チャンネル用)には2つの役目がある。一つは絞りを開放にしても明るさが不足する場合に電気的にゲインアップする役目であり、もう一つは左右のゲインを合わせる役目である。従来はアナログフロントエンドにアナログアンプがあり、マイコンから当該アナログアンプにデシベルゲインを設定することで、ゲインアップを行っていたが、本実施例のような分割読み出しCCDの場合、アナログアンプによるゲインアップでは、温度や電圧、経時変化などに対してチャンネル間のゲインを保証できないため、アナログアンプを廃止し、その代わりに、アナログフロントエンドにおけるA/D変換の精度を上げて、例えば従来の12ビットから14ビットにしておき、ディジタル的な乗算でゲインアップを実現している。 The gain correction means 129A and 129B (for the right channel not shown) have two roles. One is to increase the gain electrically when the brightness is insufficient even when the aperture is opened, and the other is to adjust the left and right gains. In the past, there was an analog amplifier in the analog front end, and gain was increased by setting a decibel gain from the microcomputer to the analog amplifier. However, in the case of a divided readout CCD as in this embodiment, gain is increased by the analog amplifier. Since the gain between channels cannot be guaranteed with respect to temperature, voltage, aging, etc., the analog amplifier is abolished, and instead, the A / D conversion accuracy in the analog front end is increased, for example, the conventional 12-bit The gain is increased by digital multiplication.
ゲイン補正手段129A、129Bでゲイン補正された左右の画像は、合成手段147で合成され、従来同様の1画面信号となってカメラ信号処理149に加えられ、多画素CCDで得られた大きな画像をDVCディジタルビデオ規格に合わせる縮小処理、手ぶれ補正処理、γ補正、色の分離、輝度の輪郭強調などの各種処理が施され、画像信号として端子151に出力される。 The left and right images whose gains have been corrected by the gain correcting means 129A and 129B are synthesized by the synthesizing means 147 and are added to the camera signal processing 149 as a single-screen signal similar to the conventional one. Various processes such as a reduction process, a camera shake correction process, a γ correction, a color separation, and a luminance edge enhancement in accordance with the DVC digital video standard are performed and output to the terminal 151 as an image signal.
103 CCDエリアセンサ
112A、112B ダミークランプ手段
123A、123B リニアリティ補正手段
125A、125B 黒レベル補正手段
129A、129B ゲイン補正手段
145 演算手段
147 合成手段
163 記憶手段
103 CCD area sensor
112A, 112B Dummy clamp means
123A, 123B linearity correction means
125A, 125B Black level correction means
129A, 129B Gain correction means
145 Calculation means
147 Synthesis means
163 Memory means
Claims (4)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006031032A JP2007214772A (en) | 2006-02-08 | 2006-02-08 | Image signal processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006031032A JP2007214772A (en) | 2006-02-08 | 2006-02-08 | Image signal processing apparatus |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2007214772A true JP2007214772A (en) | 2007-08-23 |
Family
ID=38492839
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006031032A Withdrawn JP2007214772A (en) | 2006-02-08 | 2006-02-08 | Image signal processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2007214772A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20150036317A (en) * | 2012-07-26 | 2015-04-07 | 올리브 메디컬 코포레이션 | Camera system with minimal area monolithic cmos image sensor |
US10517471B2 (en) | 2011-05-12 | 2019-12-31 | DePuy Synthes Products, Inc. | Pixel array area optimization using stacking scheme for hybrid image sensor with minimal vertical interconnects |
US10750933B2 (en) | 2013-03-15 | 2020-08-25 | DePuy Synthes Products, Inc. | Minimize image sensor I/O and conductor counts in endoscope applications |
US10980406B2 (en) | 2013-03-15 | 2021-04-20 | DePuy Synthes Products, Inc. | Image sensor synchronization without input clock and data transmission clock |
-
2006
- 2006-02-08 JP JP2006031032A patent/JP2007214772A/en not_active Withdrawn
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11026565B2 (en) | 2011-05-12 | 2021-06-08 | DePuy Synthes Products, Inc. | Image sensor for endoscopic use |
US11682682B2 (en) | 2011-05-12 | 2023-06-20 | DePuy Synthes Products, Inc. | Pixel array area optimization using stacking scheme for hybrid image sensor with minimal vertical interconnects |
US10517471B2 (en) | 2011-05-12 | 2019-12-31 | DePuy Synthes Products, Inc. | Pixel array area optimization using stacking scheme for hybrid image sensor with minimal vertical interconnects |
US10537234B2 (en) | 2011-05-12 | 2020-01-21 | DePuy Synthes Products, Inc. | Image sensor with tolerance optimizing interconnects |
US11179029B2 (en) | 2011-05-12 | 2021-11-23 | DePuy Synthes Products, Inc. | Image sensor with tolerance optimizing interconnects |
US11109750B2 (en) | 2011-05-12 | 2021-09-07 | DePuy Synthes Products, Inc. | Pixel array area optimization using stacking scheme for hybrid image sensor with minimal vertical interconnects |
US11432715B2 (en) | 2011-05-12 | 2022-09-06 | DePuy Synthes Products, Inc. | System and method for sub-column parallel digitizers for hybrid stacked image sensor using vertical interconnects |
US10863894B2 (en) | 2011-05-12 | 2020-12-15 | DePuy Synthes Products, Inc. | System and method for sub-column parallel digitizers for hybrid stacked image sensor using vertical interconnects |
US11848337B2 (en) | 2011-05-12 | 2023-12-19 | DePuy Synthes Products, Inc. | Image sensor |
KR102143807B1 (en) * | 2012-07-26 | 2020-08-31 | 디퍼이 신테스 프로덕츠, 인코포레이티드 | Camera system with minimal area monolithic cmos image sensor |
US11766175B2 (en) | 2012-07-26 | 2023-09-26 | DePuy Synthes Products, Inc. | Camera system with minimal area monolithic CMOS image sensor |
US11089192B2 (en) | 2012-07-26 | 2021-08-10 | DePuy Synthes Products, Inc. | Camera system with minimal area monolithic CMOS image sensor |
KR20150036317A (en) * | 2012-07-26 | 2015-04-07 | 올리브 메디컬 코포레이션 | Camera system with minimal area monolithic cmos image sensor |
US10701254B2 (en) | 2012-07-26 | 2020-06-30 | DePuy Synthes Products, Inc. | Camera system with minimal area monolithic CMOS image sensor |
JP2015530785A (en) * | 2012-07-26 | 2015-10-15 | オリーブ・メディカル・コーポレーション | Camera system using minimum area monolithic CMOS image sensor |
US10750933B2 (en) | 2013-03-15 | 2020-08-25 | DePuy Synthes Products, Inc. | Minimize image sensor I/O and conductor counts in endoscope applications |
US11344189B2 (en) | 2013-03-15 | 2022-05-31 | DePuy Synthes Products, Inc. | Image sensor synchronization without input clock and data transmission clock |
US11253139B2 (en) | 2013-03-15 | 2022-02-22 | DePuy Synthes Products, Inc. | Minimize image sensor I/O and conductor counts in endoscope applications |
US10980406B2 (en) | 2013-03-15 | 2021-04-20 | DePuy Synthes Products, Inc. | Image sensor synchronization without input clock and data transmission clock |
US10881272B2 (en) | 2013-03-15 | 2021-01-05 | DePuy Synthes Products, Inc. | Minimize image sensor I/O and conductor counts in endoscope applications |
US11903564B2 (en) | 2013-03-15 | 2024-02-20 | DePuy Synthes Products, Inc. | Image sensor synchronization without input clock and data transmission clock |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8106976B2 (en) | Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium | |
US7656443B2 (en) | Image processing apparatus for correcting defect pixel in consideration of distortion aberration | |
JP2007020156A (en) | Imaging apparatus and imaging system | |
JP2005333462A (en) | Solid state imaging device and imaging system | |
KR20060007225A (en) | Auto-stabilization method in control of driving image pickup device and reading memory and apparatus thereof | |
JP4985124B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP2006217471A (en) | Electronic camera | |
US9407842B2 (en) | Image pickup apparatus and image pickup method for preventing degradation of image quality | |
JP3980781B2 (en) | Imaging apparatus and imaging method | |
KR20120024448A (en) | Imaging apparatus, signal processing method, and program | |
JP4739998B2 (en) | Imaging device | |
JP2002300477A (en) | Signal processing device, signal processing method, and imaging device | |
JP2007214772A (en) | Image signal processing apparatus | |
JP2827424B2 (en) | Image stabilization device | |
JP2005326621A (en) | Imaging device, auto-focus device and auto-focus method | |
US7489356B2 (en) | Image pickup apparatus | |
JP2005176115A (en) | Image pickup device | |
JP2005175682A (en) | Imaging apparatus | |
JP2007143067A (en) | Image sensing device and image sensing system | |
JP2006094192A (en) | Imaging device | |
JP2007036457A (en) | Imaging apparatus | |
JP2007214770A (en) | Image signal processing apparatus | |
JP2006121165A (en) | Imaging apparatus and image forming method | |
JP2005064760A (en) | Detector and control method for the same | |
JP2007214771A (en) | Image signal processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20090512 |