JP2001094886A - Image pickup device, method for controlling image pickup device and storage medium - Google Patents

Image pickup device, method for controlling image pickup device and storage medium

Info

Publication number
JP2001094886A
JP2001094886A JP26537999A JP26537999A JP2001094886A JP 2001094886 A JP2001094886 A JP 2001094886A JP 26537999 A JP26537999 A JP 26537999A JP 26537999 A JP26537999 A JP 26537999A JP 2001094886 A JP2001094886 A JP 2001094886A
Authority
JP
Japan
Prior art keywords
image data
image
imaging
areas
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP26537999A
Other languages
Japanese (ja)
Other versions
JP3619077B2 (en
Inventor
Yusuke Shirakawa
雄資 白川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP26537999A priority Critical patent/JP3619077B2/en
Priority to EP00301592A priority patent/EP1033868A1/en
Priority to US09/515,667 priority patent/US6791615B1/en
Publication of JP2001094886A publication Critical patent/JP2001094886A/en
Application granted granted Critical
Publication of JP3619077B2 publication Critical patent/JP3619077B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To correct the imbalance of picture data outputted from plural output terminals of an image pickup(IP) element. SOLUTION: An IP device is provided with an IP part for dividing a subject image into plural IP areas and picking up images of respective IP areas and outputting a signal from respective plural IP areas and a correction means for judging areas having high correlation and areas having low correlation out of plural picture data outputted from respective IP areas and correcting plural picture data by using picture data between areas having high correlation on the basis of the judgement.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、被写体像を複数の
撮像領域によって分割して撮像し、その複数の撮像領域
のそれぞれから画像データを出力する撮像部を有した撮
像装置に関するものである。
[0001] 1. Field of the Invention [0002] The present invention relates to an image pickup apparatus having an image pickup section for picking up an image of a subject by dividing it into a plurality of image pickup areas and outputting image data from each of the plurality of image pickup areas.

【0002】[0002]

【従来の技術】従来、デジタルスチルカメラ等の撮像装
置では、図7に示した様な構成となっている。この図の
構成の場合は、撮影者自身によるカメラ操作スイッチ1
01(カメラのメインSW及びレリーズSWで構成)の
状態変化を全体制御回路100が検出し、その他の各回
路ブロックへの電源供給を開始する。
2. Description of the Related Art Conventionally, an image pickup apparatus such as a digital still camera has a configuration as shown in FIG. In the case of the configuration shown in FIG.
The overall control circuit 100 detects a state change of 01 (composed of the main switch and the release switch of the camera), and starts power supply to other circuit blocks.

【0003】撮影画面範囲内の被写体像は、主撮影光学
系102及び103を通して撮像素子104上に結像
し、この撮像素子104からの電気信号を、CDS/A
GC回路を介して、各画素毎に順々にA/D変換手段1
06で所定のデジタル信号に変換する。
An image of a subject within a photographing screen is formed on an image sensor 104 through main photographing optical systems 102 and 103, and an electric signal from the image sensor 104 is converted into a CDS / A signal.
A / D conversion means 1 for each pixel in turn via a GC circuit
At 06, it is converted into a predetermined digital signal.

【0004】ここで撮像素子104は、全体の駆動タイ
ミングを決定しているタイミングジェネレータ108か
らの信号に基づき、各画素毎の水平駆動並びに垂直駆動
の為のドライバー回路107の出力で所定駆動すること
により、画像信号出力を発生する。
Here, the image pickup device 104 is driven in a predetermined manner by an output of a driver circuit 107 for horizontal drive and vertical drive for each pixel based on a signal from a timing generator 108 which determines the entire drive timing. Generates an image signal output.

【0005】同様に、撮像素子104からの出力アナロ
グ的に処理を行って所定の信号レベルに変換するCDS
/AGC回路105、並びにA/D変換回路106も上
記タイミングジェネレータ108からのタイミングに基
づいて動作する。
Similarly, a CDS which performs analog processing on the output from the image sensor 104 and converts the analog signal to a predetermined signal level
The / AGC circuit 105 and the A / D conversion circuit 106 also operate based on the timing from the timing generator 108.

【0006】A/D変換回路106からの出力は、全体
制御CPU100からの信号に基づいて信号の選択を行
うセレクタ109を介してメモリーコントローラ115
へ入力し、ここでフレームメモリー116へ全ての信号
出力を転送する。従って、この場合各撮影フレーム毎の
画素データは、一旦全てフレームメモリ116内に記憶
される為、連写撮影等の場合は全てフレームメモリー1
16への書き込み動作となる。
The output from the A / D conversion circuit 106 is supplied to a memory controller 115 via a selector 109 for selecting a signal based on a signal from the overall control CPU 100.
, And all signal outputs are transferred to the frame memory 116 here. Therefore, in this case, all the pixel data for each photographing frame is temporarily stored in the frame memory 116.
16 write operation.

【0007】撮影動作終了後は、メモリーコントローラ
115の制御により、撮影データーを記憶しているフレ
ームメモリー116の内容を、セレクター109を介し
てカメラDSP110へ転送する。このカメラDSP1
10では、フレームメモリーに記憶されている各撮影デ
ーターの各画素データーを基にRGBの各色信号を生成
する。
After the photographing operation is completed, the contents of the frame memory 116 storing the photographing data are transferred to the camera DSP 110 via the selector 109 under the control of the memory controller 115. This camera DSP1
In step 10, each color signal of RGB is generated based on each pixel data of each photographing data stored in the frame memory.

【0008】通常撮影前の状態では、この結果をビデオ
メモリー111に定期的(各フレーム毎)に転送する事
で、モニター表示手段112を介してファインダー表示
等を行っている。
Normally, in a state before photographing, the result is transferred to the video memory 111 periodically (for each frame), so that a finder display or the like is performed through the monitor display means 112.

【0009】一方、カメラ操作スイッチ101の操作に
より、撮影動作を撮影者自身が行った場合には、全体制
御CPU100からの制御信号によって、1フレーム分
の各画素データーをフレームメモリー116から読み出
し、カメラDSP110で画像処理を行ってから一旦ワ
ークメモリー113に記憶する。
On the other hand, when the photographer performs the photographing operation by operating the camera operation switch 101, each pixel data of one frame is read out from the frame memory 116 by the control signal from the overall control CPU 100, and After the image processing is performed by the DSP 110, the image processing is temporarily stored in the work memory 113.

【0010】続いて、ワークメモリー113のデータを
圧縮・伸張手段114で所定の圧縮フォーマットに基づ
きデータ圧縮し、その結果を外部不揮発性メモリー11
7(通常フラッシュメモリー等の不揮発性メモリーを使
用)に記憶する。
Subsequently, the data in the work memory 113 is compressed by the compression / expansion means 114 based on a predetermined compression format, and the result is stored in the external nonvolatile memory 11.
7 (usually using a nonvolatile memory such as a flash memory).

【0011】又、逆に撮影済みの画像データーを観察す
る場合には、上記外部メモリーに圧縮記憶されたデータ
を、圧縮・伸張手段114を通して通常の撮影画素毎の
データーに伸張し、その結果をビデオメモリー111へ
転送する事で、モニター表示手段112を通して行う事
が出来る。
On the other hand, when observing the photographed image data, the data compressed and stored in the external memory is expanded to normal data for each photographed pixel through the compression / expansion means 114, and the result is obtained. By transferring the data to the video memory 111, it can be performed through the monitor display means 112.

【0012】この様に、通常の撮像装置では、撮像素子
104からの出力を、ほぼリアルタイムでプロセス処理
回路を通して実際の画像データーに変換し、その結果を
メモリーないしはモニター回路へ出力する構成となって
いる。
As described above, in the ordinary image pickup apparatus, the output from the image pickup element 104 is converted into actual image data through the process processing circuit in almost real time, and the result is output to the memory or the monitor circuit. I have.

【0013】一方、上記の様な撮像装置に於いて、連写
撮影等の能力を向上させる(例えば10駒/秒に近い能
力を得る)為には、撮像素子からの読み出し速度を上げ
る事やフレームメモリー等への撮像素子データーの書き
込み速度を上げる等の撮像素子を含めたシステム的な改
善が必要である。
On the other hand, in the image pickup apparatus as described above, in order to improve the capability of continuous photographing or the like (for example, to obtain a capability close to 10 frames / sec), it is necessary to increase the reading speed from the image pickup device. It is necessary to improve the system including the image sensor such as increasing the speed of writing the image sensor data to a frame memory or the like.

【0014】図6はその改善方法の一つとして、CCD
等の撮像素子で水平CCDを2分割にした2出力タイプ
のデバイス構造を簡単に示したものである。
FIG. 6 shows a CCD as one of the improvement methods.
This simply shows a two-output type device structure in which a horizontal CCD is divided into two parts by an image pickup device such as the above.

【0015】図7のCCDでは、フォトダイオード部9
0で発生した各画素毎の電荷をある所定のタイミングで
一斉に垂直CCD部へ転送し、次のタイミングで各ライ
ン毎に垂直CCDの電荷を水平CCD92及び93に転
送する。
In the CCD shown in FIG.
The charges generated for each pixel generated at 0 are simultaneously transferred to the vertical CCD unit at a predetermined timing, and the charges of the vertical CCD are transferred to the horizontal CCDs 92 and 93 for each line at the next timing.

【0016】ここで水平CCD92は、転送クロック毎
にその電荷を左側のアンプ94へ向かって転送し、又水
平CCD93は、転送クロック毎にその電荷を右側のア
ンプ95へ向かって転送する事から、このCCDの撮影
画像データーは画面の中央を境にして左右真っ二つに分
割して読み出される事になる。
Here, the horizontal CCD 92 transfers the charge toward the left amplifier 94 every transfer clock, and the horizontal CCD 93 transfers the charge toward the right amplifier 95 every transfer clock. The captured image data of the CCD is read out by being divided into two right and left parts at the center of the screen.

【0017】通常上記アンプはCCDデバイスの中に作
り込まれるが、レイアウト的にはかなり離れた位置に来
る為、両アンプの相対精度は必ずしも完全に一致すると
は限らない。その為、アンプ後の出力を左右それぞれ別
々のCDS/AGC回路96、97を通した際に、外部
調整手段97及び99によって調整する事で左右出力の
マッチング性を確保する様にしている。
Usually, the amplifier is built in a CCD device. However, since the amplifiers are located at distant positions in terms of layout, the relative accuracy of both amplifiers does not always match completely. Therefore, when the output after the amplification passes through separate CDS / AGC circuits 96 and 97 for the right and left, respectively, it is adjusted by the external adjustment means 97 and 99 to ensure matching between the left and right outputs.

【0018】[0018]

【発明が解決しようとする課題】しかしながら、以上の
様に、被写体像を複数の撮像領域に分割して撮像し、そ
の複数の撮像領域のそれぞれから同時に信号を読み出す
方法は、スピード的には有利になるものの、出力レベル
のマッチング性という観点では、明らかに1出力しかな
いものに比べて不利になってしまう。
However, as described above, the method of dividing a subject image into a plurality of imaging regions and taking an image and simultaneously reading signals from each of the plurality of imaging regions is advantageous in terms of speed. However, from the viewpoint of matching of output levels, it is clearly disadvantageous compared to the case where there is only one output.

【0019】従来のCDS/AGC回路部でのアナログ
的な調整や、A/D変換後の出力で両チャンネルを合わ
せ込むデジタル的な調整等、単なるマニュアル的な調整
方法では、製造工程上でかなり合わせ込んだとしても、
環境の変化によって、例えばVR抵抗そのものの値も変
わってくるし、CDS/AGC回路の温度特性の傾向も
完全に2つのものが一致する可能性は極めて低い。
In a conventional manual adjustment method such as a conventional analog adjustment in the CDS / AGC circuit section or a digital adjustment in which both channels are combined with an output after A / D conversion, a considerable amount of time is required in the manufacturing process. Even if we match
Due to the change in the environment, for example, the value of the VR resistor itself changes, and the tendency of the temperature characteristics of the CDS / AGC circuit to completely match the two is extremely low.

【0020】通常この様な読み出し方法を行った場合、
左右両出力の相対精度としては±1%を超えるようだ
と、画面上でその境界のアンバランスがはっきりと解っ
てしまう。
Normally, when such a reading method is performed,
If the relative accuracy of the left and right outputs exceeds ± 1%, the imbalance of the boundary will be clearly understood on the screen.

【0021】そこで本発明では、この様な複数出力を持
つ撮像部を有する撮像装置の場合に、複数出力の相対精
度をいかにして保つか、その具体的方法に注目した。
Therefore, in the present invention, in the case of such an imaging apparatus having an imaging unit having a plurality of outputs, attention has been paid to a specific method of how to maintain the relative accuracy of the plurality of outputs.

【0022】本発明の目的は、撮像部の複数出力端子か
ら出力される画像データ毎アンバランスを補正すること
である。
An object of the present invention is to correct the imbalance of each image data output from a plurality of output terminals of an imaging unit.

【0023】[0023]

【課題を解決するための手段】上記課題を解決するため
に、本発明の第1の手段として、被写体像を複数の撮像
領域によって分割して撮像し、前記複数の撮像領域のそ
れぞれから信号を出力する撮像部と、前記複数の撮像領
域のそれぞれから出力された複数の画像デ−タ間で相関
性の高い領域と低い領域を判断し、前記判断に基いて前
記相関性の高い領域間の画像デ−タを用いて前記複数の
画像デ−タを補正する補正手段とを有する撮像装置を提
供する。
In order to solve the above problems, as a first means of the present invention, a subject image is divided and photographed by a plurality of imaging regions, and a signal is output from each of the plurality of imaging regions. Determining an area having a high correlation and a low area between a plurality of image data output from each of the plurality of image data output from each of the plurality of imaging areas; An image pickup apparatus comprising: a correction unit that corrects the plurality of image data using the image data.

【0024】また、第2の手段として、被写体像を複数
の撮像領域によって分割して撮像し、前記複数の撮像領
域のそれぞれから信号を出力する撮像部と、前記複数の
撮像領域のそれぞれから出力された複数の画像デ−タを
処理する処理手段を有する撮像装置の制御方法であっ
て、前記複数の撮像領域のそれぞれから出力された複数
の画像デ−タ間で相関性の高い領域と低い領域を判断
し、前記判断に基いて前記相関性の高い領域間の画像デ
−タを用いて前記複数の画像デ−タを補正することを特
徴とする制御方法を提供する。
Also, as a second means, an image pickup section for picking up a subject image by dividing it into a plurality of image pickup areas and outputting a signal from each of the plurality of image pickup areas, and an output section from each of the plurality of image pickup areas. A method of controlling an imaging apparatus having a processing means for processing a plurality of image data obtained, wherein an area having a high correlation between a plurality of image data output from each of the plurality of imaging areas and a low area have a low correlation. A control method is provided wherein a region is determined and the plurality of image data is corrected using image data between the regions having a high correlation based on the determination.

【0025】また、第3の手段として、被写体像を複数
の撮像領域によって分割して撮像し、前記複数の撮像領
域のそれぞれから信号を出力する撮像部と、前記複数の
撮像領域のそれぞれから出力された複数の画像デ−タを
処理する処理手段を有する撮像装置の制御するための制
御プログラムが格納した記憶媒体であって、前記複数の
撮像領域のそれぞれから出力された複数の画像デ−タ間
で相関性の高い領域と低い領域を判断する工程と、前記
判断に基いて前記相関性の高い領域間の画像デ−タを用
いて前記複数の画像デ−タを補正する工程のコ−ドを有
することを特徴とする記憶媒体を提供する。
[0025] As a third means, an image pickup section which divides a subject image by a plurality of image pickup areas and picks up an image, and outputs a signal from each of the plurality of image pickup areas, and an output section from each of the plurality of image pickup areas. A storage medium storing a control program for controlling an imaging apparatus having processing means for processing the plurality of image data, wherein the plurality of image data output from each of the plurality of imaging regions are stored. Determining a region having a high correlation and a region having a low correlation between the two, and correcting the plurality of image data using image data between the regions having a high correlation based on the determination. A storage medium characterized by having a password is provided.

【0026】[0026]

【発明の実施の形態】(第1の実施の形態)図1は本発
明の第1の実施の形態を説明するための撮像装置全体の
ハードウェアー構成の一例を示すブロック図である。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS (First Embodiment) FIG. 1 is a block diagram showing an example of a hardware configuration of an entire image pickup apparatus for explaining a first embodiment of the present invention.

【0027】同図に於いて被写体像を複数の撮像領域に
よって分割して撮像し、その複数の撮像領域のそれぞれ
から信号を出力する撮像部である2つの出力(CH1及
びCH2)を持つCCD等の撮像素子1は、ドライバー
手段2によって駆動される事で所定の周波数で動作し、
画面全体を縦に2分割する形で左右別々に画像データー
を出力する構成になっている。又、TG/SSG3は垂
直同期信号VD及び水平同期信号HDを出力するタイミ
ング発生回路で、同時に各回路ブロックへのタイミング
信号を供給している。
In FIG. 1, a CCD or the like having two outputs (CH1 and CH2) which is an image pickup unit for picking up an image of a subject by dividing it into a plurality of image pickup areas and outputting signals from each of the plurality of image pickup areas. Image sensor 1 operates at a predetermined frequency by being driven by driver means 2,
The image data is output separately for the left and right sides in such a manner that the entire screen is vertically divided into two. TG / SSG3 is a timing generating circuit that outputs a vertical synchronizing signal VD and a horizontal synchronizing signal HD, and simultaneously supplies a timing signal to each circuit block.

【0028】撮像素子1の右半面から出力されたデータ
は、CH1出力を介してCDS/AGC回路5へ入力
し、ここで既知の相関2重サンプリング等の方法を行う
事で、CCD等の出力に含まれるリセットノイズ等を除
去すると共に、所定の信号レベル迄出力を増幅する為の
AGC回路を働かせる。このAGC後の出力をA/D変
換回路7へ入力する事で、デジタル信号に変換しAD−
CH1なる出力を得る。
The data output from the right half surface of the image sensor 1 is input to the CDS / AGC circuit 5 via the CH1 output, and the output of the CCD or the like is obtained by performing a known method such as correlated double sampling. And an AGC circuit for amplifying the output to a predetermined signal level. By inputting the output after the AGC to the A / D conversion circuit 7, it is converted into a digital signal,
An output CH1 is obtained.

【0029】同様に撮像素子の左半面から出力されたデ
ータは、CH2出力を介してCDS/AGC回路4へ入
力し、ここで同様の相関2重サンプリング等の方法を行
う事で、CCD等の出力に含まれるリセットノイズ等を
除去すると共に、所定の信号レベル迄出力を増幅する為
のAGC回路を働かせる。このAGC後の出力をA/D
変換回路6へ入力する事で、デジタル信号に変換しAD
−CH2なる出力を得る。
Similarly, the data output from the left half surface of the image sensor is input to the CDS / AGC circuit 4 via the CH2 output, and a similar method such as correlated double sampling is performed. An AGC circuit for removing reset noise and the like included in the output and amplifying the output to a predetermined signal level is operated. The output after AGC is A / D
The signal is converted into a digital signal by
An output CH2 is obtained.

【0030】この撮像素子からの左右両出力を別々にデ
ジタルデーターに変換した後、両出力を各々メモリーコ
ントローラー8、10を介して、メモリー9、11に順
々に記憶していく。
After both left and right outputs from the image pickup device are separately converted into digital data, both outputs are sequentially stored in memories 9 and 11 via memory controllers 8 and 10, respectively.

【0031】又、AD−CH1及びAD−CH2から出
力された画像データは、両画像データのアンバランス量
を補正するための補正手段であるアンバランス量算出回
路18へ同時に入力される。
The image data output from the AD-CH1 and AD-CH2 are simultaneously input to an unbalance amount calculating circuit 18 which is a correcting means for correcting the amount of unbalance between the two image data.

【0032】メモリーコントローラー8及び10は、通
常時分割でメモリー9及び11に対する読み書きを連続
して実行できる様になっている為、撮像素子からの出力
をメモリーに書き込みながら、別のタイミングでメモリ
ーに書き込んだデータを書き込んだ順に読み出す事が可
能である。
Since the memory controllers 8 and 10 can continuously read and write to the memories 9 and 11 in a normal time sharing manner, the outputs from the image pickup device are written to the memory at different timings. It is possible to read the written data in the order of writing.

【0033】まず撮像素子1のCH1側の出力に対して
は、メモリーコントローラー10の制御によりメモリー
11から連続してデーターを読み出し、ゲイン調整回路
13へ入力していく。ここでゲイン調整回路13のもう
一方の入力には、アンバランス量算出回路18で算出設
定された所定のゲイン出力GN1が接続されており、ゲ
イン調整回路13内部で両信号の乗算を行う。
First, for the output on the CH1 side of the image sensor 1, data is continuously read from the memory 11 under the control of the memory controller 10 and input to the gain adjustment circuit 13. Here, the other input of the gain adjustment circuit 13 is connected to a predetermined gain output GN1 calculated and set by the unbalance amount calculation circuit 18, and multiplies both signals inside the gain adjustment circuit 13.

【0034】次にこのゲイン調整回路13の出力は、オ
フセット調整回路15へ入力するが、ここでオフセット
調整回路15のもう一方の入力には、アンバランス量算
出回路18で算出設定された所定のゲイン出力OF1が
接続されており、オフセット調整回路15内部で両信号
の加算を行う。
Next, the output of the gain adjustment circuit 13 is input to the offset adjustment circuit 15. Here, the other input of the offset adjustment circuit 15 is provided with a predetermined value calculated and set by the unbalance amount calculation circuit 18. The gain output OF1 is connected, and the two signals are added inside the offset adjustment circuit 15.

【0035】同様に撮像素子1のCH2側の出力に対し
ては、メモリーコントローラー8の制御によりメモリー
9から連続してデーターを読み出し、ゲイン調整回路1
2へ入力していく。ここでゲイン調整回路12のもう一
方の入力には、アンバランス量算出回路18で算出設定
された所定のゲイン出力GN2が接続されており、ゲイ
ン調整回路12内部で両信号の加算を行う。
Similarly, for the output of the image sensor 1 on the CH2 side, data is continuously read from the memory 9 under the control of the memory controller 8, and the gain adjustment circuit 1
Input to 2. Here, a predetermined gain output GN2 calculated and set by the unbalance amount calculation circuit 18 is connected to the other input of the gain adjustment circuit 12, and the two signals are added inside the gain adjustment circuit 12.

【0036】次にこのゲイン調整回路12の出力は、オ
フセット調整回路14へ入力するが、ここでオフセット
調整回路14のもう一方の入力には、アンバランス量算
出回路18で算出設定された所定のオフセット出力OF
2が接続されており、オフセット調整回路14内部で両
信号の加算を行う。
Next, the output of the gain adjustment circuit 12 is input to the offset adjustment circuit 14, where the other input of the offset adjustment circuit 14 is provided with a predetermined value calculated and set by the unbalance amount calculation circuit 18. Offset output OF
2 is connected, and both signals are added inside the offset adjustment circuit 14.

【0037】この様に、2つの画像データは、アンバラ
ンス量算出回路によって算出された補正量に基づいて調
整を行う調整手段であるゲイン調整回路及びオフセット
調整回路によってアンバランス量が調整される。ここ
で、アンバランス量の調整は、場合によってゲイン調整
又はオフセット調整のどちらかのみを行ってもよい。
As described above, the unbalance amount of the two image data is adjusted by the gain adjustment circuit and the offset adjustment circuit which are adjustment means for adjusting based on the correction amount calculated by the unbalance amount calculation circuit. Here, the adjustment of the unbalance amount may be performed by either the gain adjustment or the offset adjustment depending on the case.

【0038】この様にして、2つの出力間で生ずるアン
バランス量を調整した画像データー出力を、画像合成回
路16でもって1つの画像データに変換(左右出力を1
つの出力にする)し、次段のカラー処理回路17で所定
のカラー処理(色補間処理やγ変換等)を行うものとす
る。
In this manner, the image data output in which the amount of imbalance generated between the two outputs is adjusted is converted into one image data by the image synthesizing circuit 16 (the left and right outputs are converted into one image data).
Output), and the next color processing circuit 17 performs predetermined color processing (color interpolation processing, γ conversion, etc.).

【0039】次にアンバランス量算出回路18の具体的
構成について、図2に示した構成を用いて説明を行う。
Next, a specific configuration of the unbalance amount calculating circuit 18 will be described with reference to the configuration shown in FIG.

【0040】図2に於いて、まず関数選択回路46によ
って演算回路30〜37を指定する。この関数選択回路
は左右の各々の出力に対して複数の演算回路を選択でき
るようになっている。演算回路の種類としては平均値算
出回路、最大値算出回路、最小値算出回路、分散値算出
回路、標準偏差値算出回路、平均偏差値算出回路、傾き
値算出回路、差分最大値算出回路、差分最小値算出回
路、差分最大値算出回路、差分平均値算出回路などが考
えられる。これらの演算回路によって左右各々の出力デ
ーに対し統計量を計算する。この関数選択回路46によ
って選択された複数の演算回路にA/D変換回路の出力
であるAD−CH1及びAD−CH2が入力する。
In FIG. 2, first, the operation circuits 30 to 37 are designated by the function selection circuit 46. This function selection circuit can select a plurality of arithmetic circuits for each of the left and right outputs. The types of arithmetic circuits include an average value calculation circuit, a maximum value calculation circuit, a minimum value calculation circuit, a variance value calculation circuit, a standard deviation value calculation circuit, an average deviation value calculation circuit, a slope value calculation circuit, a difference maximum value calculation circuit, and a difference. A minimum value calculation circuit, a difference maximum value calculation circuit, a difference average value calculation circuit, and the like can be considered. These arithmetic circuits calculate a statistic for each of the left and right output data. AD-CH1 and AD-CH2 output from the A / D conversion circuit are input to the plurality of arithmetic circuits selected by the function selection circuit 46.

【0041】このとき、関数選択回路46によって選択
された各々の演算回路に対して、領域選択回路45によ
り画像データにおいてアンバランス量を算出するための
所定の領域を選択する。この領域選択回路45は、図1
に示したTG/SSG3からのVD/HD信号を基準と
して、撮像素子1から出力される各画素毎のデーターの
有効範囲を決定し、各演算回路で演算する為の入力信号
を許可するタイミングを設定する。図3は領域選択回路
の選択方法の一例である。図3において画像データの左
右境界付近から横方向に左右それぞれ特定の位置までを
指定する。さらに、R/G/G/Bの色フィルタ配列を
持つ画素の集合60を1つのセルとし、縦方向の位置y
において左右境界から横方向の指定位置まで連続した連
続領域c(y)、d(y)を考える。任意の縦方向の位
置yについてこのc(y)、d(y)の組について相関
関係を判断する。また、領域設定回路は単位画素集合6
0中の特定の色フィルタを持つ画素のみを指定したり、
その組み合わせを指定したりすることが可能である。ま
た、この領域選択回路45は各々の演算回路に対して異
なる領域を選択可能であってもかまわない。
At this time, for each of the arithmetic circuits selected by the function selecting circuit 46, a predetermined area for calculating the unbalance amount in the image data is selected by the area selecting circuit 45. This region selection circuit 45 is provided in FIG.
Based on the VD / HD signal from the TG / SSG3 shown in the above, the effective range of the data for each pixel output from the image sensor 1 is determined, and the timing for permitting the input signal to be operated by each arithmetic circuit is determined. Set. FIG. 3 shows an example of a selection method of the area selection circuit. In FIG. 3, a portion from the vicinity of the right and left borders of the image data to the left and right specific positions in the horizontal direction is designated. Further, a set 60 of pixels having an R / G / G / B color filter array is defined as one cell, and a vertical position y
Consider continuous areas c (y) and d (y) from the left and right boundaries to the designated position in the horizontal direction. A correlation is determined for a set of c (y) and d (y) for an arbitrary vertical position y. The area setting circuit is a unit pixel set 6
Specify only pixels with a specific color filter in 0,
It is possible to specify the combination. The region selection circuit 45 may be capable of selecting a different region for each arithmetic circuit.

【0042】次に、メモリーコントローラ38は演算回
路30〜37で演算されたAD−CH1に対する演算デ
ーターを一旦メモリー39に記憶する。
Next, the memory controller 38 temporarily stores, in the memory 39, the operation data for AD-CH1 calculated by the operation circuits 30 to 37.

【0043】次に、補正データー演出回路42はメモリ
ーコントローラ38、40を介してAD−CH2に対す
る演算データーおよびAD−CH1に対する演算データ
ーをメモリー39、41から読み出し、後で述べる方法
のように演算データーを相関演算することでAD−CH
2に対するゲイン補正データーGN2およびオフセット
補正データーOF2を算出する。同様に補正データー算
出回路43はメモリーコントローラ38、40を介して
AD−CH2に対する演算データーおよびAD−CH1
に対する演算データーをメモリー39、41から読み出
し、後で述べる方法でAD−CH1に対するゲイン補正
データーGN2およびオフセット補正データーOF2を
算出する。ここで、2出力AD−CH1とAD−CH2
間のアンバランスをとるためにはどちらか一方の出力を
補正すれば十分なので、AD−CH2の補正データーG
N2・OF2、または、AD−CH1の補正データーG
N1・OF1のどちらか一方は固定データーでも構わな
い。
Next, the correction data presentation circuit 42 reads out the operation data for AD-CH2 and the operation data for AD-CH1 from the memories 39 and 41 via the memory controllers 38 and 40, and executes the operation data processing as will be described later. AD-CH
Then, the gain correction data GN2 and the offset correction data OF2 are calculated. Similarly, the correction data calculation circuit 43 outputs the operation data for AD-CH2 and AD-CH1 via the memory controllers 38 and 40.
Is read from the memories 39 and 41, and gain correction data GN2 and offset correction data OF2 for AD-CH1 are calculated by a method described later. Here, two outputs AD-CH1 and AD-CH2
Since it is sufficient to correct one of the outputs in order to achieve an imbalance between the two, the correction data G of the AD-CH2
Correction data G of N2 ・ OF2 or AD-CH1
Either N1 or OF1 may be fixed data.

【0044】次に、図4のフローチャートを用いてアン
バランス量の補正を行うためのアルゴリズムの一例を説
明する。ここでは、図3のような連続漁期c(y)、c
(y)について輝度値を判断し、その判断結果を用いて
2出力の相関演算をする。しかしながら、撮影画像には
いろいろなパターンが含まれており、単純にすべての縦
方向位置yの連続領域c(y)、d(y)について単純
に相関演算をすると、相関性の低い領域まで演算してし
まい、算出したアンバランス量が実際のずれ量とかけ離
れたものになってしまう可能性がある。この問題を解決
する方法として、相関性の高い領域だけに着目し、相関
演算する方法がある。相関性が高い領域とは、輝度が一
様で境界付近において輝度ムラのないような領域が考え
られる。例えば、風景写真画像において雲の無い空の部
分が境界に来ている場合は、その部分は2出力間で相関
性が高いと考えられる。また逆に、ビルを撮影した画像
において、2出力の境界付近にビルと空の境界が写って
いるような場合は2出力の相関性が低いと考えられる。
具体的にこのような相関性の高い領域と低い領域を判断
する方法としては、輝度を判断する方法、色調を判断す
る方法、周波数を判断する方法などが考えられる。
Next, an example of an algorithm for correcting the imbalance amount will be described with reference to the flowchart of FIG. Here, the continuous fishing season c (y), c as shown in FIG.
A luminance value is determined for (y), and a correlation calculation of two outputs is performed using the determination result. However, the captured image includes various patterns, and if a simple correlation operation is performed on all the continuous areas c (y) and d (y) at all the vertical positions y, the calculation is performed up to an area having low correlation. As a result, there is a possibility that the calculated imbalance amount is far from the actual deviation amount. As a method of solving this problem, there is a method of performing a correlation operation by focusing only on a region having high correlation. The region having high correlation may be a region in which the luminance is uniform and there is no luminance unevenness near the boundary. For example, in the case where the sky portion without clouds comes to the boundary in the landscape photograph image, the portion is considered to have high correlation between the two outputs. Conversely, when an image of a building shows a boundary between the building and the sky near the boundary between the two outputs, the correlation between the two outputs is considered to be low.
Specifically, as a method of judging a region having a high correlation and a region having a low correlation, a method of judging a luminance, a method of judging a color tone, a method of judging a frequency and the like can be considered.

【0045】本実施の形態では、図4のステップ51〜
53において相関性の判断を行っている。まず、ステッ
プ51において2出力間の輝度を判断し、左右で輝度が
著しく異なる部分は相関性が低いと判断する。ここで
は、図3の任意の縦方向位置yの領域c(y)、d
(y)において、画像データの平均値を算出する。この
結果を輝度としてc(y)とd(y)において算出結果
が著しく違う場合はc(y)とd(y)における画像デ
ータは相関性が低いと判断する。この際、輝度の違いを
判断するために閾値が必要であるが、ゲインずれ量・オ
フセットずれ量をあらかじめ考慮して、閾値を輝度値の
1次関数にすると精度良く相関性が低い部分を判断でき
ることがある。
In this embodiment, steps 51 to 51 in FIG.
At 53, the correlation is determined. First, in step 51, the luminance between the two outputs is determined, and a portion where the luminance is significantly different between left and right is determined to have low correlation. Here, regions c (y) and d at an arbitrary vertical position y in FIG.
In (y), the average value of the image data is calculated. When the calculation result is significantly different between c (y) and d (y) using this result as luminance, it is determined that the image data at c (y) and d (y) have low correlation. At this time, a threshold value is required to determine the difference in luminance. If the threshold value is a linear function of the luminance value in consideration of the gain deviation amount and the offset deviation amount in advance, a portion having low correlation is determined with high accuracy. There are things you can do.

【0046】次に、ステップ52において、2出力間の
色調を判断し、左右で色調が異なる部分は相関性が低い
と判断する。ステップ51と同様に、任意の縦方向位置
yの領域c(y)、d(y)において、各色フィルタ毎
の画像データの平均値を算出する。さらに、各色フィル
タ毎にc(y)とd(y)の算出結果を比較し、著しく
違う場合はc(y)とd(y)における画像データは相
関性が低いと判断する。判断基準の閾値を、各色フィル
タ毎の輝度値の1次関数とすると、精度良く相関性が低
い部分を判断できる。
Next, in step 52, the color tone between the two outputs is determined, and it is determined that the portion where the color tone is different between the left and right has low correlation. As in step 51, the average value of the image data for each color filter is calculated in the regions c (y) and d (y) at an arbitrary vertical position y. Furthermore, the calculation results of c (y) and d (y) are compared for each color filter, and if they are significantly different, it is determined that the image data of c (y) and d (y) have low correlation. When the threshold value of the determination criterion is a linear function of the luminance value of each color filter, a portion having low correlation can be determined with high accuracy.

【0047】次に、ステップ53において周波数を判断
し、高い周波数成分を多く持つところは相関性が低いと
判断する。ここでは、任意の縦方向位置yの領域c
(y)において、画像データーの平均値yを算出し、連
続領域c(y)の中の輝度データーをY、輝度データー
の数をnとし、領域c(y)内において、 σ2=Σ(Y−y)2/n なる計算式で分散値σ2を計算する。同様に連続領域d
(y)において分散値を計算する。この分散値が著しく
大きい場合は領域c(y)、d(y)における画像デー
タは高周波成分を多く含むため、相関性が低いと判断す
る。この分散値は輝度の平均値が大きいときほど分散値
も大きくなる傾向があるので、判断の閾値を輝度の平均
値の一次関数としてやることで精度良く相関性が低い部
分を判断できる。また、周波数の判断方法としては、分
散値を算出する方法のほかにも、最大値、最小値、平均
偏差値、標準偏差値、差分最大値、差分最小値、差分平
均値を求め、これらを組み合わせることによっても同様
に周波数を判断することができる。ここで、標準偏差値
とは分散値の平方根で表わされ、データーをY、個数を
n、データーの平均をyとしたとき、平均偏差値σとは σ=Σ|Y−y|/n なる計算式で表わされ、差分最大値、差分最小値、差分
平均値とは隣合う位置のデーターの差分の絶対値におけ
る最大値、最小値、平均値を表わす。
Next, in step 53, the frequency is determined, and where there are many high frequency components, the correlation is determined to be low. Here, an area c at an arbitrary vertical position y
In (y), the average value y of the image data is calculated, Y is the luminance data in the continuous area c (y), n is the number of the luminance data, and in the area c (y), σ 2 = Σ ( The variance value σ 2 is calculated by the following formula: Y−y) 2 / n. Similarly, the continuous area d
In (y), the variance value is calculated. If the variance is extremely large, the image data in the areas c (y) and d (y) contain many high-frequency components, so that it is determined that the correlation is low. Since the variance value tends to increase as the average luminance value increases, a portion having low correlation can be accurately determined by setting the determination threshold as a linear function of the average luminance value. As a method of determining the frequency, in addition to the method of calculating the variance, a maximum value, a minimum value, an average deviation value, a standard deviation value, a difference maximum value, a difference minimum value, and a difference average value are obtained. The frequency can be determined in the same manner by combining them. Here, the standard deviation is represented by the square root of the variance. When the data is Y, the number is n, and the average of the data is y, the average deviation σ is σ = Σ | Y−y | / n The difference maximum value, difference minimum value, and difference average value represent the maximum value, minimum value, and average value of the absolute value of the difference between the data at adjacent positions.

【0048】以上のような処理を行った後にステップ5
4において相関性が低いと判断されなかった位置を、左
右画面の相関性が高い位置であると考える。以上では、
相関性の判断として輝度、色調及び周波数の判断を行っ
たが、いずれか1つ又は2つの判断であってもよい。
After performing the above processing, step 5
The position where the correlation is not determined to be low in 4 is considered to be the position where the correlation between the left and right screens is high. Above,
Although the judgment of the luminance, the color tone, and the frequency is made as the judgment of the correlation, any one or two judgments may be made.

【0049】次に、ステップ55において、左右画面の
相関性が高いと考えられるラインのみについて以下のよ
うな相関演算をして、2出力のアンバランスを補正する
ように補正データーを算出する。
Next, at step 55, correction data is calculated so as to correct the unbalance of the two outputs by performing the following correlation operation only on the lines considered to have high correlation between the left and right screens.

【0050】相関性が高いと考えられる位置yのみにつ
いて、各色フィルター毎のAD−CH1に対する輝度デ
ーターGL(y)、RL(y)、BL(y)と、AD−C
H1に対する輝度データーGR(y)、RR(y)、BR
(y)を用いたとき、 Σ(GN1*R(y)+OF1−GN2*L(y)−O
F2)2+Σ(GN1*R(y)+OF1−GN2*L
(y)−OF2)2+Σ(GN1*R(y)+OF1−
GN2*L(y)−OF2)2 なる式で各色フィルター毎の左右の輝度値の差分を二乗
して総和をとった値を計算する。この式の値が最小値を
とるようなゲイン補正データーGN1、GN2およびオ
フセット補正データーOF1、OF2の組み合わせを求
めることで、両出力間の出力レベルが一致するような、
AD−CH1およびAD−CH2に対する補正データー
を算出することができる。ここで、両出力のアンバラン
スはどちらか一方を固定して、他方をそれにあわせるか
たちで補正できるので、GN1・OF1もしくはGN2
・OF2を固定データとしても構わない。また、オフセ
ット誤差、ゲイン誤差のみを補正する場合は、ゲイン補
正量、オフセット補正量をそれぞれ固定データとするこ
とができる。
For only the position y considered to be highly correlated, the luminance data G L (y), R L (y), B L (y) for AD-CH1 for each color filter, and AD-C
Luminance data G R for H1 (y), R R ( y), B R
When using (y), Σ (GN1 * G R (y) + OF1-GN2 * G L (y) -O
F2) 2 + Σ (GN1 * RR (y) + OF1-GN2 * RL
(Y) -OF2) 2 + Σ (GN1 * B R (y) + OF1-
GN2 * B L (y) -OF2 ) calculating a value taking the sum by squaring the difference between the luminance values of the left and right for each color filter 2 becomes equation. By obtaining a combination of the gain correction data GN1 and GN2 and the offset correction data OF1 and OF2 such that the value of this equation takes the minimum value, the output levels between the two outputs are matched.
Correction data for AD-CH1 and AD-CH2 can be calculated. Here, the imbalance of both outputs can be corrected by fixing one of them and adjusting the other to that, so that GN1 · OF1 or GN2
-OF2 may be fixed data. When only the offset error and the gain error are corrected, the gain correction amount and the offset correction amount can be fixed data.

【0051】次に、ステップ56において、上記の方法
で算出した補正データGN1およびGN2およびOF1
およびOF2を用いて、左右の画像データそれぞれ全体
に対して、ゲイン補正およびオフセット補正を行う事
で、2出力のアンバランスを正確に補正することができ
る。
Next, at step 56, the correction data GN1, GN2, and OF1 calculated by the above method are obtained.
By performing gain correction and offset correction on the entire left and right image data using the OF2 and OF2, the imbalance of the two outputs can be accurately corrected.

【0052】(第2の実施の形態)図5は本発明の第2
の実施の形態を説明するためのアルゴリズムの1例を示
すフローチャートである。撮像装置全体のハードウエア
構成及びアンバランス量算出回路の具体的構成は、第1
の実施の形態と同じである。又第1の実施の形態と同
様、図3で示される領域を考える。
(Second Embodiment) FIG. 5 shows a second embodiment of the present invention.
9 is a flowchart illustrating an example of an algorithm for describing the embodiment. The hardware configuration of the entire imaging apparatus and the specific configuration of the unbalance amount calculation circuit are described in the first section.
This is the same as the embodiment. Also, as in the first embodiment, consider the area shown in FIG.

【0053】本実施の形態では、ゲイン補正量とオフセ
ット補正量を別々に計算している。黒い部分における左
右の画面のアンバランスはほぼオフセット誤差のみに依
存し、ゲイン補正量とオフセット補正量を同時に算出す
るよりも、このような方法でオフセット補正量のみを算
出したほうがより正確に補正量を算出できる可能性があ
るため、ステップ58において画像の黒い部分、すなわ
ち輝度値がゼロ付近の領域だけを判断し、その結果から
ステップ60によりオフセット補正量を算出している。
In the present embodiment, the gain correction amount and the offset correction amount are separately calculated. The imbalance between the left and right screens in the black part depends almost exclusively on the offset error, and it is more accurate to calculate only the offset correction amount in this way than to calculate the gain correction amount and the offset correction amount simultaneously. Therefore, only the black portion of the image, that is, the region where the luminance value is near zero is determined in step 58, and the offset correction amount is calculated in step 60 from the result.

【0054】次にステップ51〜53における輝度判
断、色調判断、高周波判断は、第1の実施の形態と同様
である。
Next, the luminance judgment, color tone judgment, and high frequency judgment in steps 51 to 53 are the same as in the first embodiment.

【0055】次にステップ62において、白とび部分を
判断している。白とびは被写体におけるスポット部分な
ど輝度が極端に高い部分であり、データーが飽和してし
まっているために他の部分とはアンバランス量が違って
いる可能性がある。そのため、2出力の相関性が低いと
みなしている。
Next, in step 62, the overexposed portion is determined. Overexposure is an extremely high luminance portion such as a spot portion in a subject, and the amount of imbalance may be different from other portions because data is saturated. Therefore, it is considered that the correlation between the two outputs is low.

【0056】次に、ステップ63〜65、67、70に
おいて、相関性が高いと判断される部分の量やオフセッ
ト補正量を計算しているかいないかによって、実行する
相関演算を場合分けしている。まず、ステップ63では
相関性が高い部分が相関計算で正確なアンバランス量を
求める際に十分な大きさがあるかどうかを判断し、十分
であれば相関計算し、十分でなければもともと2出力は
相関性が低いためにアンバランス補正の必要性が低いと
みなしている。また、ステップ64で相関性が高い部分
が黒い部分ばかり稼動か判断し、そうであればステップ
63と同様に2出力はもともと相関性が低いとみなして
いる。そのうえで、ステップ67により、オフセット補
正量が計算されている場合はオフセット誤差のみ補正す
るように制御し、計算されていない場合はステップ70
によりアンバランス補正はしないようにゲイン補正量と
オフセット補正量を決めている。次に、2出力の相関性
が高いと判断された部分が相関演算に必要な条件を満た
しているとき、ステップ65により、オフセット補正量
が計算されているかどうかを判断している。ここでオフ
セット補正量が計算されていればステップ66により相
関演算によりゲイン補正量のみを算出し、そうでなけれ
ばステップ69により、相関演算によってオフセット補
正量とゲイン補正量の両方を算出している。
Next, in steps 63 to 65, 67, and 70, the correlation calculation to be executed is classified depending on whether the amount of the portion determined to have high correlation or the offset correction amount has been calculated. . First, in step 63, it is determined whether or not a portion having a high correlation has a sufficient size for obtaining an accurate unbalance amount in the correlation calculation. If it is sufficient, the correlation calculation is performed. Considers that the need for imbalance correction is low due to low correlation. Also, in step 64, it is determined whether the portion having a high correlation is only a black portion. If so, as in step 63, the two outputs are originally regarded as having a low correlation. Then, in step 67, if the offset correction amount has been calculated, control is performed so that only the offset error is corrected. If not, step 70 is performed.
Thus, the gain correction amount and the offset correction amount are determined so that the imbalance correction is not performed. Next, when the portion determined to be highly correlated with the two outputs satisfies the conditions necessary for the correlation calculation, it is determined in step 65 whether the offset correction amount has been calculated. Here, if the offset correction amount has been calculated, only the gain correction amount is calculated by the correlation calculation in step 66; otherwise, both the offset correction amount and the gain correction amount are calculated by the correlation calculation in step 69. .

【0057】次に、ステップ56により、第1の実施の
形態と同様に、算出されたアンバランス量に基づいて2
出力間のアンバランス補正を行っており、これによって
2出力間のアンバランスを正確に補正できる。
Next, at step 56, as in the first embodiment, two steps are performed based on the calculated imbalance amount.
The imbalance between the outputs is corrected, whereby the imbalance between the two outputs can be accurately corrected.

【0058】以上の実施の形態1又は2において、撮像
素子1とその他のアンバランス量算出回路、全体制御C
PU等は、別々の半導体基板上に形成してもよいし、C
MOSプロセス等で同一半導体基板上に形成してもよ
い。
In Embodiment 1 or 2 described above, the image sensor 1 and other unbalance amount calculation circuits and the overall control C
PU or the like may be formed on a separate semiconductor substrate.
It may be formed on the same semiconductor substrate by a MOS process or the like.

【0059】(他の実施の形態)なお、本発明は、複数
の機器(例えばホストコンピュータ、インタフェイス機
器、リーダ、プリンタなど)から構成されるシステムに
適用しても、一つの機器からなる装置(例えば、複写
機、ファクシミリ装置など)に適用してもよい。
(Other Embodiments) Even if the present invention is applied to a system including a plurality of devices (for example, a host computer, an interface device, a reader, a printer, etc.), an apparatus including a single device can be used. (For example, a copying machine, a facsimile machine, etc.).

【0060】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体(または記録媒体)を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ(またはCPUやMPU)が記憶媒体に格納された
プログラムコードを読み出し実行することによっても、
達成されることは言うまでもない。この場合、記憶媒体
から読み出されたプログラムコード自体が前述した実施
形態の機能を実現することになり、そのプログラムコー
ドを記憶した記憶媒体は本発明を構成することになる。
また、コンピュータが読み出したプログラムコードを実
行することにより、前述した実施形態の機能が実現され
るだけでなく、そのプログラムコードの指示に基づき、
コンピュータ上で稼働しているオペレーティングシステ
ム(OS)などが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
Further, an object of the present invention is to supply a storage medium (or a recording medium) on which a program code of software for realizing the functions of the above-described embodiments is recorded to a system or an apparatus, and a computer (a computer) of the system or the apparatus. Or a CPU or MPU) reads out and executes the program code stored in the storage medium,
Needless to say, this is achieved. In this case, the program code itself read from the storage medium implements the functions of the above-described embodiment, and the storage medium storing the program code constitutes the present invention.
In addition, by the computer executing the readout program code, not only the functions of the above-described embodiments are realized, but also based on the instructions of the program code,
The operating system (OS) running on the computer performs part or all of the actual processing,
It goes without saying that a case where the function of the above-described embodiment is realized by the processing is also included.

【0061】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、
その処理によって前述した実施形態の機能が実現される
場合も含まれることは言うまでもない。
Further, after the program code read from the storage medium is written in the memory provided in the function expansion card inserted into the computer or the function expansion unit connected to the computer, the program code is read based on the instruction of the program code. , The CPU provided in the function expansion card or the function expansion unit performs part or all of the actual processing,
It goes without saying that a case where the function of the above-described embodiment is realized by the processing is also included.

【0062】[0062]

【発明の効果】以上説明したように、本発明によれば、
製造工程で複数出力間の出力レベルを調整した後の、環
境変化、経時変化等で変動した出力アンバランスを正確
に補正する事が可能となり、撮影画面上に現われる段差
等の不連続性を見かけ上なくす事が可能となる。
As described above, according to the present invention,
After adjusting the output level among multiple outputs in the manufacturing process, it is possible to accurately correct the output imbalance that fluctuates due to environmental changes, aging, etc., and see discontinuities such as steps that appear on the shooting screen It is possible to eliminate it.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1及び第2の実施の形態をに係わる撮
像装置の全体のハ−ドウエアを構成を示す図である。
FIG. 1 is a diagram showing the configuration of the entire hardware of an imaging apparatus according to first and second embodiments of the present invention.

【図2】本発明の第1及び第2の実施の形態に係わるアン
バランス量補正回路の具体的回路構成を示す図である。
FIG. 2 is a diagram showing a specific circuit configuration of an unbalance amount correction circuit according to the first and second embodiments of the present invention.

【図3】本発明の第1及び第2の実施の形態に係わるアン
バランス量を算出するための領域を示す図である。
FIG. 3 is a diagram showing a region for calculating an unbalance amount according to the first and second embodiments of the present invention.

【図4】本発明の第1の実施の形態に係わる具体的フロ
−チャ−トを表す図である。
FIG. 4 is a diagram showing a specific flowchart according to the first embodiment of the present invention.

【図5】本発明の第2の実施の形態に係わる具体的フロ
−チャ−トを表す図である。
FIG. 5 is a diagram showing a specific flowchart according to a second embodiment of the present invention.

【図6】撮像部の具体的構成を示す図である。FIG. 6 is a diagram illustrating a specific configuration of an imaging unit.

【図7】従来の撮像装置を表す図である。FIG. 7 is a diagram illustrating a conventional imaging device.

【符号の説明】[Explanation of symbols]

1 撮像素子 12、13 ゲイン調整回路 14、15 オフセット調整回路 16 画像合成回路 18 アンバランス量算出回路 42、43 補正デ−タ算出回路 45 領域選択回路 DESCRIPTION OF SYMBOLS 1 Image sensor 12, 13 Gain adjustment circuit 14, 15 Offset adjustment circuit 16 Image synthesis circuit 18 Unbalance amount calculation circuit 42, 43 Correction data calculation circuit 45 Area selection circuit

Claims (21)

【特許請求の範囲】[Claims] 【請求項1】 被写体像を複数の撮像領域によって分割
して撮像し、前記複数の撮像領域のそれぞれから信号を
出力する撮像部と、 前記複数の撮像領域のそれぞれから出力された複数の画
像デ−タ間で相関性の高い領域と低い領域を判断し、前
記判断に基いて前記相関性の高い領域間の画像デ−タを
用いて前記複数の画像デ−タを補正する補正手段とを有
する撮像装置。
An imaging unit configured to capture an image of a subject by dividing the image into a plurality of imaging regions and outputting a signal from each of the plurality of imaging regions; and a plurality of image data output from each of the plurality of imaging regions. Correction means for judging a high correlation area and a low correlation area between the data and correcting the plurality of image data using the image data between the high correlation areas based on the judgment. Imaging device having the same.
【請求項2】 前記補正手段は、前記判断に基いて前記
相関性の高い領域間の画像デ−タを用いて前記複数の画
像デ−タに対して補正を加える補正量を算出する補正デ
−タ算出手段を含むことを特徴とする請求項1に記載の
撮像装置。
2. The correction means for calculating a correction amount for correcting the plurality of image data using image data between the highly correlated areas based on the determination. 2. The imaging apparatus according to claim 1, further comprising a data calculator.
【請求項3】 前記補正手段は、前記複数の画像デ−タ
のうちで、補正を行うために使用する所定の領域を選択
するための領域選択手段を含むことを特徴とする請求項
1乃至請求項2のいずれか1項に記載の撮像装置。
3. The apparatus according to claim 1, wherein said correcting means includes an area selecting means for selecting a predetermined area used for performing correction from among the plurality of image data. The imaging device according to claim 2.
【請求項4】 前記補正デ−タ算出手段の出力に基い
て、前記複数の画像デ−タに対してゲイン調整及びオフ
セット調整の少なくとも一つを行う調整手段を有するこ
とを特徴とする請求項2に記載の撮像装置。
4. An apparatus according to claim 1, further comprising adjusting means for performing at least one of a gain adjustment and an offset adjustment on said plurality of image data based on an output of said correction data calculating means. 3. The imaging device according to 2.
【請求項5】 前記補正手段によって補正された前記複
数の画像デ−タを合成する画像合成手段を有することを
特徴とする請求項1乃至請求項4のいずれか1項に記載
の撮像装置。
5. The image pickup apparatus according to claim 1, further comprising an image synthesizing unit that synthesizes the plurality of image data corrected by the correction unit.
【請求項6】 前記補正手段は、前記複数の撮像領域の
それぞれから出力された複数の画像デ−タ間で相関性の
高い領域と低い領域を判断するために、前記複数の画像
デ−タの輝度、色調、及び周波数成分のいづれか1つを
用いて判断を行う判断手段を含むことを特徴とする請求
項1乃至請求項5に記載の撮像装置。
6. The plurality of image data in order to judge a high correlation area and a low correlation area among a plurality of image data output from each of the plurality of imaging areas. The imaging apparatus according to claim 1, further comprising a determination unit configured to perform determination using any one of luminance, color tone, and frequency component of the image.
【請求項7】 前記撮像部は、被写体像を左右分割して
撮像し、左側に分割された領域と、右側に分割された領
域の信号は、左右両方向に前記撮像部から出力されるこ
とを特徴とする請求項1乃至請求項6のいづれか1項に
記載の撮像装置。
7. The imaging unit according to claim 1, wherein the imaging unit captures the subject image by dividing the image into right and left, and outputs signals from a left-side divided region and a right-side divided region from the imaging unit in both left and right directions. The imaging device according to any one of claims 1 to 6, characterized in that:
【請求項8】 被写体像を複数の撮像領域によって分割
して撮像し、前記複数の撮像領域のそれぞれから信号を
出力する撮像部と、前記複数の撮像領域のそれぞれから
出力された複数の画像デ−タを処理する処理手段を有す
る撮像装置の制御方法であって、 前記複数の撮像領域のそれぞれから出力された複数の画
像デ−タ間で相関性の高い領域と低い領域を判断し、前
記判断に基いて前記相関性の高い領域間の画像デ−タを
用いて前記複数の画像デ−タを補正することを特徴とす
る制御方法。
8. An image pickup unit that divides a subject image by a plurality of image pickup areas and picks up an image, and outputs a signal from each of the plurality of image pickup areas, and a plurality of image data output from each of the plurality of image pickup areas. A method for controlling an imaging apparatus having processing means for processing data, wherein a high correlation area and a low correlation area between a plurality of image data output from each of the plurality of imaging areas are determined; A control method comprising: correcting the plurality of image data using image data between the highly correlated areas based on the determination.
【請求項9】 前記判定に基いて前記相関性の高い領域
間の画像デ−タを用いて前記複数の画像デ−タに対して
補正を加える補正量を算出することを特徴とする請求項
8に記載の撮像装置の制御方法。
9. A correction amount for correcting said plurality of image data using image data between said highly correlated areas based on said determination. 9. The control method of the imaging device according to 8.
【請求項10】 前記複数の画像デ−タのうちで、補正
を行うために使用する所定の領域を選択することを特徴
とする請求項8又は請求項9のいずれか1項に記載の撮
像装置の制御方法。
10. The imaging apparatus according to claim 8, wherein a predetermined area used for performing a correction is selected from the plurality of image data. How to control the device.
【請求項11】 前記補正量に基いて、前記複数の画像
デ−タに対してゲイン調整及びオフセット調整の少なく
とも一つを行うことを特徴とする請求項9に記載の撮像
装置の制御方法。
11. The control method according to claim 9, wherein at least one of gain adjustment and offset adjustment is performed on the plurality of image data based on the correction amount.
【請求項12】 補正された前記複数の画像デ−タする
ことを特徴とする請求項8乃至請求項11のいずれか1
項に記載の撮像装置の制御方法。
12. The image data according to claim 8, wherein the plurality of corrected image data are obtained.
The control method of an imaging device according to item 10.
【請求項13】 前記複数の撮像領域のそれぞれから出
力された複数の画像デ−タ間で相関性の高い領域と低い
領域を判断するために、前記複数の画像デ−タの輝度、
色調、及び周波数成分のいづれか1つを用いて判断を行
うことを特徴とする請求項8乃至請求項12に記載の撮
像装置の制御方法。
13. A method for determining a region having a high correlation and a region having a low correlation between a plurality of image data output from each of the plurality of imaging regions, the luminance of the plurality of image data,
13. The method according to claim 8, wherein the determination is performed using one of a color tone and a frequency component.
【請求項14】 前記撮像部は、被写体像を左右分割し
て撮像し、左側に分割された領域と、右側に分割された
領域の信号は、左右両方向に前記撮像部から出力される
ことを特徴とする請求項8乃至請求項13のいづれか1
項に記載の撮像装置の制御方法。
14. The imaging unit captures an image of a subject by dividing the image into left and right parts. Signals of a left-side divided area and a right-side divided area are output from the imaging unit in both left and right directions. Any one of claims 8 to 13 characterized by the above-mentioned.
The control method of an imaging device according to item 10.
【請求項15】 被写体像を複数の撮像領域によって分
割して撮像し、前記複数の撮像領域のそれぞれから信号
を出力する撮像部と、前記複数の撮像領域のそれぞれか
ら出力された複数の画像デ−タを処理する処理手段を有
する撮像装置の制御するための制御プログラムが格納し
た記憶媒体であって、 前記複数の撮像領域のそれぞれから出力された複数の画
像デ−タ間で相関性の高い領域と低い領域を判断する工
程と、前記判断に基いて前記相関性の高い領域間の画像
デ−タを用いて前記複数の画像デ−タを補正する工程の
コ−ドを有することを特徴とする記憶媒体。
15. An image pickup section for dividing a subject image by a plurality of image pickup areas to pick up an image, and outputting a signal from each of the plurality of image pickup areas, and a plurality of image data output from each of the plurality of image pickup areas. A storage medium storing a control program for controlling an imaging apparatus having processing means for processing data, wherein a plurality of image data output from each of the plurality of imaging regions has a high correlation. Determining a region and a low region; and correcting the plurality of image data using image data between the highly correlated regions based on the determination. Storage medium.
【請求項16】 前記判定に基いて前記相関性の高い領
域間の画像デ−タを用いて前記複数の画像デ−タに対し
て補正を加える補正量を算出する工程のコ−ドを有する
ことを特徴とする請求項15に記載の記憶媒体。
16. A code for calculating a correction amount for correcting the plurality of image data using image data between the highly correlated areas based on the determination. The storage medium according to claim 15, wherein:
【請求項17】 前記複数の画像デ−タのうちで、補正
を行うために使用する所定の領域を選択する工程のコ−
ドを有することを特徴とする請求項15又は請求項16
のいずれか1項に記載の記憶媒体。
17. A code for a step of selecting a predetermined area used for correction from among the plurality of image data.
17. A method according to claim 15, further comprising:
The storage medium according to claim 1.
【請求項18】 前記補正量に基いて、前記複数の画像
デ−タに対してゲイン調整及びオフセット調整の少なく
とも一つを行う工程を有することを特徴とする請求項1
6に記載の記憶媒体。
18. The method according to claim 1, further comprising the step of performing at least one of a gain adjustment and an offset adjustment on the plurality of image data based on the correction amount.
7. The storage medium according to 6.
【請求項19】 補正された前記複数の画像デ−タを合
成する工程のコ−ドを有ることを特徴とする請求項15
乃至請求項18のいずれか1項に記載の記憶媒体。
19. A method according to claim 15, further comprising a step of synthesizing said plurality of corrected image data.
The storage medium according to claim 18.
【請求項20】 前記複数の撮像領域のそれぞれから出
力された複数の画像デ−タ間で相関性の高い領域と低い
領域を判断するために、前記複数の画像デ−タの輝度、
色調、及び周波数成分のいづれか1つを用いて判断を行
う工程のコ−ドを有することを特徴とする請求項15乃
至請求項19に記載の記憶媒体。
20. A method for judging a region having a high correlation and a region having a low correlation between a plurality of image data output from each of the plurality of imaging regions, the luminance of the plurality of image data,
20. The storage medium according to claim 15, further comprising a code for a step of making a determination using any one of a color tone and a frequency component.
【請求項21】 前記撮像部は、被写体像を左右分割し
て撮像し、左側に分割された領域と、右側に分割された
領域の信号は、左右両方向に前記撮像部から出力される
ことを特徴とする請求項15乃至請求項20のいづれか
1項に記載の記憶媒体。
21. The image pickup section picks up an image of a subject image by dividing the image into left and right parts. Signals of a left-side divided area and a right-side divided area are output from the image pickup part in both left and right directions. The storage medium according to any one of claims 15 to 20, characterized by:
JP26537999A 1999-03-01 1999-09-20 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND STORAGE MEDIUM Expired - Fee Related JP3619077B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP26537999A JP3619077B2 (en) 1999-09-20 1999-09-20 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND STORAGE MEDIUM
EP00301592A EP1033868A1 (en) 1999-03-01 2000-02-29 Image pickup apparatus
US09/515,667 US6791615B1 (en) 1999-03-01 2000-02-29 Image pickup apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26537999A JP3619077B2 (en) 1999-09-20 1999-09-20 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND STORAGE MEDIUM

Publications (2)

Publication Number Publication Date
JP2001094886A true JP2001094886A (en) 2001-04-06
JP3619077B2 JP3619077B2 (en) 2005-02-09

Family

ID=17416373

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26537999A Expired - Fee Related JP3619077B2 (en) 1999-03-01 1999-09-20 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND STORAGE MEDIUM

Country Status (1)

Country Link
JP (1) JP3619077B2 (en)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002335454A (en) * 2001-05-07 2002-11-22 Canon Inc Image processing unit, image processing method and imaging apparatus
JP2003018472A (en) * 2001-07-03 2003-01-17 Canon Inc Signal processing unit and method, and imaging apparatus
US6791615B1 (en) 1999-03-01 2004-09-14 Canon Kabushiki Kaisha Image pickup apparatus
US7245318B2 (en) * 2001-11-09 2007-07-17 Canon Kabushiki Kaisha Imaging apparatus that corrects an imbalance in output levels of image data
JP2007189327A (en) * 2006-01-11 2007-07-26 Sanyo Electric Co Ltd Electronic camera
US7277128B2 (en) 2002-04-10 2007-10-02 Victor Company Of Japan, Ltd. Image-sensing device having a plurality of output channels
US7362476B2 (en) 2002-07-11 2008-04-22 Fujifilm Corporation Apparatus for correcting solid-state electronic image sensing device
US7379104B2 (en) 2003-05-02 2008-05-27 Canon Kabushiki Kaisha Correction apparatus
US7554577B2 (en) 2004-09-29 2009-06-30 Sanyo Electric Co., Ltd. Signal processing device
US7889260B2 (en) 2007-09-21 2011-02-15 Sony Corporation Image signal processing circuit, image pickup apparatus and image signal processing method as well as computer program
JP2012114594A (en) * 2010-11-22 2012-06-14 Olympus Corp Imaging apparatus
KR20130091691A (en) * 2012-02-08 2013-08-19 캐논 가부시끼가이샤 Image capturing apparatus provided with a function of combining a plurality of captured images
KR101595943B1 (en) * 2015-04-10 2016-02-19 주식회사 테라클 Display apparatus and method for realizing picture thereof

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4192985B2 (en) 2006-10-17 2008-12-10 ソニー株式会社 Image signal processing apparatus, imaging apparatus, image signal processing method, and computer program

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6791615B1 (en) 1999-03-01 2004-09-14 Canon Kabushiki Kaisha Image pickup apparatus
JP2002335454A (en) * 2001-05-07 2002-11-22 Canon Inc Image processing unit, image processing method and imaging apparatus
JP4656621B2 (en) * 2001-07-03 2011-03-23 キヤノン株式会社 Signal processing apparatus and method, and imaging apparatus
JP2003018472A (en) * 2001-07-03 2003-01-17 Canon Inc Signal processing unit and method, and imaging apparatus
US7245318B2 (en) * 2001-11-09 2007-07-17 Canon Kabushiki Kaisha Imaging apparatus that corrects an imbalance in output levels of image data
US7277128B2 (en) 2002-04-10 2007-10-02 Victor Company Of Japan, Ltd. Image-sensing device having a plurality of output channels
US7362476B2 (en) 2002-07-11 2008-04-22 Fujifilm Corporation Apparatus for correcting solid-state electronic image sensing device
US7379104B2 (en) 2003-05-02 2008-05-27 Canon Kabushiki Kaisha Correction apparatus
US7554577B2 (en) 2004-09-29 2009-06-30 Sanyo Electric Co., Ltd. Signal processing device
JP2007189327A (en) * 2006-01-11 2007-07-26 Sanyo Electric Co Ltd Electronic camera
JP4698426B2 (en) * 2006-01-11 2011-06-08 三洋電機株式会社 Electronic camera
US7889260B2 (en) 2007-09-21 2011-02-15 Sony Corporation Image signal processing circuit, image pickup apparatus and image signal processing method as well as computer program
JP2012114594A (en) * 2010-11-22 2012-06-14 Olympus Corp Imaging apparatus
KR20130091691A (en) * 2012-02-08 2013-08-19 캐논 가부시끼가이샤 Image capturing apparatus provided with a function of combining a plurality of captured images
KR101581896B1 (en) 2012-02-08 2015-12-31 캐논 가부시끼가이샤 Image capturing apparatus provided with a function of combining a plurality of captured images
KR101595943B1 (en) * 2015-04-10 2016-02-19 주식회사 테라클 Display apparatus and method for realizing picture thereof

Also Published As

Publication number Publication date
JP3619077B2 (en) 2005-02-09

Similar Documents

Publication Publication Date Title
US6791615B1 (en) Image pickup apparatus
US7050098B2 (en) Signal processing apparatus and method, and image sensing apparatus having a plurality of image sensing regions per image frame
US9996907B2 (en) Image pickup apparatus and image processing method restricting an image stabilization range during a live view operation
JP4035543B2 (en) Imaging device
US8213063B2 (en) Image sensing apparatus, image sensing system, and operating program product for image sensing system
US7379104B2 (en) Correction apparatus
CN102870404B (en) Imaging device and dark current correction method of same
US7245318B2 (en) Imaging apparatus that corrects an imbalance in output levels of image data
JP5022758B2 (en) Imaging apparatus, imaging system, and driving method of imaging apparatus
JP3619077B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND STORAGE MEDIUM
JP2007300368A (en) Solid-state imaging device
JP3697172B2 (en) Signal processing apparatus, signal processing method, and imaging apparatus
US8836821B2 (en) Electronic camera
JP5780885B2 (en) Imaging device, control method thereof, and control program
JP3673669B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, AND STORAGE MEDIUM
JP2005277618A (en) Photography taking apparatus and device and method for correcting shading
JP2004336244A (en) Correction apparatus
JP2006217249A (en) Electronic camera, electronic camera system and program
US6943840B1 (en) Image sensing apparatus executing exposure control using object luminance information
JP2017212698A (en) Imaging apparatus, control method for imaging apparatus, and program
JP2003209739A (en) Imaging apparatus, method and program for correcting imbalance among image data, and storage medium
US11283992B2 (en) Image capturing apparatus that captures image for display and method of controlling image capturing apparatus
JP4656621B2 (en) Signal processing apparatus and method, and imaging apparatus
JP2004336245A (en) Correction apparatus
JP2007124316A (en) Imaging apparatus, imaging method and program

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040405

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040414

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041102

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041111

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071119

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081119

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091119

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101119

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111119

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121119

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131119

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees