JP2001358999A - Image input device - Google Patents

Image input device

Info

Publication number
JP2001358999A
JP2001358999A JP2000175034A JP2000175034A JP2001358999A JP 2001358999 A JP2001358999 A JP 2001358999A JP 2000175034 A JP2000175034 A JP 2000175034A JP 2000175034 A JP2000175034 A JP 2000175034A JP 2001358999 A JP2001358999 A JP 2001358999A
Authority
JP
Japan
Prior art keywords
direction
unit
image
solid
camera shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000175034A
Other languages
Japanese (ja)
Inventor
Yoshiharu Hayashi
義治 林
Original Assignee
Sharp Corp
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp, シャープ株式会社 filed Critical Sharp Corp
Priority to JP2000175034A priority Critical patent/JP2001358999A/en
Publication of JP2001358999A publication Critical patent/JP2001358999A/en
Application status is Withdrawn legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/232Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor
    • H04N5/23248Devices for controlling television cameras, e.g. remote control ; Control of cameras comprising an electronic image sensor for stable pick-up of the scene in spite of camera body vibration
    • H04N5/2329Motion occurring during a rolling shutter mode

Abstract

PROBLEM TO BE SOLVED: To provide an image input device employing an X-Y address type solid-state image pickup element that corrects distortion of an image caused by camera-shake without increasing the power consumption. SOLUTION: The image input device is provided with an X-Y address type solid-state image pickup element 1, a camera-shake detection section 8 that detects a camera-shake caused during image pickup and outputs camera-shake information in response to a direction and an amount of the camera-shake, a camera-shake correction value calculation section 9 that calculates a moving amount of the solid-state image pickup element 1 in the horizontal direction on the basis of the camera-shake information outputted from the camera-shake detection section 8, and a timing generating section 6 that changes a selection start position of pixels in the vertical direction on the basis of the moving amount in the horizontal direction and a position of a line selected by the solid-state image pickup element 1 as its control.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、X−Yアドレス型の固体撮像素子を用いた画像入力装置に関し、特に手ぶれ補正可能な画像入力装置に関する。 The present invention relates to relates to an image input apparatus using an X-Y address type solid-state imaging device, in particular to camera shake correction can be an image input device.

【0002】 [0002]

【従来の技術】画像入力装置に用いられる固体撮像素子には、CCD(Charge Coupled Device)センサに代表される電荷転送型の固体撮像素子と、CMOS(Comple The CCD used in the Background of the image input device, a CCD (Charge Coupled Device) charge-transfer type solid-state imaging device typified by a sensor, CMOS (comple
mentaryMetal Oxide Semiconductor)センサに代表されるX−Yアドレス型の固体撮像素子とがある。 There is a X-Y address type solid-state imaging device typified by mentaryMetal Oxide Semiconductor) sensor.

【0003】従来のCMOSセンサは、CCDセンサに比べてノイズが大きかったため、ビデオテープに動画像を記録するビデオカメラのように、画質を重視する用途ではあまり使用されていなかった。 Conventional CMOS sensor, since the noise is larger than the CCD sensor, such as the video camera which records a moving image on a video tape, has not been used much in applications that emphasizes image quality.

【0004】しかし、最近の技術の進歩により、CMO [0004] However, due to recent advances in technology, CMO
Sセンサが持つ以下のような特長が注目されるようになった。 Features such as the following with the S sensor has become to attract attention.

【0005】まず、CMOSセンサはCMOS型の集積回路と同じプロセスを用いて製造できるので、周辺回路をCMOSセンサと同一チップ上に集積することができ、小型化および高集積化を容易に実現することができる。 [0005] First, since the CMOS sensor can be prepared using the same process as a CMOS integrated circuit, it is possible to integrate peripheral circuits to CMOS sensors on the same chip, to easily realize miniaturization and high integration be able to.

【0006】また、CCDセンサを動作させるためには複数の電圧(例えば、+15V、+3.3Vおよび−8 Further, a plurality of voltages to operate the CCD sensor (e.g., + 15V, + 3.3V and -8
V)を必要とするのに対して、CMOSセンサは単一の電圧(例えば、+3.3V)で動作するので、電源回路の構成を簡単にすることができる。 Whereas require V), CMOS sensors single voltage (e.g., because it operates at + 3.3V), it is possible to simplify the structure of the power supply circuit. さらに、CMOSセンサ自体の消費電力もCCDセンサに比べて少ない。 Furthermore, the power consumption of the CMOS sensor itself is small in comparison with the CCD sensor.

【0007】このため、携帯電話機やPDA(Personal [0007] For this reason, mobile phone and PDA (Personal
Digital Assistant)のように、小型かつ低消費電力が要求される携帯機器では、画像入力用にCMOSセンサが採用されるようになってきた。 As in Digital Assistant), a portable device compact and low power consumption is required, CMOS sensors have come to be employed for image input.

【0008】 [0008]

【発明が解決しようとする課題】CCDセンサのような電荷転送型固体撮像素子の場合、すべての画素で同一期間に受光した画像情報が、垂直ブランキング期間に同時に垂直転送用CCDに転送される。 [SUMMARY OF THE INVENTION] For the charge transfer type solid-state imaging device such as a CCD sensor, all image information received in the same period in the pixels are transferred simultaneously to the vertical transfer CCD in the vertical blanking interval . その後、画像情報が垂直転送用CCDから1水平ライン分ずつ順番に読出されるため、受光期間の画素毎の時間差は発生しない。 Thereafter, the image information is read out one by one horizontal line at the vertical transfer CCD, the time difference for each pixel of the light receiving period does not occur.

【0009】これに対して、CMOSセンサのようなX [0009] On the other hand, such as a CMOS sensor X
−Yアドレス型固体撮像素子の場合は、通常1ライン単位で画像情報が順番に読出される。 For -Y address type solid-state imaging device, image information is read sequentially in the normal line by line. このため、各ライン毎に受光期間のずれが生じる。 Therefore, the deviation of the light receiving period occurs every line. 例えば、全画素の読出周期が1/30秒のCMOSセンサの場合、画面の一番上のラインと一番下のラインとでは、受光期間に1/30 For example, when the CMOS sensor of the read cycle of all the pixels 1/30 seconds, in the top line and bottom line of the screen, 1/30 in the light receiving period
秒に近い時間差が発生する。 Time difference of close to seconds occurs. そして、このような撮像方式においては、例えそれぞれの画素の受光時間を短くしても、画面の上下で受光期間にずれが生じるために、手ぶれが生じた場合には物体の像が変形するという欠点がある。 Then, in such an imaging system is also to shorten the light receiving time of each pixel for example, because the shift in the light receiving period the top and bottom of the screen occurs, that the image of the object is deformed when the camera shake occurs there is a drawback.

【0010】上述したように、CMOSセンサは、小型かつ低消費電力という特長を生かして携帯機器に使用されているが、その反面、携帯型の画像入力装置では、手ぶれによる画像の劣化が大きな問題となる。 [0010] As described above, CMOS sensor is smaller and is used in portable devices taking advantage of the features of low power consumption, on the other hand, a portable image input device, image degradation is a big problem caused by hand shake to become.

【0011】たとえば、図7(a)を参照して、四角い被写体を画像入力装置で撮影した場合、画像入力装置が静止しており、手ぶれがない場合には、撮像画像に異常は発生しない。 [0011] For example, with reference to FIG. 7 (a), when shooting a square object in the image input apparatus, and an image input device is stationary, when there is no camera shake, not abnormal occurs in the captured image.

【0012】これに対し、図7(b)を参照して、画像入力装置が左側に手ぶれした場合、および、図7(c) [0012] In contrast, with reference to FIG. 7 (b), when the image input device has camera shake to the left, and, and FIG. 7 (c)
を参照して、右側に手ぶれした場合、撮像画像に大きな歪みが発生する。 See, when camera shake to the right, a large distortion in the captured image generated.

【0013】図7(d)を参照して、画像入力装置が上側に手ぶれした場合、被写体は上下方向に伸びて撮像される。 [0013] With reference to FIG. 7 (d), the case where the image input device has camera shake upward, the subject is imaged extends vertically. また、図7(e)を参照して、下側に手ぶれした場合、被写体は上下方向に縮んで撮像される。 Further, with reference to FIG. 7 (e), the case where the camera shake to the bottom, the subject is imaged shrinks in the vertical direction.

【0014】特に、左右方向の手ぶれによる画像の歪みは、被写体の形状を著しく変形させるため、視覚的に非常に目立ち、画質劣化の原因となっている。 [0014] Particularly, image distortion due to the horizontal direction of the camera shake, in order to significantly deform the shape of the object, visually very conspicuous, causing the image quality degradation.

【0015】このため、これら現象の対策が必要不可欠である。 [0015] For this reason, it is essential to take measures of these phenomena. この対策として、特開平9−181986号公報では、固体撮像素子からの画像の読出を1フレーム期間より短くなるように、高速で読出す方法が提案されている。 As a countermeasure, Japanese Unexamined 9-181986 discloses, reading of images from the solid-state imaging device to be shorter than one frame period, reading methods have been proposed at a high speed. しかし、この方法では読出に必要なクロック周波数が高くなるため、消費電力が増加してしまうという問題点がある。 However, in this method since the required clock frequencies in the reading becomes higher, there is a problem that power consumption increases.

【0016】本発明は、このような点に鑑みてなされたものであって、X−Yアドレス型の固体撮像素子を用いた場合に、消費電力を増加させることなく、手ぶれによって発生する画像の歪みを補正できる画像入力装置を提供することを目的とする。 [0016] The present invention was made in view of these points, in the case of using the X-Y address type solid-state imaging device, without increasing the power consumption of the image caused by camera shake and an object thereof is to provide an image input apparatus capable of correcting distortion.

【0017】 [0017]

【課題を解決するための手段】本発明のある局面による画像入力装置は、予め定められた第1方向および第2方向で規定される2次元平面上に配列された光電変換素子を有するエリアセンサ部、エリアセンサ部に接続され、 An image input apparatus according to an aspect of the present invention SUMMARY OF] is an area sensor having a first direction and the photoelectric conversion elements arranged on a two-dimensional plane defined by the second predetermined direction parts, are connected to the area sensor section,
エリアセンサ部の光電変換素子の第2方向のラインを単位として、当該ラインを第1方向に順次選択する第1の走査部、およびエリアセンサ部に接続され、ライン上の光電変換素子より出力される撮像信号を第2方向に順次選択する第2の走査部を有する固体撮像素子と、撮像中に生じる手ぶれを検出し、手ぶれの方向および量に応じた手ぶれ情報を出力する手ぶれ検出部と、手ぶれ検出部に接続され、手ぶれ検出部から出力される手ぶれ情報に基づいて、固体撮像素子の第2方向の動き量を算出する手ぶれ補正値算出部と、手ぶれ補正値算出部および固体撮像素子に接続され、第2方向の動き量および第1の走査部によって選択されるラインの位置に基づき、第2の走査部における画素の選択開始位置を変更するように制御を行うタイミン Units of second-direction line of the photoelectric conversion element of the area sensor section, a first scanning unit for sequentially selecting the line in the first direction, and is connected to the area sensor unit, output from the photoelectric conversion element on the line a solid-state imaging device having a second scanning unit for sequentially selecting the imaging signal in the second direction that detects a shake occurring during imaging, and the hand shake detection unit outputs a hand shake information corresponding to the direction and amount of camera shake, is connected to the camera shake detection unit, based on camera shake information is output from the shake detection unit, and the image stabilization calculating unit for calculating a second movement amount of the solid-state imaging device, the image stabilization calculating unit and the solid-state imaging device is connected, on the basis of the position of the line selected by the second movement amount and the first scanning section, performs control to change the selected start position of the pixel in the second scanning unit timing 発生部とを含む。 And a generating unit.

【0018】タイミング発生部は、第2方向の動き量および第1の走査部によって選択されるラインの位置に基づき、第2の走査部における画素の選択開始位置を変換する。 The timing generating unit, based on the position of the line selected by the motion amount and the first scanning section in the second direction, convert the selected start position of the pixel in the second scanning section. このため、第2方向の手ぶれによって生じる画像の歪みを補正することができる。 Therefore, it is possible to correct the distortion of the image caused by the second direction of shake. また、固体撮像素子からの撮像信号の読出は、通常のクロック周波数を用いて行なうことができるため、消費電力が大きくなることもない。 Further, reading of the image signal from the solid-state imaging device, it is possible to carry out using conventional clock frequency, nor power consumption increases.

【0019】好ましくは、手ぶれ補正値算出部は、手ぶれ補正部から出力される手ぶれ情報に基づいて、固体撮像素子の第1方向の動き量を算出するための第1方向手ぶれ補正値算出手段と、手ぶれ補正部から出力される手ぶれ情報に基づいて、固体撮像素子の第2方向の動き量を算出するための第2方向手ぶれ補正値算出手段とを含む。 [0019] Preferably, the camera shake correction value calculation section based on the camera shake information outputted from the image stabilization unit, the first direction image stabilization calculating means for calculating a first movement amount of the solid-state image pickup element based on the hand shake information is output from the image stabilization unit, and a second direction image stabilization calculating means for calculating a second movement amount of the solid-state imaging device. 画像入力装置は、さらに、固体撮像素子に接続され、固体撮像素子から読出された撮像信号を少なくとも1画面分記憶する画像記憶部と、第1方向手ぶれ補正値算出手段および画像記憶部に接続され、第1方向の動き量に基づいて、画像記憶部に記憶された撮像信号の第1 The image input device is further connected to the solid-state imaging device, an image storage unit for at least one frame memory an image signal read from the solid-state imaging device, connected to the first direction image stabilization calculating means and the image storage unit based on the motion amount of the first direction, the first stored image signal in the image storage unit
方向の読出を制御する画像記憶制御部とを含む。 And an image storage control section for controlling the direction of reading.

【0020】画像記憶制御部は、第1方向の動き量に基づいて、画像記憶部に記憶された撮像信号の第1方向の読出を制御している。 The image storage control unit, based on the motion amount in the first direction, and controls the first direction of reading of the stored image signal to the image storage unit. このため、第1方向の手ぶれによって生じる画像の歪みを補正することができる。 Therefore, it is possible to correct the image distortion caused by the first direction of the shake.

【0021】本発明の他の局面による画像入力装置は、 The image input apparatus according to another aspect of the present invention,
予め定められた第1方向および第2方向で規定される2 2 defined by the first and second directions to a predetermined
次元平面上に配列された光電変換素子を有するエリアセンサ部、エリアセンサ部に接続され、エリアセンサ部の光電変換素子の第2方向のラインを単位として、当該ラインを第1方向に順次選択する第1の走査部、およびエリアセンサ部に接続され、ライン上の光電変換素子より出力される撮像信号を第2方向に順次選択する第2の走査部を有する固体撮像素子と、固体撮像素子に接続され、固体撮像素子から読出された撮像信号を少なくとも1画面分記憶する画像記憶部と、撮像中に生じる手ぶれを検出し、手ぶれの方向および量に応じた手ぶれ情報を出力する手ぶれ検出部と、手ぶれ検出部に接続され、手ぶれ検出部から出力される手ぶれ情報に基づいて、固体撮像素子の第2方向の動き量を算出する手ぶれ補正値算出部と、手ぶれ補正 Area sensor unit having a photoelectric conversion elements arranged on the dimension plane, are connected to the area sensor unit, as a unit in the second direction of lines of the photoelectric conversion element of the area sensor unit sequentially selects the lines in a first direction the first scanning unit, and is connected to the area sensor section, a solid-state imaging device having a second scanning unit for sequentially selecting an imaging signal in a second direction which is output from the photoelectric conversion element on the line, the solid-state imaging device are connected, an image storage unit for at least one frame memory an image signal read from the solid-state imaging device, detecting a shake occurring during imaging, and the hand shake detection unit outputs a hand shake information corresponding to the direction and amount of camera shake , is connected to the camera shake detection unit, based on camera shake information is output from the shake detection unit, and the image stabilization calculating unit for calculating a second movement amount of the solid-state imaging device, image stabilization 算出部および画像記憶部に接続され、第2方向の動き量に基づき、画像記憶部に記憶された撮像信号の第2方向の読出を制御する画像記憶制御部とを含む。 It is connected to the calculation unit and an image storage unit, based on the motion amount in the second direction, and an image storage control section for controlling the second direction reading of the image signal stored in the image storage unit.

【0022】画像記憶制御部は、第2方向の動き量に基づいて、画像記憶部に記憶された撮像信号の第2方向の読出を制御している。 The image storage control unit, based on the motion amount in the second direction, and controls the second direction reading of the stored image signal to the image storage unit. このため、第2方向の手ぶれによって生じる画像の歪みを補正することができる。 Therefore, it is possible to correct the distortion of the image caused by the second direction of shake. また、 Also,
固体撮像素子からの撮像信号の読出は、通常のクロック周波数を用いて行なうことができるため、消費電力が大きくなることもない。 Reading of the image signal from the solid-state imaging device, it is possible to carry out using conventional clock frequency, nor power consumption increases.

【0023】好ましくは、手ぶれ補正値算出部は、手ぶれ補正部から出力される手ぶれ情報に基づいて、固体撮像素子の第1方向の動き量を算出するための第1方向手ぶれ補正値算出手段と、手ぶれ補正部から出力される手ぶれ情報に基づいて、固体撮像素子の第2方向の動き量を算出するための第2方向手ぶれ補正値算出手段とを含む。 [0023] Preferably, the camera shake correction value calculation section based on the camera shake information outputted from the image stabilization unit, the first direction image stabilization calculating means for calculating a first movement amount of the solid-state image pickup element based on the hand shake information is output from the image stabilization unit, and a second direction image stabilization calculating means for calculating a second movement amount of the solid-state imaging device. 画像記憶制御部は、第1方向手ぶれ補正値算出手段および画像記憶部に接続され、第1方向の動き量に基づいて、画像記憶部に記憶された撮像信号の第1方向の読出を制御するための第1方向画像記憶制御手段と、第2 Image storage control unit is connected to the first direction image stabilization calculating means and the image storage unit based on the motion amount of the first direction, to control the first direction of reading of the stored image signal to the image storage unit a first direction image storage control means for, second
方向手ぶれ補正値算出手段および画像記憶部に接続され、第2方向の動き量に基づいて、画像記憶部に記憶された撮像信号の第2方向の読出を制御するための第2方向画像記憶制御手段とを含む。 Is connected to the direction image stabilization value calculating means, and the image storage unit, based on the motion amount in the second direction, the second direction image storage control for controlling the second direction reading of the stored image signal to the image storage unit and means.

【0024】画像記憶制御部は、第1方向の動き量に基づいて、画像記憶部に記憶された撮像信号の第1方向の読出を制御している。 The image storage control unit, based on the motion amount in the first direction, and controls the first direction of reading of the stored image signal to the image storage unit. このため、第1方向の手ぶれによって生じる画像の歪みを補正することができる。 Therefore, it is possible to correct the image distortion caused by the first direction of the shake.

【0025】 [0025]

【発明の実施の形態】[第1の実施の形態]図1を参照して、第1の実施の形態による画像入力装置は、被写体の光学像を電気信号に変換するX−Yアドレス方式の固体撮像素子1と、固体撮像素子1に接続され、固体撮像素子1の出力にCDS(Correlated Double Sampling: DETAILED DESCRIPTION OF THE INVENTION First Embodiment Referring to FIG. 1, an image input apparatus according to a first embodiment, the X-Y address method for converting an optical image of an object into an electrical signal a solid-state imaging device 1 is connected to the solid-state imaging device 1, CDS the output of the solid-state imaging device 1 (Correlated Double Sampling:
相関二重サンプリング)、AGC(Automatic Gain Con Correlated double sampling), AGC (Automatic Gain Con
trol:自動利得調整)およびADC(Analog to Digita trol: automatic gain control) and ADC (Analog to Digita
l Convert:A/D変換)などの前処理を施し、ディジタル信号に変換する前処理部2と、前処理部2に接続され、前処理部2で変換されたディジタル信号を輝度信号および色信号に分離し、ホワイトバランス処理およびガンマ補正などを施した後、適切な画像信号のフォーマット(例えば、YUV、RGBなど)に変換する信号処理部3と、パーソナルコンピュータなどとデータの入出力を行うために用いられるI/F(Interface)部5とを含む。 l Convert: pretreated such as A / D conversion), and the pre-processing unit 2 for converting the digital signal, the pre-processing unit is connected to 2, the pre-processing unit 2 in the converted digital signal to the luminance signal and the chrominance signal separating, after having been subjected to white balance processing and gamma correction, format suitable image signal (e.g., YUV, RGB, etc.) and the signal processing unit 3 for converting the, etc. and for inputting and outputting data personal computer and a I / F (Interface) unit 5 used for.

【0026】画像入力装置は、さらに、信号処理部3およびI/F部5に接続され、信号処理部3から出力される画像信号の転送速度と、I/F部5の処理速度とが合わない場合に画像信号をバッファリングして速度変換を実施したり、I/F部5を介して伝送されるデータ量を減少させるために、画像データをJPEG(Joint Phot The image input device is further connected to the signal processing unit 3 and the I / F unit 5, and the transfer rate of the image signal output from the signal processing unit 3, and the processing speed of the I / F unit 5 fit an image signal or implement speed conversion and buffering to reduce the amount of data to be transmitted through the I / F portion 5 in the absence, the image data JPEG (Joint Phot
ographic Experts Group)圧縮またはMPEG(Moving ographic Experts Group) compression or MPEG (Moving
Picture Experts Group)圧縮したりする場合に、画像データを一時的に記憶する画像記憶部4と、固体撮像素子1および前処理部2に接続され、固体撮像素子1を駆動する各種パルスや、前処理部2で必要となるパルスを発生するタイミング発生部6と、画像記憶部4に接続され、画像記憶部4へのデータの書込および読出を制御する画像記憶制御部7とを含む。 When the Picture Experts Group) or compressed, an image storage unit 4 for temporarily storing image data is connected to the solid-state imaging device 1 and the pre-processing unit 2, and various pulses for driving the solid-state imaging device 1, before a timing generator 6 for generating a pulse that is required by the processing unit 2 is connected to the image storage unit 4, and an image storage control unit 7 for controlling writing and reading of data to the image storage unit 4.

【0027】画像入力装置は、さらにまた、固体撮像素子1の近くに取り付けられた角速度センサなどから構成され、使用者の撮影中に生じる手ぶれを検出し、手ぶれの方向および量に応じた手ぶれ情報を出力する手ぶれ検出部8と、タイミング発生部6および手ぶれ検出部8に接続され、手ぶれ検出部8から出力される手ぶれ情報に基づいて、手ぶれに伴う動きを補正するための補正データを画素単位で算出し、タイミング発生部6に供給する手ぶれ補正値算出部9とを含む。 The image input device can furthermore be configured such from the angular velocity sensor mounted near the solid-state imaging device 1 detects a shake occurring while the user's shooting hand shake information corresponding to the direction and amount of camera shake a shake detection unit 8 outputs a, is connected to the timing generator 6 and the hand shake detection section 8, based on the camera shake information is output from the shake detection unit 8, pixel correction data for correcting movement caused by hand movement in it calculated, and a camera shake correction value calculating unit 9 supplies the timing generator 6.

【0028】I/F部5は、例えば、PCI(Peripher [0028] The I / F unit 5, for example, PCI (Peripher
al Component Interconnect)バス、PCカード、US al Component Interconnect) bus, PC card, US
B(Universal Serial Bus)、IEEE(Institute of B (Universal Serial Bus), IEEE (Institute of
Electrical and Electronics Engineers)1394などから構成される。 Electrical and Electronics Engineers) and the like 1394.

【0029】なお、手ぶれ検出部8は、角速度センサに限定されるものではない。 [0029] Incidentally, the hand shake detection unit 8 is not limited to the angular velocity sensor. 固体撮像素子1は、光電変換素子を2次元状に配列したエリアセンサ部11と、エリアセンサ部11に接続され、エリアセンサ部11の光電変換素子の水平方向のラインを単位として、そのラインを垂直方向に順次選択する垂直方向走査部12と、エリアセンサ部11に接続され、上記ライン上の光電変換素子より出力される画素信号を水平方向に順次選択する水平方向走査部13と、垂直方向走査部12および水平方向走査部13により選択された光電変換素子の画素信号を電圧に変換して出力する出力回路部14とを含む。 The solid-state imaging device 1, an area sensor section 11 having an array of photoelectric conversion elements two-dimensionally, is connected to the area sensor unit 11, in units of horizontal lines of the photoelectric conversion element of the area sensor section 11, the line a vertical scanning unit 12 for sequentially selecting in a vertical direction, is connected to the area sensor unit 11, a horizontal scanning unit 13 sequentially selects the pixel signal outputted from the photoelectric conversion element on the line in the horizontal direction, the vertical direction and an output circuit section 14 for converting the pixel signal of the photoelectric conversion elements selected by the scanning section 12 and horizontal scanning unit 13 to a voltage.

【0030】図2を参照して、エリアセンサ部11の画素構成について説明する。 [0030] With reference to FIG. 2, it will be described pixel structure of the area sensor section 11. ここでは、エリアセンサ部1 Here, the area sensor section 1
1から出力される映像信号の垂直方向の有効ライン数をN、水平方向の有効画素数をMとする。 The number of effective lines in the vertical direction of the video signal output from the 1 N, the number of effective pixels in the horizontal direction and M. 手ぶれ補正値算出部9は、手ぶれ検出部8で検出した水平方向の手ぶれ情報から、エリアセンサ部11で最初に選択されるライン(j=1)と最後に選択されるライン(j=N)との間で発生した手ぶれ量を算出し、タイミング発生部6に手ぶれに伴なう動きを補正するための補正データとして供給する。 Line image stabilization calculating unit 9, which is selected from the horizontal direction of the hand shake information detected by the camera shake detecting unit 8, the end and the line (j = 1) which is initially selected by the area sensor section 11 (j = N) calculating the camera shake amount generated between the supplies as correction data for correcting the accompanying motion blur in the timing generator 6. たとえば、手ぶれ補正値算出部9は、左方向にa画素分の手ぶれが発生したことを算出し、タイミング発生部6に手ぶれに伴う動きを補正するための補正データaを供給する。 For example, image stabilization calculating unit 9 supplies the correction data a for calculating the camera shake of a pixel width to the left is generated, it corrects the motion due to camera shake timing generator 6.

【0031】図3を参照して、タイミング発生部6による手ぶれ補正処理について説明する。 [0031] With reference to FIG. 3, described camera shake correction processing performed by the timing generator 6.

【0032】タイミング発生部6は、手ぶれ補正値算出部9から水平方向の補正データaを受取り、垂直方向のラインカウンタを初期化(j=1)する(ステップS The timing generator 6 receives the correction data a horizontal direction from the image stabilization calculating unit 9 initializes the line counter in the vertical direction (j = 1) (step S
1)。 1). タイミング発生部6は、水平方向の補正データa Timing generator 6, the horizontal correction data a
が負か否かを調べる(ステップS2)。 There checks negative or not (step S2). 補正データaが正の場合は左方向の手ぶれが、負の場合は右方向の手ぶれがそれぞれ発生している。 If the correction data a positive leftward camera shake, for negative occurring right camera shake, respectively.

【0033】水平方向の補正データaが正または0の場合(左方向の手ぶれが発生または手ぶれが発生していない:ステップS2でNo)、水平方向の画素の選択開始位置を決定するために用いられる評価値xを次式(1) The horizontal correction data a positive or 0 if (left camera shake occurs or shake does not occur: No in step S2), the used to determine the selection start position in the horizontal direction of the pixel following equation evaluation value x to be (1)
に基づき算出する(ステップS3)。 Calculated based on (Step S3).

【0034】 x=a・j/N …(1) なお、手ぶれが発生していない場合、水平方向の補正データaは0になるので、水平方向の画素の選択開始位置は変更されない。 [0034] x = a · j / N ... (1) In the case where the camera shake does not occur, the correction data a horizontal direction is 0, selects the start position in the horizontal direction of the pixel is not changed.

【0035】水平方向の補正データaが負の場合(右方向の手ぶれが発生:ステップS2でYes)、水平方向の画素の選択開始位置を決定するために用いられる評価値xを次式(2)に基づき算出する(ステップS4)。 The horizontal correction when the data a is negative (right hand shake occurs: Yes in step S2), the following equation evaluation value x used to determine the selection start position in the horizontal direction of the pixel (2 ) based on the calculated (step S4).

【0036】 x=a・j/N−a …(2) 固体撮像素子1が白黒センサの場合(ステップS5でY [0036] x = a · j / N-a ... (2) When the solid-state imaging device 1 is monochrome sensor (Y in step S5
es)、評価値xで特定される画素の最近傍画素で補間できるように、評価値xの小数点以下を四捨五入し、水平方向の画素の選択開始位置pに代入する(ステップS es), so that it can be interpolated by the nearest neighbor pixel of the pixel specified by the evaluation value x, rounded to the decimal point evaluation value x, is substituted for selection start position p in the horizontal direction of the pixel (Step S
6)。 6).

【0037】固体撮像素子1がカラーセンサの場合(ステップS5でNo)、エリアセンサ部11にカラーフィルタが存在し、そのフィルタ配列に応じて選択開始位置pを変更する必要がある。 [0037] When the solid-state imaging device 1 is a color sensor (No at step S5), and a color filter is present in the area sensor section 11, it is necessary to change the selection start position p in accordance with the filter arrangement. ここでは、左右上下各2画素単位で色の配列が繰返されるカラーフィルタが使用されているものとする。 Here, it is assumed that the color filter array of color is repeated on the left and right upper and lower two pixels is used.

【0038】評価値xを2で割り、小数点以下を四捨五入した後、2倍して、水平方向の画素の選択開始位置p [0038] dividing the evaluation value x 2, after rounding off to the decimal point, is doubled, selection start position in the horizontal direction of the pixel p
に代入する(ステップS7)。 Substituting into (step S7). この結果、選択開始位置pは偶数となり、以下の処理を実行しても、固体撮像素子1から出力される色の順序は入れ替わらないことが保証される。 As a result, selection start position p becomes an even number, executing the following processing, the order of colors to be outputted from the solid-state imaging device 1 is guaranteed not interchanged. このため、信号処理部3における色処理を正常に行うことができる。 Therefore, it is possible to perform color processing in the signal processing unit 3 successfully.

【0039】次に、水平方向の画素カウンタを初期化(i=1)する(ステップS8)。 Next, initialize the pixel counter in the horizontal direction (i = 1) (step S8). そして、jライン目の(i+p)番目の画素を選択する(ステップS9)。 Then, select the (i + p) th pixel of the j-th line (step S9).
さらに、水平方向の画素カウンタiを1画素ずつインクリメントし(ステップS10)、(M−|a|)個の画素データを出力するまで、ステップS9およびS10の処理を繰返す(ステップS11)。 Furthermore, incremented by 1 pixel pixel counter i in the horizontal direction (step S10), (M- | a |) to the output of pieces of pixel data, repeats the processing of steps S9 and S10 (step S11).

【0040】また、垂直方向のラインカウンタjを1ラインずつインクリメントし(ステップS12)、垂直方向の有効ラインすべてに対して、ステップS2〜S12 Further, it increments the line counter j in the vertical direction line by line (step S12), the direction perpendicular to the active line all, step S2~S12
の操作を繰返す(ステップS13)。 Repeat the operation (step S13).

【0041】以上説明したように、タイミング発生部6 [0041] As described above, the timing generator 6
は、手ぶれ補正値算出部9の出力および垂直方向走査部12によって選択されるラインの位置に基づいて、水平方向走査部13における画素の選択開始位置を変更するように制御する。 Based on the position of the line selected by the output and the vertical scanning part 12 of the camera shake correction value calculation unit 9, and controls to change the selection start position of a pixel in the horizontal direction scan unit 13. このため、水平方向の手ぶれによって生じる画像の歪みを補正することができる。 Therefore, it is possible to correct the image distortion caused by horizontal camera shake.

【0042】なお、本処理により、固体撮像素子1から出力される水平方向の有効画素数が、M画素から(M− [0042] By this process, the number of effective pixels in the horizontal direction to be outputted from the solid-state imaging device 1, the M pixels (M-
|a|)画素に減少するが、固体撮像素子1には、必要な出力画面サイズよりも大きな画素数を有する同体撮像素子を使用するようにすれば、このような問題は解消される。 | A |) is decreased to a pixel, the solid-state imaging device 1, if to use homologues imaging device having a large number of pixels than output screen size required, such a problem can be solved. [第2の実施の形態]図4を参照して、第2の実施の形態による画像入力装置について説明する。 Referring to Second Embodiment FIG. 4, the image input apparatus will be described according to the second embodiment. 本実施の形態による画像入力装置は、図1を参照して説明した第1の実施の形態による画像入力装置のハードウェア構成において、タイミング発生部6の代わりにタイミング発生部26を用い、画像記憶制御部7の代わりに画像記憶制御部27を用いたものである。 An image input device according to this embodiment, in the hardware configuration of the image input apparatus according to the first embodiment described with reference to FIG. 1, using a timing generator 26 in place of the timing generator 6, an image storage it is obtained using the image memory control unit 27 instead of the control unit 7. 第1の実施の形態による画像入力装置では、手ぶれ補正値算出部9は、手ぶれ検出部8から供給される手ぶれ情報に基づいて、動き量を画素単位で検出し、手ぶれに伴う動きを補正するための補正データを、タイミング発生部6に供給していたが、本実施の形態では、画像記憶制御部27に供給する。 In the image input apparatus according to the first embodiment, image stabilization calculating unit 9 on the basis of the hand shake information from the shake detection unit 8 detects the amount of motion in units of pixels, to correct the movement caused by hand movement correction data for, had been supplied to the timing generator 6, in this embodiment, to the image storage control unit 27. 画像記憶制御部27は、供給された補正データに基づいて、 Image storage control unit 27, based on the supplied correction data,
画像記憶部4の水平方向の読出を制御する。 It controls the horizontal readout of the image memory unit 4.

【0043】それ以外のハードウェア構成は、第1の実施の形態と同様である。 The other hardware configurations of the same as the first embodiment. このため、その詳細な説明はここでは繰返さない。 Therefore, a detailed description thereof is not repeated here.

【0044】図5を参照して、画像記憶制御部27による手ぶれ補正処理について説明する。 [0044] With reference to FIG. 5, described camera shake correction processing performed by the image storage control unit 27.

【0045】画像記憶制御部27は、手ぶれ補正値算出部9から水平方向の補正データaを受取り、垂直方向のラインカウンタを初期化(j=1)する(ステップS2 The image storage controller 27 receives the corrected data a horizontal direction from the image stabilization calculating unit 9 initializes the line counter in the vertical direction (j = 1) to (step S2
1)。 1). 画像記憶制御部27は、水平方向の補正データa Image storage control unit 27, the horizontal correction data a
が負か否かを調べる(ステップS22)。 There checks negative or not (step S22). 補正データa Correction data a
が正の場合は左方向の手ぶれが、負の場合は右方向の手ぶれがそれぞれ発生している。 If it is positive in the left direction of camera shake in the case of negative occurring right camera shake, respectively.

【0046】水平方向の補正データaが正または0の場合(左方向の手ぶれが発生または手ぶれが発生していない:ステップS22でNo)、水平方向の画素の読出開始位置を決定するために用いられる評価値xを上述した式(1)に基づき算出する(ステップS23)。 The horizontal correction data a positive or 0 if (left camera shake occurs or shake does not occur: No at step S22), and used to determine the read start position in the horizontal direction of the pixel is an evaluation value x is calculated based on equation (1) described above (step S23).

【0047】水平方向の補正データaが負の場合(右方向の手ぶれが発生:ステップS22でYes)、水平方向の画素の読出開始位置を決定するために用いられる評価値xを上述した式(2)に基づき算出する(ステップS24)。 The horizontal correction when the data a is negative (right hand shake occurs: Yes at step S22), and the above expression evaluation value x used to determine the read start position in the horizontal direction of the pixel ( based on 2) is calculated (step S24).

【0048】評価値xの小数点以下を四捨五入して、水平方向の画素の読出開始位置pに代入する(ステップS [0048] rounded to the decimal point evaluation value x, is substituted for read start position p in the horizontal direction of the pixel (Step S
26)。 26).

【0049】水平方向の画素カウンタを初期化(i= [0049] initializes the horizontal pixel counter (i =
1)する(ステップS28)。 1) (step S28). そして、jライン目の(i+p)番目の画素を読出し(ステップS29)、垂直方向の画素カウンタiを1画素ずつインクリメントし(ステップS30)、(M−|a|)個の画素データを出力するまでステップS29およびS30の処理を繰返す(ステップS31)。 Then, reading the (i + p) th pixel of the j-th line (step S29), the pixel counter i in the vertical direction is incremented by one pixel (step S30), and outputs the pieces of pixel data (M- | | a) until repeats the processing of step S29 and S30 (step S31).

【0050】また、垂直方向のラインカウンタjを1ラインずつインクリメントして(ステップS32)、垂直方向の有効ラインすべてに対してステップS22〜S3 [0050] In addition, the line counter j in the vertical direction is incremented by one line (step S32), steps for all the vertical effective lines S22~S3
2の操作を繰返す(ステップS33)。 Repeated 2 operation (step S33).

【0051】以上説明したように、画像記憶制御部27 [0051] As described above, the image storage control unit 27
は、手ぶれ補正値算出部9の出力および垂直方向のラインの位置に基づいて、水平方向の画素の読出位置を変更するように制御する。 Based on the output and the vertical line position of the camera shake correction value calculation unit 9, and controls to change the reading position in the horizontal direction of the pixels. このため、水平方向の手ぶれによって生じる画像の歪みを補正することができる。 Therefore, it is possible to correct the image distortion caused by horizontal camera shake.

【0052】なお、本実施の形態では処理の簡単化のため、画像記憶部4から画素データを読出す際に、画素の本来の位置の最近傍画素の画素データを用いて補間を行なったが、この補間方法に限定されるものではなく、線形補間法や多項式関数を用いて画素データの補間を行なうようにしてもよい。 [0052] Incidentally, for simplification of the processing in the present embodiment, when reading the pixel data from the image storage unit 4, it has been subjected to interpolation using pixel data of the nearest pixel of the original position of the pixel , is not limited to this interpolation method may be performed interpolation of pixel data using a linear interpolation method or a polynomial function. [第3の実施の形態]上述の第1および第2の実施の形態では、手ぶれ検出部8で検出した水平方向の手ぶれ情報のみを使用して、水平方向の手ぶれによって生じる画像の歪みを補正した。 [Third Embodiment In the first and second embodiments described above, using only the camera shake horizontal camera shake information detected by the detection unit 8, corrects the image distortion caused by horizontal camera shake did.

【0053】本実施形態では、手ぶれ検出部8で検出した垂直方向の手ぶれ情報を使用して、垂直方向の手ぶれによって生じる画像の歪みを補正する方法について説明する。 [0053] In this embodiment, by using the shake vertical camera shake information detected by the detection unit 8, a method for correcting distortion of the image caused by vertical camera shake.

【0054】本実施の形態による画像入力装置は、図4 [0054] The image input device according to this embodiment, FIG. 4
を参照して説明した第2の実施の形態による画像入力装置と同様のハードウェア構成をとる。 Adopt the same hardware configuration as the image input apparatus according to the second embodiment described with reference to. なお、本実施の形態の手ぶれ補正値算出部9および画像記憶制御部27の行なう処理は、垂直方向の手ぶれにも対応するため第2 The processing performed by the camera shake correction value calculating unit 9 and the image memory control unit 27 of the present embodiment, the order corresponding to the vertical direction of the camera shake 2
の実施の形態のそれらとは一部異なる。 They and the the embodiment partially differs. それ以外のハードウェア構成は、第2の実施の形態と同様である。 Hardware configuration otherwise is the same as the second embodiment. このため、その詳細な説明はここでは繰返さない。 Therefore, a detailed description thereof is not repeated here.

【0055】手ぶれ補正値算出部9は、手ぶれ検出部8 [0055] camera shake correction value calculation unit 9, the hand shake detection section 8
で検出した水平方向の手ぶれ情報から、エリアセンサ部11で最初に選択されるライン(j=1)と最後に選択されるライン(j=N)との間で発生した水平方向の手ぶれ量を算出する。 From in the detected horizontal camera shake information, the horizontal shake amount generated between the first line to be selected by the area sensor 11 and (j = 1) and last line is selected (j = N) calculate. また、手ぶれ補正値算出部9は、手ぶれ検出部8で検出した垂直方向の手ぶれ情報から、垂直方向に発生した手ぶれ量を算出する。 Furthermore, camera shake correction value calculating unit 9 from the hand shake vertical camera shake information detected by the detection unit 8 calculates the shake amount generated in the vertical direction. 手ぶれ補正値算出部9は、画像記憶制御部27にこれらの手ぶれ量を手ぶれに伴なう動きを補正するための補正データとして供給する。 Image stabilization calculating unit 9 supplies the image storage control unit 27 as correction data for correcting the accompanying motion blur these shake amount. たとえば、手ぶれ補正値算出部9は、左方向にa画素分の手ぶれが発生したことおよび上方向にbライン分の手ぶれが発生したことを算出し、画像記憶制御部27に手ぶれに伴う動きを補正するための水平方向の補正データaおよび垂直方向の補正データbを供給する。 For example, image stabilization calculating unit 9 calculates the hand shake of b lines to and upward shake a pixel width to the left has occurred has occurred, the motion associated with camera shake in the image storage control unit 27 supplying correction data b in the horizontal direction of the correction data a and the vertical direction for correcting.

【0056】これにより、画像記憶制御部27は画像記憶部4の垂直方向および水平方向の読出を制御する。 [0056] Thus, the image storage control unit 27 controls the vertical and horizontal reading of the image memory unit 4.

【0057】図6を参照して、画像記憶制御部27による手ぶれ補正処理について説明する。 [0057] With reference to FIG. 6, it will be described camera shake correction processing performed by the image storage control unit 27.

【0058】画像記憶制御部27は、手ぶれ補正値算出部9から水平方向の補正データaおよび垂直方向の補正データbを受取り、垂直方向のラインカウンタを初期化(j=1)する(ステップS34)。 [0058] The image storage controller 27 receives the correction data b from the image stabilization calculating unit 9 corrects the data a and the vertical direction in the horizontal direction, initializes a line counter in the vertical direction (j = 1) to (Step S34 ).

【0059】画像記憶制御部27は、垂直方向の読出すべきラインを決定するために用いられる評価値yを次式(3)に基づき算出する。 [0059] The image storage controller 27 calculates on the basis of the evaluation value y which is used to determine the line to be read in the vertical direction in the following equation (3).

【0060】 y=(N+b)・j/N …(3) 次に、手ぶれ補正後のライン位置またはそのラインに最も近いラインで画素データを補間できるように、評価値yの小数点以下を四捨五入して、垂直方向の読出ラインqに代入する(ステップS35)。 [0060] y = (N + b) · j / N ... (3) Next, as can interpolate pixel data in line closest to the after image stabilization line position or a line, rounded off to the decimal point evaluation value y Te is substituted into the read line q in the vertical direction (step S35).

【0061】垂直方向の読出ラインqが有効ライン数N [0061] vertical direction of the read-out line q is the number of effective lines N
を超えた場合(ステップS36でYes)、画像記憶部4からのデータの読出を終了する。 If it exceeds (Yes in step S36), and ends the reading of data from the image storage unit 4. 垂直方向の読出ラインqが有効ライン数N以下の場合には(ステップS36 If the read line q in the vertical direction is less than the number of effective lines N (step S36
でNo)、第2の実施形態と同様の手順で、水平方向の手ぶれによって生じる画像の歪みを補正する(ステップS22〜ステップS31)。 In No), in the second embodiment the same procedure, to correct image distortion caused by horizontal camera shake (step S22~ step S31).

【0062】ただし、第2の実施形態では、データを読出すラインとして、j番目のラインを選択しているのに対し(図5のステップS29)、ここでは、q番目のラインを選択するようにしている点が異なっている(図6 [0062] However, in the second embodiment, data as reading line (step S29 in FIG. 5) whereas selects the j-th line, here, to select the q th line the point that you are in is different (Fig. 6
のステップS37)。 Step S37 of). このように、垂直方向の読出すラインを垂直方向の補正データbに応じて変更することにより、垂直方向の手ぶれによって生じる画像の歪みを補正することができる。 Thus, by changing the vertical reading line in response to the vertical correction data b, it is possible to correct image distortion caused by vertical camera shake.

【0063】その後、垂直方向のラインカウンタjを1 [0063] After that, the line counter j in the vertical direction 1
ラインずつインクリメントして(ステップS32)、垂直方向の有効ラインすべてに対して、S35〜S32の操作を繰返す(ステップS33)。 Is incremented by the line (step S32), for all the vertical effective lines, repeat the operation S35~S32 (step S33).

【0064】以上説明したように、画像記憶制御部27 [0064] As described above, the image storage control unit 27
は、手ぶれ補正値算出部9の出力から、画像記憶部4の垂直方向のラインおよび水平方向の画素の読出位置を変更するように制御している。 From the output of the camera shake correction value calculation unit 9 is controlled so as to change the reading position in the vertical direction of the line and the horizontal direction of the pixels of the image storage unit 4. このため、垂直方向および水平方向の手ぶれによって生じる画像の歪みを補正することができる。 Therefore, it is possible to correct the distortion of the image caused by the vertical and horizontal camera shake.

【0065】なお、水平方向の手ぶれによって生じる画像歪みの補正を、第1の実施形態と同じ方法で行うこともできる。 [0065] Incidentally, the correction of the image distortion caused by horizontal camera shake can also be carried out in the same manner as the first embodiment.

【0066】今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。 [0066] The embodiments disclosed herein are to be considered as not restrictive but illustrative in all respects. 本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。 The scope of the invention is defined by the appended claims rather than by the foregoing description, and is intended to include all modifications within the meaning and range of equivalency of the claims.

【0067】 [0067]

【発明の効果】本発明によると、消費電力を増加させることなく、手ぶれによって発生する画像の歪みを補正できるX−Yアドレス型の固体撮像素子を用いた画像入力装置を提供することができる。 According to the present invention, the power consumption without increasing, it is possible to provide an image input apparatus using an X-Y address type solid-state image pickup device capable of correcting image distortion caused by camera shake.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】 本発明の第1の実施の形態による画像入力装置のハードウェア構成を示すブロック図である。 Is a block diagram showing a hardware configuration of an image input apparatus according to a first embodiment of the present invention; FIG.

【図2】 エリアセンサ部の画素構成を示す図である。 2 is a diagram showing a pixel configuration of the area sensor unit.

【図3】 第1の実施の形態による手ぶれ補正処理のフローチャートである。 3 is a flowchart of image stabilization processing according to the first embodiment.

【図4】 本発明の第2の実施の形態による画像入力装置のハードウェア構成を示すブロック図である。 Is a block diagram showing a hardware configuration of an image input apparatus according to a second embodiment of the present invention; FIG.

【図5】 第2の実施の形態による手ぶれ補正処理のフローチャートである。 5 is a flowchart of image stabilization processing according to the second embodiment.

【図6】 第3の実施の形態による手ぶれ補正処理のフローチャートである。 6 is a flowchart of image stabilization processing according to the third embodiment.

【図7】 手ぶれが発生した場合に、画像に生じた歪みを説明するための図である。 [7] If the camera shake occurs is a diagram for explaining a distortion caused in the image.

【符号の説明】 DESCRIPTION OF SYMBOLS

1 固体撮像素子、2 前処理部、3 信号処理部、4 1 solid-2 preprocessing unit, 3 signal processing section, 4
画像記憶部、5 I/F部、6,26 タイミング発生部、7,27 画像記憶制御部、8 手ぶれ検出部、 Image storage unit, 5 I / F section, 6, 26 a timing generator, 7, 27 image storage control unit, 8 hand shake detection unit,
9 手ぶれ補正値算出部、11 エリアセンサ部、12 9 image stabilization calculating unit, 11 an area sensor section, 12
垂直方向走査部、13 水平方向走査部、14 出力回路部。 Vertical scanning unit, 13 horizontal scanning unit, 14 an output circuit section.

フロントページの続き Fターム(参考) 5B057 AA20 BA02 BA12 CA01 CA02 CA08 CA12 CA16 CB01 CB02 CB08 CB12 CB16 CC02 CD12 CH08 CH11 DA07 DA17 DB02 DB05 DB06 DB09 DC07 DC08 5C022 AB51 AB55 AC42 AC69 5C024 BX07 CY22 CY42 DX01 GY31 HX15 HX22 HX32 HX58 Front page of the continued F-term (reference) 5B057 AA20 BA02 BA12 CA01 CA02 CA08 CA12 CA16 CB01 CB02 CB08 CB12 CB16 CC02 CD12 CH08 CH11 DA07 DA17 DB02 DB05 DB06 DB09 DC07 DC08 5C022 AB51 AB55 AC42 AC69 5C024 BX07 CY22 CY42 DX01 GY31 HX15 HX22 HX32 HX58

Claims (4)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 予め定められた第1方向および第2方向で規定される2次元平面上に配列された光電変換素子を有するエリアセンサ部、 前記エリアセンサ部に接続され、前記エリアセンサ部の光電変換素子の前記第2方向のラインを単位として、当該ラインを前記第1方向に順次選択する第1の走査部、 1. A predetermined first direction and the area sensor section having a photoelectric conversion elements arranged on a two-dimensional plane defined by the second direction, is connected to the area sensor section, of the area sensor unit units of the second direction of lines of photoelectric conversion elements, a first scanning unit for sequentially selecting the line in the first direction,
    および前記エリアセンサ部に接続され、前記ライン上の光電変換素子より出力される撮像信号を前記第2方向に順次選択する第2の走査部を有する固体撮像素子と、撮像中に生じる手ぶれを検出し、手ぶれの方向および量に応じた手ぶれ情報を出力する手ぶれ検出部と、 前記手ぶれ検出部に接続され、前記手ぶれ検出部から出力される手ぶれ情報に基づいて、前記固体撮像素子の前記第2方向の動き量を算出する手ぶれ補正値算出部と、 前記手ぶれ補正値算出部および前記固体撮像素子に接続され、前記第2方向の動き量および前記第1の走査部によって選択されるラインの位置に基づき、前記第2の走査部における画素の選択開始位置を変更するように制御を行うタイミング発生部とを含む、画像入力装置。 And is connected to the area sensor section, a solid-state imaging device having a second scanning unit for sequentially selecting the image signal output from the photoelectric conversion element on the line in the second direction, detects a shake occurring during imaging and a camera shake detecting unit outputs a hand shake information corresponding to the direction and amount of camera shake, is connected to the camera shake detection unit, based on camera shake information output from the shake detection unit, the second of said solid-state imaging device a camera shake correction value calculation unit that calculates a movement amount, which is connected to the image stabilization calculating unit and the solid-line positions selected by the second movement amount and the first scanning unit based on, and a timing generator for controlling to change the selection start position of the pixel in the second scanning unit, an image input device.
  2. 【請求項2】 前記手ぶれ補正値算出部は、 前記手ぶれ補正部から出力される手ぶれ情報に基づいて、前記固体撮像素子の前記第1方向の動き量を算出するための第1方向手ぶれ補正値算出手段と、 前記手ぶれ補正部から出力される手ぶれ情報に基づいて、前記固体撮像素子の前記第2方向の動き量を算出するための第2方向手ぶれ補正値算出手段とを含み、 さらに、前記固体撮像素子に接続され、前記固体撮像素子から読出された撮像信号を少なくとも1画面分記憶する画像記憶部と、 前記第1方向手ぶれ補正値算出手段および前記画像記憶部に接続され、前記第1方向の動き量に基づいて、前記画像記憶部に記憶された撮像信号の前記第1方向の読出を制御する画像記憶制御部とを含む、請求項1に記載の画像入力装置。 Wherein said image stabilization calculating unit, based on camera shake information outputted from said image stabilization unit, the first direction image stabilization value for calculating the motion amount of the first direction of the solid-state imaging device includes a calculation unit, on the basis of camera shake information outputted from said image stabilization unit, and a second direction image stabilization calculating means for calculating a movement amount of the second direction of the solid-addition, the is connected to the solid-state imaging device, the image storing unit for at least one frame memory an image signal read from the solid-state imaging device, connected to said first direction image stabilization value calculating means and the image storage unit, the first based on the movement amount, and an image storage control section for controlling the first direction of reading of the image signal stored in the image storage unit, image input device according to claim 1.
  3. 【請求項3】 予め定められた第1方向および第2方向で規定される2次元平面上に配列された光電変換素子を有するエリアセンサ部、 前記エリアセンサ部に接続され、前記エリアセンサ部の光電変換素子の前記第2方向のラインを単位として、当該ラインを前記第1方向に順次選択する第1の走査部、 3. A predetermined first direction and the area sensor section having a photoelectric conversion elements arranged on a two-dimensional plane defined by the second direction, is connected to the area sensor section, of the area sensor unit units of the second direction of lines of photoelectric conversion elements, a first scanning unit for sequentially selecting the line in the first direction,
    および前記エリアセンサ部に接続され、前記ライン上の光電変換素子より出力される撮像信号を前記第2方向に順次選択する第2の走査部を有する固体撮像素子と、前記固体撮像素子に接続され、前記固体撮像素子から読出された撮像信号を少なくとも1画面分記憶する画像記憶部と、 撮像中に生じる手ぶれを検出し、手ぶれの方向および量に応じた手ぶれ情報を出力する手ぶれ検出部と、 前記手ぶれ検出部に接続され、前記手ぶれ検出部から出力される手ぶれ情報に基づいて、前記固体撮像素子の前記第2方向の動き量を算出する手ぶれ補正値算出部と、 前記手ぶれ補正値算出部および前記画像記憶部に接続され、前記第2方向の動き量に基づき、前記画像記憶部に記憶された撮像信号の前記第2方向の読出を制御する画像記憶制御部と And it is connected to the area sensor section, a solid-state imaging device having a second scanning unit for sequentially selecting the image signal output from the photoelectric conversion element on the line in the second direction, is connected to the solid-state imaging device an image storing unit for at least one frame memory an image signal read from the solid-state imaging device, detecting a shake occurring during imaging, and the hand shake detection unit outputs a hand shake information corresponding to the direction and amount of camera shake, is connected to the camera shake detection unit, based on camera shake information output from the shake detection unit, and the image stabilization calculating unit for calculating the motion amount of the second direction of the solid-state imaging device, the image stabilization calculating unit and it is connected to the image storage unit, and the second based on the movement amount, the image storage control section for controlling the second direction of reading of the image signal stored in the image storage unit 含む、画像入力装置。 Including an image input device.
  4. 【請求項4】 前記手ぶれ補正値算出部は、 前記手ぶれ補正部から出力される手ぶれ情報に基づいて、前記固体撮像素子の前記第1方向の動き量を算出するための第1方向手ぶれ補正値算出手段と、 前記手ぶれ補正部から出力される手ぶれ情報に基づいて、前記固体撮像素子の前記第2方向の動き量を算出するための第2方向手ぶれ補正値算出手段とを含み、 前記画像記憶制御部は、 前記第1方向手ぶれ補正値算出手段および前記画像記憶部に接続され、前記第1方向の動き量に基づいて、前記画像記憶部に記憶された撮像信号の前記第1方向の読出を制御するための第1方向画像記憶制御手段と、 前記第2方向手ぶれ補正値算出手段および前記画像記憶部に接続され、前記第2方向の動き量に基づいて、前記画像記憶部に記憶された撮像 Wherein said image stabilization calculating unit, based on camera shake information outputted from said image stabilization unit, the first direction image stabilization value for calculating the motion amount of the first direction of the solid-state imaging device a calculation unit, on the basis of camera shake information outputted from said image stabilization unit, and a second direction image stabilization calculating means for calculating a movement amount of the second direction of the solid-state imaging device, the image storage control unit, the first is connected to the direction image stabilization value calculating means and the image storage unit, the first based on the movement amount, the first direction of reading of the image signal stored in the image storage unit a first direction image storage control means for controlling, connected to the second direction image stabilization calculating means and the image storage unit, based on the motion amount of the second direction, stored in the image storage unit imaging was 号の前記第2方向の読出を制御するための第2方向画像記憶制御手段とを含む、 And a second direction image storage control means for controlling said second direction of reading of items,
    請求項3に記載の画像入力装置。 The image input apparatus according to claim 3.
JP2000175034A 2000-06-12 2000-06-12 Image input device Withdrawn JP2001358999A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000175034A JP2001358999A (en) 2000-06-12 2000-06-12 Image input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000175034A JP2001358999A (en) 2000-06-12 2000-06-12 Image input device

Publications (1)

Publication Number Publication Date
JP2001358999A true JP2001358999A (en) 2001-12-26

Family

ID=18676971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000175034A Withdrawn JP2001358999A (en) 2000-06-12 2000-06-12 Image input device

Country Status (1)

Country Link
JP (1) JP2001358999A (en)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004066619A1 (en) * 2003-01-22 2004-08-05 Sony Corporation Image processing device and method, recording medium, and program
EP1542454A2 (en) 2003-12-08 2005-06-15 Sony Corporation Image processing apparatus
WO2005081517A1 (en) * 2004-02-25 2005-09-01 Matsushita Electric Industrial Co., Ltd. Image pick up device and image pick up method
EP1695549A2 (en) * 2003-12-11 2006-08-30 Advasense Technologics (2004) Ltd. Method and apparatus for camera shake compensation
JP2007110372A (en) * 2005-10-13 2007-04-26 Pentax Corp Imaging apparatus
JP2008516453A (en) * 2004-10-05 2008-05-15 サイバーオプティクス コーポレーション Pick and place machine with improved component pick-up inspection
CN100394764C (en) 2003-09-19 2008-06-11 三洋电机株式会社 Hand shake correcting apparatus and method
US7532236B2 (en) 2004-08-16 2009-05-12 Panasonic Corporation Camera system
JP2009232446A (en) * 2008-02-28 2009-10-08 Canon Inc Imaging apparatus, imaging system, and driving method of imaging apparatus
JP2009253434A (en) * 2008-04-02 2009-10-29 Mitsubishi Electric Corp Surveillance camera system
JP2010045848A (en) * 2009-11-18 2010-02-25 Sony Corp Image capturing apparatus, device and method for processing image, recording medium, and program
JP2010136447A (en) * 2010-03-01 2010-06-17 Sony Corp Image processing device and method
US7783128B2 (en) 2004-12-28 2010-08-24 Sony Corporation Method and apparatus for correcting motion distortion and lens distortion of image-taking video signals
JP2011015053A (en) * 2009-06-30 2011-01-20 Nikon Corp Digital camera
US8264551B2 (en) * 2004-12-28 2012-09-11 Sony Corporation Methods for correcting distortions of image-taking video signals and apparatus for correcting distortions of image-taking video signals
US8451336B2 (en) 2009-01-19 2013-05-28 Sanyo Electric Co., Ltd. Image sensing apparatus and image sensing method
US8692913B2 (en) 2010-03-16 2014-04-08 Fujifilm Corporation Solid-state electronic image sensing apparatus and method of controlling operation of same
WO2014156731A1 (en) * 2013-03-29 2014-10-02 ソニー株式会社 Image-capturing device, solid-state image-capturing element, camera module, electronic devi ce, and image-capturing method
CN106161889A (en) * 2015-03-13 2016-11-23 台湾东电化股份有限公司 Image acquisition system
US9813626B2 (en) 2013-10-21 2017-11-07 Sony Semiconductor Solutions Corporation Image sensor, operating method therefor, and electronic device

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100456809C (en) 2003-01-22 2009-01-28 索尼株式会社 Image processing device and method, recording medium, and program
WO2004066619A1 (en) * 2003-01-22 2004-08-05 Sony Corporation Image processing device and method, recording medium, and program
US7750942B2 (en) 2003-01-22 2010-07-06 Sony Corporation Image processing apparatus and method, recording medium, and program for correcting camera shake
EP1587311A1 (en) * 2003-01-22 2005-10-19 Sony Corporation Image processing device and method, recording medium, and program
EP2302906A2 (en) 2003-01-22 2011-03-30 Sony Corporation Image processing apparatus and method, recording medium, and program
EP2302906A3 (en) * 2003-01-22 2013-09-18 Sony Corporation Image processing apparatus and method, recording medium, and program
US8081225B2 (en) 2003-01-22 2011-12-20 Sony Corporation Image processing apparatus and method, recording medium, and program
EP1587311A4 (en) * 2003-01-22 2009-12-02 Sony Corp Image processing device and method, recording medium, and program
KR101016517B1 (en) * 2003-01-22 2011-02-24 소니 주식회사 image processing apparatus and method
CN100394764C (en) 2003-09-19 2008-06-11 三洋电机株式会社 Hand shake correcting apparatus and method
EP1542454A3 (en) * 2003-12-08 2008-02-13 Sony Corporation Image processing apparatus
US7495691B2 (en) 2003-12-08 2009-02-24 Sony Corporation Image processing apparatus
EP1542454A2 (en) 2003-12-08 2005-06-15 Sony Corporation Image processing apparatus
KR101006292B1 (en) 2003-12-08 2011-01-06 소니 주식회사 Image processing apparatus
EP1695549A4 (en) * 2003-12-11 2008-05-14 Advasense Technologics 2004 Lt Method and apparatus for camera shake compensation
EP1695549A2 (en) * 2003-12-11 2006-08-30 Advasense Technologics (2004) Ltd. Method and apparatus for camera shake compensation
WO2005081517A1 (en) * 2004-02-25 2005-09-01 Matsushita Electric Industrial Co., Ltd. Image pick up device and image pick up method
US7532236B2 (en) 2004-08-16 2009-05-12 Panasonic Corporation Camera system
JP2008516453A (en) * 2004-10-05 2008-05-15 サイバーオプティクス コーポレーション Pick and place machine with improved component pick-up inspection
JP4839314B2 (en) * 2004-10-05 2011-12-21 サイバーオプティクス コーポレーション Pick and place machine with improved component pick-up inspection
US8264551B2 (en) * 2004-12-28 2012-09-11 Sony Corporation Methods for correcting distortions of image-taking video signals and apparatus for correcting distortions of image-taking video signals
US7783128B2 (en) 2004-12-28 2010-08-24 Sony Corporation Method and apparatus for correcting motion distortion and lens distortion of image-taking video signals
JP2007110372A (en) * 2005-10-13 2007-04-26 Pentax Corp Imaging apparatus
JP4662835B2 (en) * 2005-10-13 2011-03-30 Hoya株式会社 Imaging device
JP2009232446A (en) * 2008-02-28 2009-10-08 Canon Inc Imaging apparatus, imaging system, and driving method of imaging apparatus
JP2009253434A (en) * 2008-04-02 2009-10-29 Mitsubishi Electric Corp Surveillance camera system
US8451336B2 (en) 2009-01-19 2013-05-28 Sanyo Electric Co., Ltd. Image sensing apparatus and image sensing method
JP2011015053A (en) * 2009-06-30 2011-01-20 Nikon Corp Digital camera
JP2010045848A (en) * 2009-11-18 2010-02-25 Sony Corp Image capturing apparatus, device and method for processing image, recording medium, and program
JP2010136447A (en) * 2010-03-01 2010-06-17 Sony Corp Image processing device and method
US8692913B2 (en) 2010-03-16 2014-04-08 Fujifilm Corporation Solid-state electronic image sensing apparatus and method of controlling operation of same
WO2014156731A1 (en) * 2013-03-29 2014-10-02 ソニー株式会社 Image-capturing device, solid-state image-capturing element, camera module, electronic devi ce, and image-capturing method
CN105191283A (en) * 2013-03-29 2015-12-23 索尼公司 Image-capturing device, solid-state image-capturing element, camera module, electronic device, and image-capturing method
JPWO2014156731A1 (en) * 2013-03-29 2017-02-16 ソニー株式会社 Imaging device, solid-state imaging device, camera module, electronic device, and imaging method
US10051183B2 (en) 2013-03-29 2018-08-14 Sony Corporation Image-capturing device, solid-state image-capturing element, camera module, electronic device, and image-capturing method for shake correction using shake angle
TWI655869B (en) * 2013-03-29 2019-04-01 新力股份有限公司 Imaging device, solid-state imaging device, camera module, electronic device, and imaging method
CN105191283B (en) * 2013-03-29 2019-10-22 索尼公司 Photographic device, solid-state imager, camera model, electronic equipment and image capture method
US9813626B2 (en) 2013-10-21 2017-11-07 Sony Semiconductor Solutions Corporation Image sensor, operating method therefor, and electronic device
CN106161889A (en) * 2015-03-13 2016-11-23 台湾东电化股份有限公司 Image acquisition system

Similar Documents

Publication Publication Date Title
US6661451B1 (en) Image pickup apparatus capable of performing both a still image process and a dynamic image process
JP5109026B2 (en) Binning and interpolation of pixel signals in column circuits of sensor circuits
US5585856A (en) Image processing apparatus that can provide image data of high quality without deterioration in picture quality
KR100994877B1 (en) Image processing device and method
TWI343741B (en) Cmos image sensor using high frame rate with frame addition and movement compensation
JP3819511B2 (en) Monitoring method and digital still camera in CCD imaging device
JP2848396B2 (en) Electronic still camera
US20030030729A1 (en) Dual mode digital imaging and camera system
US7030923B2 (en) Digital camera having overlapped exposure
JP2003158653A5 (en)
US20050052553A1 (en) Image capturing apparatus
JP3980782B2 (en) Imaging control apparatus and imaging control method
CN1306827C (en) Image processing device, image processing method, and image capturing device
JP4503878B2 (en) Imaging apparatus and imaging method
US20060197843A1 (en) Digital camera for correcting tilted image
JP4446193B2 (en) Image processing apparatus and method, and program
US6130420A (en) Solid state image sensing apparatus, camera using the apparatus, and method for driving the apparatus
US7853134B2 (en) Imaging device with image blurring reduction function
TWI422219B (en) Imaging device, imaging method and computer-readable recording medium
US5060074A (en) Video imaging apparatus
JPH0775114A (en) Electronic camera capable of processing image having different resolution
JPH09247545A (en) Scanner-type electronic camera
JP4024581B2 (en) Imaging device
EP0849942B1 (en) Image pickup apparatus having different processing rates for still and moving images
JP2003116061A (en) Photographic apparatus

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20070904