JP2000023024A - Image input device - Google Patents

Image input device

Info

Publication number
JP2000023024A
JP2000023024A JP10199542A JP19954298A JP2000023024A JP 2000023024 A JP2000023024 A JP 2000023024A JP 10199542 A JP10199542 A JP 10199542A JP 19954298 A JP19954298 A JP 19954298A JP 2000023024 A JP2000023024 A JP 2000023024A
Authority
JP
Japan
Prior art keywords
camera shake
image
shake correction
correction value
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP10199542A
Other languages
Japanese (ja)
Inventor
Akifumi Umeda
昌文 梅田
Kazuhiro Takashima
和宏 高島
Toshihiro Morohoshi
利弘 諸星
Tomiyoshi Fukumoto
富義 福元
Masao Iwasaki
正生 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP10199542A priority Critical patent/JP2000023024A/en
Publication of JP2000023024A publication Critical patent/JP2000023024A/en
Withdrawn legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide an image input device which performs effective blur correction even when a record frame rate is lower than the frame rate of an image signal outputted from an image pickup device. SOLUTION: Relating to an image input device by which an image signal outputted from an image pickup part 12 is 4 inputted to a signal processing part 14 through an A/D converter 13 and is subjected to Y/C separating and other processing, further, after it is compressed by a dynamic image compressing part 15 and recorded on a recording medium with a data recording part 16, a blurring correction value calculating part 18 calculates blurring correction value based on a blurring detection output from a blurring sensor 17 and blur correction is performed by changing a read position from an image pickup device of the part 12 according to the blur correction value. In such a case, a blur correction calculation period is changed in accordance with a record frame rate (the number of frames per unit time to be recorded) that is set by a control part 19.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、固体撮像素子を用
いた画像入力装置に係り、特に手ぶれ補正に関するもの
である。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image input apparatus using a solid-state image sensor, and more particularly to camera shake correction.

【0002】[0002]

【従来の技術】固体撮像素子を用いた画像入力装置、例
えば画像記録システムには、アナログ記録のビデオフロ
ッピーディスクやディジタル記録媒体に静止画を記録す
る電子カメラシステム、テープ媒体にアナログあるいは
ディジタルで動画像を記録するビデオカメラなどがあ
る。ビデオカメラにおいては、手ぶれによる画像劣化を
避けるため、手ぶれ補正機能を有するものが技術が実用
化されている。
2. Description of the Related Art An image input apparatus using a solid-state image pickup device, for example, an image recording system includes an electronic camera system for recording a still image on a video floppy disk or digital recording medium of analog recording, and an analog or digital moving image on a tape medium. There are video cameras that record images. In order to avoid image deterioration due to camera shake, a video camera having a camera shake correction function has been put into practical use.

【0003】手ぶれ補正で必要な手ぶれ検出には、加速
度センサを用いたり、撮像素子の出力を前フレームと比
較するなどの方法がある。手ぶれの補正には、レンズ部
にプリズムを取り付けて光学的に補正する方法がある。
また、撮像素子として画素数が通常の有効画素数より多
いものを使用し、その読み出し位置を変更したり、読み
出した画像信号を一旦フレームメモリに記録し、フレー
ムメモリからの読み出し位置を変更することで電子的に
手ぶれ補正を行う方法も考えられている。
[0003] To detect camera shake necessary for camera shake correction, there are methods such as using an acceleration sensor or comparing the output of an image sensor with the previous frame. A method of correcting camera shake includes a method of optically correcting a camera by attaching a prism to a lens unit.
It is also necessary to use an image sensor having a larger number of pixels than the normal number of effective pixels and change its reading position, or temporarily record the read image signal in the frame memory and change the reading position from the frame memory. A method of electronically correcting camera shake has been considered.

【0004】図24は、後者の電子的な手ぶれ補正の原
理を示す図であり、撮像部から出力される標準TV方式
(例えば、NTSC方式)に基づく画像信号のフレーム
レート(NTSC方式の場合、30フレーム/秒)に合
わせて手ぶれ補正値が計算されて出力され、この手ぶれ
補正値により撮像素子からの読み出し位置、または画像
信号を一旦記憶するフレームメモリからの読み出し位置
がフレーム毎に変更されることにより、手ぶれの補正が
行われる。
FIG. 24 is a diagram showing the principle of the latter electronic image stabilization. The frame rate of an image signal based on a standard TV system (for example, the NTSC system) output from the image pickup unit (in the case of the NTSC system, A camera shake correction value is calculated and output in accordance with (30 frames / second), and the read position from the image sensor or the read position from the frame memory that temporarily stores the image signal is changed for each frame based on the camera shake correction value. As a result, camera shake correction is performed.

【0005】近年、画像信号をディジタルデータ化し、
画像圧縮技術を用いてデータ量を削減する技術開発が進
み、規格が既に決まったり、規格化作業が行われたりし
ている。例えば、主としてCD−ROM動画記録用にM
PEG1、またDVDなどの高品質動画記録用にMPE
G2、さらにTV会議やTV電話用にはH.263など
の画像圧縮規格が実際に使用されている。動画像は圧縮
を行っても依然としてデータ量が非常に大きいため、蓄
積系では低コストで大容量の媒体が多く使われてきた。
一方、H.263や現在規格化作業が進んでいるMPE
G4は、圧縮率の大きな低ビットレートの動画像圧縮方
式であり、この方式で記録を行うと半導体記録媒体にも
長時間の記録が可能となる。
In recent years, image signals have been converted into digital data,
Technology development for reducing the amount of data using image compression technology is progressing, standards have already been determined, and standardization work has been performed. For example, M is mainly used for recording a CD-ROM moving image.
MPE for recording high quality video such as PEG1 and DVD
G2, and H.264 for TV conferences and TV phones. An image compression standard such as H.263 is actually used. Since moving images still have a very large data amount even after compression, low-cost and large-capacity media have been frequently used in storage systems.
On the other hand, H. H.263 and MPE whose standardization work is currently underway
G4 is a low bit rate moving image compression method with a high compression ratio. If recording is performed using this method, recording on a semiconductor recording medium can be performed for a long time.

【0006】これらの動画像圧縮技術では、ほとんどの
方式で動きベクトルを検出し、これに基づいて動き補償
予測を行うことで圧縮率を上げている。これらの動画像
圧縮方式を動画像の記録を行う携帯型の画像入力装置に
適用することを考えた場合、手ぶれが画像を構成する全
てのブロックに対する動きベクトルとして検知されてし
まうという問題がある。この結果、動きベクトルに必要
以上に多くのデータ量が割り当てられることになり、画
質を低下させることになる。
[0006] In these moving picture compression techniques, a motion vector is detected by almost all methods, and a motion compensation prediction is performed based on the motion vector to increase the compression ratio. When considering applying these moving image compression methods to a portable image input device that records moving images, there is a problem that camera shake is detected as a motion vector for all blocks constituting the image. As a result, an unnecessarily large amount of data is allocated to the motion vector, and the image quality is degraded.

【0007】特に、H.263やMPEG4などの低ビ
ットレートの圧縮符号化を用いた場合、手ぶれが画質に
与える影響は大きい。TV会議やTV電話、パソコン会
議などの用途では、カメラ部は通常固定して用いられる
と考えられるので問題はないが、携帯型の画像入力装置
に使用した場合、手ぶれによる画質劣化が大きな問題と
なる。従って、手ぶれ補正機能を組み込むことが画質向
上に必要となる。
[0007] In particular, H. When a low bit rate compression encoding such as H.263 or MPEG4 is used, the effect of camera shake on image quality is great. In applications such as TV conferences, TV telephones, and personal computer conferences, the camera section is generally considered to be fixed, so there is no problem. However, when used in a portable image input device, image quality degradation due to camera shake is a major problem. Become. Therefore, it is necessary to incorporate a camera shake correction function to improve image quality.

【0008】この手ぶれ補正を前述した撮像素子からの
読み出し位置変更、あるいはフレームメモリからの読み
出し位置変更で補正を行う場合、補正は時間的に離散的
に行われることになる。手ぶれ補正に用いる撮像素子
は、手ぶれ補正のための画素を周辺に持つ通常より有効
画素数の多い撮像素子である。従来では撮像素子から標
準TV規格のフレームレートで画像信号が出力されるの
に合わせて、手ぶれ補正値の算出も同じ標準TV規格の
固定フレームレートで算出される。
When the camera shake correction is performed by changing the readout position from the image sensor or the readout position from the frame memory, the correction is performed discretely in time. An image sensor used for camera shake correction is an image sensor having a larger number of effective pixels than usual having pixels for camera shake correction around the image sensor. Conventionally, along with the image signal being output from the image sensor at the frame rate of the standard TV standard, the calculation of the camera shake correction value is also performed at the same fixed frame rate of the standard TV standard.

【0009】ここで、先のような画像入力装置において
記録する画像のフレームレート(単位時間当たりのフレ
ーム数=記録フレームレート)が動画像圧縮部の入力フ
レームレート、あるいは最大入力レート(例えば30フ
レーム/秒、29.97フレーム/秒など)であれば、
フレーム周期(記録が30フレーム/秒なら、1/30
秒周期)で検出した手ぶれ量に基づいた手ぶれ補正値を
使用すればよい。
Here, the frame rate (the number of frames per unit time = recording frame rate) of an image to be recorded in the above-mentioned image input apparatus depends on the input frame rate of the moving image compression section or the maximum input rate (for example, 30 frames). / Sec, 29.97 frames / sec)
Frame period (1/30 if recording is 30 frames / sec)
What is necessary is just to use the camera shake correction value based on the camera shake amount detected in the (second cycle).

【0010】しかし、記録フレームレートがシステムの
信号処理能力の制限や規格などによって、撮像素子から
出力される画像信号のフレームレートより小さくなり、
いわゆるこま落としとなる場合、または記録フレームレ
ート設定を変更できるシステムの場合、手ぶれ補正を撮
像素子から出力される画像信号の全てのフレームに対し
て行う必要はない。撮像素子から出力される画像信号を
一旦フレームメモリに記憶する場合でも、全てのフレー
ムをフレームメモリに記憶する必要はない。
However, the recording frame rate becomes smaller than the frame rate of the image signal output from the image pickup device due to the limitation or standard of the signal processing capability of the system.
In the case of so-called frame dropping or in the case of a system in which the recording frame rate setting can be changed, it is not necessary to perform camera shake correction on all frames of the image signal output from the image sensor. Even when the image signal output from the image sensor is temporarily stored in the frame memory, it is not necessary to store all the frames in the frame memory.

【0011】このように記録する必要のない、つまり信
号処理を行わないフレームの画像信号について撮像素子
からの読み出し、あるいはフレームメモリの書き込み/
読み出しを行うことは、余分な消費電力を伴うことにな
り、特に電池を電源とする携帯型の画像入力装置では大
きな問題となる。
As described above, the image signal of the frame which does not need to be recorded, that is, the signal processing is not performed, is read out from the image pickup device, or the writing / writing of the
Performing the readout involves extra power consumption, which is a significant problem especially in a portable image input device using a battery as a power supply.

【0012】そこで、記録する必要のないフレームの画
像信号については、撮像素子からの読み出し、またはフ
レームメモリの書き込み/読み出しを行わないようにす
るこが考えられるが、そのような場合に手ぶれ補正値を
どのように求めて、どのように手ぶれ補正を行うかにつ
いては従来、有効な方法は考えられていない。
Therefore, it is conceivable that the image signal of a frame that does not need to be recorded is not read from the image sensor or written / read to / from the frame memory. In the past, no effective method has been considered as to how to determine and how to perform camera shake correction.

【0013】一方、手ぶれ検出に手ぶれセンサを用いる
とき、センサからの出力が同じでもズームレンズ搭載の
システムではレンズの状態、つまり焦点距離によって手
ぶれ補正量が異なってくる。また、固定焦点レンズであ
っても、被写体距離が異なるときには必要な手ぶれ補正
量が必要となる。例えば、被写体が書類であってそれを
近接撮影するときは、手ぶれの影響が大きいが、同じ手
ぶれ量であっても遠景撮影時にはその影響は小さい。す
なわち、撮影状況によって手ぶれセンサ出力からの手ぶ
れ補正値算出の修正が必要となるが、そのような対策に
ついても従来は有効な方法が提案されていない。
On the other hand, when a camera shake sensor is used for camera shake detection, even if the output from the sensor is the same, in a system equipped with a zoom lens, the camera shake correction amount differs depending on the state of the lens, that is, the focal length. Further, even with a fixed focus lens, a necessary camera shake correction amount is required when the subject distance is different. For example, when the subject is a document and the subject is photographed in close proximity, the effect of camera shake is large, but even when the amount of camera shake is the same, the effect is small when photographing a distant view. That is, it is necessary to correct the calculation of the camera shake correction value from the output of the camera shake sensor depending on the shooting conditions. However, no effective method has been proposed for such measures.

【0014】[0014]

【発明が解決しようとする課題】上述したように従来の
画像入力装置では、記録フレームレートが撮像素子から
出力される画像信号のフレームレートより低レートのと
きに、手ぶれ補正値の算出およびそれに基づく手ぶれ補
正をどのように行うかについての知見がなく、消費電力
の低減や、効果的な手ぶれ補正を実現できないという問
題点があった。
As described above, in the conventional image input apparatus, when the recording frame rate is lower than the frame rate of the image signal output from the image pickup device, the calculation of the camera shake correction value and the calculation based on it are performed. There is no knowledge on how to perform camera shake correction, and there is a problem that power consumption cannot be reduced and effective camera shake correction cannot be realized.

【0015】本発明は、記録フレームレートが撮像素子
から出力される画像信号のフレームレートより低レート
の場合でも有効な手ぶれ補正を行うことができる画像入
力装置を提供することを目的とする。
An object of the present invention is to provide an image input apparatus capable of performing effective camera shake correction even when the recording frame rate is lower than the frame rate of an image signal output from an image sensor.

【0016】[0016]

【課題を解決するための手段】上記の課題を解決するた
め、本発明は記録フレームレートに応じて手ぶれ補正値
の算出期間を変更することにより、複数種類の記録フレ
ームレートに対応して良好な手ぶれ補正を可能としたも
のである。手ぶれ補正は、撮像手段からの読み出し位置
の変更によって行ってもよいし、撮像手段からの画像信
号を一旦フレームメモリに記憶する場合は、そのフレー
ムメモリからの読み出し位置の変更によって行うことも
可能である。
In order to solve the above-mentioned problems, the present invention changes the calculation period of the camera shake correction value in accordance with the recording frame rate, thereby achieving a favorable recording corresponding to a plurality of types of recording frame rates. This enables camera shake correction. The camera shake correction may be performed by changing the reading position from the imaging unit, or when the image signal from the imaging unit is temporarily stored in the frame memory, it may be performed by changing the reading position from the frame memory. is there.

【0017】すなわち、本発明に係る画像入力装置は、
被写体の像を撮像して画像信号を出力する撮像手段と、
この撮像手段から出力される画像信号を処理する信号処
理手段と、この信号処理手段により処理された画像信号
を圧縮する画像圧縮手段と、この画像圧縮手段により圧
縮された画像信号を記録する記録手段と、手ぶれを検出
する手ぶれ検出手段と、この手ぶれ検出手段からの出力
に基づいて手ぶれ補正値を算出する手ぶれ補正値算出手
段と、この手ぶれ補正値に従って撮像手段からの読み出
し位置を変更して手ぶれ補正を行う手ぶれ補正手段と、
記録手段により記録される単位時間当たりのフレーム数
に応じて手ぶれ補正値算出手段の手ぶれ補正値算出期間
を変更する手段とを備えたことを特徴とする。
That is, the image input device according to the present invention comprises:
Imaging means for capturing an image of a subject and outputting an image signal;
Signal processing means for processing an image signal output from the imaging means, image compression means for compressing the image signal processed by the signal processing means, and recording means for recording the image signal compressed by the image compression means A camera shake detecting means for detecting camera shake, a camera shake correction value calculating means for calculating a camera shake correction value based on an output from the camera shake detecting means, Camera shake correction means for performing correction,
Means for changing the camera shake correction value calculation period of the camera shake correction value calculation means according to the number of frames per unit time recorded by the recording means.

【0018】さらに、本発明に係る他の画像入力装置
は、被写体の像を撮像して画像信号を出力する撮像手段
と、この撮像手段から出力される画像信号を記憶する記
憶手段と、この記憶手段から読み出される画像信号を処
理する信号処理手段と、この信号処理手段により処理さ
れた画像信号を圧縮する画像圧縮手段と、この画像圧縮
手段により圧縮された画像信号を記録する記録手段と、
手ぶれを検出する手ぶれ検出手段と、この手ぶれ検出手
段からの出力に基づいて手ぶれ補正値を算出する手ぶれ
補正値算出手段と、この手ぶれ補正値に従って記憶手段
からの読み出し位置を変更して手ぶれ補正を行う手ぶれ
補正手段と、記録手段により記録される単位時間当たり
のフレーム数に応じて手ぶれ補正値算出手段の手ぶれ補
正値算出期間を変更する手段とを備えたことを特徴とす
る。
Further, another image input apparatus according to the present invention comprises: an image pickup means for picking up an image of a subject and outputting an image signal; a storage means for storing an image signal output from the image pickup means; Signal processing means for processing an image signal read from the means, image compression means for compressing the image signal processed by the signal processing means, recording means for recording the image signal compressed by the image compression means,
A camera shake detecting means for detecting a camera shake, a camera shake correction value calculating means for calculating a camera shake correction value based on an output from the camera shake detecting means, And a means for changing a camera shake correction value calculation period of the camera shake correction value calculation means according to the number of frames per unit time recorded by the recording means.

【0019】本発明においては、記録フレームレート、
すなわち記録手段により記録される単位時間当たりのフ
レーム数をユーザからの指示により設定するための手段
を備えてもよく、またユーザからの記録手段により記録
されるべき画像信号の解像度の指示により設定するため
の手段を備えてもよい。
In the present invention, the recording frame rate,
That is, a means for setting the number of frames per unit time to be recorded by the recording means in accordance with an instruction from the user may be provided, and the number may be set in accordance with an instruction of the resolution of the image signal to be recorded by the recording means from the user. Means may be provided.

【0020】記録フレームレート、つまり記録手段によ
り記録される単位時間当たりのフレーム数が入力のフレ
ームレート、つまり撮像手段から出力可能な画像信号の
単位時間当たりのフレーム数より少ないときは、撮像手
段から記録手段により記録されるフレームの画像信号の
みを読み出すようにすることが望ましい。
When the recording frame rate, that is, the number of frames per unit time recorded by the recording means is smaller than the input frame rate, that is, the number of frames per unit time of the image signal that can be output from the image pickup means, the image pickup means It is desirable to read out only the image signal of the frame recorded by the recording means.

【0021】また、記憶手段であるフレームメモリは、
撮像手段から出力される画像信号のうち、記録手段によ
り記録されるフレームの画像信号のみを記憶することき
が望ましい。
Further, the frame memory as the storage means is
It is desirable to store only the image signal of the frame recorded by the recording unit among the image signals output from the imaging unit.

【0022】このように本発明では、手ぶれ補正に必要
な手ぶれ量補正値の算出を記録フレームレート、つまり
単位時間当たりの記録フレーム数に合わせることで、有
効な手ぶれ補正を行う。すなわち、記録フレームレート
が例えば撮像手段からの画像信号の入力フレームレート
と同じ30フレーム/秒であれば、1/30秒間にわた
って手ぶれ補正値を算出し、1秒当たり30回手ぶれ補
正値を手ぶれ補正部に出力する。また、記録フレームレ
ートが画像信号の入力フレームレートより低い例えば1
0フレーム/秒であれば、1/10秒間にわたって手ぶ
れ補正値を算出し、1秒当たり10回手ぶれ補正値を手
ぶれ補正部に出力する。このようにすることで、どのよ
うな記録フレームレートであっても、有効な手ぶれ補正
が可能となる。
As described above, in the present invention, the effective camera shake correction is performed by adjusting the calculation of the camera shake amount correction value required for camera shake correction to the recording frame rate, that is, the number of recording frames per unit time. That is, if the recording frame rate is, for example, 30 frames / sec, which is the same as the input frame rate of the image signal from the imaging means, the camera shake correction value is calculated for 1/30 second, and the camera shake correction value is calculated 30 times per second. Output to the section. The recording frame rate is lower than the input frame rate of the image signal, for example, 1
If it is 0 frames / sec, the camera shake correction value is calculated for 1/10 second, and the camera shake correction value is output to the camera shake correction unit 10 times per second. By doing so, effective camera shake correction can be performed at any recording frame rate.

【0023】また、手ぶれ補正値に応じて撮像手段から
の読み出し位置を変更する場合、記録フレームレートが
入力フレームレートより低いときは、記録されるフレー
ムの画像信号のみを撮像手段から読み出すことによっ
て、消費電力の低減が可能となる。
When the reading position from the image pickup means is changed according to the camera shake correction value, when the recording frame rate is lower than the input frame rate, only the image signal of the frame to be recorded is read out from the image pickup means. Power consumption can be reduced.

【0024】さらに、撮像手段からの画像信号を一旦フ
レームメモリに記憶し、手ぶれ補正値に応じてフレーム
メモリからの読み出し位置を変更することで手ぶれ補正
を行う場合には、記録されるフレームの画像信号のみを
フレームメモリに記憶し、前にフレームメモリに記憶し
たフレームの画像信号との間で手ぶれの差を算出してフ
レームメモリから読み出すことで、フレームメモリの無
駄な書き込み/読み出し動作が不要となって、やはり消
費電力が低減される。
Further, when the image signal from the image pickup means is temporarily stored in the frame memory, and the position to be read from the frame memory is changed according to the camera shake correction value, the image of the frame to be recorded is corrected. By storing only the signal in the frame memory and calculating the difference in the camera shake from the image signal of the frame previously stored in the frame memory and reading it out from the frame memory, unnecessary writing / reading operations of the frame memory are unnecessary. As a result, power consumption is also reduced.

【0025】手ぶれ補正値の算出に際しては、手ぶれ検
出出力のみでなく、動画像圧縮部で生成される動きベク
トルを併用することで、より精度の高い手ぶれ補正値を
得ることができる。さらに、ズームレンズを用いる場合
は、このズームレンズの設定(焦点距離)を、またオー
トフォーカス機能がある場合はフォーカスデータを、ま
た距離センサがある場合は距離データをそれぞれ手ぶれ
補正値の算出に併用することで、より手ぶれ補正値の精
度が向上する。
In calculating the camera shake correction value, not only the camera shake detection output but also the motion vector generated by the moving image compression unit is used together, so that a more accurate camera shake correction value can be obtained. In addition, when using a zoom lens, the setting (focal length) of the zoom lens, the focus data when there is an auto-focus function, and the distance data when there is a distance sensor are used together to calculate a camera shake correction value. By doing so, the accuracy of the camera shake correction value is further improved.

【0026】さらに、撮像手段がMOS型撮像素子によ
り構成され、この撮像素子からの読み出し位置変更で手
ぶれ補正を行うには、記録されるフレームの蓄積時間が
始まるまでに読み出し位置を決定することで対応でき
る。
Furthermore, the image pickup means is constituted by a MOS type image pickup device, and in order to perform camera shake correction by changing the read position from this image pickup device, the read position is determined before the accumulation time of the recorded frame starts. Can respond.

【0027】[0027]

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。 (第1の実施形態)図1に、本発明の第1の実施形態に
係る画像入力装置の構成を示す。画像入力装置10は撮
像レンズ11、固体撮像素子を用いて構成された撮像部
12、A/D変換器13、信号処理部14、動画像圧縮
部15、データ記録部16、手ぶれセンサ17、手ぶれ
補正値算出部18および制御部19からなる。
Embodiments of the present invention will be described below with reference to the drawings. (First Embodiment) FIG. 1 shows a configuration of an image input apparatus according to a first embodiment of the present invention. The image input device 10 includes an imaging lens 11, an imaging unit 12 configured using a solid-state imaging device, an A / D converter 13, a signal processing unit 14, a moving image compression unit 15, a data recording unit 16, a camera shake sensor 17, camera shake It comprises a correction value calculation unit 18 and a control unit 19.

【0028】被写体の像は撮像レンズ11により撮像部
12の撮像素子上に結像され、電気信号(画像信号)に
変換されて出力される。撮像部12から出力される画像
信号は、例えば30フレーム/秒のフレームレートで出
力される。この画像信号はA/D変換器13でディジタ
ルデータとされた後、信号処理部14でガンマ補正など
の補正処理とY/C分離などを含む各種のディジタル信
号処理が施される。信号処理部14からは例えば画像信
号が輝度信号と色差信号の組として出力され、動画像圧
縮部15に送られる。動画像圧縮部15では、MPEG
その他のディジタル動画像圧縮手法によりデータ量が低
減され、これにより得られた圧縮画像データがデータ記
録部16によって適当な記録媒体に記録される。
The image of the subject is formed on the image pickup device of the image pickup section 12 by the image pickup lens 11, converted into an electric signal (image signal) and output. The image signal output from the imaging unit 12 is output at a frame rate of, for example, 30 frames / second. The image signal is converted into digital data by the A / D converter 13, and then subjected to various kinds of digital signal processing including correction processing such as gamma correction and Y / C separation in the signal processing unit 14. For example, an image signal is output from the signal processing unit 14 as a set of a luminance signal and a color difference signal, and is sent to the moving image compression unit 15. In the moving image compression unit 15, MPEG
The data amount is reduced by other digital moving image compression methods, and the obtained compressed image data is recorded on a suitable recording medium by the data recording unit 16.

【0029】データ記録部16は、例えば画像入力装置
10に着脱可能な半導体メモリカード、画像入力装置1
0に内蔵の半導体メモリ、書き込み可能なディジタル・
ディスクやディジタル・テープである。データ記録部1
6によって記録媒体に記録された画像データは、記録媒
体が例えば着脱可能な半導体メモリカードの場合、この
メモリカードをパーソナルコンピュータに接続し、コン
ピュータ内のハードウエアあるいはソフトウエアによっ
てデータ伸長を行い、コンピュータ上で動画像を再生す
ることができる。さらに、コンピュータからネットワー
クを通じて、動画像データを送ることも可能である。
The data recording unit 16 includes, for example, a semiconductor memory card detachable from the image input device 10 and the image input device 1.
0 built-in semiconductor memory, writable digital
Disks and digital tapes. Data recording unit 1
When the recording medium is, for example, a removable semiconductor memory card, the memory card is connected to a personal computer, and the image data recorded on the recording medium by the computer 6 is expanded by hardware or software in the computer. A moving image can be reproduced on the above. Further, moving image data can be sent from a computer via a network.

【0030】ここで、本実施形態ではデータ記録部16
に記憶される画像信号のフレームレート(単位時間当た
りのフレーム数=記録フレームレート)は、入力フレー
ムレート、つまり撮像部12から出力されるフレームレ
ート(例えば30フレーム/秒)に固定されておらず、
ユーザが任意に設定できるか、また複数種類のフレーム
レートが用意されており、ユーザが任意に選択すること
が可能である。図1における制御部19は、各部の動作
に必要なタイミング信号の発生を行うほか、この記録フ
レームレート(記録フレーム数)の設定をユーザからの
指示に基づいて行う機能を有する。
Here, in the present embodiment, the data recording unit 16
Is not fixed to the input frame rate, that is, the frame rate output from the imaging unit 12 (for example, 30 frames / second). ,
The user can arbitrarily set it, and a plurality of types of frame rates are prepared, and the user can arbitrarily select the frame rate. The control unit 19 in FIG. 1 has a function of generating a timing signal necessary for the operation of each unit and a function of setting the recording frame rate (the number of recording frames) based on an instruction from a user.

【0031】図2はこの様子を示す図であり、(a)は
フレームレートが30フレーム/秒の場合、つまり撮像
部12から出力される全てのフレームをデータ記録部1
6に記録する例、(b)は記録フレームレートが1/3
(10フレーム/秒)の例、(c)は記録フレームレー
トが1/6(5フレーム/秒)の例であり、これらの記
録フレームレートは制御部19によってユーザが選択的
に設定できる。データ記録部16により記録された画像
データをパーソナルコンピュータに取り込み、動画像の
伝送を行う場合、この記録フレームレートを下げれば、
つまり単位時間当たりのフレーム数を削れば、その分デ
ータ量が減らすことができる。すなわち、ユーザの希望
に沿った、あるいは使用するネットワークに適した動画
像の撮影が可能である。
FIG. 2 is a diagram showing this state. FIG. 2A shows a case where the frame rate is 30 frames / sec, that is, all frames output from the imaging unit 12 are stored in the data recording unit 1.
6, the recording frame rate is 1/3.
(C) is an example where the recording frame rate is 1/6 (5 frames / second), and these recording frame rates can be selectively set by the user by the control unit 19. When capturing image data recorded by the data recording unit 16 into a personal computer and transmitting moving images, if the recording frame rate is reduced,
That is, if the number of frames per unit time is reduced, the data amount can be reduced accordingly. That is, it is possible to capture a moving image according to the user's request or suitable for the network to be used.

【0032】手ぶれセンサ17は、画像入力装置10を
所持するユーザの手ぶれを検出するセンサであり、例え
ば手ぶれによる垂直方向と水平方向の加速度を検出する
加速度センサにより構成される。手ぶれセンサ17から
の手ぶれ検出出力は手ぶれ補正値算出部18に入力さ
れ、ここで必要な手ぶれ補正値が算出される。この手ぶ
れ補正値は、データ記録部16によって動画像データを
記録する際の記録フレームレートの設定に合わせて算出
されて出力される。これについては、後に詳しく説明す
る。
The camera shake sensor 17 is a sensor for detecting camera shake of the user who has the image input device 10, and is constituted by, for example, an acceleration sensor for detecting vertical and horizontal acceleration due to camera shake. The camera shake detection output from the camera shake sensor 17 is input to a camera shake correction value calculation unit 18 where a necessary camera shake correction value is calculated. The camera shake correction value is calculated and output according to the setting of the recording frame rate when the moving image data is recorded by the data recording unit 16. This will be described later in detail.

【0033】撮像部12は、二次元の撮像素子としてC
CD撮像素子またはMOS型撮像素子を用いて構成され
る。図3はCCD型撮像素子を用いた撮像部の例であ
り、信号発生部は基準クロック、水平・垂直同期信号お
よびCCD撮像素子や画像システムの他の回路に必要な
信号(図示せず)を発生する。CCDドライバは、CC
D撮像素子を動作させる。
The image pickup unit 12 has a two-dimensional image pickup device C
It is configured using a CD imaging device or a MOS imaging device. FIG. 3 shows an example of an image pickup unit using a CCD type image pickup device. A signal generator outputs a reference clock, a horizontal / vertical synchronization signal, and signals (not shown) necessary for the CCD image pickup device and other circuits of the image system. appear. CCD driver is CC
The D image sensor is operated.

【0034】手ぶれ補正値算出部18では、制御部19
で設定された記録フレームレートに合わせて手ぶれ補正
値が計算されて出力され、この手ぶれ補正値により撮像
素子からの読み出し位置が変更されることにより、手ぶ
れ補正が行われる。
The camera shake correction value calculator 18 includes a controller 19
The camera shake correction value is calculated and output in accordance with the recording frame rate set in the step (1), and the position to be read from the image sensor is changed by the camera shake correction value, thereby performing the camera shake correction.

【0035】図4および図5はこの様子を示す図であ
り、図4は記録フレームレートが30フレーム/秒、図
5は記録フレームレートが10フレーム/秒の場合であ
る。
FIGS. 4 and 5 show this state. FIG. 4 shows a case where the recording frame rate is 30 frames / sec, and FIG. 5 shows a case where the recording frame rate is 10 frames / sec.

【0036】図4の場合、図4(a)に示す手ぶれセン
サ17からの1/30秒間にわたる手ぶれ検出出力(ク
ロスハッチングで示す)から、手ぶれ補正値算出部18
で図4(b)に示すように手ぶれ補正値が1秒当たり3
0回算出され、撮像部12に出力される。なお、手ぶれ
補正値は、例えば図4(a)の1/30秒間にわたるの
手ぶれ検出出力の最初の値と最後の値との差分として計
算される。
In the case of FIG. 4, a camera shake correction value calculation unit 18 is obtained from a camera shake detection output (indicated by cross-hatching) over 1/30 seconds from the camera shake sensor 17 shown in FIG.
As shown in FIG. 4B, the camera shake correction value becomes 3 per second.
It is calculated 0 times and output to the imaging unit 12. The camera shake correction value is calculated, for example, as a difference between the first value and the last value of the camera shake detection output over 1/30 seconds in FIG.

【0037】撮像部12では、撮像素子で全てのフレー
ム毎に電荷を蓄積し、図4(c)に示すように、これら
のフレームのうち手ぶれ補正されるべき図4(c)にク
ロスハッチングで示すフレームについて、手ぶれ補正値
に対応した画素位置から信号を図4(d)に矢印で示す
タイミングで画像信号を出力する。この場合、撮像部1
2からの出力される画像信号のフレームレートと、デー
タ記録部16の記録フレームレートが同一なので、撮像
部12から出力される画像信号に全てに対して手ぶれ補
正が行われることになる。
In the image pickup section 12, electric charges are accumulated for every frame by the image pickup device, and as shown in FIG. 4C, cross-hatching is performed in FIG. For the indicated frame, an image signal is output from a pixel position corresponding to the camera shake correction value at a timing indicated by an arrow in FIG. In this case, the imaging unit 1
Since the frame rate of the image signal output from the second unit 2 and the recording frame rate of the data recording unit 16 are the same, camera shake correction is performed on all the image signals output from the imaging unit 12.

【0038】一方、記録フレームレートが10フレーム
/秒である図5の場合、図5(a)に示す手ぶれセンサ
17からの1/10秒間の手ぶれ検出出力(クロスハッ
チングで示す)から、手ぶれ補正値算出部18で図5
(b)に示すように手ぶれ補正値が1秒当たり10回算
出され、撮像部12に出力される。この場合は、撮像部
12では図5(c)に示すように、データ記録部16で
記録されるべきクロスハッチングで示す3フレーム毎の
1フレーム期間にわたり電荷を蓄積し、このフレームに
ついて、手ぶれ補正値に対応した画素位置から、図5
(d)に矢印で示すタイミングで画像信号が出力され
る。
On the other hand, in the case of FIG. 5 in which the recording frame rate is 10 frames / second, the camera shake correction is performed based on the camera shake detection output (shown by cross-hatching) for 1/10 second from the camera shake sensor 17 shown in FIG. FIG.
As shown in (b), the camera shake correction value is calculated ten times per second and output to the imaging unit 12. In this case, as shown in FIG. 5C, the imaging unit 12 accumulates electric charges for one frame period of every three frames indicated by cross-hatching to be recorded by the data recording unit 16, and performs image stabilization for this frame. From the pixel position corresponding to the value, FIG.
An image signal is output at the timing indicated by the arrow in (d).

【0039】ここで、後者のように記録フレームレート
が入力フレームレート、つまり撮像部12から出力され
る画像信号のフレームレートより低い場合、撮像部12
はデータ記録部16で記録されるべき信号処理部14で
の処理対象フレームの画像信号のみを出力してもよい
し、処理対象でないフレームの画像信号を含めて全ての
フレームの画像信号を出力しても構わない。いずれにし
ても、撮像部12に対する手ぶれ補正値出力は3フレー
ムに1回しか与えられない。
Here, when the recording frame rate is lower than the input frame rate, that is, the frame rate of the image signal output from the image pickup section 12 as in the latter case,
May output only the image signal of the frame to be processed by the signal processing unit 14 to be recorded by the data recording unit 16 or may output the image signal of all frames including the image signal of the frame not to be processed. It does not matter. In any case, the camera shake correction value output to the imaging unit 12 is given only once in three frames.

【0040】従って、もし記録フレームレートが10フ
レーム/秒の場合、記録フレームの前の1/30秒間に
わたる手ぶれセンサ17からの手ぶれ検出出力のみを用
いて手ぶれ補正値を算出して出力してまうと、正しい手
ぶれ補正ができない。このようにフレームレートの設定
に合わせて、手ぶれ補正値の算出を行って撮像部12に
出力することにより、有効な手ぶれ補正が可能となる。
Therefore, if the recording frame rate is 10 frames / second, the camera shake correction value is calculated and output using only the camera shake detection output from the camera shake sensor 17 for 1/30 second before the recording frame. Correct image stabilization cannot be performed. As described above, by calculating the camera shake correction value in accordance with the setting of the frame rate and outputting it to the imaging unit 12, effective camera shake correction can be performed.

【0041】(第2の実施形態)図6に、本発明の第2
の実施形態に係る画像入力装置の構成を示す。図1と同
一部分に同一符号を付して説明すると、本実施形態では
A/D変換器13と信号処理部14の間にフレームメモ
リ20が追加されている点が第1の実施形態と異なって
いる。手ぶれ補正の具体的方法として、第1の実施形態
では撮像部12の撮像素子からの読み出し位置を手ぶれ
補正値に合わせて変化させているが、本実施形態では撮
像部12の撮像素子から全画素の画像信号をA/D変換
器13を介してフレームメモリ20に書き込み、手ぶれ
補正値算出部18からの手ぶれ補正値によって、読み出
し位置を変化させる方式を採用している。
(Second Embodiment) FIG. 6 shows a second embodiment of the present invention.
1 shows a configuration of an image input apparatus according to the embodiment. The same parts as those in FIG. 1 are denoted by the same reference numerals. This embodiment is different from the first embodiment in that a frame memory 20 is added between the A / D converter 13 and the signal processing unit 14. ing. As a specific method of camera shake correction, in the first embodiment, the readout position from the image pickup device of the image pickup unit 12 is changed in accordance with the camera shake correction value. Is written into the frame memory 20 via the A / D converter 13 and the readout position is changed by the camera shake correction value from the camera shake correction value calculation unit 18.

【0042】次に、本実施形態における手ぶれ補正動作
を記録フレームレートが10フレーム/秒の場合を例に
とり図7を用いて説明する。図7(a)に示す手ぶれセ
ンサ17からの1/10秒間にわたる手ぶれ検出出力
(クロスハッチングで示す)から、手ぶれ補正値算出部
18で図7(b)に示すように手ぶれ補正値が1秒当た
り10回算出され、フレームメモリ20に出力される。
図7(c)〜(e)は撮像素子がCCD型の場合、図7
(f)〜(h)はMOS型の場合である。
Next, the camera shake correction operation according to the present embodiment will be described with reference to FIG. 7 taking a case where the recording frame rate is 10 frames / sec as an example. From the shake detection output (indicated by cross-hatching) for 1/10 second from the shake sensor 17 shown in FIG. 7A, the shake correction value calculation unit 18 determines that the shake correction value is 1 second as shown in FIG. 7B. The calculation is performed ten times and output to the frame memory 20.
FIGS. 7C to 7E show the case where the image pickup device is a CCD type.
(F) to (h) show the case of the MOS type.

【0043】すなわち、CCD型撮像素子の場合は、撮
像部12においてCCD型撮像素子で図7(c)に示す
ように、データ記録部16で記録されるべきハッチング
で示す3フレーム毎の1フレーム期間(図7(a)のク
ロスハッチングで示す手ぶれ検出出力から計算された手
ぶれ補正値に対応する1フレーム期間は、クロスハッチ
ングで示されている)にわたり電荷を蓄積する。そし
て、図7(d)に示すように、撮像部12から出力され
る画像信号をA/D変換器13によりディジタル化して
フレーム単位でフレームメモリ20に書き込み、この書
き込み終了時点で手ぶれ補正値に対応した画素位置から
図7(e)に矢印で示すタイミングでフレームメモリ2
0からの画像信号の出力を開始する。
That is, in the case of a CCD type image pickup device, as shown in FIG. 7 (c), in the image pickup section 12, one frame every three frames indicated by hatching to be recorded in the data recording section 16 as shown in FIG. The electric charge is accumulated over a period (one frame period corresponding to the camera shake correction value calculated from the camera shake detection output indicated by cross hatching in FIG. 7A is indicated by cross hatching). Then, as shown in FIG. 7D, the image signal output from the imaging unit 12 is digitized by the A / D converter 13 and written into the frame memory 20 in frame units. At the timing indicated by the arrow in FIG.
Output of the image signal from 0 is started.

【0044】一方、MOS型撮像素子の場合は、撮像部
12においてMOS型撮像素子で図7(f)に示すよう
に、データ記録部16で記録されるべきクロスハッチン
グで示す3フレーム毎の1フレーム期間(図7(a)の
クロスハッチングで示す手ぶれ検出出力から計算された
手ぶれ補正値に対応する1フレーム期間は、クロスハッ
チングで示されている)にわたり電荷を蓄積する。そし
て、図7(g)に示すように、撮像部12から出力され
る画像信号をA/D変換器13によりディジタル化して
フレーム単位でフレームメモリ20に書き込み、この書
き込み終了時点で手ぶれ補正値に対応した画素位置から
図7(h)に矢印で示すタイミングでフレームメモリ2
0からの画像信号の出力を開始する。
On the other hand, in the case of the MOS type image pickup device, as shown in FIG. 7 (f), in the image pickup unit 12, one every three frames indicated by cross hatching to be recorded by the data recording unit 16 as shown in FIG. The electric charge is accumulated over a frame period (one frame period corresponding to the camera shake correction value calculated from the camera shake detection output indicated by cross hatching in FIG. 7A is indicated by cross hatching). Then, as shown in FIG. 7 (g), the image signal output from the imaging unit 12 is digitized by the A / D converter 13 and written into the frame memory 20 in frame units. At the timing indicated by the arrow in FIG.
Output of the image signal from 0 is started.

【0045】なお、図7(f)において電荷蓄積期間を
表すハッチングの部分が斜めになっているのは、本例の
MOS型撮像素子が垂直方向(Y方向)の水平ラインを
順次指定し、それらの水平ライン内で画素信号を順次読
み出すXY選択型の撮像素子であるためであり、図7
(f)のハッチング部分の上端が有効領域の一番上のラ
インのY方向位置、下端が有効領域の一番下のラインの
Y方向位置を表す。すなわち、MOS型撮像素子では電
荷の蓄積時間がライン毎に異なる。
In FIG. 7 (f), the hatched portion indicating the charge accumulation period is oblique because the MOS type image pickup device of this embodiment sequentially designates horizontal lines in the vertical direction (Y direction). This is because the XY-selection type image sensor sequentially reads out pixel signals in these horizontal lines.
The upper end of the hatched portion (f) represents the Y-direction position of the top line of the effective area, and the lower end represents the Y-direction position of the bottom line of the effective area. That is, in the MOS type imaging device, the charge accumulation time differs for each line.

【0046】このようにフレームメモリ20からの読み
出し位置を変えることにより手ぶれ補正を行う場合は、
手ぶれ補正値計算部18で撮像部12の撮像素子からの
出力時点での手ぶれ補正値の計算を行い、これを1フレ
ーム期間後のフレームメモリ20からの読み出しまでの
期間に、フレームメモリ20の読み出し制御部(図示せ
ず)に与えればよい。このようにすると、撮像部12の
撮像素子からの必要のない、つまりデータ記録部18で
記録されない処理対象以外の画素の画像信号出力や、フ
レームメモリ20の無駄な書き込み/読み出しを行わず
に済むため、消費電力を節約することができる。
When the camera shake correction is performed by changing the reading position from the frame memory 20 as described above,
The camera shake correction value calculation unit 18 calculates the camera shake correction value at the time of output from the image sensor of the image pickup unit 12, and this is read out from the frame memory 20 during a period from one frame period until the readout from the frame memory 20. What is necessary is just to give to a control part (not shown). This eliminates the need for unnecessary image signal output from the image sensor of the image pickup unit 12, that is, unnecessary image signal output of pixels other than the processing target that is not recorded by the data recording unit 18 and unnecessary writing / reading of the frame memory 20. Therefore, power consumption can be saved.

【0047】(第3の実施形態)次に、本発明の第3の
実施形態に係る画像入力装置として、第1の実施形態と
基本構成は同一で、撮像素子がMOS型撮像素子の場合
についての手ぶれ補正動作の別の例を記録フレームレー
トが10フレーム/秒の場合を例にとり、図8および図
9を用いて説明する。
(Third Embodiment) Next, as an image input apparatus according to a third embodiment of the present invention, the basic configuration is the same as that of the first embodiment, and the case where the image pickup device is a MOS type image pickup device. Another example of the camera shake correction operation will be described with reference to FIGS. 8 and 9, taking a case where the recording frame rate is 10 frames / second as an example.

【0048】固体撮像素子では、一般に電荷蓄積時間を
変えることで電子的にシャッタ速度を変化させる電子シ
ャッタ機能が付加されており、この電子シャッタの設定
をするか否かはユーザが選択できるようになっている。
図8および図9は、それぞれ電子シャッタの設定がない
場合とある場合の動作を示している。
The solid-state image pickup device generally has an electronic shutter function of electronically changing a shutter speed by changing a charge accumulation time. A user can select whether or not to set the electronic shutter. Has become.
FIG. 8 and FIG. 9 show the operation with and without the setting of the electronic shutter, respectively.

【0049】まず、電子シャッタ設定のない図8の場合
について説明すると、図8(a)に示す手ぶれセンサ1
7からの1/10秒間の手ぶれ検出出力(クロスハッチ
ングで示す)から、手ぶれ補正値算出部18で図8
(b)に示すように手ぶれ補正値が1秒当たり10回算
出され、撮像部12に出力される。撮像部12において
はMOS型撮像素子で図8(c)に示すように、データ
記録部16で記録されるべきクロスハッチングで示す3
フレーム毎の1フレーム期間(図8(a)のクロスハッ
チングで示す手ぶれ検出出力から計算された手ぶれ補正
値に対応する1フレーム期間は、クロスハッチングで示
されている)にわたり電荷を蓄積する。そして、図8
(d)に示すように、撮像部12のMOS型撮像素子か
ら画像信号を出力する。
First, the case of FIG. 8 without the electronic shutter setting will be described. The camera shake sensor 1 shown in FIG.
8 from the camera shake detection output (shown by cross-hatching) for 1/10 second from FIG.
As shown in (b), the camera shake correction value is calculated ten times per second and output to the imaging unit 12. As shown in FIG. 8 (c), the image pickup unit 12 is a MOS type image pickup device.
The electric charge is accumulated for one frame period for each frame (one frame period corresponding to the camera shake correction value calculated from the camera shake detection output indicated by cross hatching in FIG. 8A is indicated by cross hatching). And FIG.
As shown in (d), an image signal is output from the MOS type imaging device of the imaging unit 12.

【0050】図7のMOS型撮像素子は、有効領域を全
てフレームメモリに書き込んだが、この図8(c)では
有効領域の一番上のライン(ラインi)から順次読み出
される。選択領域の一番上のライン(ラインi)の読み
出し開始時点が選択領域の一番下のライン(ラインj)
が電荷蓄積開始時点となる。一番上の変更が蓄積時間の
変動(画像レベルの変動)とならないように、撮像部1
2に対してデータ記録部18で記録される処理対象のフ
レームの電荷蓄積開始前に手ぶれ補正値を与える必要が
ある。図8(c)では、ラインiの電荷蓄積開始時点t
0で、撮像部12に手ぶれ補正値を与えている。このと
き、図8(a)のt0までの3フレーム期間の手ぶれ検
出出力から、t0の時点での手ぶれ検出出力を求めて手
ぶれ補正値を算出する方法がある。
In the MOS type image pickup device shown in FIG. 7, the entire effective area is written in the frame memory, but in FIG. 8C, the effective area is sequentially read from the top line (line i) of the effective area. The read start time of the top line (line i) of the selected region is the bottom line (line j) of the selected region
Is the time when charge accumulation starts. The imaging unit 1 is controlled so that the change at the top does not change the accumulation time (change in image level).
It is necessary to give a camera shake correction value to 2 before the start of charge accumulation of the processing target frame recorded by the data recording unit 18. In FIG. 8C, the charge accumulation start time t of line i
At 0, a camera shake correction value is given to the imaging unit 12. At this time, there is a method of calculating the camera shake correction value by obtaining the camera shake detection output at time t0 from the camera shake detection output for three frame periods up to t0 in FIG.

【0051】また、図8(a)のt0までの手ぶれ検出
出力から、t0より時間的に先の時点の手ぶれ検出出力
を予測し、それに基づいて手ぶれ補正値を算出する方法
も考えられる。例えば、記録すべき処理対象のフレーム
の一番上のラインが撮像素子から出力される時点t1で
の手ぶれ検出出力を予測するか、あるいは当該フレーム
の中央のラインが撮像素子から出力される時点t2での
手ぶれ検出出力を予測するか、あるいは当該フレームの
一番下のラインが撮像素子から出力される時点t3での
手ぶれ検出出力を予測し、これらの予測値から手ぶれ補
正値を算出するようにする。
A method is also conceivable in which a camera shake detection output at a time point earlier than t0 is predicted from the camera shake detection output up to t0 in FIG. 8A, and a camera shake correction value is calculated based thereon. For example, the camera shake detection output at the time t1 at which the top line of the processing target frame to be recorded is output from the image sensor is predicted, or the time t2 at which the center line of the frame is output from the image sensor. Or the camera shake detection output at time t3 at which the bottom line of the frame is output from the image sensor, and calculates the camera shake correction value from these predicted values. I do.

【0052】一方、電子シャッタ設定がなされている図
9の場合は、電子シャッタの設定により、有効蓄積開始
時間がt0より時間的に後であれば、手ぶれ補正値算出
に用いる手ぶれセンサ17からの手ぶれ検出出力の期間
を変更する。図9(a)に示す手ぶれセンサ17からの
1/10秒間の手ぶれ検出出力から、手ぶれ補正値算出
部18で図9(b)に示すように手ぶれ補正値が1秒当
たり10回算出されて撮像部12に出力され、撮像部1
2においてMOS型撮像素子で図9(c)に示すように
データ記録部16で記録されるべきクロスハッチングで
示す3フレーム毎の1フレーム期間にわたり電荷を蓄積
し、図9(d)に示すように撮像部12のMOS型撮像
素子から画像信号を出力する点は、電子シャッタ設定の
ない図8の場合と同様である。
On the other hand, in the case of FIG. 9 in which the electronic shutter is set, if the effective accumulation start time is later than t0 by the setting of the electronic shutter, the signal from the camera shake sensor 17 used for calculating the camera shake correction value is obtained. Change the period of the shake detection output. From the shake detection output for 1/10 second from the shake sensor 17 shown in FIG. 9A, the shake correction value is calculated 10 times per second by the shake correction value calculation unit 18 as shown in FIG. 9B. The image is output to the imaging unit 12 and the imaging unit 1
In FIG. 9, the MOS type image sensor accumulates electric charges over one frame period of every three frames indicated by cross-hatching to be recorded in the data recording section 16 as shown in FIG. 9C, as shown in FIG. The image signal is output from the MOS type image pickup device of the image pickup unit 12 in the same manner as in FIG. 8 without the electronic shutter setting.

【0053】但し、この例では図9(c)に示すよう
に、電子シャッタ設定により有効蓄積時間開始時点t0
が図8(a)の場合に比べて遅くなっており、これに伴
い手ぶれ補正値算出に用いる手ぶれセンサ17からの手
ぶれ検出出力期間も時間的に遅れている。このように手
ぶれ補正のための手ぶれ検出出力期間を電子シャッタ設
定に連動させることで、手ぶれ補正の精度をより上げる
ことができる。
However, in this example, as shown in FIG. 9C, the effective accumulation time start time point t0 is set by the electronic shutter setting.
8A is slower than the case of FIG. 8A, and accordingly, the shake detection output period from the shake sensor 17 used for calculating the shake correction value is also temporally delayed. As described above, by linking the camera shake detection output period for camera shake correction with the electronic shutter setting, the accuracy of camera shake correction can be further improved.

【0054】なお、MOS型撮像素子を用いた場合で
も、第2の実施形態のようにフレームメモリ20を用い
る画像入力装置のときは、手ぶれ補正値の算出を遅らせ
ることができる。例えば、図8または図9の時点t1で
最初のラインを撮像素子が出力し、フレームメモリ20
に記録し始めた時点で手ぶれ補正値の算出を行い、この
手ぶれ補正値をフレームメモリ20の読み出しタイミン
グであるt3の時点までにフレームメモリ20の読み出
し制御部に与えればよい。
Even in the case of using the MOS type image pickup device, the calculation of the camera shake correction value can be delayed in the case of the image input apparatus using the frame memory 20 as in the second embodiment. For example, the image sensor outputs the first line at time t1 in FIG. 8 or FIG.
The camera shake correction value may be calculated at the time when the recording is started, and the camera shake correction value may be given to the read control unit of the frame memory 20 by the time t3 which is the read timing of the frame memory 20.

【0055】(第4の実施形態)図10は、本発明の第
4の実施形態に係る画像入力装置であり、これまでの実
施形態で用いられていたタイミング発生および記録フレ
ーム数設定機能を有する制御部19がタイミング発生お
よび記録解像度設定機能を有する制御部21に置き換え
られた構成となっている。なお、図10(a)は手ぶれ
補正を撮像部12の撮像素子からの読み出し位置を変更
により行う例、図10(b)は手ぶれ補正をフレームメ
モリ20からの読み出し位置の変更により行う例であ
る。
(Fourth Embodiment) FIG. 10 shows an image input apparatus according to a fourth embodiment of the present invention, which has the functions of generating timing and setting the number of recording frames used in the previous embodiments. The configuration is such that the control unit 19 is replaced with a control unit 21 having a function of timing generation and recording resolution setting. 10A shows an example in which the camera shake correction is performed by changing the reading position from the image sensor of the imaging unit 12, and FIG. 10B shows an example in which the camera shake correction is performed by changing the reading position from the frame memory 20. .

【0056】動画像圧縮部15を有する画像入力装置1
0においては、動画像圧縮部15の処理能力の制限か
ら、1フレームの画素数によって記録フレームレートが
制限されてしまう場合が考えられる。例えば、画素数が
CIFの場合は3フレーム/秒で処理可能、QCIF
(CIFの1/4画素)の場合は10フレーム/秒で処
理するという具合である。
Image input device 1 having moving image compression section 15
In the case of 0, the recording frame rate may be limited by the number of pixels in one frame due to the limitation of the processing capability of the moving image compression unit 15. For example, when the number of pixels is CIF, processing can be performed at 3 frames / sec.
In the case of (1 / pixel of CIF), processing is performed at 10 frames / second.

【0057】制御部21は、ユーザからの指示によりユ
ーザが記録したい画像の大きさ、すなわち記録画素数を
選択して設定できるように構成されている。このように
記録画素数を設定すると、制御部21では記録フレーム
レートを自動的に設定する。このように構成することに
より、ユーザは記録フレームレートを意識せずに、記録
したい画像の大きさ(記録画素数)を指示することで、
自動的に記録フレームレートの設定ができる。
The control section 21 is configured so that the user can select and set the size of an image to be recorded, that is, the number of recording pixels, according to an instruction from the user. When the number of recording pixels is set in this way, the control unit 21 automatically sets the recording frame rate. With this configuration, the user can specify the size of the image to be recorded (the number of recording pixels) without being conscious of the recording frame rate,
The recording frame rate can be set automatically.

【0058】このような場合にも、先の実施形態と同様
に記録フレームレートに応じて手ぶれ補正値算出部18
における手ぶれ補正値の算出・出力を行うことで、先の
実施形態と同様の効果を得ることができる。
In such a case as well, the camera shake correction value calculating section 18 according to the recording frame rate as in the previous embodiment.
By calculating and outputting the camera shake correction value in, the same effect as in the previous embodiment can be obtained.

【0059】(第5の実施形態)図11は、本発明の第
5の実施形態に係る画像入力装置であり、画像入力装置
10にモニタ部22が備えられている。すなわち、デー
タ記録部16により記録された画像データが動画像圧縮
部15の動画像伸長機能(局部復号機能)によって伸長
され、内蔵のモニタ部22で再生される。このモニタ部
22は撮像部12での撮影時に被写体の画像を映し出す
モニタとして共用することも可能である。図11(a)
は手ぶれ補正を撮像部12の撮像素子からの読み出し位
置を変更により行う例、図11(b)は手ぶれ補正をフ
レームメモリ20からの読み出し位置の変更により行う
例である。
(Fifth Embodiment) FIG. 11 shows an image input apparatus according to a fifth embodiment of the present invention. The image input apparatus 10 includes a monitor 22. That is, the image data recorded by the data recording unit 16 is expanded by the moving image expansion function (local decoding function) of the moving image compression unit 15 and reproduced by the built-in monitor unit 22. The monitor unit 22 can be shared as a monitor that displays an image of a subject when the image is captured by the imaging unit 12. FIG. 11 (a)
11B illustrates an example in which the camera shake correction is performed by changing the reading position from the image sensor of the imaging unit 12, and FIG. 11B illustrates an example in which the camera shake correction is performed by changing the reading position from the frame memory 20.

【0060】(第6の実施形態)図12は、本発明の第
6の実施形態に係る画像入力装置であり、これまでの実
施形態で用いられていた動画像圧縮部15が静止画圧縮
機能を併せ持つ静止画・動画圧縮部23に置き換えられ
た構成となっている。図12(a)は手ぶれ補正を撮像
部12の撮像素子からの読み出し位置を変更により行う
例、図12(b)は手ぶれ補正をフレームメモリ20か
らの読み出し位置の変更により行う例である。
(Sixth Embodiment) FIG. 12 shows an image input apparatus according to a sixth embodiment of the present invention, in which the moving image compression section 15 used in the previous embodiments has a still image compression function. Is replaced by the still image / moving image compression unit 23 having FIG. 12A shows an example in which the camera shake correction is performed by changing the reading position from the image sensor of the imaging unit 12, and FIG. 12B shows an example in which the camera shake correction is performed by changing the reading position from the frame memory 20.

【0061】画像入力装置10のユーザが制御部21を
介して動画像を撮るか静止画を撮るかを選択すると、画
像入力装置10はこの設定に対応して撮像部12の出力
を選択し、A/D変換器13、信号処理部14を経て静
止画・動画圧縮部23で画像圧縮を行う。この場合、撮
像部12、A/D変換器13、信号処理部14も動画像
入力と静止画入力兼用である。動画像入力の場合は、こ
れまでの実施形態と同様であり、静止画の入力のときは
手ぶれ補正機能を停止し、画像信号は静止画像圧縮を受
けた後、データ記録部16で記録媒体に記録される。静
止画像の圧縮には、JPEGなどの静止画圧縮方法を使
用する。
When the user of the image input device 10 selects whether to take a moving image or a still image via the control unit 21, the image input device 10 selects the output of the imaging unit 12 in accordance with the setting, and The image compression is performed by the still image / moving image compression unit 23 via the A / D converter 13 and the signal processing unit 14. In this case, the imaging unit 12, the A / D converter 13, and the signal processing unit 14 are also used for moving image input and still image input. In the case of inputting a moving image, it is the same as in the previous embodiments. In the case of inputting a still image, the camera shake correction function is stopped, and after the image signal is subjected to the still image compression, the data recording unit 16 stores the image signal in the recording medium. Be recorded. A still image compression method such as JPEG is used for compressing a still image.

【0062】また、静止画像入力の場合、手ぶれ補正用
の余分の画素も読み出して使用することで、解像度が高
い静止画が得られる。勿論、静止画の場合にも制御部2
1で解像度(画素数)を選択できるようにすることも可
能である。
In the case of inputting a still image, a still image with a high resolution can be obtained by reading and using extra pixels for camera shake correction. Of course, even in the case of a still image, the control unit 2
It is also possible to select the resolution (the number of pixels) with 1.

【0063】(第7の実施形態)図13は、本発明の第
7の実施形態に係る画像入力装置であり、パーソナルコ
ンピュータ(PC)との接続を外部接続用ケーブル26
で行うことができるように構成されている。すなわち、
画像入力装置10に内蔵のデータ記録部として設けられ
た半導体メモリ24に画像データが記録され、この画像
データがインタフェース25を介し、さらにケーブル2
6を通してPCに送られる。図13(a)は手ぶれ補正
を撮像部12の撮像素子からの読み出し位置を変更によ
り行う例、図13(b)は手ぶれ補正をフレームメモリ
20からの読み出し位置の変更により行う例である。
(Seventh Embodiment) FIG. 13 shows an image input apparatus according to a seventh embodiment of the present invention, which is connected to a personal computer (PC) by an external connection cable 26.
It is configured so that it can be performed. That is,
Image data is recorded in a semiconductor memory 24 provided as a built-in data recording unit in the image input device 10.
6 to the PC. FIG. 13A illustrates an example in which the camera shake correction is performed by changing the reading position from the image sensor of the imaging unit 12, and FIG. 13B illustrates an example in which the camera shake correction is performed by changing the reading position from the frame memory 20.

【0064】ケーブル26としてはRC−232C、パ
ラレルケーブル、USB、IEEE1394などの規格
化されたものでもよいし、独自仕様のケーブルでもよ
い。データ記録部は、画像入力装置10に内蔵でなく、
前述の実施形態と同様に着脱可能な記録媒体を用いても
構わない。
The cable 26 may be a standardized cable such as RC-232C, parallel cable, USB, IEEE 1394, or a cable of a unique specification. The data recording unit is not built in the image input device 10,
A removable recording medium may be used as in the above-described embodiment.

【0065】(第8の実施形態)図14は、本発明の第
8の実施形態における手ぶれ補正値算出部18の構成を
示している。前述したように、ズームレンズの使用や被
写体との距離によって手ぶれ補正値を変更する必要があ
る場合、動画像圧縮部15(または静止画・動画圧縮部
23)で生成される動きベクトルを使用して手ぶれ補正
値の精度を上げることが有効である。
(Eighth Embodiment) FIG. 14 shows the configuration of a camera shake correction value calculation unit 18 according to an eighth embodiment of the present invention. As described above, when it is necessary to change the camera shake correction value depending on the use of the zoom lens or the distance to the subject, the motion vector generated by the moving image compression unit 15 (or the still image / moving image compression unit 23) is used. It is effective to increase the accuracy of the camera shake correction value.

【0066】すなわち、動画像圧縮部15の内部には一
般に動き補償予測のためにブロック単位の動きベクトル
を生成する動きベクトル検出部が設けられる。このブロ
ック単位の動きベクトルから、画像全体の動きを示す動
きベクトル(マクロ動きベクトルという)を生成する。
マクロ動きベクトルは、ブロック単位の動きベクトルの
画像の全ブロックの平均か多数ブロック、代表ブロック
の平均か多数ブロック、周辺ブロックの平均か多数ブロ
ック、あるいはブロックを重み付けした結果を用いるこ
とができる。
That is, a motion vector detecting section for generating a motion vector in block units for motion compensation prediction is generally provided inside the moving picture compressing section 15. From this block-unit motion vector, a motion vector (referred to as a macro motion vector) indicating the motion of the entire image is generated.
As the macro motion vector, an average or many blocks of all the blocks of the motion vector image of the block unit, an average or many blocks of the representative block, an average or many blocks of the peripheral blocks, or a result obtained by weighting the blocks can be used.

【0067】本実施形態では、このマクロ動きベクトル
を手ぶれ補正値算出部18に入力して、手ぶれセンサ1
7からの手ぶれ検出出力との演算を行い、より手ぶれの
影響を少なくする手ぶれ補正値を算出する。簡単には、
マクロ動きベクトルが大きいほど手ぶれも大きくなる傾
向があるものと判断して、手ぶれ補正値を算出する。但
し、カメラを平行移動して撮影を行う、いわゆるパン撮
影の場合もあるので、手ぶれ補正算出部18では手ぶれ
センサ17からの手ぶれ検出出力とマクロ動きベクトル
を照合して、手ぶれかパン撮影による画像全体の平行移
動かを判断するようにすることが望ましい。例えば、パ
ン撮影の場合、カメラをゆっくりと平行移動させること
が多いので、マクロ動きベクトルは大きいが、ある一方
向を向いていると考えられる。このような場合は、手ぶ
れ補正は行わないようにする。
In the present embodiment, the macro motion vector is input to the camera shake correction value
The calculation is performed with the shake detection output from 7 to calculate a shake correction value that further reduces the influence of the shake. Briefly,
It is determined that camera shake tends to increase as the macro motion vector increases, and a camera shake correction value is calculated. However, since there is a case in which panning is performed by moving the camera in parallel, so-called pan shooting is performed. Therefore, the camera shake correction calculation unit 18 checks a camera shake detection output from the camera shake sensor 17 against a macro motion vector to obtain an image obtained by camera shake or pan shooting. It is desirable to determine whether the translation is the whole translation. For example, in the case of pan photography, since the camera is often moved slowly in parallel, the macro motion vector is large, but it is considered that the camera is directed in a certain direction. In such a case, the camera shake correction is not performed.

【0068】こうして算出された手ぶれ補正値は、先の
実施形態と同様に撮像部12の撮像素子またはフレーム
メモリ20からの読み出し位置の変更に使用される。
The camera shake correction value calculated in this way is used for changing the read position from the image sensor of the image pickup section 12 or the frame memory 20 as in the previous embodiment.

【0069】(第9の実施形態)図15は、本発明の第
9の実施形態における手ぶれ補正値算出部18の構成を
示す図であり、図14の構成に加えてさらにズームレン
ズデータやフォーカスデータ、あるいは被写体との距離
データなどの補助データを参照して手ぶれ補正値を算出
することにより、さらに手ぶれ補正の精度を向上させて
いる。
(Ninth Embodiment) FIG. 15 is a diagram showing a configuration of a camera shake correction value calculating section 18 according to a ninth embodiment of the present invention. In addition to the configuration of FIG. The accuracy of the camera shake correction is further improved by calculating the camera shake correction value with reference to data or auxiliary data such as distance data from the subject.

【0070】(第10の実施形態)MOS型撮像素子
は、CCD型撮像素子と異なり、いわゆるXY選択型の
撮像素子内に画素選択回路を持っている。本発明の画像
入力装置により手ぶれ補正をMOS型撮像素子からの画
素読み出し位置の変更で行う場合、撮像素子へ手ぶれ補
正値を入力する必要がある。
(Tenth Embodiment) A MOS type image pickup device has a pixel selection circuit in a so-called XY selection type image pickup device, unlike a CCD type image pickup device. When the camera shake correction is performed by changing the pixel readout position from the MOS image sensor by the image input device of the present invention, it is necessary to input a camera shake correction value to the image sensor.

【0071】図16は、本発明の第10の実施形態とし
て、撮像部12にMOS型撮像素子30を使用し、これ
に手ぶれ補正値を入力するようにした例を示している。
すなわち、MOS型撮像素子30には画素部31と、そ
の画素位置(XY位置)を選択するための垂直位置選択
部32および水平位置選択部33と、画素部31から読
み出した信号を処理するアナログ処理部34と、処理し
た信号を増幅して出力する出力アンプ35と、撮像部1
2内の撮像素子30外部に設けられた信号発生部37か
らの信号に基づき垂直位置選択部32および水平位置選
択部33に各種のタイミング信号を供給するイメージセ
ンサ内部用信号発生部36とからなる通常の構成に加え
て、手ぶれ補正値デコーダ38が備えられている。信号
発生部37には、前述した制御部19または制御部21
から画素数/フレーム数の設定値が送られてくる。
FIG. 16 shows, as a tenth embodiment of the present invention, an example in which a MOS type image pickup device 30 is used in the image pickup section 12 and a camera shake correction value is input thereto.
That is, the MOS type imaging device 30 includes a pixel section 31, a vertical position selection section 32 and a horizontal position selection section 33 for selecting the pixel position (XY position), and an analog signal for processing a signal read from the pixel section 31. A processing unit 34; an output amplifier 35 that amplifies and outputs the processed signal;
An image sensor internal signal generator 36 that supplies various timing signals to the vertical position selector 32 and the horizontal position selector 33 based on a signal from a signal generator 37 provided outside the image sensor 30 in the image sensor 30. In addition to the normal configuration, a camera shake correction value decoder 38 is provided. The signal generation unit 37 includes the control unit 19 or the control unit 21 described above.
, The set value of the number of pixels / number of frames is sent.

【0072】手ぶれ補正値デコーダ38は、前述した手
ぶれ補正値算出部18から手ぶれ補正値として、垂直上
下方向、水平左右方向のシフト量の情報が入力され、こ
れに基づいて垂直位置選択部32と水平位置選択部33
の選択位置を補正する処理を行う。
The camera shake correction value decoder 38 receives the information of the shift amount in the vertical and vertical directions and the horizontal and horizontal directions as the camera shake correction value from the above-described camera shake correction value calculation unit 18, and based on this information, the vertical position selection unit 32 Horizontal position selector 33
The processing for correcting the selected position is performed.

【0073】図17に示すタイミングチャートを用い
て、本実施形態の動作を説明する。図17(a)に示す
垂直同期信号VD毎に、図17(b)(c)(d)
(e)にそれぞれ示す垂直上シフトパルス、垂直下シフ
トパルス、水平右シフトパルス、水平左シフトパルスが
手ぶれ補正値算出部18から手ぶれ補正値として入力さ
れてくる。図17(b)(c)(d)(e)の各々のパ
ルスの有無がその方向のシフトの有無であり、パルス数
がシフト量を表している。パルス数とシフト量の関係
は、例えば1パルスに対し1画素分シフト、あるいは2
画素分シフトなどのように予め決めておくものとする。
図17の例では、シフトパルスのパルス数とシフト量は
1対1で対応している。また、手ぶれ補正値は処理対象
フレーム、例えばデータ記録部16で記録されるフレー
ムのみに対応して与えればよい。
The operation of this embodiment will be described with reference to the timing chart shown in FIG. 17 (b), (c), and (d) for each vertical synchronization signal VD shown in FIG.
The vertical upper shift pulse, the vertical lower shift pulse, the horizontal right shift pulse, and the horizontal left shift pulse shown in (e) are input from the camera shake correction value calculator 18 as camera shake correction values. The presence or absence of each pulse in FIGS. 17B, 17C, 17D and 17E indicates the presence or absence of a shift in that direction, and the number of pulses indicates the amount of shift. The relationship between the number of pulses and the shift amount is, for example, that one pulse is shifted by one pixel or two pulses.
It is determined in advance such as a shift by a pixel.
In the example of FIG. 17, the number of shift pulses and the shift amount are in one-to-one correspondence. In addition, the camera shake correction value may be given only for a frame to be processed, for example, only a frame recorded by the data recording unit 16.

【0074】手ぶれ補正値デコーダ38は、こうして各
方向のシフトパルスの形で入力されてくる手ぶれ補正値
をデコードして、垂直位置選択部32と水平位置選択部
33に画素部31の読み出し位置の垂直位置シフト量お
よび水平位置シフト量として与える。これにより画素部
31に図17(f)のように蓄積された信号の読み出し
位置が手ぶれ補正値に従って変更され、画素部31から
アナログ処理部34および出力アンプ35を通して撮像
素子31の出力信号が図17(g)のように取り出され
る。
The hand-shake correction value decoder 38 decodes the hand-shake correction value input in the form of a shift pulse in each direction in this manner, and outputs the read position of the pixel unit 31 to the vertical position selection unit 32 and the horizontal position selection unit 33. It is given as a vertical position shift amount and a horizontal position shift amount. As a result, the readout position of the signal stored in the pixel unit 31 as shown in FIG. 17F is changed according to the camera shake correction value, and the output signal of the image sensor 31 from the pixel unit 31 through the analog processing unit 34 and the output amplifier 35 is displayed. 17 (g).

【0075】なお、図17の例では撮像素子31の出力
信号が処理対象のフレームだけ出力される場合を示して
いるが、全フレームを出力しても構わない。
Although the example of FIG. 17 shows the case where the output signal of the image sensor 31 is output only for the frame to be processed, all the frames may be output.

【0076】(第11の実施形態)撮像素子の端子数を
少なくすることは、IC製造の上で大きなコストダウン
となるので、手ぶれ補正値入力端子を極力少なくするこ
とが好ましい。
(Eleventh Embodiment) Since reducing the number of terminals of an image sensor leads to a large cost reduction in manufacturing ICs, it is preferable to reduce the number of input terminals for camera shake correction values as much as possible.

【0077】図18は、その一例として本発明の第11
の実施形態におけるMOS型固体撮像素子30を示す図
であり、図19(a)(b)の垂直同期信号VDおよび
水平同期信号HDに同期させて、図19(c)(d)の
垂直シフト入力および水平シフト入力からなる手ぶれ補
正値の信号をシリアルに時分割で与えることで、端子数
を減らすようにしたものである。
FIG. 18 shows an eleventh example of the present invention.
FIG. 20 is a diagram showing the MOS type solid-state imaging device 30 according to the embodiment of the present invention, which is synchronized with the vertical synchronizing signal VD and the horizontal synchronizing signal HD shown in FIGS. The number of terminals is reduced by serially providing a signal of a camera shake correction value including an input and a horizontal shift input in a time-division manner.

【0078】すなわち、MOS型固体撮像素子30は垂
直シフト入力、水平シフト入力の2個の手ぶれ補正値入
力端子を持ち、垂直シフト入力には上シフトのシフトパ
ルスと下シフトのシフトパルスが時分割で与えられ、水
平シフト入力には右シフトのシフトパルスと左シフトの
シフトパルスが時分割で与えられる。これにより、図1
6の構成では4個必要であった手ぶれ補正値入力端子が
2個に減少し、コストダウンを図ることができる。
That is, the MOS-type solid-state image pickup device 30 has two camera shake correction value input terminals of a vertical shift input and a horizontal shift input, and the vertical shift input is provided with an upper shift pulse and a lower shift pulse in a time division manner. , And the right shift pulse and the left shift pulse are given to the horizontal shift input in a time-division manner. As a result, FIG.
In the configuration of 6, the number of input terminals for correcting the camera shake correction value, which was required four, is reduced to two, and the cost can be reduced.

【0079】(第12の実施形態)図20は本発明の第
12の実施形態として、第11の実施形態をさらに発展
させ、手ぶれ補正値入力端子が1個で済むようにしたM
OS型固体撮像素子30を示している。図21(a)
(b)の垂直同期信号VDおよび水平同期信号HDに同
期させて、図21(c)のように画素シフト入力を手ぶ
れ補正値の信号として与えるようにしている。
(Twelfth Embodiment) FIG. 20 shows a twelfth embodiment of the present invention in which the eleventh embodiment is further developed so that only one camera shake correction value input terminal is required.
1 shows an OS-type solid-state imaging device 30. FIG. 21 (a)
In synchronization with the vertical synchronizing signal VD and the horizontal synchronizing signal HD shown in (b), a pixel shift input is given as a signal of a camera shake correction value as shown in FIG.

【0080】例えば、ある1水平期間taにシフトパル
スが1つ入力されると、期間taは垂直上シフトを示し
ているので、1画素あるいは決められた単位画素分だけ
上方向に撮像素子30からの読み出し位置をずらすよう
にする。水平方向のシフトについても、同様である。す
なわち、本実施形態では垂直同期信号VDの期間におけ
る1水平期間毎に垂直上シフト、垂直下シフト、水平右
シフト、水平左シフトのようにシフト方向が割り当てら
れていることにより、図20のようにMOS型撮像素子
30の手ぶれ補正値入力端子(画素シフト入力端子)は
1個で済むことになる。なお、シフトパルス入力がない
ときは、読み出し位置の変更はない。
For example, when one shift pulse is input in one horizontal period ta, the period ta indicates a vertical upward shift, so that the image sensor 30 moves upward by one pixel or a predetermined unit pixel. Is shifted. The same applies to the horizontal shift. That is, in the present embodiment, the shift direction is assigned such as vertical upward shift, vertical downward shift, horizontal right shift, and horizontal left shift for each horizontal period in the period of the vertical synchronization signal VD, as shown in FIG. In addition, only one camera shake correction value input terminal (pixel shift input terminal) of the MOS type imaging device 30 is required. When there is no shift pulse input, there is no change in the reading position.

【0081】(第13の実施形態)MOS型撮像素子
は、CMOSプロセスで製造可能であるため、同一の半
導体素子上に信号処理回路を搭載することが容易であ
る。本実施形態は、このようなMOS型撮像素子の特徴
を利用して、手ぶれ補正を撮像素子内で行うようにした
ものであり、その構成を図22に示す。
(Thirteenth Embodiment) Since a MOS type image pickup device can be manufactured by a CMOS process, it is easy to mount a signal processing circuit on the same semiconductor device. In the present embodiment, camera shake correction is performed in the image sensor by utilizing such features of the MOS image sensor, and the configuration is shown in FIG.

【0082】図22に示すMOS型撮像素子30は、図
16の構成に加えて内部にA/D変換器41とディジタ
ル処理部42を搭載し、ディジタル画像データを出力す
るように構成されている。ディジタル画像データとして
は、輝度信号および色差信号の組、さらにデータ圧縮を
行った信号などが考えられる。
The MOS type imaging device 30 shown in FIG. 22 has an A / D converter 41 and a digital processing section 42 in addition to the configuration shown in FIG. 16 and is configured to output digital image data. . Examples of the digital image data include a set of a luminance signal and a color difference signal, and a signal obtained by performing data compression.

【0083】このときA/D変換器41でディジタル化
される信号は画素部31からの画素信号であり、撮像素
子1枚でカラー信号を得る画像入力装置の場合、画素部
31上に色フィルタ配列が形成される。ディジタル処理
部42では画素配列信号を処理するが、手ぶれ補正によ
り各フレームの出力画素位置の順序が変わることになる
ので、この際に出力画素位置情報を受けて処理を変更す
る必要がある。
At this time, the signal digitized by the A / D converter 41 is a pixel signal from the pixel unit 31. In the case of an image input device that obtains a color signal with one image sensor, a color filter is provided on the pixel unit 31. An array is formed. The digital processing unit 42 processes the pixel array signal. However, since the order of the output pixel position of each frame changes due to camera shake correction, it is necessary to change the process in response to the output pixel position information.

【0084】そこで、本実施形態では先の手ぶれ補正値
算出部18からの手ぶれ補正値を受ける手ぶれ補正値デ
コーダ43より、出力画素位置情報がディジタル処理部
42に入力され、これに基づいて画素配列信号を処理す
る。この処理について、図23を用いて説明する。
Therefore, in the present embodiment, output pixel position information is input to the digital processing section 42 from the camera shake correction value decoder 43 which receives the camera shake correction value from the previous camera shake correction value calculation section 18, and the pixel arrangement is based on the output pixel position information. Process the signal. This processing will be described with reference to FIG.

【0085】図23は、縦2画素・横2画素で1ユニッ
トを形成するRGB三原色を用いたベイヤ色フィルタ配
列と、画素配列信号の出力順序の関係を示している。図
23にハッチングで示す縦3画素・横4画素を手振れ補
正デコーダ43からの出力画素位置情報信号に基づいて
読み出す場合を仮定すると、画素配列信号の出力順序は
(a)(b)(c)(d)の4種類あることが分かる。
従って、これらの4種類の出力順序の設定を手ぶれ補正
値デコーダ43により、該当フレームの画素を読み出す
前にディジタル処理部42に与え、次の出力画素位置の
設定に合わせた信号処理に変更することにより、正しい
ディジタル画像データを得ることができる。
FIG. 23 shows the relationship between the Bayer color filter array using RGB three primary colors forming one unit with two vertical pixels and two horizontal pixels, and the output order of the pixel array signals. Assuming that three vertical pixels and four horizontal pixels indicated by hatching in FIG. 23 are read out based on the output pixel position information signal from the camera shake correction decoder 43, the output order of the pixel array signals is (a), (b), and (c). It can be seen that there are four types (d).
Therefore, the setting of these four types of output order is given to the digital processing unit 42 by the camera shake correction value decoder 43 before the pixels of the corresponding frame are read, and the signal processing is changed to the signal processing in accordance with the setting of the next output pixel position. Thus, correct digital image data can be obtained.

【0086】[0086]

【発明の効果】以上説明したように、本発明によれば任
意に設定可能な記録フレームレートに応じて手ぶれ補正
値の算出期間と出力タイミングを変更することにより、
複数種類の記録フレームレートに対応して良好な手ぶれ
補正を行うことができる。
As described above, according to the present invention, the calculation period and output timing of the camera shake correction value are changed according to the recording frame rate which can be set arbitrarily.
Good image stabilization can be performed corresponding to a plurality of types of recording frame rates.

【0087】また、手ぶれのために手ぶれ補正値に基づ
き撮像素子からの読み出し位置を変更する場合、記録フ
レームレートが入力フレームレートより低いときは、記
録されるフレームの画像信号のみを撮像手段から読み出
すことによって、消費電力の低減が可能となる。
When the reading position from the image pickup device is changed based on the camera shake correction value due to camera shake, when the recording frame rate is lower than the input frame rate, only the image signal of the frame to be recorded is read from the image pickup means. As a result, power consumption can be reduced.

【0088】さらに、撮像素子からの画像信号を一旦フ
レームメモリに記憶し、手ぶれ補正値に応じてフレーム
メモリからの読み出し位置を変更することで手ぶれ補正
を行う場合には、記録されるフレームの画像信号のみを
フレームメモリに記憶し、前にフレームメモリに記憶し
たフレームの画像信号との間で手ぶれの差を算出してフ
レームメモリから読み出すことで、フレームメモリの無
駄な書き込み/読み出し動作が不要となり、同様に消費
電力の低減が可能となる。
Further, when the image signal from the image sensor is temporarily stored in the frame memory and the position to be read from the frame memory is changed according to the camera shake correction value, the image of the frame to be recorded is corrected. By storing only the signal in the frame memory and calculating the difference between the camera shake and the image signal of the frame previously stored in the frame memory and reading it out from the frame memory, unnecessary writing / reading operations of the frame memory are not required. Similarly, power consumption can be reduced.

【図面の簡単な説明】[Brief description of the drawings]

【図1】 本発明の第1の実施形態に係る画像入力装置
の構成を示すブロック図
FIG. 1 is a block diagram illustrating a configuration of an image input device according to a first embodiment of the present invention.

【図2】 同実施形態におけるデータ記録部への記録デ
ータレートの異なる種々の画像データ記録方法を説明す
る図
FIG. 2 is an exemplary view for explaining various image data recording methods with different recording data rates to a data recording unit in the embodiment.

【図3】 CCD型固体撮像素子の概略構成を示すブロ
ック図
FIG. 3 is a block diagram showing a schematic configuration of a CCD solid-state imaging device;

【図4】 同実施形態における記録データレートが30
フレーム/秒の場合の手ぶれ補正動作を説明するための
タイムチャート
FIG. 4 shows a recording data rate of 30 in the embodiment.
Time chart for explaining image stabilization operation in the case of frame / second

【図5】 同実施形態における記録データレートが10
フレーム/秒の場合の手ぶれ補正動作を説明するための
タイムチャート
FIG. 5 shows a recording data rate of 10 in the embodiment.
Time chart for explaining image stabilization operation in the case of frame / second

【図6】 本発明の第2の実施形態に係る画像入力装置
の構成を示すブロック図
FIG. 6 is a block diagram illustrating a configuration of an image input device according to a second embodiment of the present invention.

【図7】 同実施形態における手ぶれ補正動作を説明す
るための図
FIG. 7 is an exemplary view for explaining a camera shake correction operation in the embodiment.

【図8】 本発明の第3の実施形態における電子シャッ
タ設定なしのときの手ぶれ補正動作を説明するための図
FIG. 8 is a view for explaining a camera shake correction operation when an electronic shutter is not set according to a third embodiment of the present invention.

【図9】 同第3の実施形態における電子シャッタ設定
ありのときの手ぶれ補正動作を説明するための図
FIG. 9 is a view for explaining a camera shake correction operation when an electronic shutter is set in the third embodiment.

【図10】本発明の第4の実施形態に係る画像入力装置
の撮像素子およびフレームメモリの読み出し位置の変更
で手ぶれ補正を行う場合の構成をそれぞれを示すブロッ
ク図
FIG. 10 is a block diagram showing a configuration in a case where camera shake correction is performed by changing a readout position of an image sensor and a frame memory of an image input device according to a fourth embodiment of the present invention.

【図11】本発明の第5の実施形態に係る画像入力装置
の撮像素子およびフレームメモリの読み出し位置の変更
で手ぶれ補正を行う場合の構成をそれぞれを示すブロッ
ク図
FIG. 11 is a block diagram illustrating a configuration in a case where image blur correction is performed by changing the readout position of an image sensor and a frame memory of an image input device according to a fifth embodiment of the present invention.

【図12】本発明の第6の実施形態に係る画像入力装置
の撮像素子およびフレームメモリの読み出し位置の変更
で手ぶれ補正を行う場合の構成をそれぞれを示すブロッ
ク図
FIG. 12 is a block diagram illustrating a configuration in a case where image blur correction is performed by changing a reading position of an image sensor and a frame memory of an image input device according to a sixth embodiment of the present invention.

【図13】本発明の第7の実施形態に係る画像入力装置
の撮像素子およびフレームメモリの読み出し位置の変更
で手ぶれ補正を行う場合の構成をそれぞれを示すブロッ
ク図
FIG. 13 is a block diagram showing a configuration in a case where image blur correction is performed by changing a readout position of an image sensor and a frame memory of an image input device according to a seventh embodiment of the present invention.

【図14】本発明の第8の実施形態に係る手ぶれセンサ
と手ぶれ補正値算出部の構成を示すブロック図
FIG. 14 is a block diagram showing a configuration of a camera shake sensor and a camera shake correction value calculation unit according to an eighth embodiment of the present invention.

【図15】本発明の第9の実施形態に係る手ぶれセンサ
と手ぶれ補正値算出部の構成を示すブロック図
FIG. 15 is a block diagram showing a configuration of a camera shake sensor and a camera shake correction value calculation unit according to a ninth embodiment of the present invention.

【図16】本発明の第10の実施形態に係る画像入力装
置における手ぶれ補正機能を有するMOS型撮像素子を
含む撮像部の構成を示すブロック図
FIG. 16 is a block diagram illustrating a configuration of an imaging unit including a MOS imaging device having a camera shake correction function in an image input device according to a tenth embodiment of the present invention.

【図17】同実施形態における手ぶれ補正動作を説明す
るためのタイムチャート
FIG. 17 is a time chart for explaining a camera shake correction operation in the embodiment.

【図18】本発明の第11の実施形態に係る画像入力装
置における手ぶれ補正機能を有するMOS型撮像素子の
構成を示すブロック図
FIG. 18 is a block diagram illustrating a configuration of a MOS imaging device having a camera shake correction function in an image input device according to an eleventh embodiment of the present invention.

【図19】同実施形態における手ぶれ補正動作を説明す
るためのタイムチャート
FIG. 19 is a time chart for explaining a camera shake correction operation in the embodiment.

【図20】本発明の第12の実施形態に係る画像入力装
置における手ぶれ補正機能を有するMOS型撮像素子の
構成を示すブロック図
FIG. 20 is a block diagram showing a configuration of a MOS image sensor having a camera shake correction function in an image input device according to a twelfth embodiment of the present invention.

【図21】同実施形態における手ぶれ補正動作を説明す
るためのタイムチャート
FIG. 21 is a time chart for explaining a camera shake correction operation in the embodiment.

【図22】本発明の第13の実施形態に係る画像入力装
置における手ぶれ補正機能を有するMOS型撮像素子の
構成を示すブロック図
FIG. 22 is a block diagram showing a configuration of a MOS image sensor having a camera shake correction function in an image input device according to a thirteenth embodiment of the present invention.

【図23】同実施形態におけるMOS型撮像素子からの
読み出し位置変更に伴う処理を説明するための色フィル
タ配列と各画素の読み出し順序を示す図
FIG. 23 is a diagram showing a color filter array and a reading order of each pixel for describing a process associated with a change in a reading position from a MOS image sensor in the embodiment.

【図24】電子的な手ぶれ補正の基本原理を説明するた
めの図
FIG. 24 is a view for explaining the basic principle of electronic image stabilization;

【符号の説明】[Explanation of symbols]

10…画像入力装置 11…撮像レンズ 12…撮像部 13…A/D変換器 14…信号処理部 15…動画像圧縮部 16…データ記録部 17…手ぶれセンサ 18…手ぶれ補正値算出部 19…記録フレーム数設定機能を有する制御部 20…フレームメモリ 21…記録解像度設定機能を有する制御部 22…モニタ部 23…静止画・動画像圧縮部 24…内蔵メモリ 25…インタフェース 26…外部接続用ケーブル 30…MOS型撮像素子 31…画素部 32…垂直位置選択部 33…水平位置選択部 34…アナログ処理部 35…出力アンプ 36…イメージセンサ内部用信号発生部 37…信号発生部 38…手ぶれ補正値デコーダ 41…A/D変換器 42…ディジタル処理部 43…手ぶれ補正値デコーダ DESCRIPTION OF SYMBOLS 10 ... Image input device 11 ... Imaging lens 12 ... Imaging part 13 ... A / D converter 14 ... Signal processing part 15 ... Moving image compression part 16 ... Data recording part 17 ... Camera shake sensor 18 ... Camera shake correction value calculation part 19 ... Recording Control unit having a frame number setting function 20 Frame memory 21 Control unit having a recording resolution setting function 22 Monitor unit 23 Still image / moving image compression unit 24 Internal memory 25 Interface 26 Cable for external connection 30 MOS type imaging device 31 ... Pixel section 32 ... Vertical position selecting section 33 ... Horizontal position selecting section 34 ... Analog processing section 35 ... Output amplifier 36 ... Image sensor internal signal generating section 37 ... Signal generating section 38 ... Image blur correction value decoder 41 ... A / D converter 42 ... Digital processing unit 43 ... Camera shake correction value decoder

フロントページの続き (72)発明者 諸星 利弘 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 福元 富義 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 (72)発明者 岩崎 正生 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内 Fターム(参考) 5C022 AB55 AC01 AC42 AC54 AC75 5C053 GA11 GB07 GB21 GB37 GB40 HC06 KA03 KA25 KA30 LA01 LA11 Continued on the front page (72) Inventor Toshihiro Moroboshi 1 Toshiba-cho, Komukai Toshiba-cho, Kawasaki-shi, Kanagawa Prefecture Inside the Toshiba Research and Development Center Co., Ltd. In the Toshiba R & D Center (72) Inventor Masao Iwasaki 1 in Komukai Toshiba-cho, Saiwai-ku, Kawasaki-shi, Kanagawa F-term in the Toshiba R & D Center 5C022 AB55 AC01 AC42 AC54 AC75 5C053 GA11 GB07 GB21 GB37 GB40 HC06 KA03 KA25 KA30 LA01 LA11

Claims (7)

【特許請求の範囲】[Claims] 【請求項1】被写体の像を撮像して画像信号を出力する
撮像手段と、 前記撮像手段から出力される画像信号を処理する信号処
理手段と、 前記信号処理手段により処理された画像信号を圧縮する
画像圧縮手段と、 前記画像圧縮手段により圧縮された画像信号を記録する
記録手段と、 手ぶれを検出する手ぶれ検出手段と、 前記手ぶれ検出手段からの出力に基づいて手ぶれ補正値
を算出する手ぶれ補正値算出手段と、 前記手ぶれ補正値に従って前記撮像手段からの読み出し
位置を変更して手ぶれ補正を行う手ぶれ補正手段と、 前記記録手段により記録される単位時間当たりのフレー
ム数に応じて前記手ぶれ補正値算出手段の手ぶれ補正値
算出期間を変更する手段とを備えたことを特徴とする画
像入力装置。
An imaging unit that captures an image of a subject and outputs an image signal; a signal processing unit that processes an image signal output from the imaging unit; and a compression unit that compresses the image signal processed by the signal processing unit. Image compression means, recording means for recording an image signal compressed by the image compression means, camera shake detection means for detecting camera shake, and camera shake correction for calculating a camera shake correction value based on an output from the camera shake detection means A value calculation unit, a camera shake correction unit that performs a camera shake correction by changing a reading position from the imaging unit according to the camera shake correction value, and the camera shake correction value according to the number of frames per unit time recorded by the recording unit. Means for changing the camera shake correction value calculation period of the calculation means.
【請求項2】被写体の像を撮像して画像信号を出力する
撮像手段と、 前記撮像手段から出力される画像信号を記憶する記憶手
段と、 前記記憶手段から読み出される画像信号を処理する信号
処理手段と、 前記信号処理手段により処理された画像信号を圧縮する
画像圧縮手段と、 前記画像圧縮手段により圧縮された画像信号を記録する
記録手段と、 手ぶれを検出する手ぶれ検出手段と、 前記手ぶれ検出手段からの出力に基づいて手ぶれ補正値
を算出する手ぶれ補正値算出手段と、 前記手ぶれ補正値に従って前記記憶手段からの読み出し
位置を変更して手ぶれ補正を行う手ぶれ補正手段と、 前記記録手段により記録される単位時間当たりのフレー
ム数に応じて前記手ぶれ補正値算出手段の手ぶれ補正値
算出期間を変更する手段とを備えたことを特徴とする画
像入力装置。
2. An image pickup means for picking up an image of a subject and outputting an image signal; a storage means for storing an image signal output from the image pickup means; and a signal processing for processing an image signal read from the storage means. Means, image compression means for compressing the image signal processed by the signal processing means, recording means for recording the image signal compressed by the image compression means, camera shake detection means for detecting camera shake, and camera shake detection A camera shake correction value calculating unit that calculates a camera shake correction value based on an output from the unit; a camera shake correction unit that performs a camera shake correction by changing a reading position from the storage unit according to the camera shake correction value; and recording by the recording unit. Means for changing the camera shake correction value calculation period of the camera shake correction value calculation means according to the number of frames per unit time to be performed. An image input apparatus according to claim.
【請求項3】前記記録手段により記録される単位時間当
たりのフレーム数をユーザからの指示により設定するた
めの手段を有することを特徴とする請求項1または2記
載の画像入力装置。
3. An image input apparatus according to claim 1, further comprising means for setting the number of frames per unit time recorded by said recording means in accordance with an instruction from a user.
【請求項4】前記記録手段により記録される単位時間当
たりのフレーム数をユーザからの前記記録手段により記
録されるべき画像信号の解像度の指示により設定するた
めの手段を有することを特徴とする請求項1または2記
載の画像入力装置。
4. The apparatus according to claim 1, further comprising means for setting the number of frames per unit time recorded by said recording means in accordance with a user's instruction of the resolution of an image signal to be recorded by said recording means. Item 3. The image input device according to item 1 or 2.
【請求項5】前記記録手段により記録される単位時間当
たりのフレーム数が前記撮像手段から出力可能な画像信
号の単位時間当たりのフレーム数より少ないとき、前記
撮像手段から前記記録手段により記録されるフレームの
画像信号のみを読み出すことを特徴とする請求項1記載
の画像入力装置。
5. When the number of frames per unit time recorded by said recording means is smaller than the number of frames per unit time of an image signal which can be output from said imaging means, said image is recorded by said recording means from said imaging means. 2. The image input device according to claim 1, wherein only the image signal of the frame is read.
【請求項6】前記記憶手段は、前記撮像手段から出力さ
れる画像信号のうち、前記記録手段により記録されるフ
レームの画像信号のみを記憶することを特徴とする請求
項2記載の画像入力装置。
6. An image input apparatus according to claim 2, wherein said storage means stores only an image signal of a frame recorded by said recording means among image signals outputted from said imaging means. .
【請求項7】前記手ぶれ補正値算出手段は、前記手ぶれ
検出手段の出力と前記画像圧縮手段で計算される動きベ
クトルに基づいて算出されることを特徴とする請求項1
または2記載の画像入力装置。
7. The apparatus according to claim 1, wherein said camera shake correction value calculation means is calculated based on an output of said camera shake detection means and a motion vector calculated by said image compression means.
Or the image input device according to 2.
JP10199542A 1998-06-30 1998-06-30 Image input device Withdrawn JP2000023024A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10199542A JP2000023024A (en) 1998-06-30 1998-06-30 Image input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10199542A JP2000023024A (en) 1998-06-30 1998-06-30 Image input device

Publications (1)

Publication Number Publication Date
JP2000023024A true JP2000023024A (en) 2000-01-21

Family

ID=16409567

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10199542A Withdrawn JP2000023024A (en) 1998-06-30 1998-06-30 Image input device

Country Status (1)

Country Link
JP (1) JP2000023024A (en)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006222511A (en) * 2005-02-08 2006-08-24 Seiko Epson Corp Imaging apparatus and camera-shake correction method
JP2007122275A (en) * 2005-10-26 2007-05-17 Casio Comput Co Ltd Motion vector detection device and its program
WO2007063819A1 (en) * 2005-11-29 2007-06-07 Pioneer Corporation Recording device, reproduction device, recording method, recording program, and computer-readable recording medium
JP2007300269A (en) * 2006-04-28 2007-11-15 Seiko Epson Corp Exposure correcting device, photographing device, image restoring device, exposure value setting device, exposure correction value calculation method and control program
JP2008085859A (en) * 2006-09-28 2008-04-10 Canon Inc Imaging apparatus and control method therefor, and imaging system
JP2009501473A (en) * 2005-07-12 2009-01-15 エヌエックスピー ビー ヴィ Method and apparatus for removing motion blur effect
CN101742098B (en) * 2008-11-14 2013-07-24 佳能株式会社 Image pickup apparatus and control method thereof
US8571386B2 (en) 2010-09-16 2013-10-29 Casio Computer Co., Ltd. Motion blur correction device and motion blur correction method
JP2015167397A (en) * 2000-04-04 2015-09-24 スミス アンド ネフュー インコーポレーテッド Method and system for automatic correction of motion artifact
US10880483B2 (en) 2004-03-25 2020-12-29 Clear Imaging Research, Llc Method and apparatus to correct blur in all or part of an image
US11924551B2 (en) 2023-04-10 2024-03-05 Clear Imaging Research, Llc Method and apparatus for correcting blur in all or part of an image

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015167397A (en) * 2000-04-04 2015-09-24 スミス アンド ネフュー インコーポレーテッド Method and system for automatic correction of motion artifact
US11595583B2 (en) 2004-03-25 2023-02-28 Clear Imaging Research, Llc Method and apparatus for capturing digital video
US11165961B2 (en) 2004-03-25 2021-11-02 Clear Imaging Research, Llc Method and apparatus for capturing digital video
US11589138B2 (en) 2004-03-25 2023-02-21 Clear Imaging Research, Llc Method and apparatus for using motion information and image data to correct blurred images
US11812148B2 (en) 2004-03-25 2023-11-07 Clear Imaging Research, Llc Method and apparatus for capturing digital video
US11490015B2 (en) 2004-03-25 2022-11-01 Clear Imaging Research, Llc Method and apparatus for capturing digital video
US11457149B2 (en) 2004-03-25 2022-09-27 Clear Imaging Research, Llc Method and apparatus for capturing digital video
US11627254B2 (en) 2004-03-25 2023-04-11 Clear Imaging Research, Llc Method and apparatus for capturing digital video
US11627391B2 (en) 2004-03-25 2023-04-11 Clear Imaging Research, Llc Method and apparatus for capturing digital video
US11800228B2 (en) 2004-03-25 2023-10-24 Clear Imaging Research, Llc Method and apparatus for capturing digital video
US10880483B2 (en) 2004-03-25 2020-12-29 Clear Imaging Research, Llc Method and apparatus to correct blur in all or part of an image
JP4665541B2 (en) * 2005-02-08 2011-04-06 セイコーエプソン株式会社 Imaging apparatus and camera shake correction method
JP2006222511A (en) * 2005-02-08 2006-08-24 Seiko Epson Corp Imaging apparatus and camera-shake correction method
US8559751B2 (en) 2005-07-12 2013-10-15 Nxp B.V. Method and device for removing motion blur effects
JP2009501473A (en) * 2005-07-12 2009-01-15 エヌエックスピー ビー ヴィ Method and apparatus for removing motion blur effect
US8320452B2 (en) 2005-10-26 2012-11-27 Casio Computer Co., Ltd. Imaging apparatus with motion vector detecting function
JP2007122275A (en) * 2005-10-26 2007-05-17 Casio Comput Co Ltd Motion vector detection device and its program
WO2007063819A1 (en) * 2005-11-29 2007-06-07 Pioneer Corporation Recording device, reproduction device, recording method, recording program, and computer-readable recording medium
JP2007300269A (en) * 2006-04-28 2007-11-15 Seiko Epson Corp Exposure correcting device, photographing device, image restoring device, exposure value setting device, exposure correction value calculation method and control program
US7978226B2 (en) 2006-09-28 2011-07-12 Canon Kabushiki Kaisha Imaging apparatus and system adopting extraction-type, camera shake correction, and control method thereof
JP2008085859A (en) * 2006-09-28 2008-04-10 Canon Inc Imaging apparatus and control method therefor, and imaging system
CN101742098B (en) * 2008-11-14 2013-07-24 佳能株式会社 Image pickup apparatus and control method thereof
US8571386B2 (en) 2010-09-16 2013-10-29 Casio Computer Co., Ltd. Motion blur correction device and motion blur correction method
US11924551B2 (en) 2023-04-10 2024-03-05 Clear Imaging Research, Llc Method and apparatus for correcting blur in all or part of an image

Similar Documents

Publication Publication Date Title
US8174589B2 (en) Image sensing apparatus and control method therefor
US8638374B2 (en) Image pickup apparatus, image pickup system, and image pickup method
US7432958B2 (en) Image pickup apparatus with function of adjusting incident light quantity
WO2009098877A1 (en) Image processing device and image processing method
US20060119903A1 (en) Imaging apparatus and imaging method
US20080101710A1 (en) Image processing device and imaging device
US8767096B2 (en) Image processing method and apparatus
JPH06253251A (en) Digital electronic camera device
JP2000341577A (en) Device and method for correcting camera shake
US6876386B1 (en) Digital camera with downsampling and zoom processing and method of controlling operation of same
JP4605217B2 (en) Imaging apparatus and program thereof
JP2006148861A (en) Image signal processing device and method
CN101616263A (en) Camera head
KR20060007225A (en) Auto-stabilization method in control of driving image pickup device and reading memory and apparatus thereof
US20060044420A1 (en) Image pickup apparatus
JP2015053741A (en) Image reproduction device
JP2000134549A (en) Solid-state image pickup device
JP2000023024A (en) Image input device
JP6118118B2 (en) Imaging apparatus and control method thereof
JP2005236662A (en) Imaging method, imaging device, and imaging system
JP2006148550A (en) Image processor and imaging device
KR20090066192A (en) Apparatus for writing, method of writing, apparatus for playing, method of playing, and computer readable medium for recording program
JPH1175105A (en) Still image camera
US20100135644A1 (en) Photographing apparatus and method of controlling the same
JP4288992B2 (en) Imaging apparatus and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050311

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20070702