JP2009272890A - Image processing apparatus and method, and imaging device - Google Patents

Image processing apparatus and method, and imaging device Download PDF

Info

Publication number
JP2009272890A
JP2009272890A JP2008121667A JP2008121667A JP2009272890A JP 2009272890 A JP2009272890 A JP 2009272890A JP 2008121667 A JP2008121667 A JP 2008121667A JP 2008121667 A JP2008121667 A JP 2008121667A JP 2009272890 A JP2009272890 A JP 2009272890A
Authority
JP
Japan
Prior art keywords
unit
correction amount
signal
correction
shake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008121667A
Other languages
Japanese (ja)
Inventor
Masafumi Takiguchi
雅史 瀧口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2008121667A priority Critical patent/JP2009272890A/en
Publication of JP2009272890A publication Critical patent/JP2009272890A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To optimally correct the image blurring arising when a user is doing a shoot with a digital camera in one hand, or in other cases. <P>SOLUTION: The blurring caused when imaged by a camera as represented by the image blurring due to camera shake has a low-pass frequency component of great intensity, and the intensity is decreased at higher-pass frequency. The high-frequency image blurring component, which has relatively low intensity, is corrected by an optical correction means without degradation in the taken image due to exposure time or the like. At the same time, the low-frequency image blurring component ensures almost no degradation in the taken image even in the event of correction using an electronic correction means. Further, combination with the optical correction means ensures significantly large correction angles, thereby allowing proper correction even for high-intensity image blurring. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は、画像情報を処理する画像処理装置及び画像処理方法、並びに撮影装置に係り、特に、固体撮像素子などを用いて撮影された画像情報を処理する画像処理装置及び画像処理方法、並びに撮影装置に関する。   The present invention relates to an image processing apparatus, an image processing method, and an imaging apparatus that process image information, and in particular, an image processing apparatus, an image processing method, and an imaging process that process image information captured using a solid-state imaging device or the like. Relates to the device.

さらに詳しくは、本発明は、ユーザがデジタルカメラを片手で撮影操作した際などに生じる手振れ、さらには、撮影者が歩行中等にビデオカメラで撮影した際に生じる振幅の大きい振れを補正する画像処理装置及び画像処理方法、並びに撮影装置に係り、特に、振れの周波数の低域成分並びに高域成分に適した補正手段を用いて補正範囲を拡大し、大振幅の振れを補正する画像処理装置及び画像処理方法、並びに撮影装置に関する。   More specifically, the present invention relates to image processing that corrects camera shake that occurs when a user performs a shooting operation of a digital camera with one hand, and also shakes that have a large amplitude that occurs when a photographer takes a video camera while walking or the like. The present invention relates to an apparatus, an image processing method, and a photographing apparatus, and in particular, an image processing apparatus that expands a correction range using correction means suitable for a low-frequency component and a high-frequency component of a shake frequency and corrects a shake with a large amplitude. The present invention relates to an image processing method and a photographing apparatus.

最近、フィルムや感光板を使って撮影する銀塩カメラに代わって、光電変換及び蓄積を行なう画素配列の受光部をフォトダイオードにより構成した固体撮像素子で画像をキャプチャしデジタル符号処理して保存するデジタルカメラが広範に普及している。固体撮像素子として、例えばCCD(Charge Coupled Device:電荷結合素子)やCMOS(Comprementary Metal Oxide Semiconductor:相補型金属酸化物半導体)を挙げることができる。例えばCMOSセンサは、CCDセンサに比べて消費電力が小さいことや、単一の低電圧で駆動され、周辺海路と一体化が容易であるといった利点がある。   Recently, in place of a silver salt camera that shoots using a film or a photosensitive plate, an image is captured by a solid-state imaging device in which a light receiving portion of a pixel array that performs photoelectric conversion and accumulation is configured by a photodiode, and is subjected to digital code processing and stored. Digital cameras are widespread. Examples of the solid-state imaging device include a CCD (Charge Coupled Device) and a CMOS (Complementary Metal Oxide Semiconductor: complementary metal oxide semiconductor). For example, a CMOS sensor has advantages that it consumes less power than a CCD sensor, and is driven by a single low voltage and can be easily integrated with the surrounding sea.

この種のデジタルカメラは、静止画を撮影するデジタルスチルカメラ、あるいは動画を撮影するデジタルビデオカメラに大別することもできるが、多くの製品は小型で、携帯することや片手で簡単に操作することが可能である。   This type of digital camera can be roughly divided into a digital still camera that captures still images or a digital video camera that captures moving images, but many products are small and can be carried or easily operated with one hand. It is possible.

一方、片手でカメラを保持することが多くなると、撮影時に手振れを生じ易くなり、撮影した画像もぶれてしまう。さらには、従来の手振れ補正機能付きカメラの場合、歩行中の撮影時等の振幅の大きい振れに対しては補正が十分に効かず、撮影画像は大きくぶれてしまう。揺れを含んだ映像を視聴すると、映像酔いをもたらす危険をはらんでいる。また、近年のテレビの大型化により家庭の視聴環境は大画面化の傾向となっており、映像酔いの危険はさらに高くなってきている。揺れが特に酷い場合には、吐き気や頭痛といった人体への影響が生じるため、映像の安全性にも係わる問題である。   On the other hand, if the camera is often held with one hand, camera shake tends to occur during photographing, and the photographed image is blurred. Furthermore, in the case of a conventional camera with a camera shake correction function, correction is not sufficiently effective for a shake with a large amplitude such as when shooting while walking, and the captured image is greatly shaken. Watching video that includes shaking is dangerous for video sickness. In addition, with the recent increase in the size of televisions, the viewing environment of homes tends to increase in screen size, and the risk of video sickness is further increased. When the shaking is particularly severe, there is an effect on the human body such as nausea and headache, which is a problem related to the safety of the video.

現在のデジタルカメラには、手振れ補正技術を搭載したモデルもある。補正方式として、光学的防振機構を移動させることによって像ぶれの補正を行なう光学的補正方式と、撮像素子から映像を切り出す範囲を変化させることにより像ぶれの補正を行なう電子的補正方式を挙げることができる。   Some current digital cameras are equipped with image stabilization technology. Examples of the correction method include an optical correction method that corrects image blur by moving an optical image stabilization mechanism, and an electronic correction method that corrects image blur by changing the range in which an image is cut out from the image sensor. be able to.

光学的補正方式として、CCDの撮像面に被写体像を結像させる複数のレンズからなる光学系の中に、シフトレンズを有するシフトユニットを介在させ、手振れにより撮像面上に像ぶれが生じたときにシフトレンズを移動させて、撮像面上の同じ位置に結像させるシフト方式が知られている(例えば、特許文献1を参照のこと)。   As an optical correction method, when a shift unit having a shift lens is interposed in an optical system consisting of a plurality of lenses for forming a subject image on the CCD imaging surface, and image blurring occurs on the imaging surface due to camera shake. A shift method is known in which the shift lens is moved to form an image at the same position on the imaging surface (see, for example, Patent Document 1).

また、電子的補正方式として、例えば、X−Yアドレス型のCMOSセンサではライン間で露光期間にずれが生じるため1フレーム内で得られた手振れ情報から算出された単一の値で手振れ補正を行なっても完全に除去できないという問題に鑑み、1フレームの間に得られた手振れ情報からライン毎の手振れ補正量を生成して画像データの読み出し位置を決定する情報処理装置について提案がなされている(例えば、特許文献2を参照のこと)。   In addition, as an electronic correction method, for example, in an XY address type CMOS sensor, a deviation occurs in the exposure period between lines, so that the camera shake correction is performed with a single value calculated from the camera shake information obtained in one frame. In view of the problem that even if it is performed, it cannot be completely removed, an information processing apparatus has been proposed that determines a reading position of image data by generating a camera shake correction amount for each line from camera shake information obtained during one frame. (See, for example, Patent Document 2).

しかしながら、いずれの手振れ補正方式においても幾つかの制約があるため、手振れによる像ぶれの影響を十分に除去することができないという問題がある。   However, since there are some restrictions in any camera shake correction method, there is a problem that the influence of image blur due to camera shake cannot be sufficiently removed.

光学的補正では、防振レンズなどを移動して光学的にぶれ補正を行なう際に撮像素子上の像に「けられ」などが生じないための光学的制約や、レンズの移動範囲に依る機械的制約があるため、例えば、現在の標準的な小型カメラでは±0.3度以内の補正範囲しか得ることができない。大きな補正範囲を得るためには、レンズ群、および、防振機構駆動部の大型化が必要なため、通常の小型カメラにおいては最小限の補正範囲に止められている。すなわち、その補正角度を超えるぶれは、原理的に補正することができない。例えば、撮影者が静かに歩行中であっても、その補正角度を超える±1度以上のぶれが生じてしまうことが一般的であり、光学的補正のみでは撮影された映像は像ぶれが大きく不快な映像になってしまう。すなわち、光学的補正によれば低振幅、高周波成分の(小刻みな)手振れに敏感に対応することはできるが、歩行中に生じる比較的大きな振幅の手振れに対応することはできない。   In optical correction, when moving an anti-vibration lens, etc., and performing optical blur correction, there are optical constraints to prevent the image on the image sensor from being garbled, and a machine that depends on the lens movement range. For example, with a current standard small camera, only a correction range within ± 0.3 degrees can be obtained. In order to obtain a large correction range, it is necessary to increase the size of the lens group and the anti-vibration mechanism driving unit, so that the minimum correction range is kept in a normal small camera. That is, shake exceeding the correction angle cannot be corrected in principle. For example, even when the photographer is walking quietly, a blur of ± 1 degree or more exceeding the correction angle is generally generated, and the image taken with the optical correction alone has a large image blur. It becomes an unpleasant image. In other words, the optical correction can respond sensitively to camera shakes of low amplitude and high frequency components (not small), but cannot handle camera shakes of relatively large amplitude that occur during walking.

一方、電子的補正には、近年の撮像素子の高画素化によって補正範囲の拡大は比較的容易となってきているが、映像信号の更新周波数規格の制約があるため、手振れがこの更新周波数以上の高周波となるときには補正は不可能である。また、更新周波数以内であっても、露光時間などの制約のために、ぶれの周波数の高域成分によって映像が不明瞭になってしまう。すなわち、電子的補正では、撮像素子の出力画像と表示若しくは記録用画像のマージンの範囲内で(光学的補正の補正角度の制約を超えて)、より大きな振幅の手振れに対応することはできるが、高周波成分の手振れに対応することはできない。   On the other hand, for electronic correction, the expansion of the correction range has become relatively easy due to the recent increase in the number of pixels of the image sensor. However, due to restrictions on the update frequency standard of the video signal, camera shake exceeds this update frequency. Correction is impossible when the frequency becomes high. Even within the update frequency, the image becomes unclear due to the high frequency component of the blur frequency due to restrictions such as the exposure time. That is, in the electronic correction, it is possible to cope with a larger amplitude camera shake within the margin between the output image of the image sensor and the display or recording image (beyond the restriction of the correction angle of the optical correction). It cannot cope with camera shake of high frequency components.

例えば、光学式手振れ補正手段と電子的手振れ補正手段の双方を備えた撮影装置について提案がなされている(例えば、特許文献3を参照のこと)。この撮影装置は、光学式手振れ補正では防振のためのアクチュエータ駆動のために消費電力が増大し、電子式手振れ補正では撮像素子の出力画像の一部を切り出すために解像度が劣化するという、各々の問題を考慮して、ズームして遠い風景を撮るときには光学式手振れ補正手段を選択して画質の劣化を抑えるとともに、広角撮影には画質劣化が目立たないので電子式手振れ補正手段を選択して低消費電力化を図るように構成されている。また、手振れの高周波成分の量が所定値を超える場合は光学式手振れ補正手段を選択して画質の劣化を抑え、所定値以下の場合は画質劣化が目立たないので電子式手振れ補正手段を選択して低消費電力化を図るように構成されている。しかしながら、このように焦点距離、あるいは、手振れの高周波成分量に応じて手振れ補正手段を択一的に選択するという手振れ補正方法では、手振れ補正の補正範囲を拡大することはできないため、例えば歩行中にズームして遠い風景を撮影する際には、光学式手振れ補正手段のみが動作するので、補正角度の制約のために、歩行に伴う大きなうねり上の手振れを十分に除去することはできないであろう。   For example, an imaging apparatus including both an optical camera shake correcting unit and an electronic camera shake correcting unit has been proposed (see, for example, Patent Document 3). In this imaging apparatus, power consumption increases due to actuator driving for image stabilization in optical camera shake correction, and resolution deteriorates in order to cut out part of the output image of the image sensor in electronic camera shake correction. Considering this problem, select the optical image stabilization unit to reduce image quality degradation when zooming and shooting distant scenery, and select the electronic image stabilization unit as image quality degradation is not noticeable for wide-angle shooting. It is configured to reduce power consumption. Also, if the amount of high-frequency component of camera shake exceeds a predetermined value, the optical camera shake correction unit is selected to suppress the deterioration of the image quality, and if it is less than the predetermined value, the image quality deterioration is not noticeable, so the electronic camera shake correction unit is selected. Thus, the power consumption is reduced. However, in the camera shake correction method in which the camera shake correction means is selectively selected according to the focal length or the amount of high frequency component of the camera shake in this way, the correction range of the camera shake correction cannot be expanded. When shooting a distant landscape by zooming in, only the optical camera shake correction unit operates, so due to the restriction of the correction angle, it is not possible to sufficiently eliminate camera shake on large undulations due to walking. Let's go.

特開2000−75337号公報JP 2000-75337 A 特開2004−266322号公報JP 2004-266322 A 特開平7−123317号公報JP-A-7-123317

本発明の目的は、固体撮像素子などを用いて撮影された画像情報を好適に処理することができる、優れた画像処理装置及び画像処理方法、並びに撮影装置を提供することにある。   An object of the present invention is to provide an excellent image processing apparatus, image processing method, and imaging apparatus capable of suitably processing image information captured using a solid-state imaging device or the like.

本発明のさらなる目的は、ユーザがデジタルカメラを片手で撮影操作した際などに生じる手振れ、さらには、撮影者が歩行中等にビデオカメラで撮影した際に生じる振幅の大きい振れを好適に補正することができる、優れた画像処理装置及び画像処理方法、並びに撮影装置を提供することにある。   A further object of the present invention is to suitably correct camera shake that occurs when a user performs a shooting operation of a digital camera with one hand, and furthermore, shake that has a large amplitude that occurs when a photographer takes a picture with a video camera while walking or the like. It is an object of the present invention to provide an excellent image processing apparatus, image processing method, and photographing apparatus.

本発明のさらなる目的は、手振れの周波数の低域成分並びに高域成分に適した補正手段を用いて補正範囲を拡大し、大振幅の振れを補正することができる、優れた画像処理装置及び画像処理方法、並びに撮影装置を提供することにある。   A further object of the present invention is to provide an excellent image processing apparatus and image capable of correcting a large-amplitude shake by expanding a correction range using correction means suitable for low-frequency components and high-frequency components of camera shake frequency. A processing method and an imaging device are provided.

本発明は、上記課題を参酌してなされたものであり、
被写体を撮影するカメラ撮影部に印加されたぶれを検出するぶれ検出部と、
前記ぶれ検出部で検出されたぶれ信号を処理する信号処理部と、
前記信号処理部により処理されたぶれ信号の高域成分を基に光学的補正量を算出する光学的補正量計算部と、
前記信号処理部により処理されたぶれ信号の低域成分を基に電子的補正量を算出する電子的補正量計算部と、
前記光学的補正量に従って前記カメラ撮影部に対して光学的補正を行なう光学的補正手段と、
前記電子的補正量に従って前記カメラ撮影部による撮影画像に対して電子的補正を行なう電子的補正手段と、
を具備することを特徴とする画像処理装置である。
The present invention has been made in consideration of the above problems,
A shake detection unit that detects a shake applied to a camera shooting unit that shoots a subject;
A signal processing unit for processing a shake signal detected by the shake detection unit;
An optical correction amount calculation unit that calculates an optical correction amount based on a high frequency component of a blur signal processed by the signal processing unit;
An electronic correction amount calculation unit that calculates an electronic correction amount based on a low frequency component of a blur signal processed by the signal processing unit;
Optical correction means for performing optical correction on the camera photographing unit according to the optical correction amount;
Electronic correction means for performing electronic correction on an image captured by the camera photographing unit according to the electronic correction amount;
An image processing apparatus comprising:

小型に構成されたデジタルカメラにおいては、ユーザが片手で撮影などを行なう際に手振れを生じ易く、手振れ補正技術を搭載することが必須となりつつある。しかしながら、光学的補正方式では、光学的並びに機械的制約のために一定の補正角度を超える手振れを補正することができず、電子的補正方式では更新周波数規格の制約により、手振れの周波数の高周波成分を補正することはできない。すなわち、いずれか一方の補正方式のみを用いると、除去できない手振れが残ってしまう。   In a digital camera configured in a small size, camera shake tends to occur when a user performs shooting with one hand, and it is becoming essential to install a camera shake correction technique. However, in the optical correction method, camera shake exceeding a certain correction angle cannot be corrected due to optical and mechanical constraints, and in the electronic correction method, the high frequency component of the hand shake frequency due to the restriction of the update frequency standard. Cannot be corrected. That is, if only one of the correction methods is used, camera shake that cannot be removed remains.

これに対し、本発明に係る画像処理装置は、光学的補正手段と電子的補正手段を組み合わせることによって、ぶれ補正角度を(光学的補正における補正角度の制約を超え)飛躍的に向上させることができる。また、両補正手段を単に組み合わせるのではなく、撮影画像に含まれる手振れの周波数成分に応じてそれぞれの補正処理の役割を分担することによって、良質な映像を得るようにしている。   On the other hand, the image processing apparatus according to the present invention can dramatically improve the shake correction angle (beyond the limitation of the correction angle in the optical correction) by combining the optical correction unit and the electronic correction unit. it can. In addition, instead of simply combining the two correction means, a high-quality video is obtained by sharing the role of each correction process according to the frequency component of camera shake included in the photographed image.

手振れに代表されるカメラのぶれは、周波数の低域成分の強度が大きく、高域になるにしたがって強度が減少するという特徴がある。そこで、周波数が高いぶれ成分は比較的強度が小さいことから、光学的補正手段で補正することで、露光時間などによる撮影画像の劣化なく補正することが可能である。一方、(更新周波数規格内となるような)周波数が低いぶれ成分は、電子的補正手段で補正しても撮影画像の劣化がほとんどなく、さらに、光学的補正手段と組み合わせることで飛躍的に大きい補正角度を得ることができるので、ぶれの強度が大きい場合でも十分な補正が可能である。   Camera shake typified by camera shake has a feature that the intensity of the low frequency component of the frequency is large and the intensity decreases as the frequency becomes high. Therefore, since a blur component having a high frequency has a relatively low intensity, it can be corrected without deterioration of a captured image due to an exposure time or the like by correcting with an optical correction unit. On the other hand, the blur component having a low frequency (within the update frequency standard) is hardly deteriorated even when corrected by the electronic correction means, and is greatly increased when combined with the optical correction means. Since the correction angle can be obtained, sufficient correction is possible even when the blur intensity is large.

本発明によれば、固体撮像素子などを用いて撮影された画像情報を好適に処理することができる、優れた画像処理装置及び画像処理方法、並びに撮影装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the outstanding image processing apparatus and image processing method which can process suitably the image information image | photographed using the solid-state image sensor etc., and an imaging device can be provided.

また、本発明によれば、ユーザがデジタルカメラを片手で撮影操作した際などに生じる手振れを好適に補正することができる、優れた画像処理装置及び画像処理方法、並びに撮影装置を提供することができる。   In addition, according to the present invention, it is possible to provide an excellent image processing apparatus, image processing method, and photographing apparatus that can suitably correct a camera shake that occurs when a user performs a photographing operation of a digital camera with one hand. it can.

また、本発明によれば、手振れの周波数の低域成分並びに高域成分をともに補正することができる、優れた画像処理装置及び画像処理方法、並びに撮影装置を提供することができる。   Furthermore, according to the present invention, it is possible to provide an excellent image processing apparatus, image processing method, and photographing apparatus that can correct both the low-frequency component and the high-frequency component of the camera shake frequency.

本発明に係る画像処理装置によれば、飛躍的に拡大したぶれ補正角と、良質な映像を両立できるので、歩行中にビデオカメラで撮影するようなカメラのぶれが大きい状況であっても、映像ぶれを補正することができる。   According to the image processing apparatus according to the present invention, since it is possible to achieve both a shake correction angle that has been dramatically expanded and a good quality image, even in situations where the camera shake is large such as when shooting with a video camera while walking, Image blur can be corrected.

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。   Other objects, features, and advantages of the present invention will become apparent from more detailed description based on embodiments of the present invention described later and the accompanying drawings.

以下、図面を参照しながら本発明の実施形態について詳解する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図1には、本発明の一実施形態に係る画像処理装置100の機能的構成を示している。画像処理装置100の一例は、CCDやCMOSなどの固体撮像素子を利用したデジタルビデオカメラである。   FIG. 1 shows a functional configuration of an image processing apparatus 100 according to an embodiment of the present invention. An example of the image processing apparatus 100 is a digital video camera using a solid-state image sensor such as a CCD or a CMOS.

図示の画像処理装置100は、ぶれ検出部101と、信号処理部102と、光学的補正量計算部103と、防振機構駆動部104と、防振機構105と、電子的補正量計算部106と、撮像素子107と、画像切り出し部108と、画像補間部109を備え、手振れに対して光学的補正方式と電子的補正方式の双方を備えた構成を採用している。   The illustrated image processing apparatus 100 includes a shake detection unit 101, a signal processing unit 102, an optical correction amount calculation unit 103, an image stabilization mechanism drive unit 104, an image stabilization mechanism 105, and an electronic correction amount calculation unit 106. In addition, the image pickup device 107, the image cutout unit 108, and the image interpolation unit 109 are provided, and a configuration including both an optical correction method and an electronic correction method for camera shake is employed.

ぶれ検出部101は、例えば角速度センサのようなぶれに応じて出力信号が変化する素子と、専用の信号処理及び増幅回路で構成される。または、撮像素子から得られる画像情報の時間的変化量を用いてもよい。以下、ぶれ検出部101に角速度センサを用いた例について説明する。ぶれ検出部101によるぶれ検出信号は、本発明を実現する上での主要構成要素である信号処理部102に出力され、光学的補正及び電子的補正のそれぞれに最適な周波数特性を持つ信号に変換され、光学的補正量計算部103並びに電気的補正量計算部106にそれぞれ供給される。   The shake detection unit 101 includes an element whose output signal changes according to shake, such as an angular velocity sensor, and a dedicated signal processing and amplification circuit. Alternatively, a temporal change amount of image information obtained from the image sensor may be used. Hereinafter, an example in which an angular velocity sensor is used for the shake detection unit 101 will be described. The shake detection signal from the shake detection unit 101 is output to the signal processing unit 102, which is a main component for realizing the present invention, and converted into a signal having frequency characteristics optimum for optical correction and electronic correction. And supplied to the optical correction amount calculation unit 103 and the electrical correction amount calculation unit 106, respectively.

手振れに代表されるカメラのぶれは、周波数の低域成分の強度が大きく、高域になるにしたがって強度が減少するという特徴がある。これに対し、光学的補正方式では、光学的並びに機械的制約のために一定の補正角度を超える手振れを補正することができず、電子的補正方式では更新周波数規格の制約により、手振れの周波数の高周波成分を補正することはできない。   Camera shake typified by camera shake has a feature that the intensity of the low frequency component of the frequency is large and the intensity decreases as the frequency becomes high. On the other hand, the optical correction method cannot correct camera shake exceeding a certain correction angle due to optical and mechanical constraints, and the electronic correction method cannot reduce the camera shake frequency due to the restriction of the update frequency standard. High frequency components cannot be corrected.

そこで、本実施形態では、信号処理部102は、ぶれ検出部101から入力するぶれ検出信号のうち比較的強度が小さい高域成分を抽出して、光学的補正量計算部103に供給して、光学的及び機械的制約内にて光学的補正を施すことで、露光時間などによる撮影画像の劣化なく補正することが可能である。また、信号処理部102は、ぶれ検出信号のうち(更新周波数規格内となるような)低域成分を抽出して、電子的補正量計算部106に供給して、更新周波数規格内にて電子的補正を施すことで、撮影画像を劣化させることがない。なお、ぶれ検出部101から入力されるぶれ信号は角速度であるのに対し、後段の光学的補正並びに電子的補正における制御量は角度であることから、信号処理部102は、角速度信号から角度信号への変換(積分処理)を行なう必要がある。   Therefore, in the present embodiment, the signal processing unit 102 extracts a high frequency component having a relatively low intensity from the shake detection signal input from the shake detection unit 101, and supplies the high frequency component to the optical correction amount calculation unit 103. By performing optical correction within optical and mechanical constraints, it is possible to correct the captured image without deterioration due to exposure time or the like. In addition, the signal processing unit 102 extracts a low-frequency component (such as being within the update frequency standard) from the shake detection signal, supplies the low-frequency component to the electronic correction amount calculation unit 106, and outputs the electronic component within the update frequency standard. By applying the correction, the captured image is not deteriorated. Note that the shake signal input from the shake detection unit 101 is an angular velocity, whereas the control amount in the subsequent optical correction and electronic correction is an angle. Therefore, the signal processing unit 102 converts the angular velocity signal into an angular signal. It is necessary to perform conversion to (integration processing).

信号処理部102から出力される、光学的補正用の比較的強度が小さい高域成分からなるぶれ信号は、光学的補正量計算部103によって、光学的補正量に変換された後、防振機構駆動部104に供給され、光学的補正量分だけ防振機構105を駆動して、手振れの高域成分の除去を行なう。なお、ぶれ信号から光学的補正量を計算する方法自体は当業界で周知であることから、本明細書では詳細な説明を省略する。   A blur signal consisting of a high-frequency component with relatively low intensity for optical correction output from the signal processing unit 102 is converted into an optical correction amount by the optical correction amount calculation unit 103, and then a vibration isolation mechanism. The anti-shake mechanism 105 is driven by the optical correction amount supplied to the drive unit 104 to remove the high-frequency component of camera shake. Note that the method of calculating the optical correction amount from the blur signal is well known in the art, and thus detailed description thereof is omitted in this specification.

ここで、防振機構105は、例えばマグネットとコイルからなるアクチュエータで構成され、平面内で移動可能な防振レンズ(図示しない)を駆動するように配設されている。防振レンズは、撮像素子107の撮像面に被写体像を結合させる複数のレンズ光学系の光軸上に介在している。そして、防振機構駆動部104が光学的補正量に応じて防振機構105により防振レンズを作動させて、撮像面上の同じ位置に結像させるよう、防振レンズを通過する光束に対しぶれ補正が施される。   Here, the anti-vibration mechanism 105 includes, for example, an actuator including a magnet and a coil, and is arranged to drive an anti-vibration lens (not shown) that can move in a plane. The anti-vibration lens is interposed on the optical axis of a plurality of lens optical systems that couple the subject image to the imaging surface of the image sensor 107. Then, the anti-vibration mechanism driving unit 104 operates the anti-vibration lens by the anti-vibration mechanism 105 in accordance with the optical correction amount so that an image is formed at the same position on the imaging surface. Shake correction is applied.

一方、信号処理部102から出力される、電子的補正用の低域成分からなるぶれ信号は、画像切り出し部108に供給され、撮像素子107の撮像面に投影された像を108で切り出す位置を制御するのに使用される。画像切り出し部108の出力信号は、撮像素子107の画素単位でぶれ補正された信号であるから、さらに後段の画像補間部109で画素間の補間などの処理が行なわれた後、映像信号として処理される。なお、ぶれ信号から電子的補正量を計算する方法自体は当業界で周知であることから、本明細書では詳細な説明を省略する。   On the other hand, a blur signal composed of a low-frequency component for electronic correction, which is output from the signal processing unit 102, is supplied to the image clipping unit 108, and the position where the image projected on the imaging surface of the image sensor 107 is clipped at 108 is determined. Used to control. Since the output signal of the image cutout unit 108 is a signal that has been subjected to blur correction for each pixel of the image sensor 107, the subsequent image interpolation unit 109 performs processing such as inter-pixel interpolation, and then processes it as a video signal. Is done. Note that the method of calculating the electronic correction amount from the blur signal is well known in the art, and thus detailed description thereof is omitted in this specification.

このように、本実施形態に係る画像処理装置100では、光学的補正と電子的補正とを択一的に用いるのではなく、手振れの周波数成分に応じてこれらの補正方式を組み合わせることで、光学的補正のみを用いた場合の光学的及び機械的制約に依拠する補正角度を超えた、飛躍的に大きい補正角度を得ることができるので、ぶれの強度が大きい場合でも十分な補正が可能である。   As described above, in the image processing apparatus 100 according to the present embodiment, the optical correction and the electronic correction are not used alternatively, but these correction methods are combined according to the frequency component of the camera shake, so that the optical processing is performed. A correction angle that is dramatically larger than the correction angle that depends on optical and mechanical constraints when using only mechanical correction can be obtained, so that even when the intensity of blurring is high, sufficient correction is possible. .

図2には、信号処理部102の内部構成例を示している。   FIG. 2 illustrates an internal configuration example of the signal processing unit 102.

ぶれ検出部101から供給されるアナログ検出信号は、AD変換器201で離散信号にサンプリングされ、デジタル信号となった後、信号処理前処理部202でオフセット補正などの処理がされる。その後、ぶれ検出信号は2分岐して、ハイパス・フィルタ(HPF)203並びにローパス・フィルタ(LPF)206にそれぞれ入力される。   The analog detection signal supplied from the shake detection unit 101 is sampled into a discrete signal by the AD converter 201 to become a digital signal, and then subjected to processing such as offset correction by the signal processing preprocessing unit 202. Thereafter, the shake detection signal is branched into two and inputted to the high-pass filter (HPF) 203 and the low-pass filter (LPF) 206, respectively.

ハイパス・フィルタ203はぶれ検出信号のうち比較的強度が小さい高域成分からなる光学的補正信号を抽出し、さらに光学的補正信号処理後処理部204を介して、光学的補正量計算部103に供給される。一方、ローパス・フィルタ206は、ぶれ検出信号のうち低域成分からなる電子的補正信号を抽出し、さらに電子的補正信号処理後処理部206を介して、電子的補正量計算部106に供給される。   The high-pass filter 203 extracts an optical correction signal composed of a high-frequency component having a relatively low intensity from the shake detection signal, and further passes the optical correction signal processing post-processing unit 204 to the optical correction amount calculation unit 103. Supplied. On the other hand, the low-pass filter 206 extracts an electronic correction signal composed of low-frequency components from the shake detection signal, and is further supplied to the electronic correction amount calculation unit 106 via the electronic correction signal processing post-processing unit 206. The

分離周波数制御部205は、ハイパス・フィルタ203にてぶれ信号から光学的補正信号を抽出する際の遮断(カットオフ)周波数、並びに、ローパス・フィルタ206にてぶれ信号から電子的補正信号を抽出する際の遮断周波数を、適応的に制御する。ハイパス・フィルタ203及びローパス・フィルタ206の周波数特性は、分離周波数制御部205で計算された遮断周波数によって、互いに相補的に依存しつつ変化する。   The separation frequency control unit 205 extracts the cutoff (cutoff) frequency when the high-pass filter 203 extracts the optical correction signal from the shake signal, and the electronic correction signal from the shake signal by the low-pass filter 206. The cut-off frequency is adaptively controlled. The frequency characteristics of the high-pass filter 203 and the low-pass filter 206 change depending on the cutoff frequency calculated by the separation frequency control unit 205 while depending on each other in a complementary manner.

なお、前段のぶれ信号検出部101からAD変換器202に入力される検出信号が角速度であるのに対し、光学的補正並びに電子的補正における制御量が角度であることから、光学的補正信号処理後処理部204並びに207電子的補正信号後処理部207では、各フィルタ203及び206を通過した後の角速度信号を時間積分して、角度信号に変換する必要がある。   In addition, since the detection signal input to the AD converter 202 from the shake signal detection unit 101 in the previous stage is an angular velocity, the control amount in the optical correction and the electronic correction is an angle. In the post-processing unit 204 and 207 electronic correction signal post-processing unit 207, it is necessary to time-integrate the angular velocity signals after passing through the filters 203 and 206 and convert them into angle signals.

上述したように、信号処理部102の後段の光学的補正量計算部103では、光学的及び機械的制約内にて光学的補正を施すことで、露光時間などによる撮影画像の劣化なく補正することが可能である。また、電子的補正量計算部106に供給して、更新周波数規格内にて電子的補正を施すことで、撮影画像を劣化させることがない。   As described above, the optical correction amount calculation unit 103 subsequent to the signal processing unit 102 performs optical correction within optical and mechanical constraints, thereby correcting the captured image without deterioration due to exposure time or the like. Is possible. Moreover, the captured image is not deteriorated by being supplied to the electronic correction amount calculation unit 106 and performing electronic correction within the update frequency standard.

また、図3には、図2に示した信号処理部102の変形例を示している。図示の例では、ローパス・フィルタ206は加算器208に置き換えられ、また、分離周波数制御部205はハイパス・フィルタ203にのみ遮断周波数を供給する。   FIG. 3 shows a modification of the signal processing unit 102 shown in FIG. In the illustrated example, the low-pass filter 206 is replaced with an adder 208, and the separation frequency control unit 205 supplies a cutoff frequency only to the high-pass filter 203.

ぶれ検出部101から供給されるアナログ検出信号は、AD変換器201で離散信号にサンプリングされ、デジタル信号となった後、信号処理前処理部202でオフセット補正などの処理がされる。その後、ぶれ検出信号は2分岐し、一方はハイパス・フィルタ(HPF)203に入力され、他方は加算器208に入力される。   The analog detection signal supplied from the shake detection unit 101 is sampled into a discrete signal by the AD converter 201 to become a digital signal, and then subjected to processing such as offset correction by the signal processing preprocessing unit 202. Thereafter, the shake detection signal is branched into two, one being input to the high-pass filter (HPF) 203 and the other being input to the adder 208.

ハイパス・フィルタ203はぶれ検出信号のうち比較的強度が小さい高域成分からなる光学的補正信号を抽出し、さらに光学的補正信号処理後処理部204を介して、光学的補正量計算部103に供給される。また、ハイパス・フィルタ203の出力は、加算器208の他方の入力端にも供給され、加算器208にて元のぶれ検出信号との差分がとられる結果として、ぶれ検出信号のうち低域成分からなる電子的補正信号を抽出し、さらに電子的補正信号処理後処理部206を介して、電子的補正量計算部106に供給される。   The high-pass filter 203 extracts an optical correction signal composed of a high-frequency component having a relatively low intensity from the shake detection signal, and further passes the optical correction signal processing post-processing unit 204 to the optical correction amount calculation unit 103. Supplied. Further, the output of the high-pass filter 203 is also supplied to the other input terminal of the adder 208, and as a result of taking the difference from the original shake detection signal by the adder 208, the low frequency component of the shake detection signal is obtained. The electronic correction signal is extracted and supplied to the electronic correction amount calculation unit 106 via the electronic correction signal processing post-processing unit 206.

分離周波数制御部205は、ハイパス・フィルタ203にてぶれ信号から光学的補正信号を抽出する際の遮断周波数を適応的に制御する。この場合も、光学的補正及び電子的補正における周波数特性は、分離周波数制御部205で計算された遮断周波数によって、互いに相補的に依存しつつ変化する。   The separation frequency control unit 205 adaptively controls the cutoff frequency when the high-pass filter 203 extracts the optical correction signal from the shake signal. Also in this case, the frequency characteristics in the optical correction and the electronic correction change depending on the cutoff frequency calculated by the separation frequency control unit 205 while depending on each other in a complementary manner.

図4には、信号処理部102の他の構成例を示している。   FIG. 4 shows another configuration example of the signal processing unit 102.

ぶれ検出部101から供給されるアナログ検出信号は、AD変換器301で離散信号にサンプリングされ、デジタル信号となった後、信号処理前処理部302でオフセット補正などの処理がされる。その後、ぶれ検出信号は2分岐して、不完全積分回路303並びに完全積分回路306にそれぞれ入力される。   The analog detection signal supplied from the shake detection unit 101 is sampled into a discrete signal by the AD converter 301 to become a digital signal, and then subjected to processing such as offset correction by the signal processing preprocessing unit 302. Thereafter, the shake detection signal is branched into two and input to the incomplete integration circuit 303 and the complete integration circuit 306, respectively.

前段のぶれ信号検出部101からAD変換器202に入力される検出信号が角速度であるのに対し、光学的補正並びに電子的補正における制御量が角度である。不完全積分回路303は、角速度成分からなるぶれ信号に対して不完全なる積分処理を施して、角度信号のうち比較的強度が小さい高域成分からなる光学的補正信号を抽出し、さらに光学的補正信号処理後処理部204を介して、光学的補正量計算部103に供給される。ここで、不完全積分は、ローパス・フィルタであるが、ハイパス・フィルタと完全積分との組み合わせ(順序不問)と捉えることもでき、角速度成分からなるぶれ信号を時間積分して角度成分とした上で、高域成分からなる光学的補正信号を抽出することになる。   The detection signal input to the AD converter 202 from the shake signal detection unit 101 in the previous stage is the angular velocity, whereas the control amount in the optical correction and the electronic correction is the angle. The incomplete integration circuit 303 performs an incomplete integration process on the blur signal composed of the angular velocity component to extract an optical correction signal composed of a high frequency component having a relatively low intensity from the angle signal, and further optically This is supplied to the optical correction amount calculation unit 103 via the correction signal processing post-processing unit 204. Here, the incomplete integration is a low-pass filter, but it can also be regarded as a combination of the high-pass filter and complete integration (in any order). The blur signal consisting of angular velocity components is time-integrated into angular components. Thus, an optical correction signal composed of a high frequency component is extracted.

また、完全積分回路306は、角速度成分からなるぶれ信号に対して完全なる積分処理を施して角度信号に変換する。さらに後段の加算器308にて不完全積分回路303からの出力との差分をとることによって、角度信号のうち低域成分からなる電子的補正信号を抽出し、さらに電子的補正信号処理後処理部206を介して、電子的補正量計算部106に供給される。   Further, the complete integration circuit 306 performs complete integration processing on the blur signal composed of the angular velocity component to convert it into an angle signal. Furthermore, an electronic correction signal composed of a low frequency component is extracted from the angle signal by taking a difference from the output from the incomplete integration circuit 303 by the adder 308 in the subsequent stage, and further, an electronic correction signal processing post-processing unit This is supplied to the electronic correction amount calculation unit 106 via 206.

ぶれの検出信号は、301「AD変換器」で離散信号にサンプリングされた後、302「信号処理前処理部」でオフセット補正等の処理がされる。その後、303「不完全積分」と306「完全積分」に分岐して伝えられ、303の出力信号が304「光学的補正信号処理後処理部」に、306の出力と303の出力の差信号が307「電子的補正信号処理後処理部」に伝えられる。303の周波数特性は、305「遮断周波数制御部」で計算された遮断周波数によって変化する。   The shake detection signal is sampled into a discrete signal by 301 “AD converter”, and then subjected to processing such as offset correction by 302 “signal processing preprocessing unit”. Thereafter, the signal is branched and transmitted to 303 “incomplete integration” and 306 “complete integration”, and the output signal of 303 is sent to 304 “post-processing unit for optical correction signal processing”, and the difference signal between the output of 306 and the output of 303 is sent. 307 “Electronic correction signal processing post-processing unit”. The frequency characteristic 303 changes depending on the cut-off frequency calculated by the 305 “cut-off frequency control unit”.

遮断周波数制御部305は、不完全積分回路303にてぶれ信号から光学的補正信号を抽出する際の遮断周波数を適応的に制御する。この場合も、光学的補正及び電子的補正における周波数特性は、遮断周波数制御部305で計算された遮断周波数によって、互いに相補的に依存しつつ変化する。   The cut-off frequency control unit 305 adaptively controls the cut-off frequency when the incomplete integration circuit 303 extracts the optical correction signal from the shake signal. Also in this case, the frequency characteristics in the optical correction and the electronic correction change depending on the cutoff frequency calculated by the cutoff frequency control unit 305 while depending on each other in a complementary manner.

上述したように、信号処理部102の後段の光学的補正量計算部103では、光学的及び機械的制約内にて光学的補正を施すことで、露光時間などによる撮影画像の劣化なく補正することが可能である。また、電子的補正量計算部106に供給して、更新周波数規格内にて電子的補正を施すことで、撮影画像を劣化させることがない。   As described above, the optical correction amount calculation unit 103 subsequent to the signal processing unit 102 performs optical correction within optical and mechanical constraints, thereby correcting the captured image without deterioration due to exposure time or the like. Is possible. Moreover, the captured image is not deteriorated by being supplied to the electronic correction amount calculation unit 106 and performing electronic correction within the update frequency standard.

以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。   The present invention has been described in detail above with reference to specific embodiments. However, it is obvious that those skilled in the art can make modifications and substitutions of the embodiment without departing from the gist of the present invention.

本明細書では、CCDやCMOSなどの固体撮像素子を利用したデジタルビデオカメラに適用した実施形態を中心に説明してきたが、本発明の要旨はこれに限定されるものではなく、撮影された画像情報を処理するさまざまな情報処理装置にも適用することができる。例えば、撮影時には光学的補正のみを適用するが、撮影時に被った手振れ情報を映像信号に付随させて記録しておくことにより、再生出力する際に手振れ情報を利用して電子的補正を実施することによっても、同様の効果を得ることができる。   In the present specification, the embodiment applied to a digital video camera using a solid-state imaging device such as a CCD or CMOS has been mainly described. However, the gist of the present invention is not limited to this, and a photographed image is taken. The present invention can also be applied to various information processing apparatuses that process information. For example, only optical correction is applied at the time of shooting, but camera shake information taken at the time of shooting is recorded along with the video signal, and electronic correction is performed using the camera shake information at the time of reproduction output. The same effect can be obtained.

要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。   In short, the present invention has been disclosed in the form of exemplification, and the description of the present specification should not be interpreted in a limited manner. In order to determine the gist of the present invention, the claims should be taken into consideration.

図1は、本発明の一実施形態に係る画像処理装置100の機能的構成を示した図である。FIG. 1 is a diagram showing a functional configuration of an image processing apparatus 100 according to an embodiment of the present invention. 図2は、信号処理部102の内部構成例を示した図である。FIG. 2 is a diagram illustrating an internal configuration example of the signal processing unit 102. 図3は、図2に示した信号処理部102の変形例を示した図である。FIG. 3 is a diagram showing a modification of the signal processing unit 102 shown in FIG. 図4は、信号処理部102の他の構成例を示した図である。FIG. 4 is a diagram illustrating another configuration example of the signal processing unit 102.

符号の説明Explanation of symbols

100…画像処理装置
101…ぶれ検出部
102…信号処理部
103…光学的補正量計算部
104…防振機構駆動部
105…防振機構
106…電子的補正量計算部
107…撮像素子
108…画像切り出し部
109…画像補間部
201…AD変換器
202…信号処理前処理部
203…ハイパス・フィルタ(HPF)
204…光学的補正信号処理後処理部
205…分離周波数制御部
206…ローパス・フィルタ(LPF)
207…電子的補正信号処理後処理部
208…加算器
301…AD変換器
302…信号処理前処理部
303…不完全積分回路
304…光学的補正信号処理後処理部
305…遮断周波数制御部
306…完全積分回路
307…電子的補正信号処理後処理部
308…加算器
DESCRIPTION OF SYMBOLS 100 ... Image processing apparatus 101 ... Shake detection part 102 ... Signal processing part 103 ... Optical correction amount calculation part 104 ... Anti-vibration mechanism drive part 105 ... Anti-vibration mechanism 106 ... Electronic correction amount calculation part 107 ... Imaging element 108 ... Image Clipping unit 109 ... Image interpolation unit 201 ... AD converter 202 ... Signal processing pre-processing unit 203 ... High-pass filter (HPF)
204: Optical correction signal processing post-processing unit 205 ... Separation frequency control unit 206 ... Low-pass filter (LPF)
207 ... Electronic correction signal processing post-processing unit 208 ... Adder 301 ... AD converter 302 ... Signal processing pre-processing unit 303 ... Incomplete integration circuit 304 ... Optical correction signal processing post-processing unit 305 ... Cut-off frequency control unit 306 ... Complete integration circuit 307 ... Electronic correction signal processing post-processing unit 308 ... Adder

Claims (5)

被写体を撮影するカメラ撮影部に印加されたぶれを検出するぶれ検出部と、
前記ぶれ検出部で検出されたぶれ信号を処理する信号処理部と、
前記信号処理部により処理されたぶれ信号を基に光学的補正量を算出する光学的補正量計算部と、
前記信号処理部により処理されたぶれ信号を基に電子的補正量を算出する電子的補正量計算部と、
前記光学的補正量に従って前記カメラ撮影部に対して光学的補正を行なう光学的補正手段と、
前記電子的補正量に従って前記カメラ撮影部による撮影画像に対して電子的補正を行なう電子的補正手段と、
を具備することを特徴とする画像処理装置。
A shake detection unit that detects a shake applied to a camera shooting unit that shoots a subject;
A signal processing unit for processing a shake signal detected by the shake detection unit;
An optical correction amount calculation unit that calculates an optical correction amount based on a shake signal processed by the signal processing unit;
An electronic correction amount calculation unit that calculates an electronic correction amount based on the blur signal processed by the signal processing unit;
Optical correction means for performing optical correction on the camera photographing unit according to the optical correction amount;
Electronic correction means for performing electronic correction on an image captured by the camera photographing unit according to the electronic correction amount;
An image processing apparatus comprising:
前記光学的補正量計算部は、前記信号処理部により処理されたぶれ信号の高域成分を基に光学的補正量を算出し、
前記電子的補正量計算部は、前記信号処理部により処理されたぶれ信号の低域成分を基に電子的補正量を算出する、
ことを特徴とする請求項1に記載の画像処理装置。
The optical correction amount calculation unit calculates an optical correction amount based on a high frequency component of a blur signal processed by the signal processing unit,
The electronic correction amount calculation unit calculates an electronic correction amount based on a low frequency component of a blur signal processed by the signal processing unit,
The image processing apparatus according to claim 1.
前記信号処理部において、ぶれ信号を光学的補正量算出用の高域成分及び電子的補正量算出用の低域成分に分離するための周波数特性を可変に制御する手段をさらに備える、
ことを特徴とする請求項2に記載の画像処理装置。
The signal processing unit further includes means for variably controlling a frequency characteristic for separating the shake signal into a high frequency component for optical correction amount calculation and a low frequency component for electronic correction amount calculation.
The image processing apparatus according to claim 2.
被写体を撮影するカメラ撮影部に印加されたぶれを検出するぶれ検出ステップと、
前記ぶれ検出ステップで検出されたぶれ信号を処理する信号処理ステップと、
前記信号処理ステップにより処理されたぶれ信号の高域成分を基に光学的補正量を算出して、前記カメラ撮影部に対して光学的補正を行なうための光学的補正手段に供給する光学的補正量計算ステップと、
前記信号処理ステップにより処理されたぶれ信号の低域成分を基に電子的補正量を算出して、前記カメラ撮影部による撮影画像に対して電子的補正を行なうための電子的補正手段に供給する電子的補正量計算ステップと、
を具備することを特徴とする画像処理方法。
A shake detection step for detecting a shake applied to a camera photographing unit for photographing a subject;
A signal processing step for processing the shake signal detected in the shake detection step;
An optical correction is calculated based on the high frequency component of the blur signal processed in the signal processing step, and supplied to an optical correction means for performing optical correction on the camera photographing unit. A quantity calculation step;
An electronic correction amount is calculated based on the low-frequency component of the blur signal processed in the signal processing step, and is supplied to an electronic correction unit for performing electronic correction on a photographed image by the camera photographing unit. An electronic correction amount calculating step;
An image processing method comprising:
被写体を撮影するカメラ撮影部と、
前記カメラ撮影部に印加されたぶれを検出するぶれ検出部と、
前記ぶれ検出部で検出されたぶれ信号を処理する信号処理部と、
前記信号処理部により処理されたぶれ信号の高域成分を基に光学的補正量を算出する光学的補正量計算部と、
前記信号処理部により処理されたぶれ信号の低域成分を基に電子的補正量を算出する電子的補正量計算部と、
前記光学的補正量に従って前記カメラ撮影部に対して光学的補正を行なう光学的補正手段と、
前記電子的補正量に従って前記カメラ撮影部による撮影画像に対して電子的補正を行なう電子的補正手段と、
を具備することを特徴とする撮像装置。
A camera shooting unit for shooting the subject;
A shake detection unit that detects a shake applied to the camera photographing unit;
A signal processing unit for processing a shake signal detected by the shake detection unit;
An optical correction amount calculation unit that calculates an optical correction amount based on a high frequency component of a blur signal processed by the signal processing unit;
An electronic correction amount calculation unit that calculates an electronic correction amount based on a low frequency component of a blur signal processed by the signal processing unit;
Optical correction means for performing optical correction on the camera photographing unit according to the optical correction amount;
Electronic correction means for performing electronic correction on an image captured by the camera photographing unit according to the electronic correction amount;
An imaging apparatus comprising:
JP2008121667A 2008-05-07 2008-05-07 Image processing apparatus and method, and imaging device Pending JP2009272890A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008121667A JP2009272890A (en) 2008-05-07 2008-05-07 Image processing apparatus and method, and imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008121667A JP2009272890A (en) 2008-05-07 2008-05-07 Image processing apparatus and method, and imaging device

Publications (1)

Publication Number Publication Date
JP2009272890A true JP2009272890A (en) 2009-11-19

Family

ID=41439042

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008121667A Pending JP2009272890A (en) 2008-05-07 2008-05-07 Image processing apparatus and method, and imaging device

Country Status (1)

Country Link
JP (1) JP2009272890A (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012015999A (en) * 2010-06-04 2012-01-19 Panasonic Corp Imaging device, image generating method, and computer program
JP2015105975A (en) * 2013-11-28 2015-06-08 キヤノン株式会社 Image shake correction device, control method thereof, program and storage medium
JP2015136019A (en) * 2014-01-16 2015-07-27 キヤノン株式会社 Image blur correction device, method for controlling the same, optical equipment, and imaging device
JP2015136018A (en) * 2014-01-16 2015-07-27 キヤノン株式会社 Image blur correction device, method for controlling the same, optical equipment, and imaging device
JP2015219445A (en) * 2014-05-20 2015-12-07 キヤノン株式会社 Image tremor correction device, control method of the same, optical device and imaging device
JP2017129785A (en) * 2016-01-21 2017-07-27 オリンパス株式会社 Imaging device, and image tremor correction method
US10148894B2 (en) 2014-07-02 2018-12-04 Sony Corporation Image processing device, image processing method, and program
WO2020132917A1 (en) * 2018-12-26 2020-07-02 Huawei Technologies Co., Ltd. Imaging device, image stabilization device, imaging method and image stabilization method

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012015999A (en) * 2010-06-04 2012-01-19 Panasonic Corp Imaging device, image generating method, and computer program
US8497916B2 (en) 2010-06-04 2013-07-30 Panasonic Corporation Image capture device changing cropping range of image based on magnitude of shake of the device, image generating method, and computer program thereof
JP2015105975A (en) * 2013-11-28 2015-06-08 キヤノン株式会社 Image shake correction device, control method thereof, program and storage medium
JP2015136019A (en) * 2014-01-16 2015-07-27 キヤノン株式会社 Image blur correction device, method for controlling the same, optical equipment, and imaging device
JP2015136018A (en) * 2014-01-16 2015-07-27 キヤノン株式会社 Image blur correction device, method for controlling the same, optical equipment, and imaging device
JP2015219445A (en) * 2014-05-20 2015-12-07 キヤノン株式会社 Image tremor correction device, control method of the same, optical device and imaging device
US11044419B2 (en) 2014-07-02 2021-06-22 Sony Corporation Image processing device, imaging processing method, and program
US10148894B2 (en) 2014-07-02 2018-12-04 Sony Corporation Image processing device, image processing method, and program
JP2017129785A (en) * 2016-01-21 2017-07-27 オリンパス株式会社 Imaging device, and image tremor correction method
WO2020132917A1 (en) * 2018-12-26 2020-07-02 Huawei Technologies Co., Ltd. Imaging device, image stabilization device, imaging method and image stabilization method
CN113243103A (en) * 2018-12-26 2021-08-10 华为技术有限公司 Imaging apparatus, image stabilization apparatus, imaging method, and image stabilization method
JP2022516481A (en) * 2018-12-26 2022-02-28 華為技術有限公司 Imaging device, image stabilization device, imaging method and image stabilization method
JP7324284B2 (en) 2018-12-26 2023-08-09 華為技術有限公司 Imaging device, camera shake correction device, imaging method, and camera shake correction method

Similar Documents

Publication Publication Date Title
JP4987355B2 (en) Imaging apparatus and imaging method
JP6581352B2 (en) Image blur correction apparatus and control method thereof, imaging apparatus, lens apparatus, program, and storage medium
JP3974633B1 (en) Imaging apparatus and imaging method
JP6530602B2 (en) Image pickup apparatus and control method thereof
JP2009272890A (en) Image processing apparatus and method, and imaging device
JP3974634B2 (en) Imaging apparatus and imaging method
JP2019117977A (en) Image stabilization control device, imaging device, imaging system, control method, and program
JP6302341B2 (en) Imaging apparatus, control method therefor, program, and storage medium
WO2017170165A1 (en) Imaging device, operation method, image processing device, and image processing method
JP2007017517A (en) Image blur corrector
CN108668074B (en) Image blur correction device, control method thereof, image pickup apparatus, and storage medium
US7872671B2 (en) Image pickup apparatus and image pickup method
JP4125331B2 (en) Imaging apparatus and control method thereof
JP4636979B2 (en) Imaging apparatus and control method thereof
US20090040317A1 (en) Camera module having image sensor
JP2015018225A (en) Optical equipment, interchangeable lens, and image blur correction method
JP5436116B2 (en) Image processing apparatus, imaging apparatus, and control method
JP2008124850A (en) Image motion correction apparatus, lens unit, and imaging apparatus
JP2008236739A (en) Imaging apparatus and imaging method
JP5760654B2 (en) Image processing apparatus, image processing method, and program
WO2017104102A1 (en) Imaging device
JP2016050973A (en) Image-capturing device and control method thereof
JP6335671B2 (en) Image blur correction apparatus and image blur correction method
JP2009111773A (en) Image processing device and method therefor
JP2011135537A (en) Imaging apparatus and control method of the same