JP2000298300A - Hand shake image correcting method, recording medium, and image pickup device - Google Patents
Hand shake image correcting method, recording medium, and image pickup deviceInfo
- Publication number
- JP2000298300A JP2000298300A JP11105033A JP10503399A JP2000298300A JP 2000298300 A JP2000298300 A JP 2000298300A JP 11105033 A JP11105033 A JP 11105033A JP 10503399 A JP10503399 A JP 10503399A JP 2000298300 A JP2000298300 A JP 2000298300A
- Authority
- JP
- Japan
- Prior art keywords
- camera shake
- image
- blur correction
- point spread
- spread function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、手ぶれによる画像
の劣化を補正する技術に関する。[0001] 1. Field of the Invention [0002] The present invention relates to a technique for correcting image deterioration due to camera shake.
【０００２】[0002]
【従来の技術】デジタルカメラ等で被写体を撮影する
際、露光中のカメラの動き、いわゆる手ぶれによるボケ
が撮影画像に生じる。手ぶれによる画像の劣化を避ける
ため、従来から様々な技術が開発されてきた。2. Description of the Related Art When a subject is photographed by a digital camera or the like, the movement of the camera during exposure, that is, blur due to camera shake occurs in a photographed image. Various techniques have been developed in the past to avoid image degradation due to camera shake.
【０００３】例えば、手ぶれの動きを検知するための加
速度センサ等をカメラに装備しておき、同センサの検出
信号を画像の動きに換算し、その画像の動きを補償する
方向にカメラの光学系（プリズム、レンズ、あるいは撮
像素子）を機械的に移動させる方法が知られている（例
えば特許第２６３７４６４号）。For example, a camera is provided with an acceleration sensor or the like for detecting a motion of a camera shake, and a detection signal of the sensor is converted into a motion of an image, and an optical system of the camera is compensated for the motion of the image. A method of mechanically moving (a prism, a lens, or an image sensor) is known (for example, Japanese Patent No. 2637264).
【０００４】手ぶれによる仮想的な点状被写体の画像上
での動きがボケに相当し、しばしば点広がり関数と呼ば
れる。撮影時におけるシャッターの開口率の経時変化
と、加速度センサ等で検出したカメラ光軸の動きとか
ら、点広がり関数を推定し、その逆補正を画像全体に施
すことによって手ぶれを補正する方法も知られている
（特開平７−２２６９０５号）。[0004] The motion of a virtual point-like subject on an image due to camera shake corresponds to blurring, and is often called a point spread function. There is also known a method of estimating a point spread function from a temporal change of an aperture ratio of a shutter at the time of photographing and a movement of a camera optical axis detected by an acceleration sensor or the like, and correcting the camera shake by performing inverse correction on the entire image. (JP-A-7-226905).
【０００５】さらに、加速度センサ等を利用しないで、
画像から手ぶれを推定する研究も古くからなされてい
る。例えば文献「 A.O.Aboutalib and L.M.Silverman ;
Rotation of Motion Degraded Images; IEEE Trans. Ci
rcuits and Systems,p.278,1957」に、ぶれの大きさの
推定に自己相関関数を利用できることが記載されてい
る。また、手ぶれの生じた方向では、ぶれが均一である
と近似できれば一様な濃度（輝度）であるはずであるか
ら、ぶれ方向に画像の自己相関関数をとり、これを微分
すると、ぶれ量に相当する間隔で微分値が極小を示し、
ぶれのない方向では零点で極大を示すので、ぶれの大き
さを推定できることが文献「Y.Yitzhaky and N.S.Kopei
ka; Identification of Blur Parameters fromMotion B
lurred Images; Graphical Models and Image Processi
ng Vol.59,pp.310−320,1997」に、記載されている。ぶ
れ方向の推定に関しては、例えば文献「 R.Fabian and
D.Malah; Robust Identification and Out−Of−FocusB
lur Parameters from Blurred and Noisy Images; Grap
hical Models andImage Processing,Vol.53, pp.403−4
12, 1991 」に、空間周波数分布を利用する方法が述べ
られている。Further, without using an acceleration sensor or the like,
Research for estimating camera shake from images has been performed for a long time. For example, in the document `` AOAboutalib and LMSilverman;
Rotation of Motion Degraded Images; IEEE Trans. Ci
rcuits and Systems, p. 278, 1957, describe that an autocorrelation function can be used to estimate the magnitude of blur. In the direction in which camera shake occurs, if the camera shake can be approximated to be uniform, the density should be uniform (brightness). Therefore, taking the autocorrelation function of the image in the camera shake direction and differentiating it, the camera shake At the corresponding interval, the derivative value shows a minimum,
Since there is a maximum at the zero point in the direction without blur, it is known from the literature "Y. Yitzhaky and NSKopei that the magnitude of blur can be estimated.
ka; Identification of Blur Parameters from Motion B
lurred Images; Graphical Models and Image Processi
ng Vol. 59, pp. 310-320, 1997 ". Regarding estimation of the blur direction, see, for example, the document “R. Fabian and
D.Malah; Robust Identification and Out-Of-FocusB
lur Parameters from Blurred and Noisy Images; Grap
hical Models and Image Processing, Vol. 53, pp. 403-4
12, 1991] describes a method using a spatial frequency distribution.
【０００６】[0006]
【発明が解決しようとする課題】撮影時にカメラが光軸
周りに回転したような場合、画像上の手ぶれが不均一に
なる。本発明の目的は、そのような不均一な回転及び平
行移動を含む手ぶれが生じた場合にも、前記特許第２６
３７４６４号のような機械的な操作によらずにシャープ
な画像を復元可能な手ぶれ画像補正方法及び撮像装置を
提供することにある。本発明のもう一つの目的は、光軸
のぶれを検出するための加速度センサ等を持たない普通
のカメラで撮影した画像に対しても、不均一な手ぶれを
精度よく補正可能な手ぶれ画像補正方法を提供すること
にある。本発明の他の目的は、光軸のぶれを検出するた
めの加速度センサ等を装備しなくとも、不均一な手ぶれ
を精度よく補正した画像を得られる撮像装置を提供する
ことにある。If the camera rotates around the optical axis during photographing, the camera shake on the image becomes uneven. An object of the present invention is to solve the above-mentioned problem even in the case where camera shake including such uneven rotation and translation occurs.
It is an object of the present invention to provide a camera-shake image correction method and an imaging apparatus capable of restoring a sharp image without using a mechanical operation such as that described in U.S. Pat. Another object of the present invention is to provide a camera shake image correction method capable of accurately correcting uneven camera shake even for an image taken by an ordinary camera having no acceleration sensor or the like for detecting camera shake of the optical axis. Is to provide. It is another object of the present invention to provide an imaging apparatus capable of obtaining an image in which uneven camera shake is accurately corrected without providing an acceleration sensor or the like for detecting shake of an optical axis.
【０００７】手ぶれの速度は、手ぶれの最初から最後ま
で一様であるとは限らない。手ぶれの速度が時間的に変
化すると、点広がり関数の形も変化する。本発明の他の
目的は、手ぶれの速度が時間的に変動した場合にも、適
切な手ぶれ補正が可能な手ぶれ画像補正方法及び撮像装
置を提供することにある。The speed of camera shake is not always uniform from the beginning to the end of camera shake. When the speed of camera shake changes with time, the shape of the point spread function also changes. It is another object of the present invention to provide a camera shake image correction method and an image pickup apparatus capable of performing appropriate camera shake correction even when the speed of camera shake fluctuates with time.
【０００８】シャッターの開口率の経時変化による光量
の変化をそのまま反映した画像データが得られることを
前提にした、特開平７−２２６９０５号のような方法で
は、良好な手ぶれ補正が期待できない場合がある。この
問題は、近年普及してきたデジタルカメラでは特に顕著
である。一般的なデジタルカメラにおいては、レンズ系
で結像された光像がＣＣＤのような撮像素子によって電
気信号に変換されるが、この電気信号は外部の明るさや
色の偏り（晴天の夕方は赤が強く、蛍光灯の下では青が
強い）等の撮影環境条件に応じて補正されるため、シャ
ッターの開口率の経時変化による光量の変化をそのまま
反映した画像データが得られるものではないからであ
る。本発明のもう一つの目的は、上に述べたような撮影
環境条件に応じた補正が行われた場合にも、適切な手ぶ
れ補正が可能な手ぶれ画像補正方法及び撮像装置を提供
することにある。[0008] In a method such as Japanese Patent Application Laid-Open No. Hei 7-226905 on the assumption that image data directly reflecting a change in light amount due to a temporal change in the aperture ratio of a shutter cannot be expected to have good hand-shake correction. is there. This problem is particularly remarkable in digital cameras that have become widespread in recent years. In a general digital camera, an optical image formed by a lens system is converted into an electric signal by an image pickup device such as a CCD. This electric signal is subjected to external brightness and color deviation (red in the evening on a fine day). Is strong and blue under fluorescent light is strong), and image data that does not directly reflect changes in light amount due to changes over time in the aperture ratio of the shutter cannot be obtained. is there. Another object of the present invention is to provide a camera-shake image correction method and an image-capturing apparatus capable of performing appropriate camera-shake correction even when correction according to the above-described shooting environment conditions is performed. .
【０００９】[0009]
【課題を解決するための手段】請求項１乃至７記載の発
明によれば、改良された手ぶれ画像補正方法が提供され
る。この手ぶれ画像補正方法は、手ぶれによる、対象画
像上の画素の回転及び平行移動を表す座標変換行列を決
定するステップ、決定された座標変換行列を利用して対
象画像上の各画素位置における手ぶれベクトルを推定す
るステップ、対象画像上の各画素値に対し、その位置の
推定された手ぶれベクトルに応じたボケ補正を施すステ
ップを含む。According to the first to seventh aspects of the present invention, there is provided an improved camera shake image correction method. This camera shake image correction method includes a step of determining a coordinate conversion matrix representing rotation and translation of a pixel on the target image due to camera shake, and a camera shake vector at each pixel position on the target image using the determined coordinate conversion matrix. And applying a blur correction to each pixel value on the target image in accordance with the estimated camera shake vector at that position.
【００１０】請求項２記載の発明によれば、対象画像上
の複数の位置における手ぶれの方向及び大きさを、対象
画像に基づいて推定するステップをさらに含み、このス
テップにより推定された手ぶれの方向及び大きさに基づ
いて、手ぶれによる、対象画像上の画素の回転及び平行
移動を表す座標変換行列が決定される。According to the second aspect of the present invention, the method further includes the step of estimating the direction and magnitude of camera shake at a plurality of positions on the target image based on the target image, and the direction of the camera shake estimated by this step. A coordinate transformation matrix representing rotation and translation of pixels on the target image due to camera shake is determined based on the size and the size.
【００１１】請求項３記載の発明によれば、手ぶれベク
トルに沿った補間演算によってボケ補正が行われる。According to the third aspect of the present invention, blur correction is performed by an interpolation operation along a camera shake vector.
【００１２】請求項４記載の発明によれば、予め用意さ
れた典型的な手ぶれパターンに対応した複数のボケ補正
関数の中から、ユーザが、ボケ補正に利用されるボケ補
正関数を選択するステップをさらに含む。According to the present invention, the user selects a blur correction function to be used for blur correction from a plurality of blur correction functions corresponding to a typical camera shake pattern prepared in advance. Further included.
【００１３】請求項５記載の発明によれば、手ぶれによ
る点広がり関数を推定するステップ、推定された点広が
り関数に最も類似した点広がり関数を予め用意された複
数の典型的な点広がり関数の中から選択するステップ、
選択された典型的点広がり関数に対応したボケ補正関数
を予め用意された複数のボケ補正関数の中から選択する
ステップをさらに含み、この選択されたボケ関数がボケ
補正に用いられる。According to the fifth aspect of the present invention, the step of estimating a point spread function caused by camera shake is performed. A point spread function most similar to the estimated point spread function is calculated by using a plurality of typical point spread functions prepared in advance. Steps to choose from,
The method further includes the step of selecting a blur correction function corresponding to the selected typical point spread function from a plurality of previously prepared blur correction functions, and the selected blur function is used for blur correction.
【００１４】請求項６記載の発明によれば、予め用意さ
れた点広がり関数のグラフをディスプレイの画面に表示
するステップ、表示された点広がり関数のグラフをポイ
ンティングデバイスの操作に従って編集するステップ、
編集後の点広がり関数のグラフに対応してボケ補正に用
いられるボケ補正関数を修正するステップをさらに含
む。According to the sixth aspect of the present invention, a step of displaying a prepared point spread function graph on a display screen, a step of editing the displayed point spread function graph according to an operation of a pointing device,
The method further includes the step of correcting a blur correction function used for blur correction in accordance with the graph of the edited point spread function.
【００１５】請求項７記載の発明によれば、対象画像の
手ぶれによる点広がり関数のグラフをディスプレイの画
面に表示するステップ、表示された点広がり関数のグラ
フをポインティングデバイスの操作に従って編集するス
テップ、編集後の点広がり関数に対応したボケ補正関数
を生成するステップをさらに含み、生成されたボケ補正
関数がボケ補正に用いられる。According to the seventh aspect of the present invention, a step of displaying a graph of a point spread function due to camera shake of a target image on a display screen, a step of editing the displayed graph of the point spread function according to an operation of a pointing device, The method further includes generating a blur correction function corresponding to the edited point spread function, and the generated blur correction function is used for blur correction.
【００１６】請求項９乃至１５記載の発明によれば、改
良された撮像装置が提供される。この撮像装置は、被写
体を撮像素子により撮像して得られたデジタル画像上の
画素の、手ぶれによる回転及び平行移動を表す座標変換
行列を決定する手段、決定された座標変換行列を利用し
てデジタル画像上の各画素位置における手ぶれベクトル
を推定する手段、デジタル画像上の各画素値に対し、そ
の位置の推定された手ぶれベクトルに応じたボケ補正を
施す手段を有する。According to the ninth to fifteenth aspects of the present invention, an improved imaging device is provided. This imaging apparatus is means for determining a coordinate conversion matrix representing rotation and translation of a pixel on a digital image obtained by capturing an image of an object by an image sensor, using the determined coordinate conversion matrix. It has means for estimating a camera shake vector at each pixel position on the image, and means for performing blur correction on each pixel value on the digital image in accordance with the estimated camera shake vector at that position.
【００１７】請求項１０記載の発明によれば、撮像装置
は、デジタル画像上の画素の複数の位置における手ぶれ
の方向及び大きさを、デジタル画像に基づいて推定する
手段をさらに有し、推定された手ぶれの方向及び大きさ
に基づいて座標変換行列を決定する。According to the tenth aspect of the present invention, the imaging apparatus further includes means for estimating the direction and magnitude of camera shake at a plurality of positions of pixels on the digital image based on the digital image. A coordinate transformation matrix is determined based on the direction and magnitude of the camera shake.
【００１８】請求項１１記載の発明によれば、撮像装置
は、手ぶれベクトルに沿った補間演算によってボケ補正
を行う。請求項１２記載の発明によれば、撮像装置は、
用意された典型的な手ぶれパターンに対応した複数のボ
ケ補正関数の中から、ユーザがボケ補正に利用されるボ
ケ補正関数を選択するための手段をさらに有する。According to the eleventh aspect of the present invention, the imaging apparatus performs the blur correction by the interpolation calculation along the camera shake vector. According to the twelfth aspect of the present invention, the imaging device
The apparatus further includes means for the user to select a blur correction function used for blur correction from a plurality of blur correction functions corresponding to the prepared typical camera shake pattern.
【００１９】請求項１３記載の発明によれば、撮像装置
は、デジタル画像の手ぶれによる点広がり関数を推定す
る手段、推定された点広がり関数に最も類似した点広が
り関数を用意された複数の典型的な点広がり関数の中か
ら選択する手段、選択された典型的点広がり関数に対応
したボケ補正関数を用意された複数のボケ補正関数の中
から選択する手段をさらに有し、選択されたボケ関数を
ボケ補正に用いる。According to the thirteenth aspect of the present invention, there is provided an image pickup apparatus comprising: means for estimating a point spread function due to camera shake of a digital image; and a plurality of typical spread points prepared with a point spread function most similar to the estimated point spread function. Means for selecting from among typical point spread functions, and means for selecting from among a plurality of prepared blur correction functions for a blur correction function corresponding to the selected typical point spread function. Use the function for blur correction.
【００２０】請求項１４記載の発明によれば、撮像装置
は、用意された点広がり関数のグラフをディスプレイの
画面に表示させる手段、表示された点広がり関数のグラ
フをユーザによるポインティングデバイスの操作に従っ
て編集する手段、編集後の点広がり関数のグラフに対応
して、ボケ補正に用いられるボケ補正関数を修正する手
段をさらに有する。According to the fourteenth aspect of the present invention, the imaging apparatus displays the prepared point spread function graph on a display screen, and displays the displayed point spread function graph according to the operation of the pointing device by the user. The apparatus further includes means for editing, and means for correcting a blur correction function used for blur correction in accordance with the graph of the point spread function after editing.
【００２１】請求項１５記載の発明によれば、撮像装置
は、デジタル画像の手ぶれによる点広がり関数のグラフ
をディスプレイの画面に表示させる手段、表示された点
広がり関数のグラフを、ユーザによるポインティングデ
バイスの操作に従って編集する手段、編集後の点広がり
関数に対応したボケ補正関数を生成する手段をさらに有
し、生成されたボケ補正関数をボケ補正に用いる。According to the fifteenth aspect of the present invention, there is provided an imaging apparatus for displaying a graph of a point spread function due to camera shake of a digital image on a display screen, and displaying a graph of the displayed point spread function on a pointing device by a user. And a means for generating a blur correction function corresponding to the edited point spread function, and the generated blur correction function is used for blur correction.
【００２２】[0022]
【発明の実施の形態】本発明による手ぶれ画像補正のた
めの処理手順の一例を図１に示す。図１において、１０
０は手ぶれによりボケが生じた画像が入力されるステッ
プ、１０１は入力画像上の画素の、手ぶれによる回転及
び平行移動を表す座標変換行列が決定されるステップ、
１０２は、その座標変換行列を利用して、入力画像上の
各画素位置における、手ぶれベクトル（手ぶれによる
「ぶれ」の方向と大きさ）が推定されるステップ、１０
３は入力画像上の各画素値に対し、その位置の推定され
た手ぶれベクトルに応じたボケ補正が施され、手ぶれに
よるボケが補正された画像が生成されるステップ、１０
４は補正画像が出力されるステップである。なお、本発
明による手ぶれ画像補正の処理手順は後述のように種々
変更可能である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS FIG. 1 shows an example of a processing procedure for correcting a camera shake image according to the present invention. In FIG. 1, 10
0 is a step in which an image blurred due to camera shake is input, 101 is a step in which a coordinate transformation matrix representing rotation and translation of pixels on the input image due to camera shake is determined,
102, a step of estimating a camera shake vector (direction and size of “shake” due to camera shake) at each pixel position on the input image using the coordinate transformation matrix;
3 is a step in which each pixel value on the input image is subjected to blur correction according to the estimated camera shake vector at the position, and an image in which blur due to camera shake is corrected is generated.
Step 4 is a step for outputting a corrected image. The processing procedure of the camera shake image correction according to the present invention can be variously changed as described later.
【００２３】《座標変換行列の決定：ステップ１００》
ステップ１００の具体的な処理内容を説明する。画像を
撮影する際の手ぶれにより、画像上の画素は本来の位置
から移動する。このような微少なぶれは、アフィン変換
で表すことができるから、本来の画素の座標値（ｘ，
ｙ）と、その手ぶれにより変化した座標値（Ｘ，Ｙ）と
の間に、次式が成り立つ。<< Determination of Coordinate Conversion Matrix: Step 100 >>
The specific processing content of step 100 will be described. Pixels on the image move from their original positions due to camera shake at the time of shooting the image. Since such a slight blur can be represented by an affine transformation, the original pixel coordinate values (x,
The following expression holds between y) and the coordinate value (X, Y) changed by the camera shake.
【００２４】[0024]
【数１】 式中、θは回転角度、σx，σyはｘ，ｙ方向の平行移動
量を表す。手ぶれによる回転角度θは一般に十分に小さ
いため、（１）式は（２）式のように近似してもよい
し、（３）式のようにさらに強い近似をしてもよい。(Equation 1) In the equation, θ represents the rotation angle, and σ x and σ y represent the amounts of parallel movement in the x and y directions. Since the rotation angle θ due to camera shake is generally sufficiently small, Expression (1) may be approximated as Expression (2), or may be further approximated as Expression (3).
【００２５】[0025]
【数２】 (Equation 2)
【数３】 (Equation 3)
【００２６】ステップ１００においては、（１）式、
（２）式又は（３）式の座標変換行列の３つのパラメー
タ（θ，σx，σy）を決定する。入力画像をカメラで撮
影する際に、加速度センサやジャイロセンサ等を利用
し、カメラの光軸のぶれ量と光軸周りの回転角度を検出
することができる場合には、その検出結果を例えばステ
ップ１００で画像の付加情報として入力し、その付加情
報に基づき直接的に３つのパラメータ（θ，σx，σy）
を決定できる。本発明の一実施例によれば、そのような
方法が採用される。In step 100, equation (1)
The three parameters (θ, σ x , σ y ) of the coordinate transformation matrix of the expression (2) or (3) are determined. When capturing an input image with a camera, if the amount of shake of the optical axis of the camera and the rotation angle around the optical axis can be detected by using an acceleration sensor, a gyro sensor, or the like, the detection result is used as, for example, a step At 100, it is input as additional information of the image, and three parameters (θ, σ x , σ y ) are directly based on the additional information.
Can be determined. According to one embodiment of the present invention, such a method is employed.
【００２７】しかし、そのようなセンサが装備されてい
ない一般的なカメラが利用される場合には、上に述べた
ような方法は利用不可能である。そこで、本発明の他の
一実施例によれば、入力画像上の２カ所以上における
（ｘ，ｙ）と（Ｘ，Ｙ）の組を推定し、換言すれば、図
２にＢ１，Ｂ２，Ｂ３として示すような手ぶれの方向と
大きさ（手ぶれベクトル）を推定し、それを（１）式、
（２）式又は（３）式に代入することにより、座標変換
行列のパラメータ（θ，σx，σy）を決定する。その具
体的な処理手順の一例を以下に述べる。However, when a general camera without such a sensor is used, the above-mentioned method cannot be used. Therefore, according to another embodiment of the present invention, a set of (x, y) and (X, Y) at two or more locations on an input image is estimated. In other words, FIG. Estimate the direction and magnitude (camera shake vector) of the camera shake as shown as B3, and calculate it using equation (1).
The parameters (θ, σ x , σ y ) of the coordinate transformation matrix are determined by substituting into the equations (2) and (3). An example of the specific processing procedure will be described below.
【００２８】最初に、入力画像上の適当な点を少なくと
も２つ選ぶ。これは、処理プログラムによって自動的に
行われるようにしてもよいし、画像を表示させた適当な
ディスプレイの画面上で、ユーザがポインティングデバ
イスを利用して指定するようにしてもよい。First, at least two appropriate points on the input image are selected. This may be automatically performed by a processing program, or may be specified by a user using a pointing device on an appropriate display screen on which an image is displayed.
【００２９】次に、選ばれた各点における、手ぶれの方
向を推定する。例えば、選ばれた各点の近傍領域につい
て空間周波数分布を測定し、その高周波数分布の減少率
が最大の方向を手ぶれの方向と推定する。このような方
法は、本出願人の特願平９−１８０８４６号（特開平１
１−０２７５７４号）、あるいは前記のR.Fabianらの文
献等に詳しい。Next, the direction of camera shake at each selected point is estimated. For example, the spatial frequency distribution is measured in the vicinity of each selected point, and the direction in which the high frequency distribution has the largest reduction rate is estimated as the direction of camera shake. Such a method is disclosed in Japanese Patent Application No. Hei.
No. 1-025754) or the above-mentioned literature by R. Fabian et al.
【００３０】次に、選ばれた各点における手ぶれの大き
さを推定する。例えば、選ばれた各点の近傍領域につい
て、推定された手ぶれの方向に画像の自己相関関数をと
り、これを手ぶれ方向に微分すると、手ぶれの大きさに
相当する間隔で微分値が極小を示すため、その極小点の
間隔から、ぶれの大きさを推定する。この方法は、前記
のY.Yitzhakyらの文献等に詳しい。Next, the magnitude of camera shake at each selected point is estimated. For example, taking the autocorrelation function of the image in the direction of the estimated camera shake in the vicinity area of each selected point and differentiating this in the camera shake direction, the differential value shows a minimum at an interval corresponding to the size of the camera shake Therefore, the magnitude of the blur is estimated from the interval between the minimum points. This method is described in detail in the aforementioned document by Y. Yitzhaky et al.
【００３１】このような推定を終わると、選ばれた各点
のｘ，ｙ座標値（ｘ，ｙ）と、それを推定した手ぶれ方
向へ、推定した手ぶれの大きさだけ移動した点のｘ，ｙ
座標値（Ｘ，Ｙ）との組を、前記（１）式、（２）式又
は（３）式に代入することによりパラメータ（θ，
σx，σy）を求める。これで、（１）式、（２）式又は
（３）式の座標変換行列が決定された。When such estimation is completed, the x, y coordinate values (x, y) of each selected point and the x, y coordinates of the point moved by the estimated camera shake amount in the estimated camera shake direction. y
By substituting the set with the coordinate values (X, Y) into the above equation (1), (2) or (3), the parameter (θ,
σ x , σ y ). Thus, the coordinate transformation matrix of the expression (1), the expression (2) or the expression (3) is determined.
【００３２】なお、入力画像を適当なディスプレイの画
面に拡大表示し、ユーザが画面上で手ぶれによる画像の
ぶれを判断し、適当な２点以上と、そのぶれにより移動
した点とをポインティングデバイスを利用して直接的に
指示し、指示された座標値を用いて、パラメータ（θ，
σx，σy）を求めるという方法も可能である。この簡便
な方法によっても、熟練したユーザであれば、それなり
の精度でパラメータの決定が可能である。It should be noted that the input image is enlarged and displayed on an appropriate display screen, and the user judges image blurring due to camera shake on the screen, and uses a pointing device to determine two or more appropriate points and points moved by the blurring. Using the designated coordinate values, the parameters (θ,
σ x , σ y ) is also possible. Even with this simple method, a skilled user can determine parameters with a certain degree of accuracy.
【００３３】《各画素位置の手ぶれベクトルの推定：ス
テップ１０２》次にステップ１０２においては、ステッ
プ１０１によって決定された座標変換行列を用い、入力
画像上の各画素位置（ｘ，ｙ）における手ぶれベクトル
Ｂ（ｘ，ｙ）（手ぶれによる動きベクトル）を推定す
る。すなわち、（１）式、（２）式又は（３）式に
（ｘ，ｙ）を代入して（Ｘ，Ｙ）を計算し、次式により
Ｂ（ｘ，ｙ）を求める。<< Estimation of Camera Shake Vector at Each Pixel Position: Step 102 >> Next, at step 102, the camera shake vector at each pixel position (x, y) on the input image is calculated using the coordinate transformation matrix determined at step 101. B (x, y) (motion vector due to camera shake) is estimated. That is, (X, Y) is calculated by substituting (x, y) into Expression (1), Expression (2), or Expression (3), and B (x, y) is obtained by the following expression.
【００３４】[0034]
【数４】 (Equation 4)
【００３５】《ボケ補正：ステップ１０３》ステップ１
０３においては、入力画像の各画素値に対し、その位置
の推定された手ぶれベクトルに応じたボケ補正を施し、
手ぶれによるボケを補償した補正画像を生成する。<< Blur Correction: Step 103 >> Step 1
In 03, blur correction is performed on each pixel value of the input image in accordance with the estimated camera shake vector at that position,
A corrected image in which blur due to camera shake is compensated is generated.
【００３６】手ぶれが一様な動きによって導入された場
合、手ぶれによるボケは（５）式のような１次元の点広
がり関数で表され、また、このような手ぶれによるボケ
は（６）式のようなボケ補正関数で補正できることが知
られている。この２式中、ｔは手ぶれの距離である。ａ
はボケの長さであり、これは手ぶれベクトルの長さに相
当する。ただし、手ぶれの速度が一様でないと点広がり
関数及びボケ補正関数は多少違ったものになるので、よ
り高精度な手ぶれ補正のためには、手ぶれのパターンに
応じてボケ補正関数を選択又は修正できるようにするの
が望ましいが、これについては後述する。When the camera shake is introduced by a uniform motion, the blur due to the camera shake is represented by a one-dimensional point spread function as shown in equation (5), and the blur due to such camera shake is expressed by equation (6). It is known that correction can be performed using such a blur correction function. In these two equations, t is the distance of camera shake. a
Is the length of the blur, which corresponds to the length of the camera shake vector. However, if the speed of the camera shake is not uniform, the point spread function and the blur correction function will be slightly different, so for more accurate camera shake correction, select or correct the blur correction function according to the camera shake pattern. It is desirable to be able to do so, as will be described later.
【００３７】[0037]
【数５】 (Equation 5)
【数６】 (Equation 6)
【００３８】本発明の一実施例によれば、入力画像上の
各画素（ｉc，ｊc）に関し、その位置の手ぶれベクトル
Ｂに沿った１次元の補間演算を行って補正画素値Ｖ（ｉ
c，ｊc）を計算する。具体的にはAccording to one embodiment of the [0038] present invention, each pixel on the input image (i c, j c) relates, performs one-dimensional interpolation operation along the vector B shake the position correction pixel value V ( i
c, calculating the j c). In particular
【数７】 式中、θは手ぶれベクトルＢのｘ軸に対しなす角度であ
る。また、次の関係が成り立つ。(Equation 7) In the equation, θ is the angle formed by the camera shake vector B with respect to the x-axis. Further, the following relationship is established.
【数８】 Ｓはボケの及ぶ範囲の画素であり、ａx，ａyを手ぶれベ
クトルＢのｘ，ｙ成分の長さとすると、（７）式を次の
ように書くことができる。(Equation 8) S is a pixel within a blurred range, and if a x and a y are the lengths of the x and y components of the camera shake vector B, equation (7) can be written as follows.
【数９】 (Equation 9)
【００３９】（７）式及び（９）式におけるｐ（）は、
手ぶれベクトルＢに沿った前後の画素値から算出され
る、手ぶれベクトルＢ上又はその延長線上の補間画素値
であり、これを（９）式に代入することにより補正画素
値Ｖ（ｉc，ｊc）が求まる。なお、補間関数 Ｉ（ｘ）＝ｈ-1（ｘ） が成り立つものとする。In equations (7) and (9), p () is
This is an interpolation pixel value on the camera shake vector B or an extension of the camera shake vector B calculated from the preceding and following pixel values along the camera shake vector B. By substituting this into the equation (9), the corrected pixel value V ( ic , j) c ) is obtained. It is assumed that the interpolation function I (x) = h -1 (x) holds.
【００４０】もし、注目画素の隣接画素のみを利用する
のであれば、補間関数Ｉ（ｘ）は、図３に記号「＊」で
示すような、手ぶれベクトルＢに沿った両側の画素から
算出する。ここで、補間画素値ｐ（）は、図３に記号
「＝」で示した仮想画素の値である。この画素値も、補
間関数Ｉ（ｘ）によって求めることができる（ただし、
このときはａ＝１）。ｘ，ｙの値は一般的には任意でよ
いが、効率的な計算を行うには、画素ピッチを１とし、If only the pixel adjacent to the target pixel is used, the interpolation function I (x) is calculated from the pixels on both sides along the camera shake vector B as indicated by the symbol “*” in FIG. . Here, the interpolated pixel value p () is the value of the virtual pixel indicated by the symbol “=” in FIG. This pixel value can also be obtained by the interpolation function I (x) (however,
In this case, a = 1). Generally, the values of x and y may be arbitrary, but in order to perform an efficient calculation, the pixel pitch is set to 1,
【数１０】 と置くことができる（図３は、そのような場合であ
る）。したがって、（９）式は次のように書き直すこと
ができる。(Equation 10) (FIG. 3 is such a case). Therefore, equation (9) can be rewritten as follows.
【数１１】 また、手ぶれベクトルＢの両側の画素のみを利用するな
らば、条件式 ｉ，ｊ Ａ は次のように表すことができる。[Equation 11] If only the pixels on both sides of the camera shake vector B are used, the conditional expression i, jA can be expressed as follows.
【数１２】 式中、［ｘ］はｘを越えない整数を表す。(Equation 12) In the formula, [x] represents an integer not exceeding x.
【００４１】以上に述べた本発明による手ぶれ画像補正
方法は、画像内に不均一な手ぶれ（回転と平行移動）が
ある場合にも、実空間処理により高精度な手ぶれ補正が
可能である。画像の回転等の前処理や後処理を含まない
ため、そのような処理に伴う画質劣化が生じない。ま
た、そのような前処理や後処理を含まないうえに、手ぶ
れベクトルに沿った補間画素値をテーブル参照方式で高
速に計算できるから、全体として高速な処理が可能であ
る。The above-described camera shake image correction method according to the present invention enables highly accurate camera shake correction by real space processing even when there is uneven camera shake (rotation and translation) in an image. Since it does not include pre-processing or post-processing such as image rotation, image quality does not deteriorate due to such processing. In addition, such a pre-processing and a post-processing are not included, and an interpolated pixel value along a camera shake vector can be calculated at high speed by a table reference method, so that high-speed processing can be performed as a whole.
【００４２】さて、（５）式の点広がり関数は、図４の
（Ａ）のようなグラフとして表すとができる。図４にお
いて、横軸はぶれの距離ｔ、縦軸はレスポンスの大きさ
である。実際の手ぶれは速度が一様でないことが多く、
点広がり関数は図４（Ａ）に示したグラフとは多少異な
ったものになる。しかし、手ぶれのパターンはいくつか
の類型に分類可能である。いくつかの典型的な手ぶれパ
ターンに対応した点広がり関数のグラフを図４の
（Ｃ），（Ｄ）及び（Ｅ）に示す。（Ｃ）のグラフは最
初はゆっくりで次第に速くなる手ぶれパターンに対応し
た点広がり関数を表し、（Ｄ）のグラフは、それと逆に
最初は速く、次第に遅くなる手ぶれパターンに対応した
点広がり関数を表す。（Ｅ）のグラフは、最初と最後が
ゆっくりで中間で動きが速い手ぶれパターンに対応した
点広がり関数を表す。慣れてくると、画像を観測すれ
ば、かなりの正確さで、どのような手ぶれパターンに該
当するか見当をつけることができる。Now, the point spread function of the equation (5) can be represented as a graph as shown in FIG. In FIG. 4, the horizontal axis represents the blurring distance t, and the vertical axis represents the magnitude of the response. Actual camera shake is often not uniform,
The point spread function is slightly different from the graph shown in FIG. However, camera shake patterns can be classified into several types. Graphs of point spread functions corresponding to some typical camera shake patterns are shown in FIGS. 4 (C), (D) and (E). The graph of (C) represents a point spread function corresponding to a camera shake pattern that is initially slow and gradually faster, and the graph of (D) conversely represents a point spread function corresponding to a camera shake pattern that is initially fast and gradually slows down. Represent. The graph of (E) shows a point spread function corresponding to a hand-shake pattern in which the first and last are slow, and the movement is intermediate and fast. Once you get used to it, observing the image will give you a pretty accurate idea of what camera shake pattern it is.
【００４３】本発明の一実施例によれば、図４の
（Ａ），（Ｃ），（Ｄ），（Ｅ）のような複数の典型的
な手ぶれパターンの点広がり関数に対応したボケ補正関
数が例えばテーブルの形で用意され、その中からボケ補
正に利用するためのボケ補正関数がユーザによって選択
される。図１に示した処理フローとの関連では、そのよ
うなボケ補正関数の選択のためのステップは、ボケ補正
処理ステップ１０３の内部、又はそれより前の段階に置
かれる。According to one embodiment of the present invention, blur correction corresponding to a point spread function of a plurality of typical camera shake patterns as shown in FIGS. 4A, 4C, 4D, and 4E. The functions are prepared, for example, in the form of a table, and a blur correction function to be used for blur correction is selected from the functions by the user. In the context of the processing flow shown in FIG. 1, the steps for the selection of such a blur correction function are located inside the blur correction processing step 103 or at an earlier stage.
【００４４】また、本発明の別の実施例によれば、その
ようなボケ補正関数の選択が自動的に行われる。そのた
めの手順の一例を図５に示す。According to another embodiment of the present invention, such a blur correction function is automatically selected. An example of the procedure for that is shown in FIG.
【００４５】図５のステップ２００において、入力画像
の手ぶれによる点広がり関数を推定する。光軸のぶれを
検出するための加速度センサ等を装備したカメラが入力
画像の撮影に利用される場合には、そのセンサによって
光軸の経時変化を検出し、カメラのシャッター開放のタ
イミングと重畳させて、直接的に入力画像の点広がり関
数を推定できる。そのようなカメラが利用されない場合
は、入力画像から点広がり関数を推定する。具体的に
は、被写体上の１点のぶれによって形成される尾引き画
像に沿った濃度（輝度）分布を観測すればよい。より正
確な推定のためには、例えば、画像中の滑らかな背景部
分に隣接する高コントラスト部分（通常、エッジと呼ば
れる部分）に、前記のY.Yitzhakyらの論文に述べられて
いる方法を利用すればよい。In step 200 of FIG. 5, a point spread function due to camera shake of the input image is estimated. When a camera equipped with an acceleration sensor or the like for detecting blurring of the optical axis is used for capturing an input image, the sensor detects a temporal change of the optical axis and superimposes the change with the timing of opening the shutter of the camera. Thus, the point spread function of the input image can be directly estimated. If such a camera is not used, a point spread function is estimated from the input image. Specifically, it is only necessary to observe the density (luminance) distribution along the tail image formed by the blurring of one point on the subject. For more accurate estimation, for example, the method described in the above-mentioned article by Y. Yitzhaky et al. Is used for a high-contrast portion (usually called an edge) adjacent to a smooth background portion in an image. do it.
【００４６】次のステップ２０１において、予め用意さ
れた複数の典型的手ぶれパターンに対応する点広がり関
数の中から、前ステップで推定された点広がり関数に最
も類似したものを選択する。この選択の基準としては距
離を利用できる。例えば次のような距離Ｄjが最小の点
広がり関数ｈj（ｔ）が選択される。In the next step 201, a point spread function most similar to the point spread function estimated in the previous step is selected from a plurality of point spread functions corresponding to a plurality of typical camera shake patterns prepared in advance. Distance can be used as a criterion for this selection. For example, the following point spread function h j (t) having the minimum distance D j is selected.
【数１３】 式中、ｈ（ｔ）は推定した点広がり関数、ｈj（ｔ）は
予め用意された点広がり関数である。(Equation 13) In the equation, h (t) is an estimated point spread function, and h j (t) is a previously prepared point spread function.
【００４７】予め用意された典型的手ぶれパターンの点
広がり関数のそれぞれに対応した複数のボケ補正関数も
予め用意される。ステップ２０２において、用意された
複数のボケ補正関数の中から、前ステップで選択された
点広がり関数に対応したボケ補正関数が選択される。こ
のようにして選択されたボケ補正関数が、図１のボケ補
正処理ステップ１０３で利用されることになる。A plurality of blur correction functions corresponding to each of the point spread functions of the typical camera shake pattern prepared in advance are also prepared in advance. In step 202, a blur correction function corresponding to the point spread function selected in the previous step is selected from a plurality of prepared blur correction functions. The blur correction function selected in this manner is used in the blur correction processing step 103 in FIG.
【００４８】本発明の一実施例によれば、ユーザが、デ
ィスプレイ上で、点広がり関数を確認して必要な編集を
することにより、ボケ補正処理に利用するためのボケ補
正関数を修正することができる。その手順を図６に示
す。According to one embodiment of the present invention, the user corrects the blur correction function to be used in the blur correction processing by confirming the point spread function on the display and performing necessary editing. Can be. FIG. 6 shows the procedure.
【００４９】図６のステップ３００において、予め用意
されている点広がり関数を適当なディスプレイの画面に
表示する。ステップ３０１において、ユーザは適当なポ
インティングデバイスを利用して、画面上で点広がり関
数に対し必要な編集を行う。例えば、図４の（Ａ）に示
すような点広がり関数のグラフが表示されている場合
に、ポインティングデバイスを利用して、例えば図４の
（Ｂ）に示すようにグラフを編集することができる。な
お、ステップ３００で表示される点広がり関数を、ユー
ザが複数の点広がり関数の中から選択できるようにして
もよい。In step 300 of FIG. 6, a point spread function prepared in advance is displayed on an appropriate display screen. In step 301, the user makes necessary edits to the point spread function on the screen using an appropriate pointing device. For example, when a graph of the point spread function as shown in FIG. 4A is displayed, the graph can be edited using a pointing device, for example, as shown in FIG. 4B. . It should be noted that the point spread function displayed in step 300 may be configured so that the user can select from a plurality of point spread functions.
【００５０】ステップ３０２において、前ステップにお
ける点広がり関数の編集内容を反映させるように、予め
用意されているボケ補正関数を修正する。このようにし
て修正後のボケ補正関数が図１のボケ編集処理ステップ
１０３に利用される。In step 302, the blur correction function prepared in advance is modified so as to reflect the edited contents of the point spread function in the previous step. Thus, the corrected blur correction function is used in the blur editing processing step 103 in FIG.
【００５１】本発明の別の実施例について、図６を援用
して説明する。ステップ３００において、入力画像の手
ぶれによる点広がり関数をグラフィック表示する。具体
的は、例えば、入力画像中の均一な背景部分について、
ぶれ方向に直交する方向に輝度を投影することにより図
４に示したようなグラフを直接得られるので、それを適
当なディスプレイに表示する。このようにして測定され
た点広がり関数は、しばしば測定誤差を伴うので、ステ
ップ３０１において、ユーザはポインティングデバイス
を利用してディスプレイの画面上で点広がり関数に対し
必要な修正を行う。ステップ３０２において、修正後の
点広がり関数に対応したボケ補正関数を生成する。この
生成されたボケ補正関数がボケ補正処理に用いられる。Another embodiment of the present invention will be described with reference to FIG. In step 300, a point spread function due to camera shake of the input image is graphically displayed. Specifically, for example, for a uniform background portion in the input image,
By projecting the luminance in a direction perpendicular to the blur direction, a graph as shown in FIG. 4 can be obtained directly, and it is displayed on a suitable display. Since the point spread function thus measured is often accompanied by measurement errors, in step 301 the user makes the necessary corrections to the point spread function on the screen of the display using a pointing device. In step 302, a blur correction function corresponding to the corrected point spread function is generated. The generated blur correction function is used for blur correction processing.
【００５２】本発明は、例えば図７に示すようなＣＰＵ
４００、メモリ４０１、ディスプレイ４０２、マウス等
のポインティングデバイス４０３、ＣＤ−ＲＯＭ等の記
録媒体４０４のためのドライブ４０５、ハードディスク
等の補助記憶装置４０６、外部インターフェース４０７
等をシステムバス４０９で相互接続したような構成のコ
ンピュータを利用し、ソフトウェアにより実施し得る。
図１、図５及び図６に関連して説明した処理のためのプ
ログラム４１０、図５又は図６に関連して説明したよう
な点広がり関数やボケ補正関数のテーブル４１１は、例
えば、それらが記録された記録媒体４０４よりドライブ
４０５によってメモリ４０１に読み込まれる。あるい
は、プログラム４１０及びテーブル４１１は補助記憶装
置４０６に一旦保存され、処理実行時に補助記憶装置４
０６からメモリ４０１に読み込まれる。処理対象の画像
データは、例えば、それを撮影したデジタルカメラ４０
８より、外部インターフェース４０７を通じてメモリ４
０１に読み込まれる。図６に関連して説明した点広がり
関数のグラフィック表示及びその編集には、ディスプレ
イ４０２とポインティングデバイス４０３が利用され
る。The present invention relates to a CPU as shown in FIG.
400, a memory 401, a display 402, a pointing device 403 such as a mouse, a drive 405 for a recording medium 404 such as a CD-ROM, an auxiliary storage device 406 such as a hard disk, and an external interface 407.
And the like can be implemented by software using a computer configured to be interconnected by a system bus 409.
The program 410 for the processing described with reference to FIGS. 1, 5 and 6 and the table 411 of the point spread function and the blur correction function as described with reference to FIG. 5 or FIG. The data is read into the memory 401 by the drive 405 from the recorded recording medium 404. Alternatively, the program 410 and the table 411 are temporarily stored in the auxiliary storage device 406, and when the processing is executed,
06 to the memory 401. The image data to be processed is, for example, a digital camera 40 that has captured the image data.
8 through the external interface 407
01 is read. The display 402 and the pointing device 403 are used for the graphic display and editing of the point spread function described with reference to FIG.
【００５３】本発明の別の実施の形態によれば、図１，
図５及び図６に関連して説明した処理のための機能がデ
ジタルカメラ等の撮像装置に実装される。図７は、その
ようなデジタルカメラの一例の概略ブロック図である。
図８において、５００は不図示の光学系を介して光学像
が結像されるＣＣＤイメージセンサ、５０２はＣＣＤイ
メージセンサ５００から出力されるアナログ画像信号の
増幅やデジタル信号への変換等を行う信号回路部、５０
２は画像データ等の記憶のためのデータメモリ、５０３
はデジタル画像データの圧縮／伸長やビデオ信号への変
換等を行うデジタル信号プロセッサ、５０４は液晶ディ
スプレイパネル等を用いたモニタディスプレイである。
５０６はカメラ内部の制御等を行うためのマイクロコン
ピュータであり、ＣＰＵ５１０やＲＯＭ５１１、ＲＡＭ
５１２、その他の不図示の外部インターフェース等から
なる。５０７はユーザがマイクロコンピュータ５０６へ
各種指示を入力するための操作部である。According to another embodiment of the present invention, FIG.
The functions for the processing described with reference to FIGS. 5 and 6 are implemented in an imaging device such as a digital camera. FIG. 7 is a schematic block diagram of an example of such a digital camera.
8, reference numeral 500 denotes a CCD image sensor on which an optical image is formed via an optical system (not shown); and 502, a signal for amplifying an analog image signal output from the CCD image sensor 500, converting the analog image signal to a digital signal, and the like. Circuit part, 50
Reference numeral 2 denotes a data memory for storing image data and the like;
Reference numeral 504 denotes a digital signal processor for compressing / decompressing digital image data and conversion to a video signal, and 504 denotes a monitor display using a liquid crystal display panel or the like.
Reference numeral 506 denotes a microcomputer for performing control and the like inside the camera, and includes a CPU 510, a ROM 511, and a RAM.
512, and other external interfaces (not shown). An operation unit 507 is used by the user to input various instructions to the microcomputer 506.
【００５４】操作部５０７の撮影ボタンが押されない状
態では、デジタル信号プロセッサ５０３は、信号回路部
５０１から連続的に出力されるデジタル画像データをビ
デオ信号に変換してモニタディスプレイ５０４に出力す
るため、ユーザは視野内の映像をモニタディスプレイ５
０４で監視することができる。ユーザが操作部５０７上
の撮影ボタンを押すと、マイクロコンピュータ５０６の
制御により、信号回路部５０１より出力される画像１枚
分のデジタル画像データがデータメモリ５０２に一時的
に保存される。次に、この画像データがデジタル信号プ
ロセッサ５０３へ転送され、必要な階調補正等が施され
た後に圧縮される。得られた圧縮画像データはデータメ
モリ５０２へ転送される。外部のパソコン等への画像デ
ータ出力が操作部５０７より指示されると、マイクロコ
ンピュータ５０６の制御により、データメモリ５０２内
の圧縮画像データがデジタル信号プロセッサ５０３へ転
送されて伸長される。伸長された画像データは再びデー
タメモリ５０２に書き込まれる。そして、この画像デー
タがマイクロプロセッサ５０６の制御により外部のパソ
コン等へ転送される。このようなデジタルカメラ内部の
一般的な制御は、ＲＯＭ５１１に格納されたプログラム
に従って遂行される。When the shooting button of the operation unit 507 is not pressed, the digital signal processor 503 converts digital image data continuously output from the signal circuit unit 501 into a video signal and outputs the video signal to the monitor display 504. The user displays the image in the field of view on the monitor display 5.
04 can be monitored. When the user presses a shooting button on the operation unit 507, digital image data for one image output from the signal circuit unit 501 is temporarily stored in the data memory 502 under the control of the microcomputer 506. Next, the image data is transferred to the digital signal processor 503 and subjected to necessary gradation correction and the like, and then compressed. The obtained compressed image data is transferred to the data memory 502. When image data output to an external personal computer or the like is instructed by the operation unit 507, the compressed image data in the data memory 502 is transferred to the digital signal processor 503 and decompressed under the control of the microcomputer 506. The decompressed image data is written into the data memory 502 again. The image data is transferred to an external personal computer or the like under the control of the microprocessor 506. Such general control inside the digital camera is performed according to a program stored in the ROM 511.
【００５５】ここに示すデジタルカメラにおいては、図
１，図５及び図６に関連して説明した処理ステップのた
めの手段がソフトウェアにより実装される。すなわち、
図１、図５及び図６に関連して説明した各処理ステップ
をマイクロコンピュータ５０６に実行させるためのプロ
グラム５２０や、図５又は図６に関連して説明したよう
な点広がり関数やボケ補正関数のテーブル５２１もＲＯ
Ｍ５１１（又はＲＡＭ５１２）に格納されている。ユー
ザが、操作部５０７の操作により手ぶれ補正を指示する
と、マイクロコンピュータ５０６は、プログラム５２０
に従って、データメモリ５０２上の圧縮画像データをデ
ジタル信号プロセッサ５０３へ転送して伸長させ、伸長
された画像データをデータメモリ５０２に格納させる。
この伸長された画像データのビデオ信号もデジタル信号
プロセッサ５０３より出力されるので、その画像データ
の画像をモニタディスプレイ５０４上でユーザは確認で
きる。そして、マイクロプロセッサ５０６は、データメ
モリ５０２上の伸長された画像データに対し、以上に説
明したような本発明による手ぶれ画像補正処理を実行す
る。データメモリ５０２上に得られた補正後の画像デー
タはデジタル信号プロセッサ５０３へ転送され、そのビ
デオ信号がモニタディプレイ５０４へ与えられ、ユーザ
は手ぶれ補正後の画像を確認できる。ユーザが、操作部
５０７で指示することにより、前述のようなボケ補正関
数の選択や点広がり関数の編集を行うことができる。こ
の場合、マイクロコンピュータ５０６は、ボケ補正関数
の選択のためのイメージや点広がり関数をデジタル信号
プロセッサ５０３を介してモニタディスプレイ５０４に
表示させる。ユーザは、操作部５０７に設けられたポイ
ンティングデバイス（不図示）を操作することにより、
モニタディスプレイ５０４の画面上で、ボケ補正関数の
選択や点広がり関数の編集を指示することができる。In the digital camera shown here, the means for the processing steps described in connection with FIGS. 1, 5 and 6 are implemented by software. That is,
A program 520 for causing the microcomputer 506 to execute each processing step described with reference to FIGS. 1, 5, and 6, a point spread function and a blur correction function as described with reference to FIG. 5 or FIG. Table 521 is also RO
It is stored in M511 (or RAM 512). When the user instructs camera shake correction by operating the operation unit 507, the microcomputer 506 executes the program 520.
, The compressed image data in the data memory 502 is transferred to the digital signal processor 503 and decompressed, and the decompressed image data is stored in the data memory 502.
Since the video signal of the decompressed image data is also output from the digital signal processor 503, the user can confirm the image of the image data on the monitor display 504. Then, the microprocessor 506 executes the above-described camera shake image correction processing on the decompressed image data in the data memory 502 as described above. The corrected image data obtained on the data memory 502 is transferred to the digital signal processor 503, and the video signal is provided to the monitor display 504, so that the user can check the image after the camera shake correction. The user can select the blur correction function and edit the point spread function as instructed by the operation unit 507 as described above. In this case, the microcomputer 506 causes the monitor display 504 to display an image and a point spread function for selecting a blur correction function via the digital signal processor 503. The user operates a pointing device (not shown) provided on the operation unit 507 to
On the screen of the monitor display 504, an instruction to select a blur correction function or edit a point spread function can be given.
【００５６】[0056]
【発明の効果】以上の説明から明らかなように、請求項
１乃至７、９乃至１５の各項記載の発明によれば、不均
一な回転及び平行移動を含む手ぶれが生じた場合にも、
適切な手ぶれ補正が可能である。また、手ぶれ補正のた
めに画像の回転等の前処理や後処理を必要としないた
め、そのような処理に伴う画質劣化も生じない。したが
って、不均一な手ぶれ画像から、手ぶれを補正した高画
質の画像を復元可能である。請求項３又は１１記載の発
明によれば、手ぶれ補正のための計算をテーブル参照方
式等で高速に行うことができ、しかも画像の回転等の前
処理や後処理も不要であるため、全体として高速な処理
が可能である。請求項２記載の発明によれば、画像の複
数位置での手ぶれの方向及び大きさを、画像そのものか
ら推定するため、加速度センサ等を持たないカメラで撮
影された画像に対しても、適切な手ぶれ補正が可能であ
る。請求項１０記載の発明によれば、撮像装置に加速度
センサ等を設けなくとも、撮像した画像に対し手ぶれ補
正を適切に行うことができる。請求項４又は１２記載の
発明によれば、ユーザが、画像を観察し、適切と判断し
たボケ補正関数を選択して手ぶれ補正を行わせ、また、
必要と判断した場合にはボケ補正関数を選び直すことが
できるため、様々な手ぶれパターンに対応可能になる。
また、請求項５又は１３によれば、ユーザが関与するこ
となく、画像撮影時の手ぶれパターンに対応したボケ補
正関数を利用し適切な手ぶれ補正が可能になる。また、
請求項６，７、１４又は１５記載の発明によれば、ユー
ザが、特開平７−２２６９０５号に関連して説明したよ
うな撮影環境条件に応じた補正の違いや、手ぶれパター
ンの違いに応じて、点広がり関数を任意に編集しボケ補
正関数を最適化することができる。請求項８記載の発明
によれば、上に述べたような手ぶれ画像補正やボケ補正
関数の最適化等をコンピュータを利用し実施可能にな
る、等々の効果を得られる。As is apparent from the above description, according to the first to seventh and ninth to fifteenth aspects of the present invention, even when camera shake including non-uniform rotation and parallel movement occurs,
Appropriate camera shake correction is possible. Further, since pre-processing and post-processing such as image rotation are not required for camera shake correction, image quality does not deteriorate due to such processing. Therefore, it is possible to restore a high-quality image in which camera shake has been corrected from an uneven camera shake image. According to the third or eleventh aspect of the present invention, calculation for camera shake correction can be performed at high speed by a table reference method or the like, and pre-processing and post-processing such as image rotation are not required. High-speed processing is possible. According to the second aspect of the present invention, since the direction and the magnitude of camera shake at a plurality of positions of the image are estimated from the image itself, the method can be applied to an image captured by a camera having no acceleration sensor or the like. Camera shake correction is possible. According to the tenth aspect, camera shake correction can be appropriately performed on a captured image without providing an acceleration sensor or the like in the imaging device. According to the invention of claim 4 or 12, the user observes the image, selects the blur correction function determined to be appropriate, and causes the camera shake correction to be performed.
When it is determined that the blur correction function is necessary, the blur correction function can be selected again, so that it is possible to cope with various camera shake patterns.
According to the fifth or thirteenth aspect, it is possible to perform appropriate camera shake correction using a blur correction function corresponding to a camera shake pattern at the time of image capturing without involving a user. Also,
According to the invention described in claims 6, 7, 14 or 15, the user can adjust the difference depending on the photographing environment condition as described in relation to Japanese Patent Application Laid-Open No. 7-226905 or the difference in the camera shake pattern. Thus, the point spread function can be arbitrarily edited to optimize the blur correction function. According to the eighth aspect of the present invention, it is possible to obtain effects such as the above-described effects that the camera shake image correction and the optimization of the blur correction function can be performed using a computer.
【図１】本発明による手ぶれ画像補正の処理手順の一例
を示すフローチャートである。FIG. 1 is a flowchart illustrating an example of a processing procedure of camera shake image correction according to the present invention.
【図２】座標変換行列の決定に関連した、画像上の複数
の位置における手ぶれベクトルを示す図である。FIG. 2 is a diagram showing camera shake vectors at a plurality of positions on an image related to determination of a coordinate transformation matrix.
【図３】手ぶれベクトルに沿った１次元の補間演算の説
明のための図である。FIG. 3 is a diagram for explaining a one-dimensional interpolation operation along a camera shake vector.
【図４】典型的な手ぶれパターンに対応した点広がり関
数の例及び点広がり関数の編集例を示す図である。FIG. 4 is a diagram showing an example of a point spread function corresponding to a typical camera shake pattern and an example of editing the point spread function.
【図５】ボケ補正関数の自動選択手順の一例を説明する
ためのフローチャートである。FIG. 5 is a flowchart illustrating an example of a procedure for automatically selecting a blur correction function.
【図６】点広がり関数の編集によりボケ補正関数を修正
する手順を説明するためのフローチャートである。FIG. 6 is a flowchart illustrating a procedure for correcting a blur correction function by editing a point spread function.
【図７】本発明のソフトウェアによる実施のためのコン
ピュータの一例を示すブロック図である。FIG. 7 is a block diagram showing an example of a computer for implementing by software of the present invention.
【図８】本発明によるデジタルカメラの一例を示すブロ
ック図である。FIG. 8 is a block diagram illustrating an example of a digital camera according to the present invention.
４００ ＣＰＵ ４０１ メモリ ４０２ ディスプレイ装置 ４０３ ポインティングデバイス ４１０ 手ぶれ画像補正のためのプログラム ４１１ 点広がり関数及びボケ補正関数のテーブル ５００ ＣＣＤイメージセンサ ５０１ 信号回路部 ５０２ データメモリ ５０３ デジタル信号プロセッサ ５０４ モニタディスプレイ ５０６ マイクロコンピュータ ５０７ ポインティングデバイスを含む操作部 ５２０ 手ぶれ画像補正のためのプログラム ５２１ 点広がり関数及びボケ補正関数のテーブル 400 CPU 401 Memory 402 Display device 403 Pointing device 410 Program for camera shake image correction 411 Table of point spread function and blur correction function 500 CCD image sensor 501 Signal circuit unit 502 Data memory 503 Digital signal processor 504 Monitor display 506 Microcomputer 507 Operation unit including pointing device 520 Program for correcting camera shake image 521 Table of point spread function and blur correction function
───────────────────────────────────────────────────── フロントページの続き (72)発明者 関 海克 東京都中央区勝鬨３丁目12番１号 リコー システム開発株式会社内 (72)発明者 坂本 拓之 東京都中央区勝鬨３丁目12番１号 リコー システム開発株式会社内 Ｆターム(参考） 5B057 AA01 BA02 BA23 CD11 CE03 DA20 DC08 5C022 AB55 AC03 AC42 AC69 5L096 CA02 EA23 EA33 FA23 FA34 GA04 MA03 ──────────────────────────────────────────────────続 き Continuing from the front page (72) Inventor Kaikatsu 3-12-1, Kachidoki, Chuo-ku, Tokyo Ricoh System Development Co., Ltd. (72) Inventor Takuyuki Sakamoto 3-2-1, Kachidoki, Chuo-ku, Tokyo No. F-term (reference) in Ricoh System Development Co., Ltd. 5B057 AA01 BA02 BA23 CD11 CE03 DA20 DC08 5C022 AB55 AC03 AC42 AC69 5L096 CA02 EA23 EA33 FA23 FA34 GA04 MA03
Claims (15)
及び平行移動を表す座標変換行列を決定するステップ、
決定された座標変換行列を利用して対象画像上の各画素
位置における手ぶれベクトルを推定するステップ、対象
画像上の各画素値に対し、その位置の推定された手ぶれ
ベクトルに応じたボケ補正を施すステップを含むことを
特徴とする手ぶれ画像補正方法。Determining a coordinate transformation matrix representing rotation and translation of a pixel on a target image due to camera shake;
Estimating a camera shake vector at each pixel position on the target image using the determined coordinate transformation matrix, performing blur correction on each pixel value on the target image according to the estimated camera shake vector at that position A method for correcting a camera shake image, comprising a step.
の方向及び大きさを、対象画像に基づいて推定するステ
ップ、推定された手ぶれの方向及び大きさに基づいて、
手ぶれによる、対象画像上の画素の回転及び平行移動を
表す座標変換行列を決定するステップ、決定された座標
変換行列を利用して対象画像上の各画素位置における手
ぶれベクトルを推定するステップ、対象画像上の各画素
値に対し、その位置の推定された手ぶれベクトルに応じ
たボケ補正を施すステップを含むことを特徴とする手ぶ
れ画像補正方法。2. A step of estimating directions and magnitudes of camera shake at a plurality of positions on the target image based on the target image, based on the estimated direction and magnitude of camera shake,
Determining a coordinate transformation matrix representing rotation and translation of pixels on the target image due to camera shake; estimating a camera shake vector at each pixel position on the target image using the determined coordinate transformation matrix; A camera shake image correction method, comprising: performing a blur correction on each of the above pixel values according to a camera shake vector estimated at the position.
てボケ補正が行われることを特徴とする請求項１又は２
記載の手ぶれ画像補正方法。3. The blur correction is performed by an interpolation operation along a camera shake vector.
The described camera shake image correction method.
に対応した複数のボケ補正関数の中からボケ補正に利用
されるボケ補正関数をユーザが選択するステップをさら
に含むことを特徴とする請求項１、２又は３記載の手ぶ
れ画像補正方法。4. The method according to claim 1, further comprising the step of a user selecting a blur correction function used for blur correction from a plurality of blur correction functions corresponding to a typical camera shake pattern prepared in advance. 4. The method of correcting a camera shake image according to claim 1, 2, or 3.
推定するステップ、推定された点広がり関数に最も類似
した点広がり関数を、予め用意された複数の典型的な点
広がり関数の中から選択するステップ、選択された典型
的点広がり関数に対応したボケ補正関数を予め用意され
た複数のボケ補正関数の中から選択するステップをさら
に含み、選択されたボケ関数がボケ補正に用いられるこ
とを特徴とする請求項１、２又は３記載の手ぶれ画像補
正方法。5. A step of estimating a point spread function due to camera shake of a target image, and selecting a point spread function most similar to the estimated point spread function from a plurality of typical point spread functions prepared in advance. A step of selecting a blur correction function corresponding to the selected typical point spread function from a plurality of previously prepared blur correction functions, wherein the selected blur function is used for blur correction. 4. The method of correcting a camera shake image according to claim 1, wherein:
ディスプレイの画面に表示するステップ、表示された点
広がり関数のグラフをポインティングデバイスの操作に
従って編集するステップ、編集後の点広がり関数のグラ
フに対応してボケ補正に用いられるボケ補正関数を修正
するステップをさらに含むことを特徴とする請求項１、
２又は３記載の手ぶれ画像補正方法。6. A step of displaying a previously prepared graph of the point spread function on a display screen, a step of editing the displayed graph of the point spread function in accordance with an operation of a pointing device, and a graph of the point spread function after editing. 2. The method according to claim 1, further comprising the step of correcting the blur correction function used for the blur correction.
4. The method for correcting a camera shake image according to 2 or 3.
グラフをディスプレイの画面に表示するステップ、表示
された点広がり関数のグラフをポインティングデバイス
の操作に従って編集するステップ、編集後の点広がり関
数に対応したボケ補正関数を生成するステップをさらに
含み、生成されたボケ補正関数がボケ補正に用いられる
ことを特徴とする請求項１、２又は３記載の手ぶれ画像
補正方法。7. A step of displaying a graph of a point spread function due to camera shake on a target image on a display screen, a step of editing the displayed graph of the point spread function according to an operation of a pointing device, and a step spread function after editing. 4. The method according to claim 1, further comprising the step of generating a corrected blur correction function, wherein the generated blur correction function is used for blur correction.
ぶれ画像補正方法の各ステップをコンピュータに実行さ
せるためのプログラムが記録されたコンピュータ読み取
り可能記録媒体。8. A computer-readable recording medium on which a program for causing a computer to execute each step of the camera shake image correction method according to claim 1 is recorded.
画像を得る撮像装置であって、デジタル画像上の画素
の、手ぶれによる回転及び平行移動を表す座標変換行列
を決定する手段、決定された座標変換行列を利用してデ
ジタル画像上の各画素位置における手ぶれベクトルを推
定する手段、デジタル画像上の各画素値に対し、その位
置の推定された手ぶれベクトルに応じたボケ補正を施す
手段を有することを特徴とする撮像装置。9. An imaging apparatus for obtaining a digital image by capturing an image of a subject with an image sensor, means for determining a coordinate conversion matrix representing rotation and translation of pixels on the digital image due to camera shake, and the determined coordinate conversion. Means for estimating a camera shake vector at each pixel position on the digital image using a matrix, and means for performing blur correction on each pixel value on the digital image in accordance with the estimated camera shake vector at that position. Characteristic imaging device.
おける手ぶれの方向及び大きさを推定する手段をさらに
有し、推定された手ぶれの方向及び大きさに基づいて座
標変換行列を決定することを特徴とする請求項９記載の
撮像装置。10. A method for estimating the direction and magnitude of camera shake at a plurality of positions of pixels on a digital image, wherein determining a coordinate transformation matrix based on the estimated direction and magnitude of camera shake. The imaging device according to claim 9, wherein:
ってボケ補正を行うことを特徴とする請求項９又は１０
記載の撮像装置。11. The blur correction is performed by an interpolation operation along a camera shake vector.
An imaging device according to any one of the preceding claims.
対応した複数のボケ補正関数の中から、ユーザが、ボケ
補正に利用されるボケ補正関数を選択するための手段を
さらに有することを特徴とする請求項９、１０又は１１
記載の撮像装置。12. The image processing apparatus further includes means for allowing a user to select a blur correction function to be used for blur correction from a plurality of blur correction functions corresponding to the prepared typical camera shake patterns. Claim 9, 10 or 11
An imaging device according to any one of the preceding claims.
関数を推定する手段、推定された点広がり関数に最も類
似した点広がり関数を、用意された複数の典型的な点広
がり関数の中から選択する手段、選択された典型的点広
がり関数に対応したボケ補正関数を用意された複数のボ
ケ補正関数の中から選択する手段をさらに有し、選択さ
れたボケ関数をボケ補正に用いることを特徴とする請求
項９、１０又は１１記載の撮像装置。13. A means for estimating a point spread function due to camera shake of a digital image, and a means for selecting a point spread function most similar to the estimated point spread function from a plurality of prepared typical point spread functions. Means for selecting a blur correction function corresponding to the selected typical point spread function from a plurality of prepared blur correction functions, wherein the selected blur function is used for blur correction. The imaging device according to claim 9, 10, or 11.
ィスプレイの画面に表示させる手段、表示された点広が
り関数のグラフをユーザによるポインティングデバイス
の操作に従って編集する手段、編集後の点広がり関数の
グラフに対応して、ボケ補正に用いられるボケ補正関数
を修正する手段をさらに有することを特徴とする請求項
９、１０又は１１記載の撮像装置。14. A means for displaying a prepared graph of a point spread function on a screen of a display, a means for editing the displayed graph of the point spread function in accordance with an operation of a pointing device by a user, and a graph of the edited point spread function. 12. The image pickup apparatus according to claim 9, further comprising: means for correcting a blur correction function used for blur correction.
関数のグラフをディスプレイの画面に表示させる手段、
表示された点広がり関数のグラフを、ユーザによるポイ
ンティングデバイスの操作に従って編集する手段、編集
後の点広がり関数に対応したボケ補正関数を生成する手
段をさらに有し、生成されたボケ補正関数をボケ補正に
用いることを特徴とする請求項９、１０又は１１記載の
撮像装置。15. A means for displaying a graph of a point spread function due to camera shake of a digital image on a screen of a display,
Means for editing the displayed graph of the point spread function in accordance with the operation of the pointing device by the user; and means for generating a blur correction function corresponding to the edited point spread function. The imaging device according to claim 9, wherein the imaging device is used for correction.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10503399A JP4345940B2 (en) | 1999-04-13 | 1999-04-13 | Camera shake image correction method, recording medium, and imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10503399A JP4345940B2 (en) | 1999-04-13 | 1999-04-13 | Camera shake image correction method, recording medium, and imaging apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000298300A true JP2000298300A (en) | 2000-10-24 |
| JP4345940B2 JP4345940B2 (en) | 2009-10-14 |
Family
ID=14396714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10503399A Expired - Fee Related JP4345940B2 (en) | 1999-04-13 | 1999-04-13 | Camera shake image correction method, recording medium, and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4345940B2 (en) |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004109386A1 (en) * | 2003-06-09 | 2004-12-16 | Olympus Corporation | Imaging apparatus |
| JP2005122688A (en) * | 2003-09-26 | 2005-05-12 | Fuji Photo Film Co Ltd | Image processing method, device, and program |
| JP2005269419A (en) * | 2004-03-19 | 2005-09-29 | Canon Inc | Method and device for estimating image deformation |
| JP2005310073A (en) * | 2004-03-25 | 2005-11-04 | Fuji Photo Film Co Ltd | Image processing method, device, and program |
| WO2007141863A1 (en) * | 2006-06-08 | 2007-12-13 | Nippon Computer System Co., Ltd | Image processing program and computer readable recording medium with the program recorded therein and image processing device |
| EP2015560A2 (en) | 2007-07-13 | 2009-01-14 | Morpho Inc. | Image data processing method and imaging apparatus |
| US7481369B2 (en) | 2004-01-08 | 2009-01-27 | Denso Wave Incorporated | Method and apparatus for optically picking up an image of an information code |
| JP2009033479A (en) * | 2007-07-27 | 2009-02-12 | Sharp Corp | Camera shake correction device |
| JP2009104639A (en) * | 2009-01-26 | 2009-05-14 | Seiko Epson Corp | Method, program and device for evaluating image information |
| US7536090B2 (en) | 2005-09-22 | 2009-05-19 | Sanyo Electric Co., Ltd. | Hand shake blur correcting apparatus |
| JP2010062785A (en) * | 2008-09-03 | 2010-03-18 | Sony Corp | Image processing apparatus, imaging apparatus, solid state imaging element, image processing method, and program |
| US7693342B2 (en) | 2004-11-29 | 2010-04-06 | Seiko Epson Corporation | Evaluating method of image information, storage medium having evaluation program stored therein, and evaluating apparatus |
| JP2010239189A (en) * | 2009-03-30 | 2010-10-21 | Nikon Corp | Photographing device and image processor |
| JP2010244579A (en) * | 2003-09-26 | 2010-10-28 | Fujifilm Corp | Image processing method, apparatus and program |
| WO2010150769A1 (en) * | 2009-06-23 | 2010-12-29 | 国立大学法人東京大学 | Image pickup device and image processing method |
| JP2011004283A (en) * | 2009-06-19 | 2011-01-06 | Canon Inc | Apparatus, method and program for processing image and storage medium |
| JP2011193338A (en) * | 2010-03-16 | 2011-09-29 | Canon Inc | Image processing apparatus, imaging apparatus, and image processing program |
| JP4975644B2 (en) * | 2005-12-28 | 2012-07-11 | 日東光学株式会社 | Image processing device |
| JP2013192227A (en) * | 2012-03-13 | 2013-09-26 | Samsung Electronics Co Ltd | Method and apparatus for deblurring non-uniform motion blur in large scale input image on the basis of tile unit |
| US9338354B2 (en) | 2011-10-03 | 2016-05-10 | Nikon Corporation | Motion blur estimation and restoration using light trails |
| KR101804215B1 (en) * | 2012-03-06 | 2017-12-05 | 삼성전자주식회사 | A method and an apparatus for estimating a non-uniform motion blur robustly |
| KR101839617B1 (en) * | 2011-07-11 | 2018-03-19 | 포항공과대학교 산학협력단 | Method and apparatus for removing non-uniform motion blur using multiframe |
| KR101844332B1 (en) * | 2012-03-13 | 2018-04-03 | 삼성전자주식회사 | A method and an apparatus for debluring non-uniform motion blur usign multiframe comprises of a blur image and a noise image |
-
1999
- 1999-04-13 JP JP10503399A patent/JP4345940B2/en not_active Expired - Fee Related
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004109386A1 (en) * | 2003-06-09 | 2004-12-16 | Olympus Corporation | Imaging apparatus |
| US7430366B2 (en) | 2003-06-09 | 2008-09-30 | Olympus Corporation | Image capture device |
| JP2005122688A (en) * | 2003-09-26 | 2005-05-12 | Fuji Photo Film Co Ltd | Image processing method, device, and program |
| JP2011003201A (en) * | 2003-09-26 | 2011-01-06 | Fujifilm Corp | Image processing method and apparatus, and program |
| JP4685965B2 (en) * | 2003-09-26 | 2011-05-18 | 富士フイルム株式会社 | Image processing method, apparatus, and program |
| JP4685966B2 (en) * | 2003-09-26 | 2011-05-18 | 富士フイルム株式会社 | Image processing method, apparatus, and program |
| JP2010244579A (en) * | 2003-09-26 | 2010-10-28 | Fujifilm Corp | Image processing method, apparatus and program |
| US7481369B2 (en) | 2004-01-08 | 2009-01-27 | Denso Wave Incorporated | Method and apparatus for optically picking up an image of an information code |
| JP2005269419A (en) * | 2004-03-19 | 2005-09-29 | Canon Inc | Method and device for estimating image deformation |
| JP4566591B2 (en) * | 2004-03-19 | 2010-10-20 | キヤノン株式会社 | Image deformation estimation method and image deformation estimation apparatus |
| JP2005310073A (en) * | 2004-03-25 | 2005-11-04 | Fuji Photo Film Co Ltd | Image processing method, device, and program |
| JP4527439B2 (en) * | 2004-03-25 | 2010-08-18 | 富士フイルム株式会社 | Image processing method, apparatus, and program |
| US7693342B2 (en) | 2004-11-29 | 2010-04-06 | Seiko Epson Corporation | Evaluating method of image information, storage medium having evaluation program stored therein, and evaluating apparatus |
| US7536090B2 (en) | 2005-09-22 | 2009-05-19 | Sanyo Electric Co., Ltd. | Hand shake blur correcting apparatus |
| JP4975644B2 (en) * | 2005-12-28 | 2012-07-11 | 日東光学株式会社 | Image processing device |
| US8243148B2 (en) | 2005-12-28 | 2012-08-14 | Nittoh Kogaku K.K. | Image processing device |
| WO2007141886A1 (en) * | 2006-06-08 | 2007-12-13 | Nippon Computer System Co., Ltd | Camera shake state estimating program and computer readable medium with the program recorded therein and camera shake state estimating device |
| WO2007141863A1 (en) * | 2006-06-08 | 2007-12-13 | Nippon Computer System Co., Ltd | Image processing program and computer readable recording medium with the program recorded therein and image processing device |
| US20090039233A1 (en) * | 2007-07-13 | 2009-02-12 | Masaki Hiraga | Image data processing method and imaging apparatus |
| US8155467B2 (en) | 2007-07-13 | 2012-04-10 | Morpho, Inc. | Image data processing method and imaging apparatus |
| EP2015560A2 (en) | 2007-07-13 | 2009-01-14 | Morpho Inc. | Image data processing method and imaging apparatus |
| JP2009033479A (en) * | 2007-07-27 | 2009-02-12 | Sharp Corp | Camera shake correction device |
| JP2010062785A (en) * | 2008-09-03 | 2010-03-18 | Sony Corp | Image processing apparatus, imaging apparatus, solid state imaging element, image processing method, and program |
| US8749646B2 (en) | 2008-09-03 | 2014-06-10 | Sony Corporation | Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program |
| US9325918B2 (en) | 2008-09-03 | 2016-04-26 | Sony Corporation | Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method and program |
| JP4661922B2 (en) * | 2008-09-03 | 2011-03-30 | ソニー株式会社 | Image processing apparatus, imaging apparatus, solid-state imaging device, image processing method, and program |
| JP4591603B2 (en) * | 2009-01-26 | 2010-12-01 | セイコーエプソン株式会社 | Image information evaluation method, image information evaluation program, and image information evaluation apparatus |
| JP2009104639A (en) * | 2009-01-26 | 2009-05-14 | Seiko Epson Corp | Method, program and device for evaluating image information |
| JP2010239189A (en) * | 2009-03-30 | 2010-10-21 | Nikon Corp | Photographing device and image processor |
| JP2011004283A (en) * | 2009-06-19 | 2011-01-06 | Canon Inc | Apparatus, method and program for processing image and storage medium |
| WO2010150769A1 (en) * | 2009-06-23 | 2010-12-29 | 国立大学法人東京大学 | Image pickup device and image processing method |
| US8780222B2 (en) | 2010-03-16 | 2014-07-15 | Canon Kabushiki Kaisha | Image processing apparatus that produces a higher resolution image, image pickup apparatus and image processing program |
| JP2011193338A (en) * | 2010-03-16 | 2011-09-29 | Canon Inc | Image processing apparatus, imaging apparatus, and image processing program |
| KR101839617B1 (en) * | 2011-07-11 | 2018-03-19 | 포항공과대학교 산학협력단 | Method and apparatus for removing non-uniform motion blur using multiframe |
| US9338354B2 (en) | 2011-10-03 | 2016-05-10 | Nikon Corporation | Motion blur estimation and restoration using light trails |
| KR101804215B1 (en) * | 2012-03-06 | 2017-12-05 | 삼성전자주식회사 | A method and an apparatus for estimating a non-uniform motion blur robustly |
| JP2013192227A (en) * | 2012-03-13 | 2013-09-26 | Samsung Electronics Co Ltd | Method and apparatus for deblurring non-uniform motion blur in large scale input image on the basis of tile unit |
| KR101810876B1 (en) * | 2012-03-13 | 2018-01-26 | 삼성전자주식회사 | A method and an apparatus for debluring non-uniform motion blur of a large scale input image based on a tile unit |
| KR101844332B1 (en) * | 2012-03-13 | 2018-04-03 | 삼성전자주식회사 | A method and an apparatus for debluring non-uniform motion blur usign multiframe comprises of a blur image and a noise image |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4345940B2 (en) | 2009-10-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4345940B2 (en) | Camera shake image correction method, recording medium, and imaging apparatus | |
| JP5906493B2 (en) | Image processing apparatus, image processing method, image processing program, and recording medium | |
| JP4152398B2 (en) | Image stabilizer | |
| JP4947060B2 (en) | Image composition apparatus, image composition method, and program | |
| JP5414405B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| EP2521091B1 (en) | Estimation of motion blur in a picture | |
| JP4454657B2 (en) | Blur correction apparatus and method, and imaging apparatus | |
| JP6656035B2 (en) | Image processing apparatus, imaging apparatus, and control method for image processing apparatus | |
| JP2011029735A5 (en) | ||
| KR20130018330A (en) | Imaging apparatus, image processing method, and recording medium for recording program thereon | |
| JP2008520117A (en) | Digital image acquisition system having means for determining camera motion blur function | |
| JP2000020691A (en) | Image processing device and method, image-pickup device, control method, and storage medium therefor | |
| JP2007088829A (en) | Blurring detecting device | |
| JP2016140030A (en) | Image processing apparatus, imaging device, and image processing program | |
| JP4958806B2 (en) | Blur detection device, blur correction device, and imaging device | |
| JP5177284B2 (en) | Subject motion detection apparatus and method | |
| JP5212046B2 (en) | Digital camera, image processing apparatus, and image processing program | |
| JP7057079B2 (en) | Image processing device, image pickup device, image processing method, and program | |
| JP2008099260A (en) | Image processing device, electronic camera and image processing program | |
| US7522189B2 (en) | Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon | |
| JP4930304B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JP2018022287A (en) | Image processing device, method, image processing program and projection apparatus | |
| JP2005094614A (en) | Apparatus and method for camera shake correction and recording medium recording camera shake correcting program | |
| JP4740008B2 (en) | Camera shake detection device and digital camera | |
| US11838631B2 (en) | Image processing device, image processing method, non-transitory computer-readable storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090408 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090708 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090709 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120724 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120724 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130724 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |