CN100550993C - 手抖动补正装置 - Google Patents

Abstract

一种手抖动补正装置，包括：使用所给与的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号的手抖动信号缩小部件；根据由手抖动信号缩小部件缩小的手抖动信号生成图像复原滤波器的图像复原滤波器生成部件；用与由手抖动信号缩小部件缩小手抖动信号时使用的水平方向以及垂直方向的缩小率相同的缩小率缩小手抖动图像的图像缩小部件；使用由图像复原滤波器生成部件生成的图像复原滤波器对由图像缩小部件缩小的手抖动图像进行图像复原的图像复原部件；通过把由图像复原部件复原的复原图像放大，生成对于手抖动图像的复原图像的图像放大部件。

Description

手抖动补正装置

技术领域

本发明涉及手抖动补正装置。

背景技术

静止画面手抖动补正技术是减轻静止画面摄影中的手抖动的技术，检测手抖动，根据其检测结果使图像稳定，从而实现。

在检测手抖动的方法中，有使用手抖动传感器(角速度传感器)的方法、解析并检测图像的电子方式。在使图像稳定的方法中有使透镜或摄像元件稳定的光学方式、由图像处理除去由手抖动引起的模糊的电子方式。

而完全电子方式的手抖动补正技术即通过只解析/处理拍摄后的一个手抖动图像，而生成除去手抖动的图像的技术没有达到实用水平。难以通过解析一个手抖动图像，求出由手抖动传感器取得的精度的手抖动信号。

因此，使用手抖动传感器检测手抖动，使用该手抖动数据，通过图像处理除去手抖动模糊是现实的。把基于图像处理的模糊的除去称作图像复原。基于手抖动传感器和图像复原的手法在这里称作电子方式手抖动补正。须指出的是，把使用手抖动传感器检测手抖动，驱动光学系统(透镜、摄像元件)，补正图像的手法称作光学方式手抖动补正。电子方式手抖动补正与光学方式手抖动补正相比，在成本、尺寸、耗电方面具有优点。本发明涉及电子方式手抖动补正。

可是，如果手抖动或照相模糊等图像的恶化过程明确，则通过使用温纳滤波器或称作一般反滤波器的图像复原滤波器，能减轻该恶化。图像复原滤波器一般由二维FIR滤波器构成。由硬件实现手抖动补正装置时，二维FIR滤波器的尺寸由于硬件的制约，抽头尺寸的上限值固定。因此，如果手抖动尺寸变为某一定值以上，图像复原滤波器的全部系数成分就不能进入二维FIR滤波器的抽头数内，补正效果下降。因此，能进行图像复原的手抖动尺寸的上限值受制约。

发明内容

本发明的目的在于，提供即使手抖动尺寸大时，也能取得充分的补正效果的手抖动补正装置。

本发明的第一手抖动补正装置根据手抖动信号生成图像复原滤波器，使用取得的图像复原滤波器对手抖动图像进行图像复原，其特征在于，包括：使用所给与的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号的手抖动信号缩小部件；根据由手抖动信号缩小部件缩小的手抖动信号生成图像复原滤波器的图像复原滤波器生成部件；用与由手抖动信号缩小部件缩小手抖动信号时使用的水平方向以及垂直方向的缩小率相同的缩小率缩小手抖动图像的图像缩小部件；使用由图像复原滤波器生成部件生成的图像复原滤波器对由图像缩小部件缩小的手抖动图像进行图像复原的图像复原部件；通过把由图像复原部件复原的复原图像放大，生成对于手抖动图像的复原图像的图像放大部件。

作为手抖动信号缩小部件，例如使用决定预先设定的水平方向的缩小率和垂直方向的缩小率，使用决定的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号的部件。

作为手抖动信号缩小部件，使用分别根据手抖动信号的水平方向尺寸以及垂直方向尺寸，决定水平方向的缩小率和垂直方向的缩小率，使用决定的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号的部件。

本发明的第二手抖动补正装置，根据手抖动信号生成图像复原滤波器，使用取得的图像复原滤波器对手抖动图像进行图像复原，其特征在于，包括：使用所给与的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号的手抖动信号缩小部件；根据由手抖动信号缩小部件缩小的手抖动信号生成图像复原滤波器的图像复原滤波器生成部件；把手抖动图像分解为多个抽取图像的图像分解部件；使用图像复原滤波器生成部件生成的图像复原滤波器对由图像分解部件分解的各抽取图像进行图像复原的图像复原部件；合成由图像复原部件复原的各复原图像，生成对于手抖动图像的复原图像的图像合成部件。

作为手抖动信号缩小部件，使用决定预先设定的水平方向的缩小率和垂直方向的缩小率，使用决定的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号的部件。

作为手抖动信号缩小部件，例如使用分别根据手抖动信号的水平方向尺寸以及垂直方向尺寸，决定水平方向的缩小率和垂直方向的缩小率，使用决定的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号的部件。

作为图像分解部件，例如使用把手抖动图像分解为考虑由手抖动信号缩小部件缩小手抖动信号时使用的水平方向以及垂直方向的缩小率的数量的抽取图像的部件。

本发明的第三手抖动补正装置，根据手抖动信号生成图像复原滤波器，使用取得的图像复原滤波器对手抖动图像进行图像复原，其特征在于，包括：通过把手抖动信号与给定的阈值比较，判定手抖动尺寸的大小的手抖动尺寸判定部件；当由手抖动尺寸判定部件判定为手抖动尺寸小时，执行基于第一模式的手抖动补正处理的第一手抖动补正部件；当由手抖动尺寸判定部件判定为手抖动尺寸大时，执行基于第二模式的手抖动补正处理的第二手抖动补正部件；第一手抖动补正部件具有：根据手抖动信号生成图像复原滤波器的第一图像复原滤波器生成部件；使用由第一图像复原滤波器生成部件取得的图像复原滤波器对手抖动图像进行图像复原的第一图像复原部件；第二手抖动补正部件具有：使用所给与的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号的手抖动信号缩小部件；根据由手抖动信号缩小部件缩小的手抖动信号生成图像复原滤波器的第二图像复原滤波器生成部件；用与由手抖动信号缩小部件缩小手抖动信号时使用的水平方向以及垂直方向的缩小率相同的缩小率缩小手抖动图像的图像缩小部件；使用由第二图像复原滤波器生成部件生成的图像复原滤波器对由图像缩小部件缩小的手抖动图像进行图像复原的第二图像复原部件；通过把由图像复原部件复原的复原图像放大，生成对于手抖动图像的复原图像的图像放大部件。

作为手抖动信号缩小部件，例如使用决定预先设定的水平方向的缩小率和垂直方向的缩小率，使用决定的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号的部件。

作为手抖动信号缩小部件，例如使用分别根据手抖动信号的水平方向尺寸以及垂直方向尺寸，决定水平方向的缩小率和垂直方向的缩小率，使用决定的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号的部件。

本发明的第四手抖动补正装置，根据手抖动信号生成图像复原滤波器，使用取得的图像复原滤波器对手抖动图像进行图像复原，其特征在于，包括：通过把手抖动信号与给定的阈值比较，判定手抖动尺寸的大小的手抖动尺寸判定部件；当由手抖动尺寸判定部件判定为手抖动尺寸小时，执行基于第一模式的手抖动补正处理的第一手抖动补正部件；当由手抖动尺寸判定部件判定为手抖动尺寸大时，执行基于第二模式的手抖动补正处理的第二手抖动补正部件；第一手抖动补正部件具有：根据手抖动信号生成图像复原滤波器的第一图像复原滤波器生成部件；使用由第一图像复原滤波器生成部件取得的图像复原滤波器对手抖动图像进行图像复原的第一图像复原部件；第二手抖动补正部件具有：使用所给与的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号的手抖动信号缩小部件；根据由手抖动信号缩小部件缩小的手抖动信号生成图像复原滤波器的第二图像复原滤波器生成部件；把手抖动图像分解为多个抽取图像的图像分解部件；使用图像复原滤波器生成部件生成的图像复原滤波器对由图像分解部件分解的各抽取图像进行图像复原的第二图像复原部件；通过合成由图像复原部件复原的各复原图像，生成对于手抖动图像的复原图像的图像合成部件。

作为手抖动信号缩小部件，例如使用决定预先设定的水平方向的缩小率和垂直方向的缩小率，使用决定的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号的部件。

作为手抖动信号缩小部件，例如使用分别根据手抖动信号的水平方向尺寸以及垂直方向尺寸，决定水平方向的缩小率和垂直方向的缩小率，使用决定的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号的部件。

作为图像分解部件，例如使用把手抖动图像分解为考虑由手抖动信号缩小部件缩小手抖动信号时使用的水平方向以及垂直方向的缩小率的数量的抽取图像的部件。

附图说明

图1是表示设置在数码相机中的手抖动补正处理电路的结构的框图。

图2是表示把角速度传感器11的输出放大的放大器以及把放大器输出变换为数字值的A/D转换器的框图。

图3是表示相机的旋转量θ[deg]和画面上的移动量d[mm]的关系的模式图。

图4是表示35[mm]胶片换算的图像尺寸、数码相机的图像尺寸的模式图。

图5是表示从摄影中的各采样周期的移动向量V0、V1、…、Vn取得的手抖动的轨迹的模式图。

图6是表现手抖动的空间滤波器(PSF)的模式图。

图7是用于说明Bresenham的直线描绘算法的模式图。

图8是表示由图7的移动向量取得的PSF的模式图。

图9是表示设置在数码相机中的手抖动补正处理电路的结构的框图。

图10是用于说明基于图像抽取处理部32A的抽取图像的生成方法的模式图。

具体实施方式

下面，参照附图说明把本发明应用于数码相机时的实施例1、2。

[A]实施例1

[1]手抖动补正处理电路的结构

图1示出了设置在数码相机中的手抖动补正处理电路的结构。

角速度传感器11、12为了检测相机的角速度而设置。而一方的角速度传感器11检测相机的全景方向的角速度，另一方角速度传感器12检测相机的倾斜方向的角速度。角速度传感器11、12的输出信号分别由放大器13、14放大后，由A/D转换器15、16变换为数字数据。

手抖动补正处理电路具有图像复原滤波器计算部20和图像复原处理部30。图像复原滤波器计算部20根据全景方向的角速度数据和倾斜方向的角速度数据，计算图像复原滤波器(一般反滤波器)的系数。图像复原处理部30根据由图像复原滤波器计算部20计算的系数对拍摄图像(手抖动图像)v_tebre进行图像复原处理。

以下说明图像复原滤波器计算部20和图像复原处理部30。

[2]图像复原滤波器计算部20的说明

图像复原滤波器计算部20具有手抖动信号/移动向量变换处理部21、手抖动尺寸判定部22、选择器23、移动向量缩小处理部24、移动向量/手抖动函数变换处理部25、手抖动函数/一般反滤波器变换处理部26。

[2-1]手抖动信号/移动向量变换处理部21的说明

手抖动信号/移动向量变换处理部21把由角速度传感器11、12检测的角速度数据(手抖动信号)变换为移动向量。

手抖动的原来数据是从摄影开始到摄影结束之间的角速度传感器11、12的输出数据。使用角速度传感器11、12，与相机的曝光时期同步，在摄影开始的同时，以给定的采样间隔dt[sec]计测全景方向和倾斜方向的角速度，取得直到摄影结束的数据。采样间隔dt[sec]例如是1msec。

如图2所示，相机的全景方向的角速度θ’[deg/sec]由角速度传感器11变换为电压V_g[mV]后，由放大器13放大。从放大器13输出的电压V_a[mV]由A/D转换器15变换为数字值D_L[step]。为了把作为数字值取得的数据变换为角速度，使用传感器灵敏度S[mV/deg/sec]、放大器倍率K[倍]、A/D转换系数L[mV/step]计算。

由角速度传感器11取得的电压值V_g[mV]与角速度θ’[deg/sec]成比例。这时的比例常数是传感器灵敏度，所以V_g[mV]由以下的表达式(1)表示。

V_g＝Sθ’    …(1)

此外，放大器13只把电压值放大，所以放大的电压V_a[mV]由以下的表达式(2)表示。

V_a＝KV_g    …(2)

由放大器13放大的电压值V_a[mV]进行A/D转换，使用n[step](例如-512～512)的数字值D_L[step]表现。如果A/D转换系数为L[mV/step]，则数字值D_L[step]由以下的表达式(3)表示。

D_L＝V_a/L    …(3)

通过使用所束的表达式(1)～(3)，如以下的表达式(4)所示，能从传感器数据求出角速度。

θ’＝(L/KS)D_L    …(4)

从摄影中的角速度数据能计算在拍摄的图像上产生怎样的抖动。把图像上的外观的移动称作移动向量。

从角速度数据的一个采样值到下一采样值，相机中产生的旋转量为θ[deg]。这时，如果假定在其间，相机以一定角速度旋转，采样频率为f＝1/dt[Hz]，则θ[deg]由以下的表达式(5)表示。

θ＝θ’/f＝(L/KSf)D_L    …(5)

如图3所示，如果r[mm]为焦距(35[mm]胶片换算)，就从相机的旋转量θ[deg]通过以下的表达式(6)求出画面上的移动量d[mm]。

d＝rtanθ    …(6)

这里求出的移动量d[mm]是35[mm]胶片换算时的手抖动的大小，单位是[mm]。实际计算处理时，必须用数码相机的图像尺寸的单位[pixel]考虑图像的尺寸。

35[mm]胶片换算的图像与用数码相机拍摄的[pixel]单位的图像的纵横比不同，所以按以下进行计算。如图4所示，35[mm]胶片换算时，图像尺寸的横×纵决定为36[mm]×24[mm]。用数码相机拍摄的图像的尺寸为X[pixel]×Y[pixel]，如果水平方向(全景方向)的抖动为x[pixel]，垂直方向(倾斜)的抖动为y[pixel]，则变换式变为表达式(7)、(8)。

x＝d_x(X/36)＝rtanθ_x(X/36)    …(7)

y＝d_y(Y/24)＝rtanθ_y(Y/24)    …(8)

所述表达式(7)、(8)中，对d和θ使用下标x和y，但是下标x表示是水平方向的值，下标y表示是垂直方向的值。

如果总结所述表达式(1)～(8)，则水平方向(全景方向)的抖动为x[pixel]、垂直方向(倾斜方向)的抖动为y[pixel]分别由以下的表达式(9)、(10)表示。

x＝rtan{(L/KSf)D_Lx}X/36    …(9)

y＝rtan{(L/KSf)D_Ly}Y/24    …(10)

通过使用表达式(9)、(10)，能从作为数字值取得的相机各轴的角速度数据求出表示图像的抖动量的手抖动信号(移动向量)。

能仅取得从传感器取得的角速度的数据的数量的摄影中的移动向量(仅为采样点的数)，如果把它们的起点和终点按顺序连接，就变为图像上的手抖动的轨迹。此外，通过观察各向量的大小，知道该时刻的手抖动的速度。

[2-2]手抖动尺寸判定部22的说明

手抖动尺寸判定部22根据由手抖动信号/移动向量变换处理部21取得的移动向量，判定手抖动尺寸是否大，按照判定结果，控制图像复原滤波器计算部20内的选择器23以及图像复原处理部30内的选择器31、34。

摄影中的各采样周期的移动向量为V0、V1、…、Vn，各移动向量的水平成分为Vx0、Vx1、…、Vxn，各移动向量的垂直成分为Vy0、Vy1、…、Vyn。如图5所示，通过把摄影中的各采样周期的移动向量V0、V1、…、Vn依次相加，就取得摄影期间内的手抖动的轨迹。从手抖动的轨迹求出水平方向(Px)的最小值Px_min和最大值Px_max、垂直方向(Py)的最小值Py_min和最大值Py_max。然后通过以下的表达式(11)计算水平方向的手抖动的大小Sz_h、垂直方向的手抖动的大小Sz_v。

Sz_h＝Px_max-Px_min

Sz_v＝Py_max-Py_min    …(11)

然后，把各方向的手抖动的大小(Sz_h，Sz_v)与阈值Th比较。当双方的手抖动的大小(Sz_h，Sz_v)都在阈值Th以下时，判定为手抖动尺寸小。至少一放的手抖动的大小(Sz_h，Sz_v)比阈值Th大时，判定为手抖动尺寸大。

手抖动尺寸判定部22在判定为手抖动尺寸小时，控制选择器23，使得把由手抖动信号/移动向量变换处理部21取得的移动向量向移动向量/手抖动函数变换处理部25发送。当判定为手抖动尺寸大时，手抖动尺寸判定部22控制选择器23，使得把由手抖动信号/移动向量变换处理部21取得的移动向量向移动向量缩小处理部24发送。

[2-3]移动向量缩小处理部24的说明

移动向量缩小处理部24把由手抖动信号/移动向量变换处理部21取得的各移动向量(手抖动信号)的水平成分与水平方向的缩小率Scale_x相乘，把垂直成分与缩小率Scale_y相乘，从而缩小各移动向量。该缩小率设定为各方向的手抖动的大小(Sz_h，Sz_v)分别变为阈值Th以下。此外，优选设定缩小率，从而缩小后的各方向的手抖动的大小与阈值Th相比，不大幅度减小。

在本实施例中，缩小率Scale_x、Scale_y如以下的表达式(12)所示，设定为整数分之一的值。

Scale_x＝1/Div_x

Scale_y＝1/Div_y    …(12)

在所述的表达式(12)中，Div_x和Div_y是整数。Div_x和Div_y的值可以按照对应的方向的手抖动的大小(Sz_h，Sz_v)适当地决定，但是这里，预先定为“2”。，Div_x＝Div_y＝2时，Scale_x＝Scale_y＝1/2。

如果摄影中的各采样周期的移动向量为V0、V1、…、Vn，各移动向量的水平成分为Vx0、Vx1、…、Vxn，各移动向量的垂直成分为Vy0、Vy1、…、Vyn，则缩小后的移动向量V0’、V1’、…、Vn’由以下的表达式(13)表示。

V0’＝(Vx0×Scale_x，Vy0×Scale_y)

V1’＝(Vx1×Scale_x，Vy1×Scale_y)

……

Vn’＝(Vxn×Scale_x，Vyn×Scale_y)    …(13)

由移动向量缩小处理部24取得的移动向量发送给移动向量/手抖动函数变换处理部25。

[2-4]移动向量/手抖动函数变换处理部25的说明

能使用空间滤波器表示手抖动。如果与图6的左侧的图中表示的手抖动的轨迹(在相机抖动时图像上的一点描绘的轨迹、图像的抖动量)一致，对算符的要素加权，进行空间滤波处理，则在滤波过程中，像素的浓淡值只考虑与手抖动的轨迹对应的附近像素的浓淡值，所以能生成手抖动图像。

把与该轨迹一致而加权的算符称作Point Spread Function(PSF)，作为手抖动的数学模型使用。PSF的各要素的加权是与手抖动轨迹通过该要素的时间成比例的值，成为为了各要素的加权的总和变为1而标准化的值。即成为与移动向量的大小的倒数成比例的加权。当考虑手抖动对图像带来的影响时，慢慢移动的地方对图像带来大影响。

图6的中央的图表示假定手抖动的移动为等速时的PSF，图6的右侧的图表示考虑实际的手抖动的大小时的PSF。图6的右侧的图中，黑显示PSF的加权低(移动向量的尺寸大)的要素，白显示加权高(移动向量的尺寸小)的要素。

由所述[2-1]取得的移动向量(图像的抖动量)把手抖动的轨迹、轨迹的速度作为数据具有。

为了生成PSF，首先从手抖动的轨迹决定进行PSF的加权的要素。然后，从手抖动的速度决定PSF的要素的加权。

通过把所述[2-1]中取得的一系列移动向量连接，取得用折线近似的手抖动的轨迹。该轨迹具有小数点以下的精度，但是通过把它取整，决定PSF中加权的要素。因此，在本实施例中，使用Bresenham的直线描绘算法，决定PSF中加权的要素。Bresenham的直线描绘算法是在数字画面上想画通过任意2点的值显示，选择最佳的点位置的算法。

使用图7的例子说明Bresenham的直线描绘算法。在图7中，带箭头的直线表示移动向量。

(a)从点位置的原点(0，0)出发，把移动向量的水平方向的要素增加一个。

(b)确认移动向量的垂直方向的位置，当垂直方向的位置比以前的点垂直方向位置大于1时，把点位置的垂直方向增加一个。

(c)再把移动向量的水平方向的要素增加一个。

通过在移动向量的终点之前重复这样的处理，能在点位置再现移动向量通过的直线。

利用对各移动向量，向量的大小(速度成分)不同，决定PSF的要素的加权。加权取移动向量的大小的倒数，把加权代入与各移动向量对应的要素。可是，把各要素的加权标准化，使得各要素的加权的总和变为1。图8表示由图7的移动向量取得的PSF。速度快的地方(移动向量长的地方)的加权变小，速度慢的地方(移动向量短的地方)的加权变大。

须指出的是，移动向量/手抖动函数变换处理部25，当由手抖动尺寸判定部22判定为手抖动尺寸小时，根据由手抖动信号/移动向量变换处理部21取得的移动向量生成PSF。而由手抖动尺寸判定部22判定为手抖动尺寸大时，根据由移动向量缩小处理部24缩小的移动向量生成PSF。

[2-5]关于手抖动函数/一般反滤波器变换处理部26

图像以在水平方向为N_x像素，在垂直方向为N_y像素的析像度数字化。用p(i，j)表示位于水平方向第i个，垂直方向第j的位置的像素的值。基于空间滤波器的图像的变换是通过注目像素的附近像素的卷积，把变换模型化。卷积的系数为h(l，m)。这里，为了简单，如果-n＜1，m＜n，则注目像素的变换能由以下的表达式(14)表现。此外，把h(l，m)自身称作空间滤波器，或称作滤波器系数。变换的性质由h(l，m)的系数值决定。

$p^{\′}(i,j)=\underset{l=-n}{\overset{l=n}{\mathrm{\Σ}}}\underset{m=-n}{\overset{m=n}{\mathrm{\Σ}}}h(l,m)\×p(i+l,j+m)\·\·\·\left(14\right)$

用数码相机等摄像装置观察点光源时，如果假定图像的形成过程中没有恶化，则图像上观察的像只某一点具有0以外的像素值，此外的像素值变为0。实际的摄像装置包含恶化过程，所以即使观察点光源，像也不变为一点，变为扩展的像。发生手抖动时，点光源在画面上生成与手抖动对应的轨迹。

把与对于点光源的观察图像的像素值成比例的值作为系数具有，系数值的总和变为1的空间滤波器称作Point Spread Function(PSF，点扩散函数)。在本实施例中，作为PSF，使用由移动向量/手抖动函数变换处理部25取得的PSF。

把PSF用纵横(2n+1)×(2n+1)的空间滤波器h(l，m)，-n＜1，m＜n，模型化时，关于各像素，没有模糊的图像的像素值p(i，j)和有模糊的图像的像素值p’(i，j)变为所述表达式(14)的关系。这里，实际能观察的是模糊图像的像素值p’(i，j)，没有模糊的图像的像素值p(i，j)有必要用任意的方法计算。

如果关于全部像素列出所述表达式(14)，就变为以下的表达式(15)。

$p^{\′}(1,1)=\underset{l=-n}{\overset{l=n}{\mathrm{\Σ}}}\underset{m=-n}{\overset{m=n}{\mathrm{\Σ}}}h(l,m)\×p(1+l,1+m)$

$\begin{array}{c}{p}^{\′}\left(\mathrm{1,2}\right)=\underset{l=-n}{\overset{l=n}{\mathrm{\Σ}}}\underset{m=-n}{\overset{m=n}{\mathrm{\Σ}}}h(l,m)\×p(1+l,2+m)\end{array}$

...

$p^{\′}(1,N_n)=\underset{l=-n}{\overset{l=n}{\mathrm{\Σ}}}\underset{m=-n}{\overset{m=n}{\mathrm{\Σ}}}h(l,m)\×p(1+l,N_n+m)$

$p^{\′}(2,N_n)=\underset{l=-n}{\overset{l=n}{\mathrm{\Σ}}}\underset{m=-n}{\overset{m=n}{\mathrm{\Σ}}}h(l,m)\×p(2+l,N_n+m)$

...

$p^{\′}(N_y,N_n)=\underset{l=-n}{\overset{l=n}{\mathrm{\Σ}}}\underset{m=-n}{\overset{m=n}{\mathrm{\Σ}}}h(l,m)\×p(N_y+l,N_n+m)\·\·\·\left(15\right)$

总结这些表达式，能用矩阵表现，变为以下的表达式(16)。这里，P是按光泽扫描顺序把原图像一维化。

P′＝H×P    …(16)

如果存在H的逆矩阵H^-1，就通过计算P＝H¹×P，能从恶化的图像P’求出没有恶化的图像P，但是一般不存在H的逆矩阵H^-1。对于不存在逆矩阵的矩阵，存在称作一般逆矩阵或模拟逆矩阵的矩阵。表达式(17)表示一般逆矩阵的例子。

H^*＝(H^t·H+γ·I)^-1·H^t    …(17)

这里，H^*是H的一般逆矩阵，H^t是H的转置矩阵，γ是标量，I是与H^t·H相同尺寸的单位矩阵。使用H^*计算以下的表达式(18)，就能从观察的手抖动图像P’取得补正了手抖动的图像P。γ是调整补正的强度的参数。如果γ小，就变为强的补正处理，如果γ大，就变为弱的补正处理。

P’＝H^*×P    …(18)

当图像尺寸为640×480时，所述表达式(18)的P变为307，200×1的矩阵，H^*变为307，200×307，200的矩阵。因为变为这样的非常大的矩阵，所以直接使用所述表达式(17)、(18)并不实用。因此，用以下的方法减小计算中使用的矩阵的尺寸。

首先，在所述表达式(18)中，成为P的原来的图像尺寸为63×63等比较小的尺寸。如果63×63的图像，则P变为3969×1的矩阵，H^*变为3969×3969的矩阵。H^*是把模糊图像全体变换为补正的图像全体的矩阵，H^*的各行和P的积相当于进行各像素的补正的计算。H^*的正中的行与P的积相当于对于63×63的图像的原图像的正中像素的补正。P是按光泽扫描顺序把原图像一维化，所以相反，把H^*的正中的行通过反光泽扫描二维化，能构成63×63尺寸的空间滤波器。把这样构成的空间滤波器称作一般反滤波器(以下称作图像复原滤波器)。

把这样生成的实用尺寸的空间滤波器依次对大的图像全体的各像素应用，能补正模糊图像。

[3]关于图像复原处理部30

图像复原处理部30如图1所示，具有选择器31、图像缩小处理部32、滤波器处理部33、选择器34、图像放大处理部35。

如上所述，选择器31、34由手抖动尺寸判定部22控制。即手抖动尺寸判定部22控制选择器31，使得当判定为手抖动尺寸小时，把手抖动图像v_tebre发送给滤波器处理部33，当判定为手抖动尺寸大时，把手抖动图像v_tebre发送给图像缩小处理部32。此外，手抖动尺寸判定部22控制选择器34，使得当判定为手抖动尺寸小时，把由滤波器处理部33取得的图像作为复原图像原封不动输出，当判定为手抖动尺寸大时，把由滤波器处理部33取得的图像发送给图像放大处理部35。

[3-1]手抖动尺寸小时

由手抖动尺寸判定部22判定为手抖动尺寸小时，把手抖动图像v_tebre经由选择器31发送给滤波器处理部33。滤波器处理部33使用由图像复原滤波器计算部20取得的图像复原滤波器，对手抖动图像v_tebre进行滤波处理。由滤波器处理部33取得的图像作为复原图像v_fukugen输出。须指出的是，滤波器处理部33例如由二维FIR滤波器构成。

[3-2]手抖动尺寸大时

由手抖动尺寸判定部22判定为手抖动尺寸大时，把手抖动图像v_tebre经由选择器31发送给图像缩小处理部32。图像缩小处理部32用与水平方向的手抖动信号缩小率Scale_x和垂直方向的手抖动信号缩小率Scale_y相同的比例缩小手抖动图像v_tebre。

由图像缩小处理部32取得的缩小图像发送给滤波器处理部33。滤波器处理部33使用由图像复原滤波器计算部20取得的图像复原滤波器，对由图像缩小处理部32取得的缩小图像进行滤波处理。

由滤波器处理部33取得的图像发送给图像放大处理部35。图像放大处理部35用与图像缩小处理部32中使用的各缩小率Scale_x和Scale_y的倒数对应的比例放大由滤波器处理部33取得的图像。由图像放大处理部35取得的图像作为复原图像v_fukugen输出。

在所述实施例中，水平方向的手抖动信号缩小率Scale_x和垂直方向的手抖动信号缩小率Scale_y都设定为1/2，但是希望考虑水平方向的手抖动的大小，设定水平方向的手抖动信号缩小率Scale_x，并且考虑垂直方向的手抖动的大小，设定垂直方向的手抖动信号缩小率Scale_y。

例如，垂直方向的手抖动的大小Sz_v为阈值Th以下，水平方向的手抖动的大小Sz_h超过阈值Th时，垂直方向的手抖动信号缩小率Scale_y为1，考虑水平方向的手抖动的大小Sz_h，设定水平方向的手抖动信号缩小率Scale_x。如果这样，就没必要在垂直方向缩小手抖动图像，所以复原图像的垂直方向的图像析像度不恶化。

此外，用于判定水平方向的手抖动的大小的阈值和用于判定垂直方向的手抖动的大小的阈值使用相同的值Th，但是可以使用不同的值。

在所述实施例中，判别为手抖动尺寸大时，缩小手抖动信号的移动向量后，从缩小的移动向量生成PSF，但是也可以从手抖动信号的移动向量生成PSF后，缩小取得的PSF。

但在所述实施例中，判别为手抖动尺寸大时，缩小原图像(手抖动图像)，由滤波器处理部33对缩小图像进行滤波处理后，放大图像。因此，担心最终取得的复原图像的图像析像度的恶化。可是在手抖动尺寸大时，由于手抖动，失去原图像内的高频成分，所以几乎能忽略图像缩小放大处理引起的析像度下降。

[B]实施例2

[1]手抖动补正处理电路的结构

图9表示设置在数码相机中的手抖动补正处理电路的结构。在图9中，对于与图1相同的付与相同的符号，省略说明。

图9的手抖动补正处理电路如果与图1的手抖动补正处理电路比较，则图像复原处理部30A的结构不同。

[2]图像复原处理部30A的说明

图像复原处理部30A具有选择器31、图像抽取处理部32A、滤波器处理部33、选择器34、图像合成处理部35A。即在图9的图像复原处理部30A中，代替图1的图像缩小处理部32，使用图像抽取处理部32A，并且代替图1的图像放大处理部35，使用图像合成处理部35A。

选择器31、34由手抖动尺寸判定部22控制。即手抖动尺寸判定部22控制选择器31，使得当判定为手抖动尺寸小时，把手抖动图像v_tebre发送给滤波器处理部33，当判定为手抖动尺寸大时，把手抖动图像v_tebre发送给图像抽取处理部32A。此外，手抖动尺寸判定部22控制选择器34，使得当判定为手抖动尺寸小时，把由滤波器处理部33取得的图像作为复原图像原封不动输出，当判定为手抖动尺寸大时，把由滤波器处理部33取得的图像发送给图像合成处理部35A。

[2-1]手抖动尺寸小时

由手抖动尺寸判定部22判定为手抖动尺寸小时，把手抖动图像v_tebre经由选择器31发送给滤波器处理部33。滤波器处理部33使用由图像复原滤波器计算部20取得的图像复原滤波器，对手抖动图像v_tebre进行滤波处理。由滤波器处理部33取得的图像作为复原图像v_fukugen输出。

[2-2]手抖动尺寸大时

由手抖动尺寸判定部22判定为手抖动尺寸大时，把手抖动图像v_tebre经由选择器31发送给图像抽取处理部32A。图像抽取处理部32A把手抖动图像v_tebre分解为与水平方向的手抖动信号缩小率Scale_x和垂直方向的手抖动信号缩小率Scale_y对应的数量的抽取图像。

例如当手抖动信号缩小率Scale_x和垂直方向的手抖动信号缩小率Scale_y都为1/2(所述表达式(12)的Div_x＝Div_y＝2)时，如图10所示，把左侧的手抖动图像v_tebre分解为右侧的4个抽取图像。在本例子中，手抖动图像v_tebre分解为由奇数行奇数列的像素构成的第一抽取图像、由奇数行偶数列的像素构成的第二抽取图像、由偶数行奇数列的像素构成的第三抽取图像、由偶数行偶数列的像素构成的第四抽取图像。后面描述与手抖动信号缩小率Scale_x、Scale_y(Div_x、Div_y)对应的抽取图像的生成方法。

由图像抽取处理部32A取得的多个抽取图像发送给滤波器处理部33。滤波器处理部33使用由图像复原滤波器计算部20取得的图像复原滤波器，对由图像抽取处理部32A取得的多个抽取图像进行滤波处理。

由滤波器处理部33取得的多个复原图像发送给图像合成处理部35A。图像合成处理部35A把由滤波器处理部33取得的多个复原图像合成，使得各复原图像内的像素配置在与减少前(分解前)的像素排列相同的位置。由图像合成处理部35A取得的图像作为复原图像v_fukugen输出。

[3]基于图像抽取处理部32A的抽取图像的生成方法的说明

说明基于图像抽取处理部32A的抽取图像的生成方法.

(S1)首先，计算水平、垂直方向的像素抽取数(Nh、Nv)。

从为了计算水平方向和垂直方向的手抖动信号缩小率Scale_x、Scale_y而设定的Div_x、Div_y(参照所述表达式(12))，根据表达式(19)，计算像素抽取数(Nh、Nv)。

Nh＝Div_x-1

Nv＝Div_y-1    …(19)

例如，Div_x＝Div_y＝2时，Nh＝Nv＝1。

(S2)设定原图像(手抖动图像v_tebre)上的参照开始像素位置(Sh，Sv)的初始值(Sh0，Sv0)。通常，(Sh0，Sv0)设定在原图像的左上的像素位置(0，0)。即(Sh0，Sv0)变为(0，0)。

(S3)从参照开始像素位置(Sh，Sv)，在水平方向每隔Nh像素，在垂直方向每隔Nv像素，按格子状取得像素质，生成抽取图像。当Nh＝Nv＝1时，生成图10的左侧的原图像中由带圆圈的数字1表示的像素构成的抽取图像。

(S4)把参照开始像素位置在水平方向移动1像素。即(Sh，Sv)＝(Sh+1，Sv)。然后，进行与所述(S3)相同的处理。当Nh＝Nv＝1时，生成图10的左侧的原图像中由带圆圈的数字2表示的像素构成的抽取图像。

(S5)把所述(S4)的处理重复执行与水平方向的像素抽取数Nh对应的次数。当Nh＝1时，所述(S4)的处理只进行1次。

(S6)把参照开始像素位置的水平方向成分回到初始值后，把参照开始像素位置在垂直方向移动1像素。即(Sh，Sv)＝(Sh，Sv+1)。然后，进行与所述(S3)相同的处理。当Nh＝Nv＝1时，生成图10的左侧的原图像中由带圆圈的数字3表示的像素构成的抽取图像。然后，把参照开始像素位置在水平方向移动1像素。即更新为(Sh，Sv)＝(Sh+1，Sv)。然后，进行与所述(S3)相同的处理。当Nh＝Nv＝1时，生成图10的左侧的原图像中由带圆圈的数字4表示的像素构成的抽取图像。

(S7)把所述(S6)的处理重复执行与垂直方向的像素抽取数Nv对应的次数。当Nh＝1时，所述(S6)的处理只进行1次。

在所述的实施例中，把水平方向的手抖动信号缩小率Scale_x和垂直方向的手抖动信号缩小率Scale_y都设定为1/2，但是希望考虑水平方向的手抖动的大小，设定水平方向的手抖动信号缩小率Scale_x，并且考虑垂直方向的手抖动的大小，设定垂直方向的手抖动信号缩小率Scale_y。

例如，垂直方向的手抖动的大小Sz_v为阈值Th以下，水平方向的手抖动的大小Sz_h超过阈值Th时，垂直方向的手抖动信号缩小率Scale_y为1，考虑水平方向的手抖动的大小Sz_h，设定水平方向的手抖动信号缩小率Scale_x。如果这样，就没必要在垂直方向抽取手抖动图像，所以复原图像的垂直方向的图像析像度不恶化。

此外，用于判定水平方向的手抖动的大小的阈值和用于判定垂直方向的手抖动的大小的阈值使用相同的值Th，但是可以使用不同的值。

在所述实施例中，判别为手抖动尺寸大时，缩小手抖动信号的移动向量后，从缩小的移动向量生成PSF，但是也可以从手抖动信号的移动向量生成PSF后，缩小取得的PSF。

根据所述实施例1、2，由于硬件的制约，图像复原滤波器的抽头尺寸受限制时，即使发生超过图像复原滤波器的抽头尺寸的大的手抖动时，也能取得具有充分的复原效果的复原图像。此外，即使使用抽头尺寸小的图像复原滤波器，也能对手抖动大的图像取得充分的复原效果，所以能对硬件的成分削减做出贡献。

Claims (6)

1.一种手抖动补正装置，根据手抖动信号生成图像复原滤波器，使用所取得的图像复原滤波器对手抖动图像进行图像复原，

包括：

手抖动信号缩小部件，决定预先设定的水平方向的缩小率和垂直方向的缩小率，或者分别根据手抖动信号的水平方向的尺寸以及垂直方向的尺寸来决定水平方向的缩小率和垂直方向的缩小率，使用所决定的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号；

图像复原滤波器生成部件，根据由手抖动信号缩小部件所缩小的手抖动信号生成图像复原滤波器；

图像缩小部件，用与由手抖动信号缩小部件缩小手抖动信号时使用的水平方向以及垂直方向的缩小率相同的缩小率缩小手抖动图像；

图像复原部件，使用由图像复原滤波器生成部件所生成的图像复原滤波器对由图像缩小部件所缩小的手抖动图像进行图像复原；和

图像放大部件，通过将由图像复原部件所复原的复原图像放大，生成针对手抖动图像的复原图像。

2.一种手抖动补正装置，根据手抖动信号生成图像复原滤波器，使用所取得的图像复原滤波器对手抖动图像进行图像复原，

包括：

手抖动信号缩小部件，决定预先设定后的水平方向的缩小率和垂直方向的缩小率，或者分别根据手抖动信号的水平方向的尺寸以及垂直方向的尺寸来决定水平方向的缩小率和垂直方向的缩小率，使用所决定的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号；

图像复原滤波器生成部件，根据由手抖动信号缩小部件所缩小的手抖动信号生成图像复原滤波器；

图像分解部件，将手抖动图像分解为多个抽取图像；

图像复原部件，使用由图像复原滤波器生成部件所生成的图像复原滤波器，对由图像分解部件所分解的各抽取图像进行图像复原；和

图像合成部件，合成由图像复原部件所复原的各复原图像，而生成针对手抖动图像的复原图像。

3.根据权利要求2所述的手抖动补正装置，其特征在于：

图像分解部件将手抖动图像分解为考虑了由手抖动信号缩小部件缩小手抖动信号时使用的水平方向以及垂直方向的缩小率的数量的抽取图像。

4.一种手抖动补正装置，根据手抖动信号生成图像复原滤波器，使用所取得的图像复原滤波器对手抖动图像进行图像复原，

包括：

手抖动尺寸判定部件，通过将手抖动信号与给定的阈值进行比较，而判定手抖动尺寸的大小；

第一手抖动补正部件，当由手抖动尺寸判定部件判定为手抖动尺寸小时，执行第一模式的手抖动补正处理；和

第二手抖动补正部件，当由手抖动尺寸判定部件判定为手抖动尺寸大时，执行第二模式的手抖动补正处理，

第一手抖动补正部件，通过具有以下部件来执行上述第一模式的手抖动补正处理：

第一图像复原滤波器生成部件，根据手抖动信号生成图像复原滤波器；和

第一图像复原部件，使用由第一图像复原滤波器生成部件所取得的图像复原滤波器对手抖动图像进行图像复原，

第二手抖动补正部件，通过具有以下部件来执行上述第二模式的手抖动补正处理：

手抖动信号缩小部件，决定预先设定后的水平方向的缩小率和垂直方向的缩小率，或者分别根据手抖动信号的水平方向的尺寸以及垂直方向的尺寸来决定水平方向的缩小率和垂直方向的缩小率，使用所决定的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号；

第二图像复原滤波器生成部件，根据由手抖动信号缩小部件所缩小的手抖动信号生成图像复原滤波器；

图像缩小部件，用与由手抖动信号缩小部件缩小手抖动信号时使用的水平方向以及垂直方向的缩小率相同的缩小率缩小手抖动图像；

第二图像复原部件，使用由第二图像复原滤波器生成部件所生成的图像复原滤波器，对由图像缩小部件所缩小的手抖动图像进行图像复原；和

图像放大部件，通过将由图像复原部件所复原的复原图像进行放大，而生成针对手抖动图像的复原图像。

5.一种手抖动补正装置，根据手抖动信号生成图像复原滤波器，使用所取得的图像复原滤波器对手抖动图像进行图像复原，

包括：

手抖动尺寸判定部件，通过将手抖动信号与给定的阈值进行比较，判定手抖动尺寸的大小；

第一手抖动补正部件，当由手抖动尺寸判定部件判定为手抖动尺寸小时，执行第一模式的手抖动补正处理；和

第二手抖动补正部件，当由手抖动尺寸判定部件判定为手抖动尺寸大时，执行第二模式的手抖动补正处理，

第一手抖动补正部件，通过具有以下部件来执行上述第一模式的手抖动补正处理：

第一图像复原滤波器生成部件，根据手抖动信号生成图像复原滤波器；和

第一图像复原部件，使用由第一图像复原滤波器生成部件所取得的图像复原滤波器，对手抖动图像进行图像复原，

第二手抖动补正部件，通过具有以下部件来执行上述第二模式的手抖动补正处理：

手抖动信号缩小部件，决定预先设定后的水平方向的缩小率和垂直方向的缩小率，或者分别根据手抖动信号的水平方向的尺寸以及垂直方向的尺寸来决定水平方向的缩小率和垂直方向的缩小率，使用所决定的水平方向的缩小率和垂直方向的缩小率缩小手抖动信号；

第二图像复原滤波器生成部件，根据由手抖动信号缩小部件所缩小的手抖动信号生成图像复原滤波器；

图像分解部件，将手抖动图像分解为多个抽取图像；

第二图像复原部件，使用由图像复原滤波器生成部件所生成的图像复原滤波器，对由图像分解部件所分解的各抽取图像进行图像复原；和

图像合成部件，通过合成由图像复原部件所复原的各复原图像，而生成针对手抖动图像的复原图像。

6.根据权利要求5所述的手抖动补正装置，其特征在于：

图像分解部件将手抖动图像分解为考虑了由手抖动信号缩小部件缩小手抖动信号时使用的水平方向以及垂直方向的缩小率的数量的抽取图像。

Images