CN101960835B - 变化要因信息的数据的生成方法及信号处理装置 - Google Patents

Abstract

本发明提供的变化要因信息的数据的生成方法及信号处理装置，能够进行实用的信号复原；该变化要因信息的数据的生成方法，是生成发生了劣化等变化的原信号数据的、成为该信号变化的主要原因的变化要因信息的数据的生成方法，将任意的变化要因信息的数据作为最初的变化要因信息的数据而设定，并进行生成与最初的变化要因信息的数据不同的新的变化要因信息的数据的生成处理，在进行生成处理时，将构成新的变化要因信息的数据的、成为中枢的部分的数据的值放大。

Description

变化要因信息的数据的生成方法及信号处理装置

技术领域

本发明涉及的是变化要因信息的数据的生成方法及信号处理装置。

背景技术

众所周知在现有技术下，在利用照相机等的信号处理装置进行拍摄时，信号经常会发生劣化。作为信号劣化的主要原因，存在拍摄时的晃动、光学系统的各种像差、镜头的偏斜等。

作为将由于拍摄时的晃动而劣化的图像(信号)进行复原的方法，提出了将由于拍摄时的晃动等而劣化的图像作为唯一的信息，推断出成为该晃动的原因的点扩散函数(PSF：Point Spread Function)，从而求出原本的物体图像的技术(参照非专利文献1)。该技术，以在拍摄对象的变化前的图像数据(A₀)上乘以PSF(G₀)的话则成为拍摄的劣化图像的数据(A’)为前提。也就是说，以满足“A₀×G₀＝A’”为前提。然后，对A₀和A’赋予任意的值并进行“G₀＝A’/A₀”的计算。接着，赋予G₀不会成为负值等的限制条件而得到G₁。然后，作为“A’/G₁＝A₁”而将A₀变为A₁。接着，赋予A₁不会成为负值等的限制条件而得到A₂。然后，作为“A’/A₂”＝G₂而将G₁变为G₂。然后，赋予G₂不会成为负值等的限制条件而得到G₃。重复多次这样的计算而得到确切的PSF和复原图像数据。

另外，除了一般的拍摄图像以外，X光照片、显微镜图像等各种图像或信号由于晃动或其他原因而发生劣化或变化的情况，也是众所周知的。

非专利文献1：竹田、小松《用于盲解卷积(Blind Deconvolution)的迭代傅里叶算法(IFTA)中的非负限制条件的探讨》、光学、日本光学会、1996年、第25卷、5号、P274-281。

发明内容

采用非专利文献1所记载的技术的话，由于与所有的图像对应的限制条件的设定是困难的，另外处理时间变长，因此，对于通用装置的采用成为困难的状况。

因此，本发明的目的在于，提供一种能够进行实用的信号复原的变化要因信息的数据的生成方法及信号处理装置。

为了达到上述目的，本发明的变化要因信息的数据的生成方法，是对于原信号数据生成成为该信号变化的主要原因的变化要因信息的数据的方法，其中，该原信号数据是发生了劣化变化的原图像的数据、或者将该原图像的数据进行加工而得到的数据；该方法具有第一步骤、第二步骤、第三步骤、第四步骤以及第五步骤，在第一步骤中，将任意的变化要因信息的数据作为最初的变化要因信息的数据而设定，在第二步骤中，将最初的变化要因信息的数据和与原信号数据为相同容量的任意的信号数据进行叠加积分，由此生成比较用的数据，在第三步骤中，当比较用的数据与原信号数据的差分的数据在规定值以上时，将在差分的数据上乘以系数后的数据分配于任意的信号数据，由此使构成原信号数据和构成任意的信号数据的像素的数据的一部分或全部移动，并且将所得到的数据作为复原数据，在第四步骤中，取代任意的信号数据而使用在第三步骤中得到的复原数据，并重复进行第二步骤和第三步骤直到比较用的数据与原信号数据的差分的数据变得小于规定值为止，并且由最后得到的复原数据和原信号数据求出新的变化要因信息的数据，在第五步骤中，将构成新的变化要因信息的数据的、成为中枢的部分的数据的值放大，由此作为变化要因而强调晃动的轨迹部分，并且将该数据作为用于对原信号数据进行复原的数据，上述任意的信号数据是指任意的图像数据。

采用本发明的话，通过采用该方法，能够生成注重相当于晃动的变化的推断的、进行实用的信号复原成为可能的变化要因信息的数据。

其他的发明涉及的变化要因信息的数据的生成方法是在上述发明的基础上，原信号数据是将原图像的数据缩小后的数据，并且，在第五步骤之后，使用成为中枢的部分被强调的变化要因信息的数据进行放大处理，并取代第二步骤中的最初的变化要因信息的数据而使用被放大处理后的变化要因信息的数据重复进行第二步骤、第三步骤、第四步骤以及第五步骤。通过采用该方法，由于变化的大小也被缩小，因此变得易于推断变化要因信息的数据，从而能够生成更确切(更妥当)的变化要因信息的数据。

其他的发明涉及的变化要因信息的数据的生成方法是在上述发明的基础上，在上述第五步骤之后，将得到的变化要因信息的数据的原点位置设定于：在将各个像素的数据的移动所需的移动能量的总和的最小值设为Min时，该移动能量为Min以上且Min×1.2以下的位置。

其他的发明涉及的变化要因信息的数据的生成方法是在上述发明的基础上，最初的变化要因信息的数据是强度分布为高斯分布的数据。通过采用该方法，无论变化包含怎样的晃动或模糊，都能够进行优质的变化要因信息的数据的推断。

为了达到上述目的，本发明的信号处理装置设有处理部，该处理部利用成为信号变化的主要原因的变化要因信息的数据，进行从发生了劣化变化的原信号数据向变化前的信号或本来应该取得的信号、或者这些信号的近似信号(以下，称为基础信号)的复原，其中，处理部具备下述(1)～(5)的模块：(1)将任意的变化要因信息的数据作为最初的变化要因信息的数据而设定的模块；(2)将最初的变化要因信息的数据和与原信号数据为相同容量的任意的信号数据进行叠加积分，由此生成比较用的数据的模块；(3)当比较用的数据与原信号数据的差分的数据在规定值以上时，将在差分的数据上乘以系数后的数据分配于任意的信号数据，由此使构成原信号数据和构成任意的信号数据的像素的数据的一部分或全部移动，并且将所得到的数据作为复原数据的模块；(4)取代任意的信号数据而使用复原数据，并重复进行上述(2)和(3)模块的处理直到比较用的数据与原信号数据的差分的数据变得小于规定值为止，并且由最后得到的复原数据和原信号数据求出新的变化要因信息的数据的模块；(5)将构成新的变化要因信息的数据的、成为中枢的部分的数据的值放大，由此作为变化要因而强调晃动的轨迹部分，并且将该数据作为用于对原信号数据进行复原的数据的模块，上述原信号数据、上述信号变化、上述基础信号、上述变化前的信号、上述本来应该取得的信号、上述近似信号分别指原图像数据、图像变化、基础图像、变化前的图像、本来应该取得的图像、近似图像。

采用本发明的话，能够根据注重相当于晃动的变化的推断的、进行实用的信号复原成为可能的变化要因信息的数据，而进行基础信号的复原。

在本发明中，能够提供一种能够进行实用的信号复原的变化要因信息的数据的生成方法及信号处理装置。

附图说明

图1是表示本发明实施形态涉及的信号处理装置的主要构成的方框图。

图2是用于说明利用图1所示信号处理装置的处理部进行的变化要因信息的数据的生成方法所涉及的处理程序的处理流程图。

图3是图2所示的强调PSF的骨架部分的处理的说明图，(A)表示在该处理前推断的PSF的一例，(B)表示在该处理后推断的PSF的一例。

图4是用于说明图2所示的更新量的正确性(妥当性)判断和修正复原数据的处理程序的流程图。

图5是将进行图4所示处理流程涉及的修正的前后的更新量的一例概括表示的图。

图6是表示图1所示信号处理装置的概要的外观立体图，是用于说明图7中的X-Y平面表示信号处理装置1的哪个平面的图。

图7是对图2所示的变化要因信息的数据的生成方法所涉及的处理程序的步骤S 122的处理进行说明的图，是以X-Y平面表示的晃动的轨迹的示意图。

图8是用于说明利用图1所示信号处理装置的处理部进行的图像复原处理方法(重复处理)所涉及的处理程序的处理流程图。

图9是用于说明图8所示的处理方法的概念的图。

图10是以晃动为例子具体地说明图8所示的处理方法用的图，是表示未发生晃动时的能量集中的表。

图11是以晃动为例子具体地说明图8所示的处理方法用的图，是未发生晃动时的图像数据的示意图。

图12是以晃动为例子具体地说明图8所示的处理方法用的图，是发生晃动时的能量分散的示意图。

图13是以晃动为例子具体地说明图8所示的处理方法用的图，是用于说明由任意的图像生成比较用数据的情况的图。

图14是以晃动为例子具体地说明图8所示的处理方法用的图，是用于说明将比较用数据与成为处理对象的模糊原图像进行比较而生成差分的数据的情况的图。

图15是以晃动为例子具体地说明图8所示的处理方法用的图，是用于说明通过将差分的数据进行分配并附加于任意的图像而生成复原数据的情况的图。

图16是以晃动为例子具体地说明图8所示的处理方法用的图，是用于说明从被生成的复原数据生成新的比较用数据，并将该数据与成为处理对象的模糊原图像进行比较而生成差分的数据的情况的图。

图17是以晃动为例子具体地说明图8所示的处理方法用的图，是用于说明将新生成的差分的数据进行分配并生成新的复原数据的情况的图。

符号说明

1      信号处理装置

4      处理部

S101   设定变化要因信息的数据的初值的处理

G      变化要因信息的数据

Img’  原图像的数据(原信号的数据)

SImg’ 原图像的缩小数据

I_0+n   复原数据

Img    基础图像的数据(基础信号的数据)

P₀     变化要因信息的数据的初值

A      骨架部分(构成新的变化要因信息的数据的、成为中枢的部分的数据)

具体实施方式

(信号处理装置的构成)

以下，参照附图对本发明实施形态涉及的信号处理装置进行说明。另外，该信号处理装置是作为民用的照相机，但是，也可以作为监视用照相机、电视用照相机、便携式摄像机、内窥镜照相机等其他用途的照相机，或者也可以适用于显微镜、双筒望远镜、进而NMR拍摄等的图像诊断装置、印刷图像的打印机、读入图像的扫描仪等的照相机以外的设备中。

在图1中表示信号处理装置1的构成的概要。信号处理装置1设有：拍摄人物等的影像的拍摄部2、驱动该拍摄部2的控制系统部3、以及对拍摄部2拍摄的图像进行处理的处理部4。另外，本实施形态涉及的信号处理装置1，进而设有记录被处理部4处理后的图像的记录部5、和保存使图像劣化等发生的变化要因信息的数据的要因信息保存部7。

拍摄部2，是设有将通过了具有镜头的摄影光学系统或镜头的光转换为电信号的CCD(电荷耦合器件)或C-MOS(互补型金属氧化物半导体)等的摄像器件的部分。控制系统部3，是控制拍摄部2、处理部4、记录部5以及要因信息保存部7等信号处理装置内的各部的部分。

处理部4由图像处理器构成，并由ASIC(Application SpecificIntegrated Circuit、专用集成电路)那样的硬件构成。而且，处理部4执行后述的变化要因信息的数据的生成方法所涉及的处理和图像的复原处理。例如，处理部4在生成变化要因信息的数据的过程中，进行将形成该数据的中枢的部分的数据的值变大的处理。

另外，也存在在该处理部4中保存有成为生成后述的比较用数据时的基础的图像的数据的情况。进而，处理部4也可以是利用软件进行处理的构成，而不是作为ASIC那样的硬件构成。记录部5由半导体存储器构成，但是，也可以采用硬盘驱动等的磁记录装置、或使用DVD等的光记录装置等。

要因信息保存部7，是预先保存有通过本发明实施形态涉及的变化要因信息的数据的生成方法而生成的变化要因信息的数据、或将该数据加工后的数据的记录部。而且，要因信息保存部7，将形成该数据的中枢的晃动的轨迹(磁滞)、和在该轨迹上的各点上停留的时间(分量)进行存储。要因信息保存部7所记录的数据，在从拍摄的原图像(发生了劣化等的变化的图像)向基础图像(变化前的图像或本来应该拍摄的图像或这些图像的近似图像)的复原处理时，在处理部4中被利用。因此，在处理部4和要因信息保存部7之间，能够相互进行数据的交接。

(变化要因信息的数据的生成)

图2表示处理部4进行的本发明实施形态涉及的变化要因信息的数据的生成方法的一例的流程图。

首先，处理部4设定最初的变化要因信息的数据(PSF(点扩散函数))的任意的初值(P₀)(步骤S101)。在此，将该初值作为强度分布为高斯分布的数据的高斯圆斑(Gaussian Disc)而进行设定。

接下来，处理部4，在进行步骤S101的处理的同时或该处理之前或之后，将拍摄的原图像的数据(原信号的数据)Img’缩小为1/4。也就是说，进行将原信号的数据Img’的数据间隔剔除(thinning)而形成为25％的容量值的缩小处理(加工)(步骤S102)。将作为经过了该缩小处理的数据的缩小数据记载为SImg’。

接下来，处理部4，作为与该缩小数据SImg’为相同容量的任意的信号数据而使用I₀，并将I₀与P₀进行叠加积分而得到比较用的发生晃动的数据I₀’(步骤S103)。另外，作为初始图像的数据I₀，以原图像的缩小数据SImg’为佳。

接着，处理部4将SImg’与I₀’进行比较而得到其差分的数据Δ(步骤S104)。判断该差分的数据Δ是否在规定值以内(步骤S105)，若在规定值以内的话则向步骤S120过渡，若不在规定值以内的话则向步骤S106过渡。在步骤S106中，将在该差分的数据Δ上乘以系数k(基于变化要因信息(PSF)的系数)后的数据分配于I₀，而得到最初的复原数据I_0+n(本次为I₀₊₁)。在步骤S106中，在向I₀分配时，进行判断该分配值(更新量)的正确性(妥当性)的处理(步骤S107)。然后，进行根据其正确性(妥当性)而修正I_0+n的处理(步骤S108)。接着，向步骤S109过渡并判断该处理是否达到了规定次数，若达到了规定次数(例如十次)的话则向步骤S120过渡，在未达到规定次数时向步骤S110过渡。

然后，处理部4，取代I₀而使用I₀₊₁(步骤S110)来进行步骤S103的处理，并将步骤S103、步骤S104、步骤S105、步骤S106、步骤S107、步骤S108、步骤S109以及步骤S110的处理重复规定次数(本次为十次)。在步骤S109中进行是否达到了该规定次数的判断。

步骤S106的处理，是使构成原图像的缩小数据SImg’和构成复原数据I_0+n的像素的数据的一部分或全部移动(分配)的处理。另外，关于步骤S107和步骤S108的详细情况，之后进行叙述。

接下来，在步骤S109中判断为达到了规定次数的情况下，处理部4进行算出PSF的处理(步骤S120)。该处理，是从所得到的复原数据I_0+n和原图像的缩小数据SImg’得到新的PSF(＝P)的处理。该处理的具体例子是，将所得到的复原数据I_0+n和原图像的缩小数据SImg’分别进行傅里叶变换，并通过频率间隔中的除法而算出PSF的频率特性，通过将该频率特性进行傅里叶逆变换而得到PSF(＝P)。

接下来，处理部4进行将形成P的数据的中枢的晃动的轨迹部分(骨架部分)的数据的值变为2倍而强调骨架部分的处理(步骤S121)。图3(A)是将在现阶段的时点上所推断的PSF表示于X-Y平面上的图。该X-Y平面相当于后述的图6所示信号处理装置1的晃动容易发生的X-Y平面。PSF由相当于形成其数据的中枢的晃动的轨迹部分(骨架部分)A、和其周边的数据值小的部分B(模糊等的部分)构成。该成为小的值的部分B被认为是模糊的部分。图3(B)表示进行了强调A部分的处理(步骤S121)后的PSF的状态。可知A部分被稍微强调。在进行该处理时采用了细化处理(Thinning processing)，但是也可以采用其他的强调方法。该处理的结果是，在步骤S120中得到的P的数据，成为P’的数据。之后，进行以移动能量成为最小那样而设定P’的原点的处理(详细情况后述)(步骤S122)。

接下来，处理部4判断P’是否为确切(妥当)的PSF。具体地说，处理部4判断是否将步骤S120～S122的处理重复了三次(步骤S123)。若重复的次数、即PSF的算出次数未满三次的话(“否”)，则取代P₀而使用P′的数据(步骤S124)，并重复步骤S103～S110的处理，之后再次执行步骤S120～S122。

然后，在步骤S123的判断中，若PSF算出的次数、即重复的次数满三次的话(“是”)，则处理部4将得到的P′的数据和I_0+n的数据以相同的比率进行放大处理(步骤S125)。在该实施形态中，最终将得到的P’和I_0+n变为4/3倍。判断该放大处理是否达到预先设定的缩小率、即相对于原图像的缩小的程度(步骤S126)。若判断为未达到规定的缩小率的话，则取代I₀的数据而使用放大处理后的I_0+n的数据(步骤S127)，且取代P₀而使用放大处理后的P’的数据(步骤S124)。另一方面，得到将原图像的数据缩小为1/3的新的原图像的缩小数据SImg’。该缩小为1/3的图像成为与之前4/3倍后的数据为相同大小的图像。然后，处理部4利用新的各数据而重复步骤S103～S110的处理，另外，重复步骤S120～S124的处理。在步骤S126中判断为达到规定的缩小率、例如相对于原图像数据为1/3的缩小率时，该重复向步骤S128过渡。另外，在步骤S125中，将得到的P’的数据和I_0+n的数据以相同的比率进行了放大处理，但是，也可以仅对P’的数据进行放大处理，并使用任意的信号数据来代替放大处理后的I_0+n的数据而执行步骤S125。该任意的信号数据是例如SImg’的数据等。但是，在步骤S125中，如本实施形态那样将得到的P’的数据和I_0+n的数据以相同的比率进行放大处理的情况下，存在由于使用通过放大处理而进行了复原处理的I_0+n的数据而能够生成优质的PSF的情况。

另外，步骤S125中的P’的数据的放大处理，通过处理部4在相邻的信号要素之间插入新的信号要素的数据而进行，其中，新的信号要素的数据为该相邻的信号要素的值的平均值。另外，I_0+n的数据的放大处理，通过处理部4在相邻的像素之间插入新的像素而进行。该新的像素的像素值为将相邻的像素的像素值平均后的值。通过该放大处理是否达到了规定的缩小率的判断，由处理部4在步骤S126中进行。若通过放大处理达到了规定的缩小率的话(“是”)，则处理部4将现阶段得到的P’放大至实际尺寸大小(步骤S128)。也就是说，由于现阶段得到的P’为实际尺寸的1/3，因此，处理部4将现阶段得到的P’放大为3倍。该放大处理也通过处理部4在相邻的像素之间插入新的像素而进行。该新的像素的像素值为将相邻的像素的像素值平均后的值。另外，在进行步骤S125、S128的各放大处理时，除了上述的内插法(InterpolationMethod)以外，还可以采用通过处理部4在相邻的像素之间插入该相邻像素的一个像素的像素值的像素而进行的内插法。

通过以上的处理，本发明实施形态涉及的变化要因信息的数据的生成方法结束(步骤S129)，并生成PSF。该PSF通过处理部4而被存储于要因信息保存部7，并在信号的复原处理时被使用。将经过以上的过程而得到的PSF表示为“G”。

(判断分配值的正确性(妥当性)的处理)

使用附图对在上述步骤S107中进行的、判断分配值的正确性(妥当性)的处理进行说明。

图4和图5是用于说明图2中的步骤S107和S108的处理的详细情况的图。该处理的基本的观点如下。该处理并不是对复原数据I_0+n集中地进行，而是对构成复原数据I_0+n的各信号要素进行。这一点与步骤S103、S105以及S106的信号(图像)整体的处理大不相同。首先，在成为一个信号要素的一个像素由于P₀而受到影响的范围的多个像素中，存在通过更新而像素值的变化变大的像素的情况下，认为在该多个像素的范围中存在成为边缘(edge)的部分。该成为边缘的部分，其基于对应部分的差分的数据Δ的更新量难以成为适当的量。原因是由于跨越边缘部分的两个像素的像素值的差别过大，因此，即使跨越边缘部分而从一个像素向另一个像素分配像素值，该分配也难以适当地进行。因此，对于通过更新而像素值的变化相比周围呈不自然地变大的像素，通过使更新量的绝对值变小，而使向边缘附近的更新量接近适当。

为此，首先从规定的差分的数据Δ算出某一像素的更新量(Dc)(步骤S201)。然后，参照由于变化要因信息G而一个像素所影响的范围的多个像素(一部分的信号要素)和该一个像素的集合，而算出其参照的各像素的更新前的像素值(＝Ib)的最小值(＝Min)、最大值(＝Max)以及平均值(＝Av)(步骤S202)。另外，该一部分的像素(参照的像素)，也可以是单纯地相邻的多个像素、或以规定的像素为中心并从该中心起规定的距离内包含的多个像素。该规定的距离，利用例如变化要因信息的数据G而决定。

接下来，算出成为参照的像素中的一个像素(＝一个信号要素)的更新后的像素值的数据(＝Ia)(步骤S203)。该更新后的像素值Ia，是使用从与某一像素对应的差分的数据δ算出的各像素的更新量(Dc)而进行了更新的情况下的各像素的像素值，且通过以下的通式(1)而导出。

Ia＝Ib+Dc    ……(1)

接下来，判断修正前的更新量(Dc)的正确性(妥当性)。首先，在成为构成复原数据的信号要素的数据的更新后的像素值Ia为最小值Min以上、且最大值Max以下时(步骤S204的判断为“是”(＝Yes))，该像素与周围的像素的像素值的平衡是自然的，更新量Dc不进行修正而原封不动地作为修正后的更新量(Dp)，而得到修正值Ia’(步骤S205、S214)。另外，步骤S214是根据修正后的更新量Dp得到修正值Ia’的步骤。图5(A)所示的箭头，概略地表示经过步骤S205和步骤S214的处理后的状态，箭头的黑圆点表示像素的更新前的像素值Ib，三角形的箭头表示根据Dp进行了更新后的修正值Ia’，箭头的长度表示更新量(Dc＝Dp)。左侧的箭头表示关于修正前的更新量Dc的值为正值的情况的一例，右侧的箭头表示关于修正前的更新量Dc的值为负值的情况的一例。

然后，在步骤S204的判断为“否”(＝No)的情况下，进入步骤S206。在此，在更新后的像素值Ia超过最大值Max时、且更新前的像素值Ib为平均值Av以下时(步骤S206的判断为“是”(＝Yes))，判断为该像素与周围的像素的像素值的平衡是不自然的。于是，更新量Dc被变更为从最大值Max减去更新前的像素值Ib后的值Dp(步骤S207)。其结果是，修正值Ia’的像素值变为与最大值Max相等。图5(B)所示的箭头，与图5(A)同样地概略地表示经过了步骤S207和步骤S214后的状态。左侧的箭头表示根据Dc进行了更新时的Ia，右侧的箭头表示根据Dp进行了更新时的修正值Ia’。

然后，在步骤S206的判断为“否”(＝No)的情况下，进入步骤S208。在此，在更新后的像素值Ia超过最大值Max时、且更新前的像素值Ib超过平均值Av时(步骤S208的判断为“是”(＝Yes))，判断为该像素与周围的像素的像素值的平衡是不自然的。该情况下，更新量Dc被变更为从以下的通式(2)所得到的值Dp(步骤S209)。其结果是，修正值Ia’的像素值，成为在最大值Max上加上更新后的像素值Ia在正侧超过最大值Max的部分的1/4后所得的值。图5(C)所示的箭头，与图5(B)同样地概略地表示经过了步骤S209和步骤S214后的状态。

Dp＝0.25(Ia-Max)+(Max-Ib)    ……(2)

然后，在步骤S208的判断为“否”(＝No)的情况下，进入步骤S210。在此，在更新后的像素值Ia小于最小值Min、且更新前的像素值Ib为平均值Av以下时(步骤S210的判断为“是”(＝Yes))，判断为该像素与周围的像素的像素值的平衡是不自然的。于是，更新量Dc被变更为从以下的通式(3)所得到的值Dp(步骤S211)。其结果是，修正值Ia’的像素值，成为从最小值Min减去更新后的像素值Ia在负侧超过最小值Min的部分的1/4后所得的值。图5(D)所示的箭头，与图5(B)同样地概略表示经过了步骤S211和步骤S214后的状态。

Dp＝-(Ib-Min)-0.25(Min-Ia)    ……(3)

然后，在步骤S210的判断为“否”(＝No)的情况下，成为更新后的像素值Ia小于最小值Min、且更新前的像素值Ib超过平均值Av的情况(步骤S212)。该情况下，该像素与周围的像素的像素值的平衡是不自然的。于是，更新量Dc被变更为从最小值Min减去更新前的像素值Ib所得的值Dp(步骤S213)。其结果是，修正值Ia’的像素值变为与最小值Min相等。图5(E)所示的箭头，与图5(B)同样地概略地表示经过了步骤S213和步骤S214后的状态。

以上的步骤S204、S206、S208、S210所示的判断的处理，成为判断是否满足规定的基准的处理。另外，该步骤S204、S206、S208、S210的判断、和以是否满足步骤S212的条件为判断基准的处理的判断的顺序，能够适当地进行变更。在进行了该变更时，实际上进行判断的也是第一个至第四个为止。由于在不符合该四个时必然会适用剩余的条件，因此，是否符合剩余的条件，并不是与图4中的步骤S212同样地判断是否满足规定的基准的处理。

这样，将得到的Dp作为修正后的更新量，并得到修正值Ia’(步骤S214)。其结果是，某一像素被更新。然后，进行是否所有的像素都被更新的判断(步骤S215)。在该判断为“否”(＝No)的情况下，将参照的像素进行变更(步骤S216)，为了从变更后的参照的像素(另一部分的信号要素)求出规定的基准、以及为了得到下一个像素的修正值Ia’而返回步骤S202，并重复步骤S202～S215的处理。在该处理中，若将一个像素的更新量进行修正的话，则变更参照的像素并变更另一个像素的更新量。然后，在步骤S215的判断为“是”(＝Yes)的情况下，使用所有的像素的修正值Ia’而将复原数据I_0+n进行修正(步骤S217)。通过以上，图2中的步骤S107、S108结束。

(设定P’的原点的处理)

使用附图对上述的在图2的步骤S122中进行的、设定P’的原点的处理进行说明。

在要因信息保存部7中，保存有上述的图2中的步骤S122阶段的数据。也就是说，在要因信息保存部7中保存有能够推断为图6所示的信号处理装置1的晃动的数据。在该图6中，表示有图1所示的信号处理装置1的外观。该信号处理装置1的、以图示的XYZ的各方向轴为中心的旋转成为晃动，但是，特别容易出现的是在X和Y方向轴周围。图7所示的有关晃动的数据，是图6中的X-Y平面上的坐标数据的经时变化的数据。该数据，包含图7所示的X-Y平面所表示那样的晃动的轨迹的信息、和在该轨迹上的各位置上停留多长时间的信息。图7所示的X-Y平面的起点A(X₁，Y₁)是拍摄开始的位置，轨迹的终点B(X_N，Y_N)是拍摄结束的位置。

由晃动引起的图像的劣化，是光能不集中于一点而光能分散于图7所示的轨迹A-B上的现象。因此，使分散的光能集中于一点便是使原图像向基础图像复原。该使光能集中的一点能够自由地决定。能够决定为例如图7中的A点、B点、A-B轨迹上或偏离A-B轨迹的点。

在此，将使分散的光能集中的点称为“原点位置”，原点位置以图7所示的X-Y平面上的O点坐标(Ox，Oy)来表示。另外，以G(Xn，Yn)表示数据(P’)，其中，数据(P’)是通过步骤S121的处理而将在上述步骤S120中算出的PSF的骨架部分进行强调后的数据。这表示作为在各位置(Xn，Yn)上停留多长时间的信息的“分量”，并满足通式(4)。通式(4)表示将光能归一化为1而进行处理。另外，(Xn，Yn)是图7所示的X-Y平面上的坐标。

$\underset{n=1}{\overset{M}{\mathrm{\Σ}}}G(\mathrm{Xn},\mathrm{Yn})=1...\left(4\right)$

另外，以E(Ox，Oy)表示使分散的光能向作为原点位置的O点集中的移动能量。于是，使分散的能量集中于原点位置(Ox，Oy)的移动能量，能够以移动距离与分量的函数来表示，例如能够以以下的通式(5)(n＝1、2、……、N：N为分散而扩展的区域数)来表示。

$E(\mathrm{Ox},\mathrm{Oy})=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{sqrt}\{{(\mathrm{Xn}-\mathrm{Ox})}^2+{(\mathrm{Yn}-\mathrm{Oy})}^2\}\·G(\mathrm{Xn},\mathrm{Yn})...\left(5\right)$

另外，在更加注重移动距离的情况下，也能够使用以下的通式(6)。在该通式(6)的情况下没有平方根的计算，因此具有计算变得轻松的优点。

$E(\mathrm{Ox},\mathrm{Oy})=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\{{(\mathrm{Xn}-\mathrm{Ox})}^2+{(\mathrm{Yn}-\mathrm{Oy})}^2\}\·G(\mathrm{Xn},\mathrm{Yn})...\left(6\right)$

进而，为了使计算进一步变得轻松，也能够使用以下的通式(7)。

$E(\mathrm{Ox},\mathrm{Oy})=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\left\{\right|\mathrm{Xn}-\mathrm{Ox}|+|\mathrm{Yn}-\mathrm{Oy}\left|\right\}\·G(\mathrm{Xn},\mathrm{Yn})...\left(7\right)$

然后，设定使移动能量E(Ox，Oy)为最小值的原点位置(Ox，Oy)。该设定通过处理部4进行。另外，处理部4，取代在该设定之前被保存于要因信息保存部7的数据，而将原点位置被重新设定的数据进行保存。

(信号复原处理)

接下来，根据图8和图9对以上那样构成的本实施形态涉及的信号处理装置1的处理部4的图像复原处理方法(复原手段)的概要进行说明。另外，图像复原处理方法与之前说明的步骤S102、S103、S104、S105、S106、S107、S108、S110的处理大致相同，为重复处理。

在此，执行原图像的向基础图像的复原处理的时期，可以是拍摄用的电源关闭时、处理部4未运转时、处理部4的运转率低时等、从拍摄了原图像的时期延迟的时期。该情况下，保存于记录部5中的原图像数据和保存于要因信息保存部7中的关于该原图像的传递函数等的变化要因信息，以分别相关联的状态而被长期地保存。这样，使执行原图像的复原处理的时期从拍摄了原图像的时期延迟的优点在于，能够减轻伴随各种处理的拍摄时的处理部4的负担。

图8中，“I₀”是任意的初始图像、且预先保存于处理部4的记录部中的图像的数据。“I₀’”表示该初始图像的数据I₀的劣化图像的数据，是用于比较的比较用数据。“G”是在图2所示的处理中推断出的变化要因信息(＝劣化要因信息(传递函数))的数据，是处理部4将保存于要因信息保存部7中的数据抽出并保存于处理部4的记录部中的数据。“Img’”是原图像的数据。

“δ”是原图像的数据Img’与比较用数据I₀’的差分的数据。“k”是基于变化要因信息的数据的分配比。“I_0+n”是根据变化要因信息的数据G将差分的数据δ分配于初始图像的数据I₀，而重新生成的复原图像的数据(复原数据)。“Img”是基础图像的数据，在此，Img与Img’的关系，为以下的通式(8)所表示的关系。

Img’＝Img*G      ……8)

在此，“*”为表示叠加积分的算符。

另外，也存在差分的数据δ也可以是对应的像素的单纯的差分的情况，但是，一般来说根据变化要因信息的数据G而不同，以以下的通式(9)表示。

δ＝f(Img’，Img，G)    ……(9)

处理部4的处理程序是，首先决定使分散的光能集中的原点位置(步骤S300)。该决定已在图2所示的步骤S 122中进行。因此，省略该处理的详细的说明。然后，作为初始图像的数据I₀准备任意的图像数据(步骤S301)。作为该初始图像的数据I₀，既可以使用劣化的原图像的数据Img’，另外也可以使用全黑、全白、全灰、黑白相间的方格花纹等那样的图像的数据。在步骤S302中，取代通式(8)的Img而代入成为初始图像的任意的图像的数据I₀，并求出作为劣化图像的比较用数据I₀’。接下来，将原图像数据Img’与比较用数据I₀’进行比较而算出差分的数据δ(步骤S303)。

然后，判断差分的数据δ的各绝对值是否小于规定值(步骤S304)。若在步骤S304中差分的数据δ为规定值以上的话，则在步骤S305中进行生成新的复原图像的数据(＝复原数据)的处理。也就是说，根据变化要因信息的数据G，将各信号要素所得到的各差分的数据δ分配于初始图像的数据I₀，而生成新的复原数据I_0+n。

然后，判断生成复原数据I_0+n时使用的更新量(分配值)的正确性(妥当性)(步骤S306)，并将复原数据I_0+n进行修正(步骤S307)。该步骤S306和步骤S307的处理，与上述的图2所示的步骤S107、S108中进行的、判断分配值的正确性(妥当性)并进行修正的处理同样地进行。因此，省略该处理的详细的说明。

之后，重复图8的步骤S302～S307。该重复进行时的复原数据I_0+n成为被进行处理的中途阶段的复原数据。在步骤S304中，各像素的差分的数据δ的各自的绝对值小于规定值的话，则结束重复处理。然后，将结束重复处理时的复原数据I_0+n推断为基础图像的数据Img。也就是说，由于在各像素的差分的数据δ的各自的绝对值的最大值或平均值小于规定值的情况下，成为比较用数据I_0+n的基础的复原数据I_0+n非常近似于基础图像的数据Img，因此，将该复原数据I_0+n推断为基础图像的数据Img。另外，也可以在记录部5中预先记录初始图像的数据I₀、变化要因信息的数据G，并根据需要输送至处理部4。

将上述重复处理方法(复原手段)的观点进行概括的话，如下所述。即，在该处理方法中，不将处理的解作为逆问题进行解决，而是作为求出合理的解的最佳化问题进行解决。作为逆问题进行解决的情况在理论上是可能的，但是作为现实问题是困难的。

在作为最佳化问题进行解决的情况下，在本实施形态中以以下那样的条件为前提。

即、(1)相对于输入的输出，规定为唯一值。

    (2)若输出相同的话，则输入相同。

    (3)为了使输出变得相同，通过更新输入并在将该更新量修

正为确切(妥当)的值的同时进行重复处理，而使解收敛。

换言之，如图9(A)、(B)所示，若能够生成与原图像的数据Img’近似的比较用数据I₀’(I_0+n’)的话，则成为该生成的基础数据的初始图像的数据I₀或复原数据I_0+n，成为近似于基础图像的数据Img的数据。

另外，在该实施形态中，成为差分的数据δ的判断基准的值，在以八位(0～255)表示各数据的情况下，在该实施形态中为“6”。也就是说，在小于6、即5以下时，结束处理。

接下来，根据图10、图11、图12、图13、图14、图15、图16以及图17，对图8所示的晃动的复原处理方法(步骤S302、S303、S304、S305、S306、S307的重复处理(复原手段))的详细情况进行说明。

(晃动的复原算法)

在未发生晃动时，与规定的像素对应的光能在曝光时间中集中于该像素。另外，在发生晃动时，光能在曝光时间中分散于晃动的像素中。进而，若知道曝光时间中的晃动的话，便知道曝光时间中的能量的分散的方式，因此，能够从模糊的图像作出不模糊的图像。

以下，为了简便起见，以横向一维进行说明。将像素从左开始依次设定为S-1、S、S+1、S+2、S+3、……，并注意某一像素S。由于在未发生晃动时曝光时间中的能量集中于该像素，因此能量的集中度为“1.0”。将该状态表示于图10。将此时的拍摄结果表示于图11的表中。图11所示的数据成为未发生劣化时的正确的图像数据、即基础图像的数据Img。另外，各数据以八位(0～255)的数据表示。

曝光时间中有晃动，且分别为曝光时间中的50％的时间在第S号的像素中发生晃动，30％的时间在第S+1号的像素中发生晃动，20％的时间在第S+2号的像素中发生晃动。能量的分散方式如图12所示的表所记载。这成为变化要因信息的数据G。

曝光时间中有晃动，且分别为曝光时间中的50％的时间在第S号的像素中发生晃动，30％的时间在第S+1号的像素中发生晃动，20％的时间在第S+2号的像素中发生晃动。能量的分散方式如图12所示的表所记载。这成为变化要因信息的数据G。上述通式(5)中的“N”的值为“3”，作为“分量”的50％、30％以及20％的总和为“1”。因此，该变化要因信息G(在此，由于以横向一维考虑，因此成为G(Xn))满足上述通式(4)。

根据该图12和通式(5)算出移动能量E(Ox，Oy)。在此，由于以横向一维考虑，因此移动能量成为E(Ox)。另外，移动距离，将一像素份的移动距离作为“1”而进行计算。于是，使分散的光能集中于像素“S”时的移动能量，E(Ox)如以下那样进行计算并求出。

(1×0)+(0×0.5)+(1×0.3)+(2×0.2)＝0.7

同样地，使分散的光能集中于像素“S+1”时的移动能量，E(Ox)如以下那样进行计算并求出。

(1×0.5)+(0×0.3)+(1×0.2)＝0.7

同样地，使分散的光能集中于像素“S+2”时的移动能量，E(Ox)如以下那样进行计算并求出。

(2×0.5)+(1×0.3)+(0×0.2)＝1.3

由以上的结果可知，在图12的情况下，通过使分散的光能集中于像素“S”或“S+1”，能够使移动能量为最小值的“0.7”。另外，取代图12而在“S＝0.45”、“S+1＝0.3”、“S+2＝0.25”的情况下，向像素“S+1”的移动能量的总和变为最小。即，是因为向像素“S”的移动能量变为“0.8”，向像素“S+1”的移动能量变为“0.7”，向像素“S+2”的移动能量变为“1.2”。以下，对使分散的光能向移动能量最小的位置、即上述图12的例子中的像素“S”集中时的重复处理的详细情况进行说明。

晃动在所有的像素中是相同的，作为线性问题而被掌握。而且，若没有上方晃动(纵向晃动)的话，晃动的情况如图13所示的表所记载。图13中的作为“模糊图像”而表示的数据为劣化的原图像的数据Img’具体地说，例如“S-3”的像素的“120”，按照作为晃动信息的变化要因信息的数据G的“0.5”、“0.3”、“0.2”的分配比，在“S-3”的像素中分散“60”、在“S-2”的像素中分散“36”、在“S-1”的像素中分散“24”。同样地，作为“S-2”的像素数据的“60”，在“S-2”中分散“30”、在“S-1”中分散“18”、在“S”中分散“12”。从该劣化的原图像数据Img’和图12所示的变化要因信息的数据G，算出基础图像的数据Img。

作为步骤S301所示的初始图像的数据I₀，能够采用任意的数据，但是，在进行该说明时使用原图像数据Img’。也就是说，作为I₀＝Img’而开始进行处理。在图14的表中被作为“输入”的数据相当于初始图像的数据I₀。将该数据I₀、即Img’与变化要因信息的数据G在步骤S302中进行叠加积分。也就是说，例如初始图像的数据I₀的“S-3”的像素的“60”，分别在“S-3”的像素中分配“30”、在“S-2”的像素中分配“18”、在“S-1”的像素中分配“12”。对于其他的像素也同样地进行分配，从而生成作为“输出I₀’”而表示的比较用数据I₀’。因此，步骤S303的差分的数据δ如图14的最下面一栏所示。判断该差分的数据δ的绝对值的最大值是否小于规定值、例如10(步骤S304)，在该例中，“S-3”的像素的差分的数据δ为30，在步骤S304中为No(＝“否”)，而向步骤S305过渡。

如图15所示，差分的数据δ的分配是，例如在“S-3”的像素中，分配在“S-3”的像素数据“30”上乘以作为其自身(＝“S-3”的像素)的分配比的0.5所得的“15”，另外分配在“S-2”像素的数据“15”上乘以作为应该产生于该“S-2”像素中的分配比的0.3所得的“4.5”，进而分配在“S-1”的像素的数据“9.2”上乘以作为应该产生于该“S-1”的像素的分配比的0.2所得的“1.84”。分配于“S-3”的像素的总量(各像素的更新量Dc)为“21.34”，将该值与作为图8中的初始图像的数据I₀的图4中的Ib(在此使用原图像数据Img’)相加，算出作为图8中的复原数据I₀₊₁的图4中的更新后的像素值Ia。在该例中，如图15所示那样更新后的像素值Ia为“81.34”。这样，使用变化要因信息的数据G将差分的数据δ分配于初始图像的数据I₀，生成图15中的作为“下一次输入”而表示的复原数据I_0+n。该情况下，由于是第一次，因此在图15中表示为I₀₊₁。

在这之后，在图8的步骤S306中判断更新量的正确性(妥当性)。具体地说，为了修正该复原数据I₀₊₁，而算出各像素的更新后的像素值(＝Ia)。该算出利用上述的通式(1)进行。因此，将差分的数据δ分配于各像素。然后，如图15所示，对各像素算出各自所参照的像素的更新前的像素值(＝Ib)的最小值(＝Min)、最大值(＝Max)以及平均值(＝Av)(图4中的步骤S202)。例如，像素“S-3”参照像素“S-3”、像素“S-2”以及像素“S-1”。因此，如图15所示，算出像素“S-3”、像素“S-2”以及像素“S-1”的最小值(＝Min)、最大值(＝Max)以及平均值(＝Av)。在图示的例子中，关于像素“S-3”，最大值为像素“S-1”的“82.00”，最小值为“S-3”的“60.00”，平均值为像素“S-3”、“S-2”、“S-1”的各值的总和除以3所得的值、为“69.33”。对于像素“S-2”～“S+4”也进行同样的计算。

然后，判断Ia和Ib是否满足图4中的步骤S204、S206、S208、S210以及S212的任意一个条件。例如，像素“S-3”的Ia，由于满足“Min(60.00)≤Ia(81.34)≤Max(82.00)”的条件，因此满足图4中的步骤S204的条件。因此，如图15所示进行步骤S205的处理，并将作为更新量Dc的“21.34”原封不动地作为修正后的更新量Dp而使用，修正值Ia’成为与修正前的Ia相等的“81.34”。对于“S-2”～“S”、“S+2”以及“S+3”的更新后的像素值Ia也进行同样的修正。该修正值Ia’成为复原数据I_0+n的修正值。

例如在像素“S+1”中，不满足步骤S204、S206的条件而向步骤S208过渡。而且，由于为“Ib(121.00)＞Av(113.33)”、且满足“Ia(130.11)＞Max(121.00)”的条件，因此满足图4中的步骤S208的条件。因此，如图15所示进行步骤S209的处理，并将“2.28”作为修正后的更新量Dp而使用，从而修正值Ia’成为“123.28”。对于像素“S+4”的Ia也进行同样的修正。该修正值Ia’成为复原数据I_0+n的修正值。

如图16所示，该修正后的复原数据I₀₊(Ia’)成为步骤S302的新的输入图像的数据(＝取代初始图像的数据I₀的数据)，执行步骤S302并向步骤S303过渡，从而得到新的差分的数据δ。在步骤S304中判断该差分的数据δ的大小，大于规定值时，在步骤S305中将新的差分的数据δ分配于上一次的修正后的复原数据I₀₊₁，生成新的复原数据I₀₊₂，此时，与图15的说明同样地将新的复原数据I₀₊₂进行修正(参照图17)。例如，对于像素“S-3”、“S”以及“S+3”的更新后的像素值Ia，进行与上述的图15中的像素“S-3”同样的修正。也就是说，更新后的像素值Ia原封不动地成为修正值Ia’。

另外，在例如像素“S+1”中，不满足步骤S204、S206的条件而向步骤S208过渡。而且，由于为“Ib(121.00)＞Av(116.15)”、且满足“Ia(126.29)＞Max(121.00)”的条件，因此满足图4中的步骤S208的条件。因此，如图17所示进行步骤S209的处理，并将根据上述的通式(2)得到的值“1.323”作为修正后的更新量Dp而使用，从而修正值Ia’成为“122.32”。对于像素“S+4”的更新后的像素值Ia也进行同样的修正。该修正值Ia’成为复原数据I_0+n的修正值。

另外，在例如像素“S-2”中，不满足步骤S204、S206、S208的条件而向步骤S210过渡，而且，由于为“Ib(77.30)≤Av(87.67)”、且满足“Ia(76.97)＜Min(77.30)”的条件，因此满足图4中的步骤S210的条件。因此，如图17所示进行步骤S211的处理，并将根据上述通式(3)得到的值“-0.082”作为修正后的更新量Dp而使用，从而修正值Ia’成为“77.22”。对于像素“S-1”和“S+2”的更新后的像素值Ia也进行同样的修正。该修正值Ia’成为复原数据I_0+n的修正值。

然后，通过使用修正后的复原数据I₀₊₂执行步骤S302，而从修正后的复原数据I₀₊₂生成新的比较用数据I₀₊₂’这样，在步骤S302、S303被执行之后进入步骤S304，并根据在步骤S304中的判断而向步骤S305过渡。重复这样的处理。

(通过本实施形态得到的主要效果)

通过执行本实施形态涉及的变化要因信息的数据的生成方法的处理(图2)，即使变化要因信息的数据(PSF)为未知的，也能够生成确切(妥当)的PSF，从而能够进行实用的信号复原。因此，能够将机械性地测定晃动等的速度传感器或加速度传感器从照相机等的信号处理装置1的结构元件中省略。另外，在进行该处理时，通过处理部4进行强调PSF的骨架部分的处理(步骤S121)，而能够生成注重相当于晃动的变化的推断的、进行实用的信号复原成为可能的PSF。另外，在进行该处理时，通过处理部4重复两次以上(例如十次)的图2所示的步骤S103～S108的处理，而生成更确切(更妥当)的PSF。另外，在进行该处理时，通过处理部4进行判断分配值的正确性(妥当性)并修正的处理(步骤S107、S108)，而能够抑制由分配引起的极端的数据的值的变化，从而生成更确切(更妥当)的PSF。另外，在进行该处理时，通过处理部4进行重新设定P’的原点的处理，而能够抑制由分配引起的极端的数据的值的变化，从而生成更确切(更妥当)的PSF。另外，在进行该处理时，由于通过处理部4执行缩小处理(步骤S102)而变化的大小也被缩小，因此变得易于推断PSF，从而生成更确切(更妥当)的PSF。

另外，在进行该处理时，通过处理部4将放大处理(步骤S125)的放大率逐渐地放大并重复进行，而能够根据进行了缩小处理后得到的确切(妥当)的具有骨架部分的PSF，进行优质且大的PSF的推断。另外，在进行该处理时，通过处理部4进行强调PSF 的骨架部分的处理(步骤S121)，而能够生成注重相当于晃动的变化的推断的PSF。另外，在进行该处理时，通过处理部4将PSF的初值设定为高斯圆斑(步骤S101)，即使变化包含怎样的晃动或模糊，也能够进行优质的PSF的推断。

本实施形态涉及的信号处理装置1，即使PSF为未知的也能够生成确切(妥当)的PSF，从而能够进行实用的信号复原。因此，能够将机械性地测定晃动等的速度传感器或加速度传感器从照相机等的信号处理装置1的结构元件中省略。另外，在进行变化要因信息的数据的生成处理时，由于处理部4进行了强调PSF的骨架部分的处理(步骤S121)，因此，能够进行基于PSF的实用的信号复原，其中，PSF是注重相当于晃动的变化的推断的PSF。

另外，信号处理装置1，通过重复图8所示的步骤S302～步骤S307，差分的数据δ逐渐地变小，若变得小于规定值的话，则得到未发生晃动的基础图像数据Img。另外，此时由于进行了修正处理(图4、图5)，因此，得到的被推断为基础图像数据Img的图像数据，是振荡(ringing)的发生被减轻且图像的复原状态良好的数据。另外，由于通过修正处理(图4、图5)将构成复原数据的信号要素的数据中的、被认为不自然的数据进行了修正，而抑制了像素值的大的变化，因此，即使通过图2所示的处理推断出的变化要因信息的数据G为可靠性低的数据，也能够进行确切(妥当)的图像的复原。

(其他的形态)

以上，对本实施形态中的变化要因信息的数据的生成方法及信号处理装置1进行了说明，但是，只要不脱离本发明的要旨便能够进行各种变更实施。例如，在变化要因信息的数据的生成方法中，处理部4将图2所示的步骤S103～S108的处理重复两次以上，但是也可以仅进行一次。进而，能够省略处理部4判断分配值的正确性(妥当性)并进行修正的处理(步骤S107、S108)、重新设定P’的原点的处理(步骤S122)、缩小处理(步骤S102)、放大处理(步骤S125)、以及最终形成与初始的图像数据用的PSF的数据相同大小的数据的放大处理(步骤S128)的全部或一部分。进而，PSF的初值，能够不设定为高斯圆斑(步骤S101)而设定任意的值。

另外，例如在信号处理装置1的信号复原处理中采用了图8所示的处理，但是，能够采用其他的处理、例如使用维纳滤波器的处理等。另外，即使在采用图8所示的处理的情况下，也可以省略设定原点位置的处理(步骤S300)和判断更新量的正确性(妥当性)并进行修正的处理(步骤S306、S307)的双方或一方。进而，即使在采用判断更新量的正确性(妥当性)并进行修正的处理(步骤S306、S307)的情况下，修正复原数据I_0+n的方法也不限于图4和图5所示的方法。特别是，根据图4所示的步骤S204、S206、S208、S210以及S212的情况区分的步骤S205、S207、S209、S211以及S213中的修正差分的数据δ的方法，分别能够适当地进行变更。

另外，处理部4重复十次图2所示的步骤S103～S108的处理，另外，在步骤S123中重复步骤S103～S122，但是，能够根据处理部4的处理速度的情况而增减该些次数。另外，也可以形成为信号处理装置1的使用者能够任意地设定这些次数。进而，缩小处理(步骤S102)和放大处理(步骤S125)的图像的大小的比率、放大处理(步骤S125)的图像的大小的比率的变更次数，能够根据复原图像的画质等而增减这些次数。

另外，缩小处理(步骤S102)和放大处理(步骤S125)中的缩小、放大的方法，通过像素的间隔剔除、新的像素的插入而进行，其中，新的像素的像素值为将相邻的像素的像素值平均后的值。但是，也可以采用其他的方法，例如使用相邻的多个像素的平均像素值的像素来代替该多个像素的缩小处理、通过将相邻的像素的像素值原封不动地作为新的像素的像素值并插入该新的像素而进行放大处理。进而，在强调PSF的骨架部分的处理(步骤S121)中，将骨架部分的数据的值变为2倍，但是也可以是1.5倍、3倍、4倍或5倍等。

另外，处理部4进行最终形成与初始图像用的PSF的数据相同大小的数据的放大处理(步骤S128)。但是，可以不必通过该处理而形成与初始图像用的PSF的数据相同大小的数据，而是放大处理为与初始图像用的PSF的数据不同大小的数据。

另外，处理部4进行算出PSF的处理(步骤S120)，该处理是，通过将得到的复原数据I_0+n和原图像的数据Img’分别进行傅里叶变换，根据频率间隔中的除法算出PSF的频率特性，并将该频率特性进行傅里叶逆变换而得到PSF(＝P)的处理。但是，能够采用通过其他的方法而从所得到的复原数据I_0+n和原图像的数据Img’得到新的PSF(＝P)的处理。

在判断更新量的正确性(妥当性)并进行修正的处理(步骤S306、S307)中，例如作为参照的像素，除了所影响的范围(影响范围)的像素之外，也可以是将包围该影响范围的像素放大一像素份的范围、或以欲进行修正的像素为中心的规定距离的范围。另外，作为规定的基准，也可以不利用参照的像素的最大值、最小值、平均值，而是仅利用最大值和最小值，并将修正值超过最大、最小的部分的1/4或1/3的值附加于最大值或最小值上。另外，也可以将上限设定为最大值的1.2倍，将下限设定为最小值的0.8倍，在该范围内的话便不进行修正。也就是说，也可以形成为若更新后的像素值Ia在最大值的X倍、最小值的Y倍的范围内的话，便不进行修正。

在本实施形态涉及的重复处理中，在图2中的步骤S105或图8中的步骤S304的、是否将暂时得到的图像进行再次处理的判断中，处理部4判断构成图像的多个像素的各像素的差分的数据Δ、δ的绝对值是否全部小于规定值、或绝对值的平均值是否小于规定值，并判断是否进行图像整体的处理。但是，也可以将与规定值的比较对象作为构成图像的多个像素的各像素的差分的数据，并判断是否对每个像素停止重复处理。另外，能够将与规定值的比较对象设定为各像素的差分的数据δ的总和、或各像素的差分的数据Δ、δ的绝对值的总和、或以上四个中的两个以上。也可以判断例如在各像素的差分的数据Δ、δ中离零最远的值、和各像素的差分的数据δ的总和的值是否同时满足各自的基准。这样，通过适当地选择与规定值进行比较的值，而能够根据原图像的种类、变化的状态或复原处理的状况而进行适当的处理。

在上述实施形态中，将复原对象设定为图像数据，但是，这些复原处理的观点和方法，能够适用于所有的数字数据的复原处理中。例如，能够适用于数字音频数据(digital voice data)的复原等。该适用的结果是，能够有效地抑制如振荡(ringing)那样在一部分上产生不正确的音频数据等的情况，另外，即使变化要因信息的数据不正确，也能够进行得到确切(妥当)的结果的复原处理。

另外，在上述实施形态中，将信号处理装置1作为民用的照相机，但是，信号处理装置1，也可以是将通过数码相机等拍摄的图像的数据在执行了图2、图4、图8以及图9等所示的处理的一个或多个之后进行印刷的打印设备。另外，信号处理装置1，也可以是相对于打印设备而安装有在执行图2、图4、图8以及图9等所示处理的一个或多个的同时进行操作的软件的计算机、进而安装有执行图2、图4、图8以及图9等所示处理的一个或多个的软件的计算机等。

另外，上述的各处理方法也可以被程序化。另外，也可以将被程序化的各处理方法存入存储媒体、例如CD、DVD、USB存储器，并能够通过计算机进行读取。该情况下，信号处理装置1，也可以将该存储媒体内的被程序化的各处理方法存入信号处理装置1的外部服务器，根据需要进行下载并使用。该情况下，信号处理装置1具有下载该存储媒体内的程序的通信装置。

在图2、图4、图8等所示的复原处理方法中，利用处理部4进行的处理由软件构成，但是，也可以利用由分别分担进行一部分处理的部件组成的硬件而构成。另外，作为变化要因信息的数据G，不仅包括劣化要因信息的数据，还包括仅使图像发生变化的信息、或与劣化相反地使图像变好的信息。

另外，在处理的重复次数(步骤S109、步骤S123、步骤S304)在信号处理装置1侧自动地或固定地设定的情况下，也可以根据PSF的值(P、P’)或变化要因信息的数据G而变更该设定的次数。例如，也可以在某一像素的数据由于晃动而分散于多个像素的情况下增加重复次数，而在分散少的情况下减少重复次数。

进而，在重复处理中，也可以在差分的数据的Δ、δ发生发散、或能量移动后的图像数据的能量未变小而变大时，中止处理。是否发生发散，可以采用例如观察差分的数据Δ、δ的平均值，该平均值相比上一次变大的话则判断为发生发散的方法。另外，在重复处理中，也可以在欲将输入变更为异常的值时中止处理。例如，在八位的情况下，在欲进行变更的值为超过255的值时，中止处理。另外，在重复处理中，在欲将作为新的数据的输入变更为异常的值时，也可以不使用该值而形成正常的值。例如，在八位的0～255中，在欲将超过255的值作为输入数据时，作为为最大值的255而进行处理。

另外，在生成成为输出图像的复原数据时，存在根据PSF的值(P，P’)或变化要因信息的数据G而发生超出欲复原的图像的区域那样的数据的情况。这种情况下，超出区域的数据被输入相反侧。另外，在存在应从区域外输入的数据的情况下，以从相反侧取入该数据为佳。

<实施例>

将执行了上述各处理后的复原图像的评价表示于表1。将被拍摄且保持由于晃动等而劣化的状态的图像(Img’)作为现有例。将使用通过图2所示的处理而得到的PSF的数据、并通过图8所示的处理将信号进行复原后得到的图像，作为实施例1。将使用从图2所示的处理中省略表1所示的规定步骤后得到的PSF的数据、并从图8所示的处理中省略表1所示的规定步骤而将信号进行复原后得到的图像，作为实施例2～11。另外，实施例10，是取代图8的处理而在图像复原处理中使用维纳滤波器的图像。另外，作为比较例1，对于不进行图2的处理，取而代之通过速度传感器测定晃动并形成PSF的图像也进行了探讨。进而，作为比较例2，对于省略了将形成PSF的中枢的骨架部分的数据的值放大的处理(步骤S121)的图像也进行了探讨。

[表1]

对于现有例和实施例1～11以及比较例的图像，关于“有无晃动”、“有无振荡”、“有无模糊(所谓的散焦)”，进行了利用目视的检查。将该检查结果一并表示于表1。进行检查的人，是非色弱、色盲且双眼视力均为1.0的人。判断为“有”的情况是，看一眼便能够判断为存在晃动等的情况。判断为“有少许”的情况是，能够在目视五秒以内后与其他的图像比较的同时判断出存在晃动等的情况。判断为“无”的情况是，能够在目视超过五秒后与其他的图像比较的同时判断出没有晃动等的情况。图像的种类为风景和人物两种。图像是利用市场销售的彩色打印机印刷的图像，且是排除了由印刷条件带给图像的影响后进行印刷的图像。

现有例由于是发生了劣化的图像，因此能够明确地确认到晃动和模糊。实施例1中，晃动、振荡、模糊均未被发现。晃动之所以消失，认为是因为相当于形成PSF的中枢的晃动信息的信息(图3的A部分)是正确(妥当)的信息。模糊之所以消失，认为是相当于形成PSF的中枢的晃动信息的信息以外的信息(图3的B部分)所起的作用。在比较例中，由于无法得到图3的B部分的PSF，因此无法获得该作用，从而无法消除模糊。

实施例2是仅进行了一次图2中的步骤S103～S108的过程的图像。相比现有例的图像，该图像的晃动和模糊被改善。另外，发现图2中的步骤S103～S108的过程的重复次数越多，晃动和模糊越被改善的倾向。

实施例3是省略了图2中的步骤S107、S108、S122而进行处理的图像。相比现有例的图像，该图像的晃动和模糊被改善。

实施例4是省略了图2中的步骤S107、S108而进行处理的图像。实施例5是省略了图2中的步骤S122而进行处理的图像。这些图像未观测到晃动和模糊。

实施例6是省略了图2中的步骤S102、S125、S126，且未逐渐地将图像进行放大处理而进行处理的图像。实施例7是省略了图2中的步骤S123，并将重复的次数设定为一次而进行处理的图像。相比现有例的图像，这些图像的晃动和模糊被改善。

实施例8是省略了图8中的步骤S300、S306、S307而进行处理的图像。该图像未观测到晃动和模糊，但是观测到了振荡。但是，通过进行极多次(例如100次以上)的省略了图8中的步骤S300、S306、S307的重复处理，确认了该振荡的发生被减轻或未观测到。

实施例9是省略了图8中的步骤S300而进行处理的图像。该图像既未观测到晃动和模糊，也未观测到振荡。实施例11是省略了图8中的步骤S306、S307而进行处理的图像。该图像未观测到晃动和模糊，但是观测到些许振荡。也就是说，可知通过执行决定原点位置的处理(步骤S300)、判断更新量的正确性(妥当性)并修正I_0+n的处理(步骤S306、S307)的任意一个，能够抑制振荡的发生。另外，可知利用步骤S306、S307的处理产生的振荡抑制效果，稍优于利用步骤S300的处理产生的振荡抑制效果。

实施例10是省略图8中的全部的处理，取而代之利用维纳滤波器进行图像的复原处理后的图像。相比现有例，该图像的晃动和模糊被改善，但是观测到了振荡。

比较例2是省略了图2中的步骤S121而进行处理的图像。该图像观测到些许晃动，但是，对于模糊，除了由晃动引起的之外并未观测到。另外，为了进一步得到消除该模糊的效果，而省略或减轻图2中的步骤S121的处理(例如将骨架部分的数据变为1.5倍等)。而且，为了进一步得到消除晃动的效果，而进一步强调图2中的步骤S121的处理(例如将骨架部分的数据变为3倍等)。

接下来，对省略了图8中的步骤S306、S307，另外并变更了步骤S300的条件的处理进行了探讨。在成为图12的变形例的像素“S”为0.45、像素“S+1”为0.3、像素“S+2”为0.25的情况下，使分散的光能分别集中于像素“S”、“S+1”、“S+2”并作为原点位置，进行图8所示的重复处理。通过目视观察这些各情况下的复原图像，并判断有无振荡。另外，同样地对下述情况下的复原图像的有无振荡进行判断，该情况是将作为通式(5)的计算范围的“N＝3”少许放大，使分散的光能分别集中于图9中的像素“S-1”、“S+3”并作为原点位置，而进行图8所示的重复处理的情况。将判断结果表示于表2。

另外，使分散的光能集中于像素“S-1”时的移动能量，与像素“S”、“S+1”、“S+2”的情况略同样地如以下那样进行计算并求出。

(0×0)+(1×0.45)+(2×0.3)+(3×0.25)+(4×0)＝1.80

另外，同样地，使分散的光能集中于像素“S+3”时的移动能量，如以下那样进行计算并求出。

(4×0)+(3×0.45)+(2×0.3)+(1×0.25)+(0×0)＝2.20

[表2]

光能集中像素	S-1	S	S+1	S+2	S+3
						移动能量值	1.80	0.80	0.70	1.20	2.20
有无振荡	有	无	无	有	有

由表2的结果以及多个其他例子可知，若移动能量的值超过规定值的话则观测到振荡，若移动能量的值控制在规定值以内的话，则能够抑制振荡的产生。也就是说，在将由通式(5)导出的移动能量的总和的最小值作为Min时，即使在该移动能量超过Min的情况下，只要为Min×1.2以下的值，便能够相比现有技术而很大地抑制振荡的产生。

表2所示那样的改变了图8中的步骤S300的条件的处理，能够进行各种变更实施。例如，设定了使移动能量E(Ox，Oy)的总和为最小的原点位置(Ox，Oy)，但是，也可以设定超过移动能量E(Ox，Oy)的最小值且在规定值以下的原点位置(Ox，Oy)。在作为图12的变形例的“S＝0.45”、“S+1＝0.3”、“S+2＝0.25”的情况下，也可以将像素“S”作为原点位置(Ox，Oy)，而不是移动能量最小的像素“S+1”。此时的各移动能量是像素“S”为0.8，像素“S+1”为0.7，像素“S+2”为1.2。像素“S”成为比在作为最小值的0.7上乘以1.2所得的值0.84小的值。

另外，本实施例中，将原点位置设定为图7中的X-Y平面的任意位置。因此，原点位置在图7的A-B轨迹上的范围内进行决定也可以。也就是说，只要是使移动能量的总和变小，便以如下那样进行设定为佳，即，将例如作为图7的A-B轨迹上的范围内的图12中的像素“S”、“S+1”、“S+2”的任意一个作为原点位置，或者将像素“S-1”或“S+3”作为原点位置。另外，也可以将图7的X-Y平面所表示的晃动的轨迹投影于X轴或Y轴的轨迹作为晃动的轨迹，并在该轨迹上求出成为移动能量的最小值或如上述实施例那样的值的位置。另外，各实施形态所得到的变化要因信息的数据，除了本实施形态所示的重复处理中的信号复原以外，也可以利用于通过使用了已知的模糊图像和该变化要因信息的反卷积运算(Deconvolution Operation)而进行的信号复原等、其他的信号复原方法。

Claims (5)

1.一种变化要因信息的数据的生成方法，其是对于原信号数据生成成为该信号变化的主要原因的变化要因信息的数据的方法，其中，所述原信号数据是发生了劣化变化的原图像的数据、或者将该原图像的数据进行加工而得到的数据，

所述变化要因信息的数据的生成方法的特征在于，具有第一步骤、第二步骤、第三步骤、第四步骤以及第五步骤，

在所述第一步骤中，将任意的变化要因信息的数据作为最初的变化要因信息的数据而设定，

在所述第二步骤中，将所述最初的变化要因信息的数据和与所述原信号数据为相同容量的任意的信号数据进行叠加积分，由此生成比较用的数据，

在所述第三步骤中，当所述比较用的数据与所述原信号数据的差分的数据在规定值以上时，将在所述差分的数据上乘以系数后的数据分配于所述任意的信号数据，由此使构成所述原信号数据和构成所述任意的信号数据的像素的数据的一部分或全部移动，并且将所得到的数据作为复原数据，

在所述第四步骤中，取代所述任意的信号数据而使用在所述第三步骤中得到的复原数据，并重复进行所述第二步骤和所述第三步骤直到所述比较用的数据与所述原信号数据的差分的数据变得小于规定值为止，并且由最后得到的复原数据和所述原信号数据求出新的变化要因信息的数据，

在所述第五步骤中，将构成所述新的变化要因信息的数据的、成为中枢的部分的数据的值放大，由此作为变化要因而强调晃动的轨迹部分，并且将该数据作为用于对所述原信号数据进行复原的数据，

所述任意的信号数据是指任意的图像数据。

2.如权利要求1所述的变化要因信息的数据的生成方法，其特征在于，

所述原信号数据是将所述原图像的数据缩小后的数据，

在所述第五步骤之后，使用所述成为中枢的部分被强调的变化要因信息的数据进行放大处理，并且取代所述第二步骤中的所述最初的变化要因信息的数据而使用被放大处理后的变化要因信息的数据重复进行所述第二步骤、所述第三步骤、所述第四步骤以及所述第五步骤。

3.如权利要求1所述的变化要因信息的数据的生成方法，其特征在于，

在所述第五步骤之后，将得到的所述变化要因信息的数据的原点位置设定于，在将各个像素的数据的移动所需的移动能量的总和的最小值设为Min时，该移动能量为Min以上且Min×1.2以下的位置。

4.如权利要求1所述的变化要因信息的数据的生成方法，其特征在于，所述最初的变化要因信息的数据是强度分布为高斯分布的数据。

5.一种信号处理装置，其特征在于，

所述信号处理装置设有处理部，该处理部利用成为信号变化的主要原因的变化要因信息的数据，进行从发生了劣化变化的原信号数据向基础信号的复原，该基础信号是变化前的信号或本来应该取得的信号、或者这些信号的近似信号；

所述处理部具备下述(1)～(5)的模块：

(1)将任意的变化要因信息的数据作为最初的变化要因信息的数据而设定的模块；

(2)将所述最初的变化要因信息的数据和与所述原信号数据为相同容量的任意的信号数据进行叠加积分，由此生成比较用的数据的模块；

(3)当所述比较用的数据与所述原信号数据的差分的数据在规定值以上时，将在所述差分的数据上乘以系数后的数据分配于所述任意的信号数据，由此使构成所述原信号数据和构成所述任意的信号数据的像素的数据的一部分或全部移动，并且将所得到的数据作为复原数据的模块；

(4)取代所述任意的信号数据而使用所述复原数据，并重复进行所述(2)和(3)模块的处理直到所述比较用的数据与所述原信号数据的差分的数据变得小于规定值为止，并且由最后得到的复原数据和所述原信号数据求出新的变化要因信息的数据的模块；

(5)将构成所述新的变化要因信息的数据的、成为中枢的部分的数据的值放大，由此作为变化要因而强调晃动的轨迹部分，并且将该数据作为用于对所述原信号数据进行复原的数据的模块，

所述原信号数据、所述信号变化、所述基础信号、所述变化前的信号、所述本来应该取得的信号、所述近似信号分别指原图像数据、图像变化、基础图像、变化前的图像、本来应该取得的图像、近似图像。

Images