CN101960488A - 变化要因信息的数据的生成方法及信号处理装置 - Google Patents

Abstract

本发明提供的变化要因信息的数据的生成方法及信号处理装置，即使变化要因信息的数据为未知的，也能够进行实用的信号复原；该变化要因信息的生成方法，将任意的变化要因信息的数据作为最初的变化要因信息的数据而进行设定后，(1)利用该数据从任意的信号数据生成比较用数据，(2)将原信号的数据或将该原信号的数据加工后的数据与比较用数据进行比较，(3)通过利用最初的变化要因信息的数据将得到的差分的数据分配于任意的信号数据，而生成最初的复原数据，(4)取代任意的信号数据而使用该最初的复原数据，并根据需要重复同样的处理，(5)从其结果所得的复原数据和原信号的数据或将该原信号的数据加工后的数据，生成与最初的变化要因信息的数据不同的新的变化要因信息的数据。

Description

变化要因信息的数据的生成方法及信号处理装置

技术领域

本发明涉及的是变化要因信息的数据的生成方法及信号处理装置。

背景技术

众所周知在现有技术下，在利用照相机等的信号处理装置进行拍摄时，信号经常会发生劣化。作为信号劣化的主要原因，存在拍摄时的晃动、光学系统的各种像差、镜头的偏斜等。

本申请人在过去提出了将由于拍摄时的晃动而劣化的图像(信号)进行复原的方法(参照专利文献1)。该专利文献1记载的技术，是在设有处理信号的处理部的信号处理装置中，处理部进行的处理为，利用成为信号变化的主要原因的变化要因信息的数据，从任意的信号数据生成比较用数据，将成为处理对象的原信号的数据与上述比较用数据进行比较后，利用所得到的差分的数据生成复原数据，取代上述任意的信号数据而使用该复原数据，并通过进行重复同样的处理的重复处理而生成与变化前的原信号近似的复原数据。

另外，提出了将由于拍摄时的晃动等而劣化的图像作为唯一的信息，推断出成为该晃动的原因的点扩散函数(PSF：Point Spread Function)，从而求出原本的物体图像的技术(参照非专利文献1)。该技术，以在拍摄对象的变化前的图像数据(A₀)上乘以PSF(G₀)的话则成为拍摄的劣化图像的数据(A’)为前提。也就是说，以满足“A₀×G₀＝A’”为前提。然后，对A₀和G₀赋予任意的值并进行“G₀＝A’/A₀”的计算。接着，赋予G₀不会成为负值等的限制条件而得到G₁。然后，作为“A’/G₁＝A₁”而将A₀变为A₁。接着，赋予A₁不会成为负值等的限制条件而得到A₂。然后，作为“A’/A₂＝G₂”而将G₁变为G₂。然后，赋予G₂不会成为负值等的限制条件而得到G₃。重复多次这样的计算而得到确切的PSF和复原图像数据。

另外，除了一般的拍摄图像以外，X光照片、显微镜图像等的各种图像或信号由于晃动或其他原因而发生劣化或变化的情况，也是众所周知的。

专利文献1：日本公开公报、特开2007-48257号

非专利文献1：竹田、小松、《用于盲解卷积(Blind Deconvolution)的迭代傅里叶算法(IFTA)中的非负限制条件的探讨》、光学、日本光学会、1996年、第25卷、5号、p274-281

发明内容

在专利文献1中，存在有关利用已知的变化要因信息的数据的信号的复原处理的记载。为了进行这样的复原处理，需要将速度传感器或加速度传感器等作为结构元件。

采用非专利文献1所记载的技术的话，不必使用速度传感器或加速度传感器等，即使变化要因信息的数据为未知的，也能够复原图像。但是，该技术由于与所有图像对应的的限制条件的设定是困难的，另外处理时间变长，因此对于通用装置的采用成为困难的情况。

因此，本发明的目的在于，提供一种即使变化要因信息的数据为未知的，也能够进行实用的信号复原的变化要因信息的数据的生成方法及信号处理装置。

为了达到上述目的，本发明的变化要因信息的生成方法，是在生成发生了劣化等变化的原信号数据的、成为该信号变化的主要原因的变化要因信息的数据的方法中，将任意的变化要因信息的数据作为最初的变化要因信息的数据而进行设定后，(1)利用该数据从任意的信号数据生成比较用数据，(2)将原信号数据或将该原信号数据加工后的数据与比较用数据进行比较，(3)通过利用最初的变化要因信息的数据将得到的差分的数据分配于任意的信号数据，而生成最初的复原数据，(4)取代任意的信号数据而使用该最初的复原数据，并根据需要重复同样的处理，(5)从其结果所得的复原数据和原信号数据或将该原信号数据加工后的数据，生成与最初的变化要因信息的数据不同的新的变化要因信息的数据。

采用该发明的话，即使变化要因信息的数据为未知的，也能够生成确切(妥当)的变化要因信息的数据，从而能够进行实用的信号复原。另外，(5)中的“复原数据”，包括最初的复原数据和在(4)中根据需要重复处理而得到的复原数据的两者。

其他的发明涉及的变化要因信息的生成方法是在上述发明的基础上，取代最初的变化要因信息的数据而使用新的变化要因信息的数据，并进行一次以上的与(1)～(3)的处理同样的处理。通过采用该方法，能够生成更确切(更妥当)的变化要因信息的数据。

其他的发明涉及的变化要因信息的生成方法是在上述发明的基础上，(3)的处理通过使原信号数据或将该原信号数据加工后的数据和构成复原数据的信号要素的数据的一部分或全部移动的方法而进行，并判断构成复原数据的信号要素的数据是否满足规定的基准，在不满足规定的基准时进行修正处理，其中，修正处理是将利用差分的数据而算出的分配值进行修正，并取代该不满足的数据而使用根据修正后的分配值所得到的数据。通过采用该方法，最初的复原数据或复原数据的品质提高，从而能够生成更确切(更妥当)的变化要因信息的数据。

其他的发明涉及的变化要因信息的生成方法是在上述发明的基础上，生成新的变化要因信息的数据的处理，将得到的变化要因信息的数据的原点位置设定于，在将各信号要素的数据的移动所需的移动能量的总和的最小值作为Min时，该移动能量为Min以上且Min×1.2以下的位置。通过采用该方法，最初的复原数据或复原数据的品质提高，从而能够生成更确切(更妥当)的变化要因信息的数据。

其他的发明涉及的变化要因信息的生成方法是在上述发明的基础上，将原信号数据进行加工后的数据，是进行了使原信号变小的缩小处理后的缩小数据，任意的信号数据是与缩小数据相同大小的数据。通过采用该方法，由于变化的大小也被缩小，因此变得易于推断变化要因信息的数据，从而能够生成更确切(更妥当)的变化要因信息的数据。

其他的发明涉及的变化要因信息的生成方法是在上述发明的基础上，在从进行了缩小处理后的数据得到新的变化要因信息的数据之后，进行将新的变化要因信息的数据放大的放大处理，取代上述新的变化要因信息的数据而使用进行了放大处理后的上述变化要因信息的数据，进行一次以上的与(1)～(3)的处理同样的处理，并根据需要重复放大处理之后的处理。通过采用该方法，能够根据进行缩小处理而得到的优质的变化要因信息的数据，而进行大的变化要因信息的数据的推断。

其他的发明涉及的变化要因信息的生成方法是在上述发明的基础上，在从进行了缩小处理后的数据得到新的变化要因信息的数据之后，进行将(5)中的上述得到的复原数据和新的变化要因信息的数据分别以相同的比率放大的放大处理，取代新的变化要因信息的数据而使用进行了放大处理后的变化要因信息的数据，且取代任意的信号数据而使用进行了放大处理后的复原数据，进行一次以上的与(1)～(3)的处理同样的处理，并根据需要重复放大处理之后的处理。通过采用该方法，能够根据进行缩小处理而得到的优质的变化要因信息的数据，而进行大的变化要因信息的数据的推断。

其他的发明涉及的变化要因信息的生成方法是在上述发明的基础上，将构成新的变化要因信息的数据的、成为中枢的部分的数据的值放大。通过采用该方法，能够生成注重相当于晃动的变化的推断的变化要因信息的数据。

其他的发明涉及的变化要因信息的生成方法是在上述发明的基础上，最初的变化要因信息的数据是强度分布为高斯分布的数据。通过采用该方法，不论变化包含怎样的晃动或模糊，也能够进行优质的变化要因信息的数据的推断。

为了达到上述目的，本发明的信号处理装置设有处理部，该处理部进行从发生了劣化等变化的原信号数据向变化前的信号、或本来应该取得的信号或这些信号的近似信号(以下，称为基础信号)的复原；处理部将任意的变化要因信息的数据作为最初的变化要因信息的数据而进行设定后，(1)利用该数据从任意的信号数据生成比较用数据，(2)将原信号数据或将该原信号数据加工后的数据与比较用数据进行比较，(3)通过利用最初的变化要因信息的数据将得到的差分的数据分配于任意的信号数据，而生成最初的复原数据，(4)取代任意的信号数据而使用该最初的复原数据，并根据需要重复同样的处理，(5)进行从其结果所得的复原数据和原信号数据或将该原信号数据加工后的数据，生成与最初的变化要因信息的数据不同的新的变化要因信息的数据的处理，(6)根据生成的新的变化要因信息的数据或将该变化要因信息的数据加工后的数据，而进行基础信号的复原。

采用该发明的话，即使变化要因信息的数据为未知的，也能够生成确切(妥当)的变化要因信息的数据，从而能够进行实用的信号复原。另外，(5)中的“复原数据”，包括最初的复原数据和在(4)中根据需要重复处理而得到的复原数据的两者。

其他的发明涉及的信号处理装置是在上述发明的基础上，进行基础信号的复原的处理是，处理部利用变化要因信息的数据或将该变化要因信息的数据加工后的数据，从任意的信号数据生成比较用数据，将成为处理对象的原信号数据与比较用数据进行比较，并通过利用变化要因信息的数据或将该变化要因信息的数据加工后的数据，将得到的差分的数据分配于任意的信号数据而生成复原数据，取代任意的信号数据而使用该复原数据并进行重复同样的处理的重复处理。通过采用该构成，能够进行更加实用的信号复原。

其他的发明涉及的信号处理装置是在上述发明的基础上，(3)的处理通过使原信号数据或将该原信号数据加工后的数据和构成复原数据的信号要素的数据的一部分或全部移动的方法而进行，并判断构成复原数据的信号要素的数据是否满足规定的基准，在不满足规定的基准时进行修正处理，其中，该修正处理是将利用差分的数据而算出的分配值进行修正，并取代该不满足的数据而使用根据修正后的分配值所得到的数据。通过采用该构成，最初的复原数据或复原数据的品质提高，从而能够生成更确切(更妥当)的变化要因信息的数据。

其他的发明涉及的信号处理装置是在上述发明的基础上，生成新的变化要因信息的数据的处理，将得到的变化要因信息的数据的原点位置设定于，在将各信号要素的数据的移动所需的移动能量的总和的最小值作为Min时，该移动能量为Min以上且Min×1.2以下的位置。通过采用该构成，最初的复原数据或复原数据的品质提高，从而能够生成更确切(更妥当)的变化要因信息的数据。

其他的发明涉及的信号处理装置是在上述发明的基础上，复原装置是，处理部利用成为信号变化的主要原因的变化要因信息的数据，从任意的信号数据生成比较用数据，并将成为处理对象的原信号数据与比较用数据进行比较，通过利用原点位置被设定的变化要因信息的数据，将得到的差分的数据分配于任意的信号数据而生成复原数据，取代任意的信号数据而使用该复原数据并进行重复同样的处理的重复处理的装置。进行极多次该重复处理的话，能够复原未产生振荡(ringing)的图像等的信号。因此，通过采用该构成，能够进一步确实地抑制振荡等的产生。

在本发明中，能够提供一种即使变化要因信息的数据为未知的，也能够进行实用的信号复原的变化要因信息的数据的生成方法及信号处理装置。

附图说明

图1是表示本发明实施形态涉及的信号处理装置的主要构成的方框图。

图2是用于说明利用图1所示信号处理装置的处理部进行的变化要因信息的数据的生成方法所涉及的处理程序的处理流程图。

图3是图2所示的强调PSF的骨架部分的处理的说明图，(A)表示该处理前所推断的PSF的一例，(B)表示该处理后所推断的PSF的一例。

图4是用于说明图2所示的更新量的正确性(妥当性)判断和修正复原数据的处理程序的流程图。

图5是将进行图4所示处理流程涉及的修正的前后的更新量的一例概括表示的图。

图6是表示图1所示的信号处理装置的概要的外观立体图，是用于说明图7中的X-Y平面表示信号处理装置1的哪个平面的图。

图7是对图2所示的变化要因信息的数据的生成方法所涉及的处理程序的步骤S112的处理进行说明的图，是以X-Y平面表示的晃动的轨迹的示意图。

图8是用于说明利用图1所示信号处理装置的处理部进行的图像复原处理方法(重复处理)所涉及的处理程序的处理流程图。

图9是用于说明图8所示的处理方法的概念的图。

图10是以晃动为例子具体地说明图8所示的处理方法用的图，是表示未发生晃动时的能量集中的表。

图11是以晃动为例子具体地说明图8所示的处理方法用的图，是未发生晃动时的图像数据的示意图。

图12是以晃动为例子具体地说明图8所示的处理方法用的图，是发生晃动时的能量分散的示意图。

图13是以晃动为例子具体地说明图8所示的处理方法用的图，是用于说明从任意的图像生成比较用数据的情况的图。

图14是以晃动为例子具体地说明图8所示的处理方法用的图，是用于说明将比较用数据与成为处理对象的模糊原图像进行比较而生成差分的数据的情况的图。

图15是以晃动为例子具体地说明图8所示的处理方法用的图，是用于说明通过将差分的数据进行分配并附加于任意的图像中而生成复原数据的情况的图。

图16是以晃动为例子具体地说明图8所示的处理方法用的图，是用于说明从被生成的复原数据生成新的比较用数据，并将该数据与成为处理对象的模糊原图像进行比较而生成差分的数据的情况的图。

图17是以晃动为例子具体地说明图8所示的处理方法用的图，是用于说明将新生成的差分的数据进行分配并生成新的复原数据的情况的图。

符号说明

1       信号处理装置

4       处理部

S101    最初的变化要因信息的数据(对其进行设定的处理)

I₀      初始图像的数据(任意的信号数据)

I₀’    比较用数据

G       变化要因信息的数据

Img’   原图像的数据(原信号的数据)

SImg’  原图像的缩小数据

I_0+n    复原数据

Img     基础图像(基础信号)

Δ、δ  差分的数据

P₀      缩小数据

A       骨架部分(构成新的变化要因信息的数据的、成为中枢的部分的数据)

Dc      更新量(分配值)

S204、S206、S208、S210规定的基准

具体实施方式

(信号处理装置的构成)

以下，参照附图对本发明实施形态涉及的信号处理装置进行说明。另外，该信号处理装置是作为民用的照相机，但是，也可以作为监视用照相机、电视用照相机、便携式摄像机、内窥镜照相机等其他用途的照相机，或者也可以适用于显微镜、双筒望远镜、进而NMR拍摄等的图像诊断装置、印刷图像的打印机、读入图像的扫描仪等照相机以外的仪器中。

在图1中表示信号处理装置1的构成的概要。信号处理装置1设有：拍摄人物等的影像的拍摄部2、驱动该拍摄部2的控制系统部3、以及对拍摄部2拍摄的图像进行处理的处理部4。另外，该实施形态涉及的信号处理装置1，进而设有记录被处理部4处理后的图像的记录部5、和保存使图像劣化等发生的变化要因信息的数据的要因信息保存部7。

拍摄部2，是设有将通过了具有镜头的摄影光学系统或镜头的光转换为电信号的CCD(Charge Coupled Devices、电荷耦合器件)或C-MOS(Complementary Metal Oxide Semiconductor、互补型金属氧化物半导体)等的摄像器件的部分。控制系统部3，是控制拍摄部2、处理部4、记录部5、以及要因信息保存部7等信号处理装置内的各部的部分。

处理部4由图像处理器构成，并由ASIC(Application Specific Integrated Circuit、专用集成电路)那样的硬件构成。而且，处理部4执行后述的变化要因信息的数据的生成方法所涉及的处理和图像的复原处理。

另外，也存在在该处理部4中保存有成为生成后述的比较用数据时的基础的图像的数据的情况。进而，处理部4也可以作为利用软件进行处理的构成，而不是作为ASIC那样的硬件构成。记录部5由半导体存储器构成，但是，也可以采用硬盘驱动等的磁记录装置、或使用DVD等的光记录装置等。

要因信息保存部7，是预先保存有通过本发明实施形态涉及的变化要因信息的数据的生成方法而生成的变化要因信息的数据、或将该数据加工后的数据的记录部。而且，要因信息保存部7，将形成该数据的中枢的晃动的轨迹(磁滞)、和在该轨迹上的各点上停留的时间(分量)进行存储。要因信息保存部7所记录的数据，在从拍摄的原图像(发生了劣化等的变化的图像)向基础图像(变化前的图像、或本来应拍摄的图像或这些图像的近似图像)的复原处理时，在处理部4中被利用。因此，在处理部4和要因信息保存部7之间，能够相互进行数据的交接。

(变化要因信息的数据的生成)

图2表示处理部4进行的本发明实施形态涉及的变化要因信息的数据的生成方法的一例的流程图。

首先，处理部4设定最初的变化要因信息的数据(PSF(点扩散函数))的任意的初值(P₀)(步骤S101)。在此，将该初值作为强度分布为高斯分布的数据的高斯圆斑(Gaussian Disc)而进行设定。

接着，处理部4，在步骤S101的处理的同时、或该处理之前或之后，将拍摄的原图像的数据(原信号的数据)Img’缩小为1/4。也就是说，进行将原信号的数据Img’的数据间隔剔除(thinning)而形成为25％的容量值的缩小处理(加工)(步骤S102)。将作为经过了该缩小处理的数据的缩小数据，记载为SImg’。

接着，处理部4，作为与该缩小数据SImg’为相同容量的任意的信号数据而使用I₀，并将I₀与P₀进行叠加积分而得到比较用的发生晃动的数据I₀’(步骤S 103)。另外，作为初始图像的数据I₀，以原图像的缩小数据SImg’为佳。

接着，处理部4，将SImg’与I₀’进行比较而得到其差分的数据Δ(步骤S104)。判断该差分的数据Δ是否在规定值以内(步骤S105)，若在规定值以内的话则向步骤S120过渡，若不在规定值以内的话则向步骤S106过渡。在步骤S106中，将在该差分的数据Δ上乘以系数k(基于变化要因信息(PSF)的系数)后的数据分配于I₀，而得到最初的复原数据I_0+n(本次为I₀₊₁)。在步骤S106中，在向I₀分配时，进行判断其分配值(更新量)的正确性(妥当性)的处理(步骤S107)。然后，进行根据其正确性而修正I_0+n的处理(步骤S108)。接着，向步骤S109过渡并判断该处理是否达到规定次数，若达到了规定次数(例如十次)的话则向步骤S120过渡，在未达到规定次数时向步骤S110过渡。

然后，处理部4，取代I₀而使用I₀₊₁(步骤S110)来进行步骤S103的处理，并将步骤S103、步骤S104、步骤S105、步骤S106、步骤S107、步骤S108、步骤S109以及步骤S110的处理重复规定次数(本次为十次)。在步骤S109中进行是否达到该规定次数的判断。

步骤S106的处理，是使原图像的缩小数据SImg’和构成复原数据I_0+n的像素的数据的一部分或全部移动(分配)的处理。另外，关于步骤S107和步骤S108的详细情况，之后进行叙述。

接着，在步骤S109中判断为达到了规定次数时，处理部4进行算出PSF的处理(步骤S120)。该处理，是从所得到的复原数据I_0+n和原图像的缩小数据SImg’得到新的PSF(＝P)的处理。该处理的具体例子是，将所得到的复原数据I_0+n和原图像的缩小数据SImg’分别进行傅里叶变换，并通过频率间隔中的除法而算出PSF的频率特性，通过对该频率特性进行傅里叶逆变换而得到PSF(＝P)。

接着，处理部4，进行将形成P的数据的中枢的晃动的轨迹部分(骨架部分)的数据的值变为两倍而强调骨架部分的处理(步骤S121)。图3(A)是将在现阶段的时点上所推断的PSF表示于X-Y平面上的图。该X-Y平面，相当于后述的图6所示的信号处理装置1的晃动容易发生的X-Y平面。PSF由相当于形成其数据的中枢的晃动的轨迹部分(骨架部分)A、和其周边的数据值小的部分B(模糊等的部分)构成。该成为小的值的部分B被认为是模糊的部分。图3(B)表示进行了强调A部分的处理(步骤S121)后的PSF的状态。可知A的骨架部分被稍微强调。在进行该处理时采用了细化处理(Thinning processing)，但是，也可以采用其他的强调方法。该处理的结果是，在步骤S120中得到的P的数据成为P’的数据。之后，进行以移动能量成为最小那样而设定P’的原点的处理(详细情况后述)(步骤S122)。

接着，处理部4判断P’是否为确切(妥当)的PSF。具体地说，处理部4判断是否将步骤S120～S122的处理重复了三次(步骤S123)。若重复的次数、即PSF的算出次数未满三次的话(“否”)，则取代P₀而使用P’的数据(步骤S124)，并重复步骤S103～S110的处理，然后再次执行步骤S120～S122。

然后，在步骤S123的判断中，若PSF算出的次数、即重复的次数满三次的话(“是”)，则处理部4将得到的P’的数据和I_0+n的数据以相同的比率进行放大处理(步骤S125)。在该实施形态中，最终将得到的P’和I_0+n变为4/3倍。判断该放大处理是否达到预先设定的缩小率、即相对于原图像的缩小的程度(步骤S126)。若判断为未达到规定的缩小率的话，则取代I₀的数据而使用放大处理后的I_0+n的数据(步骤S127)，且取代P₀而使用放大处理后的P’的数据(步骤S124)。另一方面，得到将原图像的数据缩小为1/3的新的原图像的缩小数据SImg’。该缩小为1/3的图像成为与之前4/3倍后的数据为相同大小的图像。然后，处理部4使用新的各数据而重复步骤S103～S110的处理，另外，重复步骤S120～S124的处理。在步骤S126中判断为达到规定的缩小率、例如相对于原图像数据为1/3的缩小率时，该重复向步骤S128过渡。另外，在步骤S125中，将得到的P’的数据和I_0+n的数据以相同的比率进行了放大处理，但是，也可以仅对P’的数据进行放大处理，并使用任意的信号数据来代替放大处理后的I_0+n的数据而执行步骤S125。该任意的信号数据是例如SImg’的数据等。但是，在步骤S125中，如本实施形态那样将得到的P’的数据和I_0+n的数据以相同的比率进行放大处理的情况下，存在由于使用经过了复原处理的I_0+n的数据而能够生成优质的PSF的情况。

另外，步骤S125中的P’的数据的放大处理，通过处理部4在相邻的信号要素之间插入新的信号要素的数据而进行，其中，新的信号要素的数据是该相邻的信号要素的值的平均值。另外，I_0+n的数据的放大处理，通过处理部4在相邻的像素之间插入新的像素而进行。该新的像素的像素值为将相邻的像素的像素值平均后的值。通过该放大处理是否达到了规定的缩小率的判断，由处理部4在步骤S126中进行。若通过放大处理达到了规定的缩小率的话(“是”)，则处理部4将现阶段得到的P’放大至实际尺寸大小(步骤S128)。也就是说，由于现阶段得到的P’为实际尺寸的1/3，因此，处理部4将现阶段得到的P’放大为3倍。该放大处理也通过处理部4在相邻的像素之间插入新的像素而进行。该新的像素的像素值为将相邻的像素的像素值平均后的值。另外，在进行步骤S105、S128的各放大处理时，除了上述的内插法(Interpolation Method)以外，也可以采用通过处理部4在相邻的像素之间插入该相邻的像素的一个像素的像素值的像素而进行的内插法。

通过以上的处理，本发明实施形态涉及的变化要因信息的数据的生成方法结束(步骤S129)并生成PSF。该PSF通过处理部4而被存储于要因信息保存部7，并在进行信号的复原处理时被使用。将经过以上的过程而得到的PSF表示为“G”。

(判断分配值的正确性(妥当性)的处理)

使用附图对上述步骤S107中进行的、判断分配值的正确性(妥当性)的处理进行说明。

图4和图5是用于说明图2中的步骤S107和S108的处理的详细情况的图。该处理的基本的观点如下。该处理并不是对复原数据I_0+n集中地进行，而是对构成复原数据I_0+n的各信号要素进行。这一点与步骤S103、S105以及S106的信号(图像)整体的处理大不相同。首先，在成为一个信号要素的一个像素由于P_o而受到影响的范围的多个像素中，存在通过更新而像素值的变化变大的像素的情况下，可以认为在该多个像素的范围中存在成为边缘(edge)的部分。该成为边缘的部分，其基于对应部分的差分的数据Δ的更新量难以成为适当的量。原因是由于跨越边缘部分的两个像素的像素值的差别过大，因此即使越过边缘部分而从一个像素向另一个像素分配像素值，该分配也难以适当地进行。因此，对于通过更新而像素值的变化相比周围呈不自然地变大的像素，通过使更新量的绝对值变小，而使向边缘附近的更新量接近适当。

为此，首先从规定的差分的数据Δ算出某一像素的更新量(Dc)(步骤S201)。然后，参照由于变化要因信息G而一个像素所影响的范围的多个像素(一部分的信号要素)和该一个像素的集合，而算出其参照的各像素的更新前的像素值(＝Ib)的最小值(＝Min)、最大值(＝Max)以及平均值(＝Av)(步骤S202)。另外，该一部分的像素(参照的像素)，也可以是单纯地相邻的多个像素、或者以规定的像素为中心并从该中心起规定的距离内包含的多个像素。该规定的距离，利用例如变化要因信息的数据G而决定。

接着，算出成为参照的像素中的一个像素(＝一个信号要素)的更新后的像素值的数据(＝Ia)(步骤S203)。该更新后的像素值Ia，是使用从与某一像素对应的差分的数据δ算出的各像素的更新量(Dc)，而进行了更新的情况下的各像素的像素值，并通过以下的通式(1)而导出。

Ia＝Ib+Dc    ……(1)

接着，判断修正前的更新量(Dc)的正确性(妥当性)。首先，在成为构成复原数据的信号要素的数据的更新后的像素值Ia为最小值Min以上且最大值Max以下时(步骤S204的判断为“是”(＝Yes))，该像素与周围的像素的像素值的平衡是自然的，更新量Dc不进行修正而原封不动地作为修正后的更新量(Dp)，而得到修正值Ia’(步骤S205、S214)。另外，步骤S214是根据修正后的更新量Dp得到修正值Ia’的步骤。图5(A)所示的箭头，概略地表示经过了步骤S205和步骤S214的处理后的状态，箭头的黑圆点表示像素的更新前的像素值Ib，三角形的箭头表示根据Dp进行了更新后的修正值Ia’，箭头的长度表示更新量(Dc＝Dp)。左侧的箭头表示关于修正前的更新量Dc的值为正值的情况的一例，右侧的箭头表示关于修正前的更新量Dc的值为负值的情况的一例。

然后，在步骤S204的判断为“否”(＝No)时进入步骤S206。在此，在更新后的像素值Ia超过最大值Max时、且更新前的像素值Ib为平均值Av以下时(步骤S206的判断为“是”(＝Yes))，判断为该像素与周围的像素的像素值的平衡是不自然的。于是，更新量Dc被变更为从最大值Max减去更新前的像素值Ib后的值Dp(步骤S207)。其结果是，修正值Ia’的像素值变为与最大值Max相等。图5(B)所示的箭头，与图5(A)同样地概略地表示经过了步骤S207和步骤S214后的状态。左侧的箭头表示根据Dc进行了更新时的Ia，右侧的箭头表示根据Dp进行了更新时的修正值Ia’。

然后，在步骤S206的判断为“否”(＝No)时进入步骤S208。在此，在更新后的像素值Ia超过最大值Max时、且更新前的像素值Ib超过平均值Av时(步骤S208的判断为“是”(＝Yes))，判断为该像素与周围的像素的像素值的平衡是不自然的。该情况下，更新量Dc被变更为由以下的通式(2)所得到的值Dp(步骤S209)。其结果是，修正值Ia’的像素值，成为在最大值Max上加上更新后的像素值Ia在正侧超过最大值Max的部分的1/4后所得的值。图5(C)所示的箭头，与图5(B)同样地概略地表示经过了步骤S209和步骤S214后的状态。

Dp＝0.25(Ia-Max)+(Max-Ib)……(2)

然后，在步骤S208的判断为“否”(＝No)时进入步骤S210。在此，在更新后的像素值Ia小于最小值Min、且更新前的像素值Ib为平均值Av以下时(步骤S210的判断为“是”(＝Yes))，判断为该像素与周围的像素的像素值的平衡是不自然的。于是，更新量Dc被变更为由以下的通式(3)所得到的值Dp(步骤S211)。其结果是，修正值Ia’的像素值，成为从最小值Min减去更新后的像素值Ia在负侧超过最小值Min的部分的1/4后所得的值。图5(D)所示的箭头，与图5(B)同样地概略地表示经过了步骤S211和步骤S214后的状态。

Dp＝-(Ib-Min)-0.25(Min-Ia)……(3)

然后，在步骤S210的判断为“否”(＝No)时，成为更新后的像素值Ia小于最小值Min、且更新前的像素值Ib超过平均值Av的情况(步骤S212)。该情况下，该像素与周围的像素的像素值的平衡是不自然的。于是，更新量Dc被变更为从最小值Min减去更新前的像素值Ib所得的值Dp(步骤S213)。其结果是，修正值Ia’的像素值变为与最小值Min相等。图5(E)所示的箭头，与图5(B)同样地概略地表示经过了步骤S213和步骤S214后的状态。

以上的步骤S204、S206、S208、S210所示的判断的处理，成为判断是否满足规定的基准的处理。另外，该步骤S204、S206、S208、S210的判断、和以是否满足步骤S212的条件作为判断基准的处理的判断的顺序，能够适当地进行变更。在进行了该变更时，实际上进行判断的也是从第一个至第四个为止。由于在不符合该四个时必然会适用剩余的条件，因此，是否符合剩余的条件，并不是与图4中的步骤S212同样地判断是否满足规定的基准的处理。

这样，将得到的Dp作为修正后的更新量，并得到修正值Ia’(步骤S214)。其结果是，某一像素被更新(步骤S215)。然后，进行是否所有的像素都被更新的判断(步骤S216)。在该判断为“否”(＝No)时，将参照的像素进行变更(步骤S217)，为了从变更后的参照的像素(另一部分的信号要素)求出规定的基准、以及为了得到下一个像素的修正值Ia’，而返回步骤S202，并重复步骤S202～217的处理。在该处理中，若将一个像素的更新量进行修正的话，则变更参照的像素并变更另一个像素的更新量。然后，在步骤S216的判断为“是”(＝Yes)时，使用所有的像素的修正值Ia’而将复原数据I_0+n进行修正(步骤S218)。通过以上，图2中的步骤S107、S108结束。

(设定P’的原点的处理)

使用附图对上述的在图2的步骤S 122中进行的、设定P’的原点的处理进行说明。

在要因信息保存部7中，保存有上述的图2中的步骤S122阶段的数据。也就是说，在要因信息保存部7中，保存有能够推断为图6所示的信号处理装置1的晃动的数据。在该图6中，表示有图1所示的信号处理装置1的外观。该信号处理装置1的、以图示的XYZ的各方向轴为中心的旋转成为晃动，但是，特别容易出现的是在X和Y方向轴周围。图7所示的关于晃动的数据，是图6中的X-Y平面上的坐标数据的经时变化的数据。该数据，包含图7所示的X-Y平面所示那样的晃动的轨迹的信息、和在该轨迹上的各位置上停留多长时间的信息。图7所示的X-Y平面的起点A(X₁，Y₁)是拍摄开始的位置，轨迹的终点B(X_N，Y_N)是拍摄结束的位置。

由晃动引起的图像的劣化，是光能不集中于一点而光能分散于图7所示的轨迹A-B上的现象。因此，使分散的光能集中于一点便是使原图像向基础图像复原。该使光能集中的一点，能够自由地决定。能够决定为例如图4中的A点、B点、A-B轨迹上或偏离A-B轨迹的点。

在此，将使分散的光能集中的点称为“原点位置”，原点位置以图7所示的X-Y平面上的O点坐标(Ox，Oy)表示。另外，以G(Xn，Yn)表示数据(P’)，其中，数据(P’)是通过步骤S121的处理而将在上述步骤S120中算出的PSF的骨架部分进行强调后的数据。这表示作为在各位置(Xn，Yn)上停留多长时间的信息的“分量”，并满足通式(4)。通式(4)表示将光能归一化(normalization)为“1”并进行处理。另外，(Xn，Yn)是图7所示的X-Y平面上的坐标。

$\underset{n=1}{\overset{N}{\mathrm{\Σ}}}G(\mathrm{Xn},\mathrm{Yn})=1$

···(4)

另外，以E(Ox，Oy)表示使分散的光能向作为原点位置的O点集中的移动能量。于是，使分散的能量集中于原点位置(Ox，Oy)的移动能量，能够以移动距离与分量的函数来表示，例如能够以以下的通式(5)(n＝1、2、……N：N为分散而扩展的区域数)来表示。

$E(0x,0y)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\mathrm{sqrt}\{{(\mathrm{Xn}-0x)}^2+{(\mathrm{Yn}-0y)}^2\}\·G(\mathrm{Xn},\mathrm{Yn})$

···(5)

另外，在更加注重移动距离的情况下，也能够使用以下的通式(6)。在该通式(6)的情况下没有平方根的计算，因此具有计算变得轻松的优点。

$E(0x,0y)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\{{(\mathrm{Xn}-0x)}^2+{(\mathrm{Yn}-0y)}^2\}\·G(\mathrm{Xn},\mathrm{Yn})$

···(6)

进而，为了使计算进一步变得轻松，也能够使用以下的通式(7)。

$E(0x,0y)=\underset{n=1}{\overset{N}{\mathrm{\Σ}}}\left\{\right|\mathrm{Xn}-0x|+|\mathrm{Yn}-0y\left|\right\}\·G(\mathrm{Xn},\mathrm{Yn})$

···(7)

然后，设定使移动能量E(Ox，Oy)为最小值的原点位置(Ox，Oy)。该设定通过处理部4进行。另外，处理部4，取代在该设定前保存于要因信息保存部7中的数据，而将原点位置被重新设定的数据进行保存。

(信号复原处理)

接着，根据图8和图9，对如以上那样构成的本实施形态涉及的信号处理装置1的处理部4的图像复原处理方法(复原手段)的概要进行说明。另外，图像复原处理方法与之前说明的步骤S102、S103、S104、S105、S106、S107、S108、S110的处理大致相同，为重复处理。

在此，执行原图像的向基础图像的复原处理的时期，可以是拍摄用的电源关闭时、处理部4未运转时、处理部4的运转率低时等、从拍摄了原图像的时期延迟的时期。在该情况下，保存于记录部5中的原图像数据和保存于要因信息保存部7中的有关该原图像的传递函数等的变化要因信息，以分别相关联的状态而被长期地保存。这样，使执行原图像的复原处理的时期从拍摄了原图像的时期延迟的优点在于，能够减轻伴随各种处理的拍摄时的处理部4的负担。

图8中，“I₀”是任意的初始图像、且预先保存于处理部4的记录部中的图像的数据。“I₀’”表示该初始图像的数据I₀的劣化图像的数据，是用于比较的比较用数据。“G”是在图2所示的处理中推断出的变化要因信息(＝劣化要因信息(传递函数))的数据，是处理部4将保存于要因信息保存部7中的数据抽出并保存于处理部4的记录部中的数据。“Img’”是原图像的数据。

“δ”是原图像数据Img’与比较用数据I₀’的差分的数据。“k”是基于变化要因信息的数据的分配比。“I_0+n”是根据变化要因信息的数据G将差分的数据δ分配于初始图像的数据I₀，而重新生成的复原图像的数据(复原数据)。“Img”是基础图像的数据。在此，Img与Img’的关系，为以下的通式(8)所表示的关系。

Img＝Img＊G  ……(8)

在此，“*”是表示叠加积分的算符。

另外，也存在差分的数据δ也可以是对应的像素的单纯的差分的情况，但是，一般来说根据变化要因信息的数据G而不同，以以下的通式(9)表示。

δ＝f(Img’，Img，G)……(9)

处理部4的处理程序是，首先决定使分散的光能集中的原点位置(步骤S300)。该决定已在图2所示的步骤S122中进行。因此省略该处理的详细的说明。然后，作为初始图像的数据I₀准备任意的图像数据(步骤S301)。作为该初始图像的数据I₀，既可以使用劣化的原图像的数据Img’，另外也可以使用全黑、全白、全灰、黑白相间的方格花纹等那样的图像的数据。在步骤S302中，取代通式(8)中的Img而代入成为初始图像的任意的图像的数据I₀，并求出作为劣化图像的比较用数据I₀’。接着，将原图像数据Img’与比较用数据I₀’进行比较，算出差分的数据δ(步骤S303)。

然后，判断差分的数据δ的各绝对值是否小于规定值(步骤S304)。若在步骤S304中差分的数据δ为规定值以上的话，则在步骤S305中进行生成新的复原图像的数据(＝复原数据)的处理。也就是说，根据变化要因信息的数据G，将各信号要素所得到的各差分的数据δ分配于初始图像的数据I₀，而生成新的复原数据I_0+n。

然后，判断生成复原数据I_0+n时所使用的更新量(分配值)的正确性(妥当性)(步骤S306)，并将复原数据I_0+n进行修正(步骤S307)。该步骤S306和步骤S307的处理，与上述图2所示的步骤S106、S107中进行的、判断分配值的正确性(妥当性)并进行修正的处理同样地进行。因此，省略该处理的详细的说明。

之后，重复图8的步骤S302～S307。该重复进行时的复原数据I_0+n成为被进行处理的中途阶段的复原数据。在步骤S304中，各像素的差分的数据δ的各自的绝对值小于规定值的话，则结束重复处理。然后，将结束重复处理时的复原数据I_0+n推断为基础图像的数据Img。也就是说，由于在各像素的差分的数据δ的各自的绝对值的最大值或平均值小于规定值时，成为比较用数据I_0+n’的基础的复原数据I_0+n非常近似于基础图像的数据Img，因此，将该复原数据I_0+n推断为基础图像的数据Img。另外，也可以在记录部5中预先记录初始图像的数据I₀、变化要因信息的数据G，并根据需要输送至处理部4。

将上述重复处理方法(复原手段)的观点进行概括的话，如下所述。即，在该处理方法中，不将处理的解作为逆问题进行解决，而是作为求出合理的解的最佳化问题进行解决。作为逆问题进行解决的情况在理论上是可能的，但是作为现实问题是困难的。

在作为最佳化问题进行解决的情况下，在本实施形态中以以下那样的条件作为前提。

即，(1)相对于输入的输出，规定为唯一值。

(2)若输出相同的话，则输入相同。

(3)为了使输出变得相同，通过更新输入并在将该更新量修正为确切(妥当)的值的同时进行重复处理，而使解收敛。

换言之，如图9(A)、(B)所示，若能够生成与原图像数据Img’近似的比较用数据I₀’(I_0+n’)的话，则成为该生成的基础数据的初始图像的数据I₀或复原数据I_0+n，成为近似于基础图像的数据Img的数据。

另外，在该实施形态中，成为差分的数据δ的判断基准的值，在以八位(0～255)表示各数据的情况下，在该实施形态中为“6”。也就是说，在小于6、即5以下时，结束处理。

接着，根据图10、图11、图12、图13、图14、图15、图16以及图17，对图8所示的晃动的复原处理方法(步骤S302、S303、S304、S305、S306、S307的重复处理(复原手段))的详细情况进行说明。

(晃动的复原算法)

在未发生晃动时，与规定的像素对应的光能在曝光时间中集中于该像素。另外，在发生晃动时，光能在曝光时间中分散于晃动的像素中。进而，若知道曝光时间中的晃动的话，便知道曝光时间中的能量的分散方式，因此，能够从模糊的图像作出不模糊的图像。

以下，为简单起见，以横向一维进行说明。将像素从左开始依次设为S-1、S、S+1、S+2、S+3、…，并注意某一像素S。由于在未发生晃动时曝光时间中的能量集中于该像素，因此能量的集中度为“1.0”。将该状态表示于图10。将此时的拍摄结果表示于图11的表中。图11所示的数据成为未发生劣化时的正确的图像数据Img。另外，各数据以八位(0～255)的数据进行表示。

曝光时间中有晃动，且分别为曝光时间中的50％的时间在第S号的像素中发生晃动、30％的时间在第S+1号的像素中发生晃动、20％的时间在第S+2号的像素中发生晃动。能量的分散方式如图12所示的表所记载。这成为变化要因信息的数据G。

曝光时间中有晃动，且分别为曝光时间中的50％的时间在第S号的像素中发生晃动、30％的时间在第S+1号的像素中发生晃动、20％的时间在第S+2号的像素中发生晃动。能量的分散方式如图12所示的表所记载。这成为变化要因信息的数据G。上述通式(5)中的“N”的值为“3”，且作为“分量”的50％、30％以及20％的总和为“1”。因此，该变化要因信息G(在此，由于以横向一维进行考虑，因此成为G(Xn))满足上述通式(4)。

根据该图12和通式(5)算出移动能量E(Ox，Oy)。在此，由于以横向一维进行考虑，因此移动能量成为E(Ox)。另外，移动距离，将一像素份的移动距离作为“1”而进行计算。于是，使分散的光能集中于像素“S”时的移动能量，E(Ox)如以下那样计算而求出。

(1×0)+(0×0.5)+(1×0.3)+(2×0.2)＝0.7

同样地，使分散的光能集中于像素“S+1”时的移动能量，E(Ox)如以下那样计算而求出。

(1×0.5)+(0×0.3)+(1×0.2)＝0.7

同样地，使分散的光能集中于像素“S+2”时的移动能量，E(Ox)如以下那样计算而求出。

(2×0.5)+(1×0.3)+(0×0.2)＝1.3

从以上的结果可知，在图12的情况下，通过使分散的光能集中于像素“S”或“S1”，能够使移动能量为最小值的“0.7”。另外，取代图12而在“S＝0.45”、“S+1＝0.3”、“S+2＝0.25”的情况下，向像素“S+1”的移动能量的总和变为最小。即，是因为向像素“S”的移动变为“0.8”，向像素“S+1”的移动变为“0.7”，向像素“S+2”的移动变为“1.2”。以下，对使分散的光能向移动能量最小的位置、即上述图12的例子中的像素“S”集中时的重复处理的详细情况进行说明。

晃动在所有的像素中是相同的，作为线性问题而被掌握。而且，若没有上方晃动(纵向晃动)的话，晃动的情况如图13所示的表所记载。图13中的作为“模糊图像”而表示的数据是劣化的原图像的数据Img’。具体地说，例如“S-3”的像素的“120”，按照作为晃动信息的变化要因信息的数据G的“0.5”、“0.3”、“0.2”的分配比，在“S-3”的像素中分散“60”、在“S-2”的像素中分散“36”、在“S-1”的像素中分散“24”。同样地，作为“S-2”的像素数据的“60”，在“S-2”中分散“30”、在“S-1”中分散“18”、在“S”中分散“12”。从该劣化的原图像数据Img’和图12所示的变化要因信息的数据G，算出基础图像的数据Img。

作为步骤S301所示的初始图像的数据I₀，能够采用任意的数据，但是，在进行该说明时使用原图像数据Img’。也就是说，作为I₀＝Img’而开始进行处理。在图14的表中被作为“输入”的数据相当于初始图像的数据I₀。将该数据I₀、即Img’与变化要因信息的数据G在步骤S302中进行叠加积分。也就是说，例如初始图像的数据I₀的“S-3”的像素的“60”，分别在“S-3”的像素中分配“30”、在“S-2”的像素中分散“18”、在“S-1”的像素中分配“12”。对于其他的像素也同样地进行分配，从而生成作为“输出I₀’”而表示的比较用数据I₀’。因此，步骤S303的差分的数据δ如图14的最下面一栏所示。判断该差分的数据δ的绝对值的最大值是否小于规定值、例如10(步骤S304)，在该例中“S-3”的像素的差分的数据δ为30，在步骤S304中成为No(＝“否”)，而向步骤S305过渡。

如图15所示，差分的数据δ的分配是，例如在“S-3”的像素中，分配在“S-3”的像素数据“30”上乘以作为其自身(＝“S-3”的像素)的分配比的0.5所得的“15”，另外分配在“S-2”的像素的数据“15”上乘以作为应产生于该“S-2”的像素中的分配比的0.3所得的“4.5”，进而，分配在“S-1”的像素的数据“9.2”上乘以作为应产生于该“S-1”的像素的分配比的0.2所得的“1.84”。分配于“S-3”的像素的总量(各像素的更新量Dc)为“21.34”，将该值与作为图4中的初始图像的数据I₀的图4中的Ib(这里使用原图像数据Img’)相加，而算出作为图8中的复原数据I₀₊₁的图4中的更新后的像素值Ia。在该例中，如图15所示那样更新后的像素值Ia为“81.34”。这样，使用变化要因信息的数据G将差分的数据δ分配于初始图像的数据I₀，而生成图15中的作为“下一次输入”而表示的复原数据I_0+n。该情况下，由于是第一次，因此在图15中表示为I₀₊₁。

在这之后，在图8的步骤S306中判断更新量的正确性(妥当性)。具体地说，为了修正该复原数据I₀₊₁，而算出各像素的更新后的像素值(＝Ia)。该算出利用上述的通式(1)进行。因此，将差分的数据δ分配于各像素。然后，如图15所示，对各像素算出各自所参照的像素的更新前的像素值(＝Ib)的最小值(＝Min)、最大值(＝Max)以及平均值(＝Av)(图4中的步骤S202)。例如，像素“S-3”参照像素“S-3”、像素“S-2”以及像素“S-1”。因此，如图15所示，算出像素“S-3”、像素“S-2”以及像素“S-1”的最小值(＝Min)、最大值(＝Max)以及平均值(＝Av)。在图示的例子中，关于像素“S-3”，最大值为像素“S-1”的“82.00”，最小值为像素“S-3”的“66.00”，平均值是将像素“S-3”、“S-2”、“S-1”的各值的总和除以3所得的值、为“69.33”。对于像素“S-2”～“S+4”也进行同样的计算。

然后，判断Ia和Ib是否满足图4中的步骤S204、S206、S208、S210、以及S212的任意一个的条件。例如，像素“S-3”的Ia，由于满足“Min(60.00)≤Ia(81.34)≤Max(82.00)”的条件，因此满足图4中的步骤S204的条件。因此，如图15所示进行步骤S205的处理，并将作为Dc的更新量“21.34”原封不动地作为修正后的更新量Dp而使用，修正值Ia’成为与修正前的Ia相等的“81.34”。对于“S-2”～“S”、“S+2”以及“S+3”的更新后的像素值Ia也进行同样的修正。该修正值Ia’成为复原数据I_0+n的修正值。

例如在像素“S+1”中，不满足步骤S204、S206的条件而向步骤S208过渡。而且，由于为“Ib(121.00)＞Av(113.33)”、且满足“Ia(130.11)＞Max(121.00)”的条件，因此满足图4中的步骤S208的条件。因此，如图15所示进行步骤S209的处理，并将“2.28”作为修正后的更新量Dp而使用，从而修正值Ia’成为“123.28”。对于像素“S+4”的Ia也进行同样的修正。该Ia’成为复原数据I_0+n的修正值。

如图16所示，该修正后的复原数据I₀₊₁(Ia’)成为步骤S302中的新的输入图像的数据(＝代替初始图像的数据I₀的数据)，执行步骤S302并向步骤S303过渡，从而得到新的差分的数据δ。在步骤S304中判断该差分的数据δ的大小，大于规定值时，在步骤S305中将新的差分的数据δ分配于上一次的修正后的复原数据I₀₊₁，生成新的复原数据I₀₊₂，此时，与图15的说明同样地将新的复原数据I₀₊₂进行修正(参照图17)。例如，对于像素“S-3”、“S”以及“S+3”的更新后的像素值Ia，进行与上述图15中的像素“S-3”相同的修正。也就是说，更新后的像素值Ia原封不动地成为修正值Ia’。

另外，在例如像素“S+1”中，不满足步骤S204、S206的条件而向步骤S208过渡。而且，由于为“Ib(121.00)＞Av(116.15)”、且满足“Ia(125.43)＞Max(121.00)”的条件，因此满足图4中的步骤S208的条件。因此，如图17所示进行步骤S209的处理，并将根据上述的通式(2)所得的值“1.106”作为修正后的更新量Dp而使用，从而修正值Ia’成为“122.11”。对于像素“S+4”的更新后的像素值Ia也进行同样的修正。该修正值Ia’成为复原数据I_0+n的修正值。

另外，在例如像素“S-2”中，不满足步骤S204、S206、S208的条件而向步骤S210过渡。而且，由于为“Ib(77.30)≤Av(87.67)”、且满足“Ia(76.97)＜Min(77.30)”的条件，因而满足图4中的步骤S210的条件。因此，如图17所示进行步骤S211的处理，并将根据上述的通式(3)所得的值“-0.082”作为修正后的更新量Dp而使用，从而修正值Ia成为“77.22”。对于像素“S-1”和“S+2”的更新后的像素值Ia也进行同样的修正。该修正值Ia’成为复原数据I_0+n的修正值。

然后，通过使用修正后的复原数据I₀₊₂进行步骤S302，而从修正后的复原数据I₀₊₂生成新的比较用数据I₀₊₂’。这样，在执行了步骤S302、S303之后进入步骤S304，并根据在步骤S304中的判断而向步骤S305过渡。重复这样的处理。

(通过本实施形态得到的主要效果)

通过执行本实施形态涉及的变化要因信息的生成方法的处理(图2)，即使变化要因信息的数据(PSF)为未知的，也能够生成确切(妥当)的PSF，从而能够进行实用的信号复原。因此，能够将机械性地测定晃动等的速度传感器或加速度传感器从照相机等的信号处理装置1的结构元件中省略。另外，在进行该处理时，通过处理部4重复两次以上(例如十次)的图2所示的步骤S103～S108的处理，而生成更确切(更妥当)的PSF。另外，在进行该处理时，通过处理部4进行判断分配值的正确性(妥当性)并修正的处理(步骤S107、S108)，而能够抑制因分配引起的极端的数据的值的变化，从而生成更确切(更妥当)的PSF。另外，在进行该处理时，通过处理部4进行重新设定P’的原点的处理，而能够抑制因分配引起的极端的数据的值的变化，从而生成更确切(更妥当)的PSF。另外，在进行该处理时，由于通过处理部4执行缩小处理(步骤S102)而变化的大小也被缩小，因而变得易于推断PSF，从而生成更确切(更妥当)的PSF。

另外，在进行该处理时，通过处理部4将放大处理(步骤S125)的放大率逐渐地放大并重复进行，而能够根据进行缩小处理后所得到的确切(妥当)的具有骨架部分的PSF，进行优质且大的PSF的推断。另外，在进行该处理时，通过处理部4进行强调PSF的骨架部分的处理(步骤S121)，而能够生成注重相当于晃动的变化的推断的PSF。另外，在进行该处理时，通过处理部4将PSF的初值设定为高斯圆斑(步骤S101)，即使变化含有怎样的晃动或模糊，也能够进行优质的PSF的推断。

本实施形态涉及的信号处理装置1，即使PSF为未知的也能够生成确切(妥当)的PSF，从而能够进行实用的信号复原。因此，能够将机械性地测定晃动等的速度传感器或加速度传感器从照相机等的信号处理装置1的结构元件中省略。

另外，信号处理装置1，通过重复图8所示的步骤S302～步骤S307，差分的数据δ逐渐变小，若变得小于规定值的话，则得到未发生晃动的基础图像数据Img。另外，此时由于进行了修正处理(图4、图5)，因此，得到的被推断为基础图像数据Img的图像数据，是振荡(ringing)的发生被减轻且图像的复原状态良好的数据。另外，由于通过修正处理(图4、图5)将构成复原数据的信号要素的数据中的、被认为不自然的数据进行了修正，而抑制了像素值的大的变化，因此，即使通过图2所示的处理而推断出的变化要因信息的数据G为可靠性低的数据，也能够进行确切(妥当)的图像的复原。

(其他的形态)

以上，对本实施形态中的变化要因信息的生成方法及信号处理装置1进行了说明，但是，只要不脱离本发明的要旨便能够进行各种变更实施。例如，在变化要因信息的生成方法中，处理部4将图2所示的步骤S103～S108的处理重复了两次以上，但是，也可以仅进行一次。进而，能够省略处理部4判断分配值的正确性(妥当性)并进行修正的处理(步骤S107、S108)、重新设定P’的原点的处理(步骤S122)、缩小处理(步骤S102)、放大处理(步骤S125)、最终形成与初始的图像数据用的PSF的数据相同大小的数据的放大处理(步骤S128)以及强调PSF的骨架部分的处理(步骤S121)的全部或一部分。进而，PSF的初值能够不设定为高斯圆斑(步骤S101)，而设定任意的值。

另外，在例如信号处理装置1的信号复原处理中采用了图8所示的处理，但是，能够采用其他的处理、例如使用维纳滤波器的处理等。另外，即使在采用图8所示的处理的情况下，也能够省略设定原点位置的处理(步骤S300)和判断更新量的正确性(妥当性)并进行修正的处理(步骤S306、S307)的双方或一方。进而，即使在采用判断更新量的正确性(妥当性)并进行修正的处理(步骤S306、S307)的情况下，修正复原数据I_0+n的方法也不限于图4和图5所示的方法。特别是，根据图4所示的步骤S204、S206、S208、S210以及S212的情况区分的步骤S205、S207、S209、S211以及S213中的修正差分的数据δ的方法，能够分别适当地进行变更。

另外，处理部4重复十次图2所示的步骤S103～S108的处理，另外，在步骤S123中重复步骤S103～S122，但是，能够根据处理部4的处理速度的情况等而增减这些次数。另外，也可以形成为信号处理装置1的使用者能够任意地设定这些次数。进而，缩小处理(步骤S102)和放大处理(步骤S125)的图像的大小的比率、放大处理(步骤S125)的图像的大小的比率的变更次数，能够根据复原图像的画质等而增减这些次数。

另外，缩小处理(步骤S102)和放大处理(步骤S125)中的缩小、放大的方法，是通过像素的间隔剔除、新的像素的插入而进行的，其中，新的像素的像素值为将相邻的像素的像素值平均后的值。但是，也可以采用其他的方法，例如使用相邻的多个像素的平均像素值的像素来代替该多个像素的缩小处理、通过将相邻的像素的像素值原封不动地作为新的像素的像素值并插入该新的像素而进行放大处理。进而，在强调PSF的骨架部分的处理(步骤S121)中，将骨架部分的数据的值变为两倍，但是，也可以变为1.5倍、3倍、4倍或5倍等。

另外，处理部4进行最终形成与初始图像用的PSF的数据为相同大小的数据的放大处理(步骤S128)。但是，可以不必通过该处理而形成与初始图像用的PSF的数据相同大小的数据，而是放大处理为与初始图像用的PSF的数据不同大小的数据。

另外，处理部4进行算出PSF的处理(步骤S120)，且该处理是通过将得到的复原数据I_0+n和原图像的数据Img’分别进行傅里叶变换，根据频率间隔中的除法算出PSF的频率特性，并对该频率特性进行傅里叶逆变换而得到PSF(＝P)的处理。但是，能够采用通过其他的方法而从所得到的复原数据I_0+n和原图像的数据Img’得到新的PSF(＝P)的处理。

在判断更新量的正确性(妥当性)并进行修正的处理(步骤S306、S307)中，例如作为参照的像素，除了所影响的范围(影响范围)的像素之外，还可以是将包围该影响范围的像素放大一像素份的范围、或以欲进行修正的像素为中心的规定距离的范围。另外，作为规定的基准，也可以不利用参照的像素的最大值、最小值、平均值，而是仅利用最大值和最小值，并将修正值超过最大、最小的部分的1/4或1/3的值附加于最大值或最小值上。另外，也可以将上限设定为最大值的1.2倍、下限设定为最小值的0.8倍，在该范围内的话便不进行修正。也就是说，也可以形成为若更新后的像素值Ia在最大值的X倍、最小值的Y倍的范围内的话，便不进行修正。

在本实施形态涉及的重复处理中，在图2中的步骤S105或图8中的步骤S304中的、是否将暂时得到的图像进行再次处理的判断中，处理部4判断构成图像的多个像素的各像素的差分的数据Δ、δ的绝对值是否全部小于规定值、或绝对值的平均值是否小于规定值，并判断是否进行图像整体的处理。但是，也可以将与规定值的比较对象设定为构成图像的多个像素的各像素的差分的数据，并判断是否对每个像素的停止重复处理。另外，能够将与规定值的比较对象设定为各像素的差分的数据δ的总和、或各像素的差分的数据Δ、δ的绝对值的总和、或以上四个中的两个以上。也可以判断例如在各像素的差分的数据Δ、δ中离零最远的值、和各像素的差分的数据δ的总和的值，是否同时满足各自的基准。这样，通过适当地选择与规定值进行比较的值，而能够根据原图像的种类、变化的状态或复原处理的情况而进行适当的处理。

在上述实施形态中，将复原对象设定为图像数据。但是，这些复原处理的观点和方法能够适用于所有的数字数据的复原处理中。例如，能够适用于数字音频数据(digital voice data)的复原等。该适用的结果是，能够有效地抑制如振荡(ringing)那样在一部分上产生不正确的音频数据等的情况，另外，即使变化要因信息的数据不正确，也能够进行得到确切(妥当)的结果的复原处理。

另外，在上述实施形态中，将信号处理装置1作为民用的照相机，但是，信号处理装置1，也可以作为将利用数码相机等拍摄的图像的数据在执行了图2、图4、图8以及图9等所示的处理的一个或多个之后进行印刷的打印设备。另外，信号处理装置1，也可以作为相对于打印设备而安装有在执行图2、图4、图8以及图9等所示的处理的一个或多个的同时进行操作的软件的计算机、进而安装有执行图2、图4、图8以及图9等所示的处理的一个或多个的软件的计算机等。

另外，上述各处理方法也可以被程序化。另外，也可以将被程序化的各处理方法存入存储媒体、例如CD、DVD、USB存储器，并能够通过计算机进行读取。该情况下，信号处理装置1，也可以将该存储媒体内的被程序化的各处理方法存入信号处理装置1的外部服务器，根据需要进行下载并使用。该情况下，信号处理装置1具有下载该存储媒体内的程序的通信装置。

在图2、图4、图8等所示的复原处理方法中，利用处理部4进行的处理由软件构成，但是，也可以利用由分别分担进行一部分处理的部件组成的硬件而构成。另外，作为变化要因信息的数据G，不仅包括劣化要因信息的数据，还包括仅使图像发生变化的信息、或与劣化相反地使图像变好的信息。

另外，在处理的重复次数(步骤S109、步骤S123、步骤S304)在信号处理装置1侧自动地、或固定地设定的情况下，也可以根据PSF的值(P、P’)或变化要因信息的数据G而变更该设定的次数。例如，也可以在某一像素的数据由于晃动而分散于多个像素的情况下增加重复次数，而在分散少的情况下减少重复次数。

进而，在重复处理中，也可以在差分的数据Δ、δ发生发散、或能量移动后的图像数据的能量未变小而变大时，中止处理。是否发生发散，可以采用例如观察差分的数据Δ、δ的平均值，该平均值大于上一次的话便判断为发生发散的方法。另外，在重复处理中，也可以在欲将输入变更为异常值时中止处理。例如在八位的情况下，在欲进行变更的值为超过255的值时，中止处理。另外，在重复处理中，在欲将作为新的数据的输入变更为异常的值时，也可以不使用该值而形成正常的值。例如，在八位的0～255中，在欲将超过255的值作为输入数据时，作为为最大值的255而进行处理。

另外，在生成成为输出图像的复原数据时，存在根据PSF的值(P、P’)或变化要因信息的数据G而发生超出欲复原的图像的区域那样的数据的情况。这种情况下，超出区域的数据被输入相反侧。另外，在存在应该从区域外输入的数据时，以从相反侧取入该数据为佳。

<实施例>

将执行了上述各处理的复原图像的评价表示于表1。将被拍摄且保持由于晃动等而劣化的状态的图像(Img’)作为现有例。将使用通过图2所示的处理而得到的PSF的数据、并通过图8所示的处理将信号进行复原后得到的图像，作为实施例1。将使用从图2所示的处理中省略表1所示的规定步骤而得到的PSF的数据，并从图8所示的处理中省略表1所示的规定步骤而对信号进行复原后得到的图像，作为实施例2～12。另外，实施例12，是取代图8的处理而在图像复原处理中使用维纳滤波器的图像。另外，作为比较例，对于不进行图2的处理，取而代之通过速度传感器测定晃动并形成PSF的图像也进行了探讨。

[表1]

对于现有例和实施例1～12以及比较例的图像，关于“有无晃动”、“有无振荡”、“有无模糊(所谓的散焦)”，进行了利用目视的检查。将该检查结果一并表示于表1。进行检查的人，是非色弱、色盲且双眼视力均为1.0的人。判断为“有”的情况是看一眼便能够判断为存在晃动等的情况。判断为“有少许”的情况，是能够在目视五秒以内后，与其他的图像比较的同时判断出存在晃动等的情况。判断为“无”的情况，是能够在目视超过五秒后，与其他的图像比较的同时判断出不存在晃动等的情况。图像的种类为风景和人物两种。图像是利用市场销售的彩色打印机印刷的图像，且是排除了由印刷条件引起的对图像的影响后印刷的图像。

现有例由于是发生了劣化的图像，因而能够明确地发现晃动和模糊。实施例1中，晃动、振荡、模糊均未发现。晃动之所以消失，可以认为是因为相当于形成PSF的中枢的晃动信息的信息(图3中的A部分)是正确(妥当)的信息。模糊之所以消失，可以认为是由相当于形成PSF的中枢的晃动信息的信息以外的信息(图3中的B部分)所起的作用。在比较例中，由于无法得到图3中的B部分的PSF，因此无法获得该作用，从而无法消除模糊。

实施例2，是仅进行了一次图2中的步骤S103～S108的过程的图像。与现有例的图像相比，该图像的晃动和模糊被改善。另外，发现图2中的步骤S103～S108的过程的重复次数越多，晃动和模糊越被改善的倾向。

实施例3，是省略图2中的步骤S107、S108、S122而进行处理的图像。与现有例的图像相比，该图像的晃动和模糊被改善。

实施例4，是省略图2中的步骤S107、S108而进行处理的图像。实施例5，是省略图2中的步骤S122而进行处理的图像。这些图像未观测到晃动和模糊。

实施例6，是省略图2中的步骤S102、S125、S126，且未逐渐地对图像进行放大处理而进行处理的图像。实施例7，是省略图2中的步骤S123，且将重复的次数设定为一次而进行处理的图像。与现有例的图像相比，这些图像的晃动和模糊被改善。

实施例8，是省略图2中的步骤S121而进行处理的图像。该图像中观测到些许晃动，但是，模糊除了由晃动引起的之外并未观测到。另外，为了进一步获得消除该模糊的效果，而省略或减轻图2中的步骤S121的处理(例如将骨架部分的数据变为1.5倍等)。而且，为了进一步获得消除晃动的效果，而进一步强调图2中的步骤S121的处理(例如将骨架部分的数据变为3倍等)。

实施例9，是省略图8中的步骤S300、S306、S307而进行处理的图像。该图像中未观测到晃动和模糊，但是观测到了振荡。但是，通过进行极多次(例如100次以上)的省略了图8中的步骤S300、S306、S307的重复处理，发现该振荡的产生被减轻或未观测到。

实施例10，是省略图8中的步骤S300而进行处理的图像。该图像既未观测到晃动和模糊，也未观测到振荡。实施例11，是省略图8中的步骤S306、S307而进行处理的图像。该图像未观测到晃动和模糊，但是观测到些许振荡。也就是说，可知通过执行决定原点位置的处理(步骤S300)、判断更新量的正确性(妥当性)并修正I_0+n的处理(步骤S306、S307)的任意一个，能够抑制振荡的产生。另外，可知利用步骤S306、S307的处理产生的振荡抑制效果，稍优于利用步骤S300的处理产生的振荡抑制效果。

实施例12，是省略图8中的全部的处理，取而代之利用维纳滤波器进行图像的复原处理后的图像。相比现有例，该图像的晃动和模糊被改善，但是观测到了振荡。

接着，对省略图8中的步骤S306、S307，另外并变更了步骤S300的条件的处理进行了探讨。在成为图12的变形例的像素“S”为0.85、像素“S+1”为0.3、像素“S+2”为0.25的情况下，使分散的光能分别集中于像素“S”、“S+1”、“S+2”并作为原点位置，进行图8所示的重复处理。通过目视观察这些各情况下的复原图像，并判断有无振荡。另外，同样地对下述情况下的复原图像的有无振荡进行判断，该情况是将作为通式(5)的计算范围的“N＝3”少许放大，使分散的光能分别集中于图9中的像素“S-1”、“S+3”并作为原点位置，进行图8所示的重复处理的情况。将判断结果表示于表2。

另外，使分散的光能集中于像素“S-1”时的移动能量，与像素“S”、“S+1”、“S+2”的情况大致相同地如以下那样进行计算而求出。

(0×0)+(1×0.45)+(2×0.3)+(3×0.25)+(4×0)＝1.80

另外，同样地，使分散的光能集中于像素“S+3”时的移动能量，如以下那样进行计算而求出。

(4×0)+(3×0.45)+(2×0.3)+(1×0.25)+(0×0)＝2.20

[表2]

光能集中像素	S-1	S	S+1	S+2	S+3
						移动能量值	1.80	0.80	0.70	1.20	2.20
有无振荡	有	无	无	有	有

从表2的结果和多个其他例子可知，若移动能量值超过规定值的话则观测到振荡，若将移动能量值控制在规定值以内的话，则能够抑制振荡的产生。也就是说，在将从通式(5)导出的移动能量的总和的最小值作为Min时，即使在该移动能量超过Min的情况下，只要为Min×1.2以下的值，便能够相比现有技术而很大地抑制振荡的产生。

表2所示那样的改变了图8中的步骤S300的条件的处理，能够进行各种变更实施。例如，设定了使移动能量E(Ox，Oy)的总和为最小的原点位置(Ox，Oy)，但是，也可以设定超过移动能量E(Ox，Oy)的最小值且在规定值以下的原点位置(Ox，Oy)。在作为图12的变形例的“S＝0.45”、“S+1＝0.3”、“S+2＝0.25”的情况下，也可以将像素“S”作为原点位置(Ox，Oy)，而不是移动能量最小的像素“S+1”。此时的各移动能量是像素“S”为0.8，像素“S+1”为0.7，像素“S+2”为1.2。像素“S”成为比在作为最小值的0.7上乘以1.2所得的值0.84小的值。

另外，在本实施例中，将原点位置设定为图7中的X-Y平面的任意一个位置。因此，原点位置也可以是在图7的A-B轨迹上的范围内进行决定的位置。也就是说，只要是使移动能量的总和变小，便以如下那样进行设定为佳，即，将例如作为图7中的A-B轨迹上的范围内的图12中的像素“S”、“S+1”、“S+2”的任意一个设定为原点位置、或将像素“S-1”或“S+3”设定为原点位置。另外，也可以将使图7的X-Y平面所表示的晃动的轨迹投影于X轴或Y轴的轨迹作为晃动的轨迹，并在该轨迹上求出成为移动能量的最小值或如上述实施例那样的值的位置。

Claims (13)

1.一种变化要因信息的数据的生成方法，是生成发生了劣化等变化的原信号数据的、成为该信号变化的主要原因的变化要因信息的数据的方法，其特征在于，

将任意的变化要因信息的数据作为最初的变化要因信息的数据而进行设定后，

(1)利用该数据从任意的信号数据生成比较用数据，

(2)将所述原信号数据或将该原信号数据加工后的数据与所述比较用数据进行比较，

(3)通过利用所述最初的变化要因信息的数据将得到的差分的数据分配于所述任意的信号数据，而生成最初的复原数据，

(4)取代所述任意的信号数据而使用该最初的复原数据，并根据需要重复同样的处理，

(5)从其结果所得的所述复原数据和所述原信号数据或将该原信号数据加工后的数据，生成与所述最初的变化要因信息的数据不同的新的变化要因信息的数据。

2.如权利要求1所述的变化要因信息的数据的生成方法，其特征在于，

取代所述最初的变化要因信息的数据而使用所述新的变化要因信息的数据，并进行一次以上的与所述(1)～(3)的处理同样的处理。

3.如权利要求1或2所述的变化要因信息的数据的生成方法，其特征在于，

所述(3)的处理，通过使所述原信号数据或将该原信号数据加工后的数据和构成所述复原数据的信号要素的数据的一部分或全部移动的方法而进行，并判断构成所述复原数据的信号要素的数据是否满足规定的基准，在不满足规定的基准时进行修正处理，其中，该修正处理是将利用所述差分的数据而算出的分配值进行修正，并取代该不满足的数据而使用根据所述修正后的分配值所得到的数据。

4.如权利要求1或2所述的变化要因信息的数据的生成方法，其特征在于，

生成所述新的变化要因信息的数据的处理，将得到的所述变化要因信息的数据的原点位置设定于，在将各个所述信号要素的数据的移动所需的移动能量的总和的最小值作为Min时，该移动能量为Min以上且Min×1.2以下的位置。

5.如权利要求1～4的任意一项所述的变化要因信息的数据的生成方法，其特征在于，

将所述原信号数据加工后的数据，是进行了使所述原信号变小的缩小处理后的缩小数据；

所述任意的信号数据是与所述缩小数据相同大小的数据。

6.如权利要求5所述的变化要因信息的数据的生成方法，其特征在于，

在从进行了所述缩小处理后的数据得到所述新的变化要因信息的数据之后，进行将所述新的变化要因信息的数据放大的放大处理，取代所述新的变化要因信息的数据而使用进行了所述放大处理后的所述变化要因信息的数据，进行一次以上的与所述(1)～(3)的处理同样的处理，并根据需要重复所述放大处理之后的处理。

7.如权利要求5所述的变化要因信息的数据的生成方法，其特征在于，

在从进行了所述缩小处理后的数据得到所述新的变化要因信息的数据之后，进行将所述(5)中的所述得到的复原数据和所述新的变化要因信息的数据分别以相同的比率放大的放大处理，取代所述新的变化要因信息的数据而使用进行了所述放大处理后的所述变化要因信息的数据，且取代所述任意的信号数据而使用进行了所述放大处理后的复原数据，进行一次以上的与所述(1)～(3)的处理同样的处理，并根据需要重复所述放大处理之后的处理。

8.如权利要求1～7的任意一项所述的变化要因信息的数据的生成方法，其特征在于，将构成所述新的变化要因信息的数据的、成为中枢的部分的数据的值放大。

9.如权利要求1～8的任意一项所述的变化要因信息的数据的生成方法，其特征在于，所述最初的变化要因信息的数据是强度分布为高斯分布的数据。

10.一种信号处理装置，其特征在于，

设有处理部，该处理部进行从发生了劣化等变化的原信号数据向变化前的信号、或本来应该取得的信号或这些信号的近似信号(以下，称为基础信号)的复原；

所述处理部，将任意的变化要因信息的数据作为最初的变化要因信息的数据而进行设定后，

(1)利用该数据从任意的信号数据生成比较用数据，

(2)将所述原信号数据或将该原信号数据加工后的数据与所述比较用数据进行比较，

(3)通过利用所述最初的变化要因信息的数据，将得到的差分的数据分配于所述任意的信号数据，而生成最初的复原数据，

(4)取代所述任意的信号数据而使用该最初的复原数据，并根据需要重复同样的处理，

(5)进行从其结果所得的所述复原数据和所述原信号数据或将该原信号数据加工后的数据，生成与所述最初的变化要因信息的数据不同的新的变化要因信息的数据的处理，

(6)根据生成的所述新的变化要因信息的数据或将该变化要因信息的数据加工后的数据，进行所述基础信号的复原。

11.如权利要求10所述的信号处理装置，其特征在于，

进行所述基础信号的复原的处理是，所述处理部利用所述变化要因信息的数据或将该变化要因信息的数据加工后的数据，从任意的信号数据生成比较用数据，将成为处理对象的所述原信号数据与比较用数据进行比较，并通过利用所述变化要因信息的数据或将该变化要因信息的数据加工后的数据，将得到的差分的数据分配于所述任意的信号数据而生成复原数据，取代所述任意的信号数据而使用该复原数据并进行重复同样的处理的重复处理。

12.如权利要求10或11所述的信号处理装置，其特征在于，

所述(3)的处理，通过使所述原信号数据或将该原信号数据加工后的数据和构成所述复原数据的信号要素的数据的一部分或全部移动的方法而进行，并判断构成所述复原数据的信号要素的数据是否满足规定的基准，在不满足规定的基准时进行修正处理，其中，该修正处理是将利用所述差分的数据而算出的分配值进行修正，并取代该不满足的数据而使用根据所述修正后的分配值所得到的数据。

13.如权利要求10或11所述的信号处理装置，其特征在于，

生成所述新的变化要因信息的数据的处理，将得到的所述变化要因信息的数据的原点位置设定于，在将各个所述信号要素的数据的移动所需的移动能量的总和的最小值作为Min时，该移动能量为Min以上且Min×1.2以下的位置。

Images