CN117764838A - 一种图像复原方法 - Google Patents

Abstract

本发明提供了一种图像复原方法，方法包括获取退化图像数据；根据预设图像退化模型，对退化图像数据进行盲处理，得到第一点扩散函数和第一近似复原图像；基于第一点扩散函数和预设退化系统噪声能量，对退化图像数据进行反卷积处理，得到第二近似复原图像；对第一近似复原图像和第二近似复原图像进行加权融合处理，得到退化图像数据对应的复原图像数据，经过该方法处理获得的复原图像具有峰值信噪比高，复原效果好的特点。

Description

一种图像复原方法

技术领域

本发明涉及数据处理领域，尤其涉及一种图像复原方法。

背景技术

科学技术的高速发展依靠着数据信息，因此，对数据信息的提取和处理也变的越来越重要了。在数据信息的载体中，图像是最为生动且能直观的描述信息的一种形式。不管是在医学影像、国防安全、空间遥感或者工业检测等科学各研究领域，还是在人们的摄影娱乐等日常生活中，都对清晰的图像有所依赖。然而，图像在形成、记录、处理和传输过程中，由于成像系统、记录设备、传输介质和处理方法的不完善，导致图像质量的下降，这种现象叫做图像退化。

图像复原方法是图像处理领域一类重要的处理技术，与图像增强等其他基本图像处理技术类似，该技术也是以获取视觉质量得到某种程度改善为目的的，所不同的是图像恢复过程需要根据指定的图像退化模型来完成，根据这个退化模型对在某种情况下退化或恶化了的退化图像进行恢复，以获取到原始的、未经过退化的原始图像。换句话说，图像恢复的处理过程实际是对退化图像品质的提升，并通过图像品质的提升来达到图像在视觉上的改善。

随着计算机的发展，用图像处理算法对光学图像进行处理已经成为新的趋势，可用于提高图像的分辨率和成像的质量，拓展传统光学成像系统中成像方法。图像复原算法运用范围广泛，能够复原由散焦、大气湍流和运动等引起的模糊，改善图像的质量。但是现有技术中的算法大多仅局限于较为简单的退化系统，并不适用较为复杂的退化系统，而且抗噪能力差。因此，提出更准确的，复原效果更优的图像复原方法是目前领域中的重要研究课题。

发明内容

本发明实施例的目的是提出一种图像复原方法，以实现获取峰值信噪比高、且适用性更广的复原图像的图像复原方法，该方法包括：

获取退化图像数据；

根据预设图像退化模型，对所述退化图像数据进行盲处理，得到第一点扩散函数和第一近似复原图像；

基于所述第一点扩散函数和预设退化系统噪声能量，对所述退化图像数据进行反卷积处理，得到第二近似复原图像；

对所述第一近似复原图像和所述第二近似复原图像进行加权融合处理，得到所述退化图像数据对应的复原图像数据。

优选的，所述预设图像退化模型为g(x,y)＝h(x,y)*f(x,y)+n(x,y)，其中，f(x,y)表示原始图g(x,y)表示退化图像数据，“*”表示空间卷积运算符号，h(x,y)是点扩散函数，n(x,y)表示噪声。

优选的，所述根据预设图像退化模型，对所述退化图像数据进行盲处理，得到第一点扩散函数和第一近似复原图像具体包括：

采用最大似然算法对所述点扩散函数进行大小估计；

获取最后得到的复原图像最清晰的，且峰值信噪比最大的第三点扩散函数；

采用忙卷积算法对所述图像退化模型进行反卷积处理，得到最优解；

根据所述最优解得到所述第一点扩散函数和所述第一近似复原图像。

进一步优选的，所述采用最大似然算法对所述点扩散函数进行大小估计包括从3×3的点扩散函数开始进行估计。

优选的，所述基于所述第一点扩散函数和预设退化系统噪声能量，对所述退化图像数据进行反卷积处理，得到第二近似复原图像具体包括：

所述基于所述第一点扩散函数和预设退化系统噪声能量，对所述退化图像数据进行正则化反卷积处理，得到第二近似复原图像。

优选的，所述对所述第一近似复原图像和所述第二近似复原图像进行加权融合处理，得到所述退化图像数据对应的复原图像数据具体为：

根据第一预设加权值和第二预设加权值对所述第一近似复原图像和所述第二近似复原图像进行加权融合处理，得到所述退化图像数据对应的复原图像数据。

进一步优选的，所述第一预设加权值等于与所述第二预设加权值相等，且所述第一预设加权值与所述第二预设加权值的和为1。

优选的，在获取退化图像数据之前，所述方法还包括：

获取三维点云图像数据；

采用预设三维点云去噪算法对所述三维点云图像数据进行去噪处理，得到第一去噪图像数据；其中，所述三维点云图像数据包括深度图像数据和强度图像数据；

对所述第一去噪图像数据进行数据分离处理，所述三维点云图像数据对应的深度图像数据和强度图像数据；

根据所述强度图像数据生成所述退化图像数据。

进一步优选的，在对所述第一近似复原图像和所述第二近似复原图像进行加权融合处理，得到所述退化图像数据对应的复原图像数据之后，所述方法还包括：

对所述复原图像数据和所述深度图像数据进行融合处理，得到所述三维点云图像对应的复原三维点云图像数据。

进一步优选的，所述三维点云图像数据由飞行时间相机对环境进行拍摄后生成；所述三维点云图像数据的分辨率为240×320。

本发明提供的图像复原方法，其提供一种复原出来的图像的峰值信噪比要比其他两种方法复原出图像的峰值信噪比高，复原效果好，且本发明提供的图像复原方法可以针对不同的物体成像进行图像复原，具有更广泛的图像复原适用性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本发明提供的一种图像复原方法的流程图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

下文中的第一、第二仅是进行区分，并无其他含义。

本发明提供一种图像复原方法，图1为本发明提供的一种图像复原方法的流程图，如图所示，该图像复原方法包括以下步骤：

步骤110，获取退化图像数据。

具体的，本发明实施例提供的复原方法可以对三维图像获取设备获取的三维点云图像数据图像数据进行复原处理，也可以对二维图像采集设备获取的二维图像进行复原处理。本发明中提供的一种图像复原方法的各步骤由处理器执行。

本发明实施例的一个具体例子中，使用本发明的复原方法对飞行时间(Time OfFlight，TOF)相机获取的三维点云图像数据进行复原处理，在本例子中，三维点云图像数据由飞行时间相机对环境进行拍摄后生成，且三维点云图像数据的分辨率为240×320。获取退化数据的步骤主要包括以下步骤：

首先，获取三维点云图像数据，对三维点云图像数据进行去噪处理，得到第一去噪图像数据。

具体的，接收TOF相机获取的三维点云图像数据，其中，所述三维点云图像数据包括深度图像数据和强度图像数据。之后采用预设三维点云去噪算法对三维点云图像数据进行去噪处理，得到第一去噪图像数据。其中，预设三维点云去噪算法可以是现有技术中的三维点云去噪处理算法，将其提前植入处理器中。

其次，对去噪图像数据进行数据分离处理，三维点云图像数据对应的深度图像数据和强度图像数据。

具体的，对第一去噪图像数据进行深度数据和强度数据分离，得到三维图像数据对应的深度图像数据和强度图像数据。

最后，根据强度图像数据生成退化图像数据。也就是，根据三维点云图像数据对应的强度数据生成退化图像数据。其中一种生成方法包括直接对强度数据进行复制，得到退化图像数据。

经过上述处理后，得到了三维点云图像数据对应的待复原的退化图像数据。

需要注意的是，本发明的图像复原方法可以适用于多种分辨率的图像采集装置所采集的图像数据，在此采用分辨率为辨率为240×320的三维点云图像数据仅作为一个实施例，不作为对适用的退化图像数据的分辨率进行限定。

步骤120，根据预设图像退化模型，对退化图像数据进行盲处理，得到第一点扩散函数和第一近似复原图像。

具体的，预设图像退化模型在使用该图像复原方法前经过多次假设、实验后得出的图像退化模型，将其预置于处理器中，得到预设图像退化模型。处理器根据预设图像退化模型，对退化图像数据进行盲处理，即可以得到第一点扩散函数和第一近似复原图像。

下面我们以举例子的方式，该步骤中的忙处理进行具体说明。在本发明的一个具体实施例中，预设图像退化模型为：

g(x,y)＝h(x,y)*f(x,y)+n(x,y) (式1)

其中，f(x,y)表示原始图g(x,y)表示退化图像数据，“*”表示空间卷积运算符号，h(x,y)是点扩散函数，n(x,y)表示噪声。

在该例子中，根据预设图像退化模型，对退化图像数据进行盲处理，得到第一点扩散函数和第一近似复原图像具体包括的步骤为：首先，采用最大似然算法对所述点扩散函数进行大小估计。其次，获取最后得到的复原图像最清晰的，且峰值信噪比最大的第三点扩散函数；再次，采用忙卷积算法对所述图像退化模型进行反卷积处理，得到最优解；最后，根据所述最优解得到所述第一点扩散函数和所述第一近似复原图像。

本发明的一个具体例子中，先用最大似然算法对点扩散函数h(x,y)大小进行估计，本发明实施例的优选算法中，采用最大似然算法对点扩散函数进行大小估计是从3×3的点扩散函数开始进行估计，最后取的是使复原图像最清晰的，且峰值信噪比最大的点扩散函数，也就是最大像素的点扩散函数，即为本发明的第三点扩散函数。然后使用盲反卷积算法对预设图像退化模型进行反卷积时，使其得到最优解，再进行不断地迭代，从而可以得到一个真实的点扩散函数和一个近似复原的图像。在本发明的具体实施例中，使用盲反卷积算法对以上(式1)进行反卷积时，使其最优解，之后不断地迭代，得到一个真实的点扩散函数和得到的一个近似的复原图像，记为第一点扩散函数和第一近似复原图像，分别用h'(x,y)和f'(x,y)表示。

步骤130，基于第一点扩散函数和预设退化系统噪声能量，对退化图像数据进行反卷积处理，得到第二近似复原图像。

具体的，本发明实施例的优选方案中，基于第一点扩散函数和预设退化系统噪声能量，对退化图像数据进行反卷积处理，得到第二近似复原图像具体包括：基于第一点扩散函数和预设退化系统噪声能量，对退化图像数据进行正则化反卷积处理，得到第二近似复原图像。

还以上述步骤120中采用具体例子，采用以正则反卷积处理为例，进行进一步说明，具体处理包括，在步骤120中得到的第一点扩散函数h'(x,y)和第一近似复原图像f'(x,y)，接下来将第一点扩散函数h'(x,y)作为预设图像退化模型的先验知识，用正则化反卷积算法对(式1)进行反卷积，此时由于不知道退化系统的噪声能量，我们设退化系统的噪声能量为NP，并选择恰当的预设退化系统噪声能量，使正则化反卷积得出的近似复原图像的峰值信噪比尽可能最大，此时，我们得到一个最优的近似复原图像，即本发明的第二近似复原图像，记为f”(x,y)。

步骤140，对第一近似复原图像和第二近似复原图像进行加权融合处理，得到退化图像数据对应的复原图像数据。

具体的，本发明实施例采用对第一近似复原图像和第二近似复原图像进行加权融合处理，得到退化图像数据对应的复原图像数据具体为：根据第一预设加权值和第二预设加权值对第一近似复原图像和第二近似复原图像进行加权融合处理，得到退化图像数据对应的复原图像数据。本发明实施例的一个具体例子中，第一预设加权值等于与第二预设加权值相等，且第一预设加权值与第二预设加权值的和为1。

本发明的一个具体例子中，第一预设加权值为0.5，第二预设加权值为0.5，对第一近似复原图像f'(x,y)和第二近似复原图像f”'(x,y)进行加权融合处理，得到退化图像数据对应的复原图像数据具体计算方法为f”'(x,y)＝0.5f'(x,y)+0.5f”(x,y)。这样就得到了退化图像数据对应的复原图像数据。

由此，本发明实施例提供的图像复原方法已经为您介绍完成，其可以适用于各种分辨率的二维图像采集设备所采集的二维图像数据，也可以对各种分辨率的三维点云图像数据采集设备所采集的三维点云图像数据进行强度图像进行图像复原。

进一步的，如果本发明的图像复原方法应用于三维图像数据的复原，那么，在对第一近似复原图像和所述第二近似复原图像进行加权融合处理，得到所述退化图像数据对应的复原图像数据之后，该方法还包括：对强度图像数据对应的复原图像数据和深度图像数据进行融合处理，得到所述三维点云图像对应的复原三维点云图像数据。

至此，本发明实施例的一个具体例子中，由飞行时间相机获取的三维点云图像数据经过该方法处理便获得了复原三维点云图像数据。

本发明实施例提供的一种图像复原方法，复原出来的图像的峰值信噪比要比其他两种方法复原出图像的峰值信噪比高，并获得复原效果，且本发明提供的图像复原方法可以针对不同的物体成像数据和不同采集装置采集的图像数据进行图像复原，具有更广泛的图像复原适用性。

专业人员应该还可以进一步意识到，执行本发明提供的一种图像复原方法的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像复原方法，其特征在于，所述方法包括：

获取退化图像数据；

根据预设图像退化模型，对所述退化图像数据进行盲处理，得到第一点扩散函数和第一近似复原图像；

基于所述第一点扩散函数和预设退化系统噪声能量，对所述退化图像数据进行反卷积处理，得到第二近似复原图像；

对所述第一近似复原图像和所述第二近似复原图像进行加权融合处理，得到所述退化图像数据对应的复原图像数据。

2.根据权利要求1所述图像复原方法，其特征在于，所述预设图像退化模型为g(x,y)＝h(x,y)*f(x,y)+n(x,y)，其中，f(x,y)表示原始图g(x,y)表示退化图像数据，“*”表示空间卷积运算符号，h(x,y)是点扩散函数，n(x,y)表示噪声。

3.根据权利要求1所述图像复原方法，其特征在于，所述根据预设图像退化模型，对所述退化图像数据进行盲处理，得到第一点扩散函数和第一近似复原图像具体包括：

采用最大似然算法对所述点扩散函数进行大小估计；

获取最后得到的复原图像最清晰的，且峰值信噪比最大的第三点扩散函数；

采用忙卷积算法对所述图像退化模型进行反卷积处理，得到最优解；

根据所述最优解得到所述第一点扩散函数和所述第一近似复原图像。

4.根据权利要求3所述图像复原方法，其特征在于，所述采用最大似然算法对所述点扩散函数进行大小估计包括从3×3的点扩散函数开始进行估计。

5.根据权利要求1所述图像复原方法，其特征在于，所述基于所述第一点扩散函数和预设退化系统噪声能量，对所述退化图像数据进行反卷积处理，得到第二近似复原图像具体包括：

所述基于所述第一点扩散函数和预设退化系统噪声能量，对所述退化图像数据进行正则化反卷积处理，得到第二近似复原图像。

6.根据权利要求1所述图像复原方法，其特征在于，所述对所述第一近似复原图像和所述第二近似复原图像进行加权融合处理，得到所述退化图像数据对应的复原图像数据具体为：

根据第一预设加权值和第二预设加权值对所述第一近似复原图像和所述第二近似复原图像进行加权融合处理，得到所述退化图像数据对应的复原图像数据。

7.根据权利要求6所述图像复原方法，其特征在于，所述第一预设加权值等于与所述第二预设加权值相等，且所述第一预设加权值与所述第二预设加权值的和为1。

8.根据权利要求1所述图像复原方法，其特征在于，在获取退化图像数据之前，所述方法还包括：

获取三维点云图像数据；

采用预设三维点云去噪算法对所述三维点云图像数据进行去噪处理，得到第一去噪图像数据；其中，所述三维点云图像数据包括深度图像数据和强度图像数据；

对所述第一去噪图像数据进行数据分离处理，所述三维点云图像数据对应的深度图像数据和强度图像数据；

根据所述强度图像数据生成所述退化图像数据。

9.根据权利要求8所述图像复原方法，其特征在于，在对所述第一近似复原图像和所述第二近似复原图像进行加权融合处理，得到所述退化图像数据对应的复原图像数据之后，所述方法还包括：

对所述复原图像数据和所述深度图像数据进行融合处理，得到所述三维点云图像对应的复原三维点云图像数据。

10.根据权利要求9所述图像复原方法，其特征在于，所述三维点云图像数据由飞行时间相机对环境进行拍摄后生成；所述三维点云图像数据的分辨率为240×320。