基于多核处理器的红外超分辨率重建图像方法及系统
技术领域
本发明属于图像处理技术领域,具体涉及基于多核处理器的红外超分辨率重建图像方法及系统。
背景技术
目前对于红外大面阵成像效果的需求越来越多,然而在现有探测器的生产工艺的限制下,现有条件下使用微扫器件来获取高分辨重建图像已成为一种行之有效的方式,而超分辨率图像重建技术是运用信号与信息处理方式来提高高分辨率的一种有效手段,当获取超分辨率重建图像后需要进行实时处理。但是随着基础成像面阵分辨率的增大,如成像面阵由320×256变成640×512,数据量扩大4倍,按原有处理方式,数据吞吐量与算法计算消耗已不能满足实时性要求。
发明内容
本发明的目的是克服现有技术中数据吞吐量与算法计算消耗已不能满足实时性要求问题。
为此,本发明提供了一种基于多核处理器的红外超分辨率重建图像方法,包括:
S1:提高原始图像的分辨率以得到高分辨率模糊图像;
S2:将所述高分辨率模糊图像分成多个区域图像,各所述区域图像分别一一对应多核处理器的各核进行重建算法处理;
S3:合并各核的处理结果得到超分辨率高清图像。
优选地,在所述步骤S1之前还包括:通过微扫器不断循环扫描获取原始图像,所述原始图像为连续多帧的低分辨率图像序列。
优选地,所述低分辨率图像序列为多幅具有亚像素位移的低分辨红外图像。
优选地,所述微扫器为纳米位移台。
优选地,所述步骤S1具体包括:通过插值法提高所述原始图像以得到高分辨率模糊图像。
优选地,所述多核处理器为DSP芯片。
优选地,将所述高分辨率模糊图像划分成四个区域图像,分别在每个DSP核中进行重建算法处理,再将每个DSP核中重建算法处理后的四幅子图合并成最终的超分辨率高清图像。
优选地,所述重建算法公式为:
其中,g(x,y)表示实际观察图像,h(x,y)表示系统观察矩阵,n(x,y)表示系统噪声,f(x,y)表示等待求解的高分辨率图像,G(u,v)、H(u,v)、F(u,v)、N(u,v)分别表示g(x,y)、h(x,y)、f(x,y)、n(x,y)的傅里叶变换。
本发明还提供了基于多核处理器的红外超分辨率重建图像系统,包括:
微扫器,所述微扫器用于微扫目标以获取低分辨率的图像序列;
图像处理模块,所述图像处理模块用于提高所述图像序列的分辨率得到高分辨率模糊图像,并将所述高分辨率图像分成多个区域图像;
多核处理器,所述多核处理处理器包括多个核,各核分别一一将各所述区域图像进行重建算法处理,并合并各核的处理结果。
优选地,根据去噪、亚像素估计、反卷积去模糊、边缘保持以及伪信息抑制而建立重建算法。
本发明的有益效果:本发明提供的这种基于多核处理器的红外超分辨率重建图像方法及系统,通过微扫器获取低分辨率图像序列,利用插值法提高低分辨率图像序列的分辨率得到高分辨率模糊图像,将高分辨率图像分成多个区域图像,然后将各个区域图像分配给多核处理器的各个核分别进行重建算法处理,最后将各个核的处理结果合并得到超分辨率高清图像。该方案适用于大数据量下的红外超分辨率图像获取及其实时性处理场景中,即对于大面阵大数据量的图像处理算法时,采用图像分块、DSP分核的分而治之的方式,实现并行化处理,从而从软/硬件的设计上同时满足实时性要求,为将来的大面阵图像的实时处理提供了一种可行化的解决思路。
以下将结合附图对本发明做进一步详细说明。
附图说明
图1是本发明基于多核处理器的红外超分辨率重建图像方法及系统的流程示意图;
图2是基于多核处理器的红外超分辨率重建图像方法及系统的DSP分核处理示意图;
图3是基于多核处理器的红外超分辨率重建图像方法及系统的微扫器获取低分辨率图像序列示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“中心”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征;在本发明的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本发明实施例提供了一种基于多核处理器的红外超分辨率重建图像方法,包括:
S1:提高原始图像的分辨率以得到高分辨率模糊图像。对提供的原始图像进行插值等方法将分辨率提高,便于处理原始图像中的细节。
S2:将所述高分辨率模糊图像分成多个区域图像,各所述区域图像分别一一对应多核处理器的各核进行重建算法处理。将高分辨率模糊图像进行分块处理得到多个区域图像,区域图像的个数与多核处理器的数目相同,或者区域的个数是多核处理器的倍数,这样便可通过多核处理器的各个核来分别单独重建算法处理各个区域图像。
S3:合并各核的处理结果得到超分辨率高清图像。单独处理完各个区域图像后再合并重组得到最终的超分辨率图像。
优选的方案,在所述步骤S1之前还包括:通过微扫器扫描获取原始图像,所述原始图像为连续多帧的低分辨率图像序列,且所述微扫器不断循环扫描获取原始图像,所述低分辨率图像序列为多幅具有亚像素位移的低分辨红外图像。由此可知,如图3所示,红外探测器在微扫器的作用下,实现微扫描采集获得4幅具有亚像素位移的低分辨红外图像,即每幅图像之间都存在探测器的微位移,采集过程不断循环,实现了同步微扫描,在同一场景下,获得了4幅互有亚像素位移信息的红外低分辨率图像,为后面实现超分辨率重建提供了可靠稳定的数据源信息。
优选的方案,所述微扫器为纳米位移台。由此可知,微扫器是一种纳米位移台,纳米位移台是一种现有的机械装置,内部有一个或多个压电陶瓷,由压电陶瓷产生单轴或多轴的运动。纳米位移台内置高精密传感器,闭环控制时,传感器技术在保证线性度的前提下,可以实现纳米级别、亚纳米级别分辨率,从而可以实现纳米级位移,安装在纳米位移台上的光学镜片在微扫器的带动下移动扫描并经过红外传感器成像,从而产生微位移的图像。
优选的方案,所述步骤S1具体包括:通过插值法提高所述原始图像以得到高分辨率模糊图像。由此可知,插值法即图像插值,其是在基于模型框架下,从低分辨率图像生成高分辨率图像的过程,用以恢复图像中所丢失的信息或者提高原始低分辨率图像的分辨率。图象插值方法有:最近邻插值,双线性插值,双平方插值,双立方插值以及其他高阶方法。
优选的方案,所述多核处理器为DSP芯片。也可以是其他具有多核的处理器芯片。
优选的方案,将所述高分辨率模糊图像划分成四个区域图像,分别在每个DSP核中进行重建算法处理,再将每个DSP核中重建算法处理后的四幅子图合并成最终的超分辨率高清图像。由此可知,对DSP(数字信号处理芯片)分核,先分后合的加速方案,将微扫器提高后的高分辨率图像划分成4个区域,分别在每个DSP核中进行重建算法处理,再将重建算法处理后4幅子图合并成最终的超分辨率图像。
优选的方案,所述重建算法公式为:
其中,g(x,y)表示实际观察图像,h(x,y)表示系统观察矩阵,n(x,y)表示系统噪声,f(x,y)表示等待求解的高分辨率图像,G(u,v)、H(u,v)、F(u,v)、N(u,v)分别表示g(x,y)、h(x,y)、f(x,y)、n(x,y)的傅里叶变换。
超分辨率重建算法建立在去噪、亚像素估计和反卷积去模糊的基础上,同时还要兼顾到边缘保持和伪信息抑制。超分辨率重建算法的关键问题是建立退化模型,成像正问题数学模型表示为:
其中,g(x,y):表示实际观察图像,h(x,y):表示系统观察矩阵,n(x,y):表示系统噪声,f(x,y):表示等待求解的高分辨率图像。超分辨率重建实质是由不完整观测图像g(x,y),求解高分辨率真实场景f(x,y)的过程,即由离散欠采样信号复原重建空间连续的高分辨率场景。公式(1)为时域中的表示形式,对应到频域,并根据卷积形式的时频域关系,有:
G(u,v)=H(u,v)F(u,v)+N(u,v) (2)
其中,G(u,v)、H(u,v)、F(u,v)、N(u,v)分别表示g(x,y)、h(x,y)、f(x,y)、n(x,y)的傅里叶变换。对公式(2)进行推导可得超分辨率图像为:
如图1至图3所示,该方法的原理过程为:首先通过微扫器件获取低分辨率的图像序列,分别为第n帧、第n+1帧、第n+2帧及第n+3帧四幅图像,将上述四幅连续的低分辨率图像进行插值法处理后放大形成模糊的高分辨图像,再将高分辨率图像进行区域划分得到四块图像,分别为图像块1、图像块2、图像块3及图像块4,同时DSP芯片对应四个核,分别为核1、核2、核3及核4,分别在DSP的每个核中进行算法处理,图像块1在核1中进行处理,图像块2对应核2,图像块3对应核3,图像块4对应核4,最后将每个核中图像算法处理结果合并成高分辨清晰图像。对于大面阵大数据量的图像处理算法,采用图像分块、DSP分核的分而治之的方式,实现并行化处理,从而从软/硬件的设计上同时满足实时性要求。
本发明还提供了一种基于多核处理器的红外超分辨率重建图像系统,包括:
微扫器,所述微扫器用于微扫目标以获取低分辨率的图像序列;
图像处理模块,所述图像处理模块用于提高所述图像序列的分辨率得到高分辨率模糊图像,并将所述高分辨率图像分成多个区域图像;
多核处理器,所述多核处理处理器包括多个核,各核分别一一将各所述区域图像进行重建算法处理,并合并各核的处理结果。
由此可知,红外探测器在微扫器的作用下,实现微扫描采集获得四幅具有亚像素位移的低分辨红外图像,即每幅图像之间都存在探测器的微位移,采集过程不断循环,实现了同步微扫描。然后通过图像处理模块提高原始图像分辨率,并将提高分辨率后的图像进行切块分成多个区域图像,将每个区域图像分别通过多核处理器的各个核进行单独重建算法处理,处理完后再合并即可得到超分辨率图像。
优选的方案,根据去噪、亚像素估计、反卷积去模糊、边缘保持以及伪信息抑制而建立重建算法。由此可知,根据去噪、亚像素估计、反卷积去模糊、边缘保持以及伪信息抑制而建立重建算法。
本发明的有益效果:本发明提供的这种基于多核处理器的红外超分辨率重建图像方法及系统,通过微扫器获取低分辨率图像序列,利用插值法提高低分辨率图像序列的分辨率得到高分辨率模糊图像,将高分辨率图像分成多个区域图像,然后将各个区域图像分配给多核处理器的各个核分别进行重建算法处理,最后将各个核的处理结果合并得到超分辨率高清图像。该方案适用于大数据量下的红外超分辨率图像获取及其实时性处理场景中,即对于大面阵大数据量的图像处理算法时,采用图像分块、DSP分核的分而治之的方式,实现并行化处理,从而从软/硬件的设计上同时满足实时性要求,为将来的大面阵图像的实时处理提供了一种可行化的解决思路。
以上例举仅仅是对本发明的举例说明,并不构成对本发明的保护范围的限制,凡是与本发明相同或相似的设计均属于本发明的保护范围之内。