CN117692795B - 景深图像融合系统和方法 - Google Patents

Abstract

本发明公开了一种景深图像融合系统和方法。所述系统包括：图像采集模块、变焦控制模块、FPGA控制模块和数据处理模块；图像采集模块，用于响应于图像采集请求，向变焦控制模块获取焦平面位置，并基于焦平面位置对待拍摄物体进行图像采集，得到待处理图像，将待处理图像发送至FPGA控制模块；变焦控制模块，用于根据图像采集模块的采集设备相关信息，确定焦平面位置，并将焦平面位置反馈至图像采集模块；FPGA控制模块，用于对待处理图像进行图像预处理，得到待融合图像，并将待融合图像发送至数据处理模块；数据处理模块，用于将待融合图像输入至预先训练得到的景深图像融合模型，得到模型输出的景深融合图像。

Description

景深图像融合系统和方法

技术领域

本发明涉及图像融合技术领域，尤其涉及一种景深图像融合系统和方法。

背景技术

工业成像领域对于一些存在高低远近变化的场景，往往需要用到大景深成像装置。硬件设备常采用工业相机、普通镜头和工控机组合的形式，部分设备采用工业相机、液体镜头和工控机组合的形式，整个系统安装调试比较困难，且图像采集过程中需要自行调整参数，大大增加了开发者的使用难度。除此之外，为满足工业成像速度需求，融合算法常采用传统的基于空间域或基于变换域的融合算法，对大景深图像融合效果较差，融合速度和融合质量低下。

发明内容

本发明提供了一种景深图像融合系统和方法，以实现对景深融合系统的图像采集相关参数的自动化调节，以及提高图像融合速度和融合质量。

根据本发明的一方面，提供了一种景深图像融合系统，所述系统包括：图像采集模块、变焦控制模块、现场可编程门阵列FPGA控制模块和数据处理模块；所述FPGA控制模块分别与所述图像采集模块和所述数据处理模块通信连接；所述变焦控制模块分别与所述图像采集模块和所述数据处理模块通信连接；

所述图像采集模块，用于响应于图像采集请求，向所述变焦控制模块获取焦平面位置，并基于所述焦平面位置对待拍摄物体进行图像采集，得到待处理图像，将所述待处理图像发送至所述FPGA控制模块；

所述变焦控制模块，用于根据所述图像采集模块的采集设备相关信息，确定焦平面位置，并将所述焦平面位置反馈至所述图像采集模块；

所述FPGA控制模块，用于对所述待处理图像进行图像预处理，得到待融合图像，并将所述待融合图像发送至所述数据处理模块；

所述数据处理模块，用于将所述待融合图像输入至预先训练得到的景深图像融合模型，得到模型输出的景深融合图像。

根据本发明的另一方面，提供了一种景深图像融合方法，应用于景深图像融合系统，所述系统包括：图像采集模块、变焦控制模块、现场可编程门阵列FPGA控制模块和数据处理模块；所述FPGA控制模块分别与所述图像采集模块和所述数据处理模块通信连接；所述变焦控制模块分别与所述图像采集模块和所述数据处理模块通信连接；

通过所述图像采集模块响应于图像采集请求，向所述变焦控制模块获取焦平面位置，并基于所述焦平面位置对待拍摄物体进行图像采集，得到待处理图像，将所述待处理图像发送至所述FPGA控制模块；

通过所述变焦控制模块根据所述图像采集模块的采集设备相关信息，确定焦平面位置，并将所述焦平面位置反馈至所述图像采集模块；

通过所述FPGA控制模块对所述待处理图像进行图像预处理，得到待融合图像，并将所述待融合图像发送至所述数据处理模块；

通过所述数据处理模块将所述待融合图像输入至预先训练得到的景深图像融合模型，得到模型输出的景深融合图像。

本发明实施例的图像采集模块，用于响应于图像采集请求，向变焦控制模块获取焦平面位置，并基于焦平面位置对待拍摄物体进行图像采集，得到待处理图像，将待处理图像发送至FPGA控制模块；变焦控制模块，用于根据图像采集模块的采集设备相关信息，确定焦平面位置，并将焦平面位置反馈至图像采集模块；FPGA控制模块，用于对待处理图像进行图像预处理，得到待融合图像，并将待融合图像发送至数据处理模块；数据处理模块，用于将待融合图像输入至预先训练得到的景深图像融合模型，得到模型输出的景深融合图像。上述景深图像融合系统实现了对图像采集相关参数的自动化调节，降低了系统使用者的开发难度，图像融合处理方式提高了图像融合速度、融合质量和稳定性。

应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是根据本发明实施例一提供的一种景深图像融合系统的结构示意图；

图1B是根据本发明实施例一提供的一种物距与图像清晰度之间的关联关系曲线示意图；

图1C是根据本发明实施例一提供的一种焦平面确定过程的示意图；

图1D是根据本发明实施例一提供的一种景深图像融合模型的结构示意图；

图1E是根据本发明实施例一提供的一种第一图像融合模块的模型训练结构示意图；

图1F是根据本发明实施例一提供的一种第二图像融合模块的模型训练结构示意图；

图1G是根据本发明实施例一提供的一种图像转换示意图；

图1H是根据本发明实施例一提供的一种景深图像融合系统的结构示意图；

图2是根据本发明实施例二提供的一种景深图像融合方法的流程图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例一

图1A为本发明实施例一提供的一种景深图像融合系统的结构示意图，该景深图像融合系统包括：图像采集模块10、变焦控制模块11、FPGA（Field Programmable GateArray，现场可编程逻辑门阵列）控制模块12和数据处理模块13；FPGA控制模块12分别与图像采集模块10和数据处理模块13通信连接；变焦控制模块11分别与图像采集模块10和数据处理模块13通信连接。

图像采集模块10，用于响应于图像采集请求，向变焦控制模块11获取焦平面位置，并基于焦平面位置对待拍摄物体进行图像采集，得到待处理图像，将待处理图像发送至FPGA控制模块12；

变焦控制模块11，用于根据图像采集模块的采集设备相关信息，确定焦平面位置，并将焦平面位置反馈至图像采集模块10；

FPGA控制模块12，用于对待处理图像进行图像预处理，得到待融合图像，并将待融合图像发送至数据处理模块13；

数据处理模块13，用于将待融合图像输入至预先训练得到的景深图像融合模型，得到模型输出的景深融合图像。

其中，图像采集模块10用于进行图像采集，具体可以由CMOS（ComplementaryMetal Oxide Semiconductor，互补金属氧化物半导体）和液态镜头组成。更改COMS分辨率可适应不同场景不同分辨率的成像需求。通过调整液态镜头的焦平面位置或屈光度等参数，并自动将其转换为电压，可以控制透镜中液体的形状改变焦距，得到一组聚焦不同成像平面的清晰图像。

其中，变焦控制模块11用于确定用于调整图像采集模块10的设备参数，如焦平面位置和屈光度等。具体可以根据预先配置的不同图像采集模块的采集设备相关信息，确定焦平面位置，并将焦平面位置反馈至图像采集模块10，由图像采集模块10通过焦平面位置，对待拍摄物体进行图像采集。

图像采集模块10在得到待处理图像之后，将待处理图像发送至FPGA控制模块12。FPGA控制模块12用于对待处理图像进行图像预处理，得到预处理后的待融合图像。例如，预处理过程可以包括黑电平校正、阴影校正、曝光调节、增益调节和ROI（Region ofInterest，感兴趣区域）设置等。可选的，由FPGA控制模块12可以将待处理图像放到DDR（Double Data Rate SDRAM，双倍速率同步动态随机存储器）中缓存中转，同时FPGA对DDR中数据进行图像拼合等处理，得到待融合图像，并将待融合图像发送至数据处理模块13。

可选的，为提高图像融合速度，在数据处理模块13中对待融合图像进行图像融合过程中的部分计算过程，如高斯卷积及下采样等部分计算可以由FPGA处理，硬件加速预先完成，处理后的数据可以通过PCIE（peripheral component interconnect express，高速串行计算机扩展总线标准）传输到数据处理模块13。

其中，数据处理模块13用于将待融合图像输入至预先训练得到的景深图像融合模型，得到模型输出的景深融合图像。其中，景深图像融合模型可以由相关技术人员预先训练得到，也可以是现有的图像融合模型，如GAN（Generative Adversarial Networks，生成对抗网络）等。

需要说明的是，变焦控制模块可以根据图像采集模块的采集设备相关信息，自动化确定焦平面位置，从而由图像采集模块根据焦平面位置自动进行图像拍摄，便于对景深图像融合系统的使用，降低对图像采集模块对应的景深采集设备使用者的开发和学习成本，提高图像采集效率，实现对图像采集位置的精准定位。

可选的，根据图像采集模块的采集设备相关信息，确定焦平面位置，并将焦平面位置反馈至图像采集模块，包括：根据图像采集模块的预设物距，确定物体最近平面位置和物体最远平面位置；根据物体最近平面位置和物体最远平面位置，确定成像最近平面位置和成像最远平面位置；根据成像最近平面位置和成像最远平面位置，基于图像采集模块的设备拍摄景深，确定图像拍摄张数；根据成像最近平面位置和成像最远平面位置，基于图像拍摄张数，确定焦平面位置，并将焦平面位置反馈至图像采集模块。

其中，物体最近平面位置和物体最远平面位置为相对于采集设备的镜头位置的最近平面位置和最远平面位置。具体的，可以通过调节预设物距，基于物距与图像清晰度之间的关联关系，确定物体最近平面位置和物体最远平面位置。

可选的，根据图像采集模块的预设物距，确定物体最近平面位置和物体最远平面位置，包括：确定待处理图像在预设物距下的图像清晰度；根据预设物距下的图像清晰度，确定物体最近平面位置和物体最远平面位置。

其中，待处理图像在预设物距下的图像清晰度，可以通过预设的聚焦评价函数（Fusion Metrics）进行确定。根据图像清晰度，基于图像清晰度与物距之间的物距映射表，可以确定物体最近平面位置和物体最远平面位置。如图1B所示的一种物距与图像清晰度之间的关联关系曲线示意图。其中，FM表示图像清晰度，WD表示物距。x₁表示物体最近平面位置，x₂表示物体最远平面位置。

根据物体最近平面位置和物体最远平面位置，基于预设的物体位移波动范围，可以确定成像最近平面位置和成像最远平面位置。其中，物体位置波动范围可以由相关技术人员预先设定。示例性的，根据物体最近平面位置和物体位移波动范围，可以确定成像最近平面位置；以及，根据物体最远平面位置和物体位移波动范围，可以确定成像最远平面位置。

如图1C所示的一种焦平面确定过程的示意图。其中，x₁表示物体最近平面位置，x₂表示物体最远平面位置；d表示预设的物体位移波动范围；表示成像最近平面位置，/>表示成像最远平面位置。示例性的，根据成像最近平面位置和成像最远平面位置，基于图像采集模块的设备拍摄景深，确定图像拍摄张数/>的方式如下：

其中，表示设备拍摄景深。

根据成像最近平面位置和成像最远平面位置，基于图像拍摄张数，确定焦平面位置。具体可以是根据成像最近平面位置和成像最远平面位置和图像拍摄张数，等分计算焦平面位置，如图1C所示的确定得到的焦平面位置P1（成像最近平面位置）至P8（成像最远平面位置）。

变焦控制模块11将确定得到的焦平面位置发送至图像采集模块10，由图像采集模块确定不同焦平面位置的图像采集参数，并基于图像采集参数对待拍摄物体进行图像采集，得到在不同焦平面位置下的拍摄图像，并将不同焦平面位置下拍摄得到的多张图像，作为待处理图像。

数据处理模块13通过将待融合图像输入至预先训练得到的景深图像融合模型，得到模型输出的景深融合图像。其中，景深图像融合模型可以预先训练得到。本实施例还提供一种景深图像融合模型的训练方式。

在一个可选实施例中，景深图像融合模型的训练方式如下：确定用于进行模型训练的图像样本数据集；图像样本数据集中包括多张训练样本图像；将多张训练样本图像输入至预设的图像融合网络模型中，得到模型输出的预测融合图像；根据预测融合图像和训练样本图像对应的真实融合图像，基于预设的模型训练函数，对图像融合网络模型进行模型训练，得到景深图像融合模型。

其中，训练样本图像为多张基于不同焦平面位置得到的不同位置清晰的待融合图像样本，其对应的样本标签为融合后的真实融合图像。

其中，图像融合网络模型可以由相关技术人员进行预先构建。示例性的，将多张训练样本图像输入至预设的图像融合网络模型中，得到模型输出的预测融合图像；根据预测融合图像和训练样本图像对应的真实融合图像，基于预设的模型训练函数，对图像融合网络模型进行模型训练，得到景深图像融合模型。其中，模型训练函数可以是SSIM（Structural Similarity Index Measure，结构相似性指数）函数。

在一个可选实施例中，景深图像融合模型包括第一图像融合模块和第二图像融合模块；相应的，将多张训练样本图像输入至预设的图像融合网络模型中，得到模型输出的预测融合图像，包括：将训练样本图像输入至第一图像融合模块进行图像融合处理，得到第一图像融合模块输出的第一融合图像；将训练样本图像和第一融合图像输入至第二图像融合模块进行图像融合处理，得到第二图像融合模块输出的预测融合图像。

如图1D所示的一种景深图像融合模型的结构示意图。景深图像融合模型包括第一图像融合模块和第二图像融合模块。其中，第一图像融合模块可以是传统图像融合模型分支；第二图像融合模块可以是基于深度学习实现的图像融合模型分支。传统方法分支可以获取先验知识，提高对未知图像数据融合的稳定性，深度学习分支可以提高对语义特征的融合能力。

示例性的，采用训练样本图像训练第一图像融合模块的模型参数，具体的，将训练样本图像输入至第一图像融合模块进行图像融合处理，得到第一图像融合模块输出的第一融合图像；采用训练样本图像和第一融合图像训练第二图像融合模块的模型参数，具体的，将训练样本图像和第一融合图像输入至第二图像融合模块进行图像融合处理，得到第二图像融合模块输出的预测融合图像。

在一个可选实施例中，第一图像融合模块包括：高斯特征提取子模块、拉普拉斯特征提取子模块、清晰度特征评价子模块、图像特征融合子模块和高频特征合并子模块；相应的，将训练样本图像输入至第一图像融合模块进行图像融合处理，得到第一图像融合模块输出的第一融合图像，包括：将训练样本图像输入至高斯特征提取子模块进行高斯卷积及下采样处理，得到第一高斯样本图像；将第一高斯样本图像输入至拉普拉斯特征提取子模块进行上采样及图像特征提取，得到第一特征样本图像；将训练样本图像输入至清晰度特征评价子模块进行图像清晰度特征提取，得到第二特征样本图像；将第二特征样本图像输入至高斯特征提取子模块进行高斯卷积及下采样处理，得到第二高斯样本图像；将第二高斯样本图像和第一特征样本图像输入至图像特征融合子模块进行图像融合处理，得到第三特征样本图像；将第三特征样本图像输入至高频特征合并子模块进行特征融合处理，得到第一融合图像。

其中，高斯特征提取子模块（Gaussian Pyramid，高斯金字塔）用于进行高斯卷积及下采样处理；其中，在进行高斯卷积过程中所用到的卷积核可以如下表示：

将第一高斯样本图像输入至拉普拉斯特征提取子模块（Laplace Pyramid，拉普拉斯金字塔）进行上采样及图像特征提取，得到第一特征样本图像。将高斯特征提取子模块最后一次下采样得到的第一高斯样本图像进行上采样的同时与上一轮得到的第一高斯样本图像进行作差处理，从而得到第一特征样本图像。

将训练样本图像输入至清晰度特征评价子模块可以为聚焦评价函数FM（FusionMetrics，融合度量）进行图像清晰度特征提取，得到第二特征样本图像。其中，清晰度特征评价子模块FM中包括两个自定义算子，分别卷积获取图像x方向的梯度变化和y方向的梯度变化。两个算子和/>的表达方式如下。

其中，聚焦评价函数FM表达方式如下：

将第二特征样本图像输入至高斯特征提取子模块进行高斯卷积及下采样处理，得到第二高斯样本图像。将第二高斯样本图像输入至图像特征融合模块进行图像融合处理，得到第三特征样本图像。其中，图像特征融合模块FB（Fusion Block）用于进行权重加权融合。将第三特征样本图像输入至高频特征合并子模块进行特征融合处理，得到第一融合图像。

在一个具体实施例中，如图1E所示的一种第一图像融合模块的模型训练结构示意图。将1*1*5*512*512的训练样本图像G0输入至Gaussian Pyramid（高斯特征提取子模块）中进行高斯卷积及下采样，得到第一高斯样本图像G1、G2和G3。其中，卷积核可以为：

将第一高斯样本图像G1、G2和G3输入至拉普拉斯特征提取子模块进行上采样及图像特征提取，得到第一特征样本图像。具体的，第一高斯样本图像G3进行上采样后与第一高斯样本图像G2作差处理，得到第一特征样本图像L2；G2上采样后与G1作差处理，可以得到L1；G1上采样后与G0作差处理，可以得到L0，将L0、L1和L2作为第一特征样本图像。将训练样本图像G0输入至FM（清晰度特征评价子模块）进行图像清晰度特征提取，定义FM的计算方式如下，得到第二特征样本图像W0。

将第二特征样本图像W0输入至Gaussian Pyramid（高斯特征提取子模块）进行高斯卷积及下采样处理，得到第二高斯样本图像W1；将W1进行高斯卷积及下采样处理，得到第二高斯样本图像W2；将W2进行高斯卷积及下采样处理，得到第二高斯样本图像W3。

将第二高斯样本图像和第一特征样本图像输入至图像特征融合子模块进行图像融合处理，得到第三特征样本图像。具体的，将第二高斯样本W0和第一特征样本图像L0输入至FB（图像特征融合子模块）进行图像融合，得到第三特征样本图像F0；其中，FB进行图像融合得到第三特征样本图像F0的方式如下：

将第二高斯样本W1和第一特征样本图像L1输入至FB（图像特征融合子模块）进行图像融合，得到第三特征样本图像F1；将第二高斯样本W2和第一特征样本图像L2输入至FB（图像特征融合子模块）进行图像融合，得到第三特征样本图像F2；将第二高斯样本W3和第一特征样本图像L3输入至FB（图像特征融合子模块）进行图像融合，得到第三特征样本图像F3（I3）。

将第三特征样本图像输入至高频特征合并子模块进行特征融合处理，得到第一融合图像。具体的，将第三特征样本图像I3进行上采样后与第三特征样本图像F2进行图像相加，得到第一融合图像I2；将第一融合图像I2进行上采样后与第三特征样本图像F1进行图像相加，得到第一融合图像I1；将第一融合图像I1进行上采样后与第三特征样本图像F0进行图像相加，得到第一融合图像I0。

在一个可选实施例中，第二图像融合模块包括图像特征提取子模块、下采样特征融合子模块、图像扩维子模块、权重融合子模块和图像特征融合子模块；相应的，将训练样本图像和第一融合图像输入至第二图像融合模块进行图像融合处理，得到第二图像融合模块输出的预测融合图像，包括：将训练样本图像输入至图像特征提取子模块进行图像特征提取，得到第四特征样本图像；将第四特征样本图像、第一高斯样本图像和第二高斯样本图像输入至下采样特征融合模块进行特征融合处理，得到第二融合图像；将第一融合图像输入至图像扩维子模块进行图像扩维处理，得到扩维样本图像；将扩维样本图像和第二融合图像输入至权重融合子模块进行特征融合，得到第三融合图像；将第三融合图像和训练样本图像输入至图像特征融合子模块进行特征融合，得到预测融合图像。

其中，第二融合模块可以采用Unet（U-shaped Convolutional Neural Network，U形卷积神经网络）结构，也可以根据实际需求进行预先构建。

在一个具体实施例中，如图1F所示的一种第二图像融合模块的模型训练结构示意图。将1*1*5*512*512的训练样本图像G0输入至图像特征提取子模块进行图像特征提取，得到第四特征样本图像D0。其中，图像特征提取子模块进行单个特征提取的方式如下：

将第四特征样本图像D0、第一高斯样本图像G1、G2、G3和第二高斯样本图像W1、W2、W3输入至下采样特征融合模块进行特征融合处理，得到第二融合图像。具体的，将D0、G1和W1进行图像融合处理，得到融合后的第二融合图像D1。其中，图像特征融合的过程如下：

同理，将D1、G2和W2进行图像融合处理，得到融合后的第二融合图像D2；将D2、G3和W3进行图像融合处理，得到融合后的第二融合图像D3。

因第一融合图像I0、I1、I2和I3输入图像与待融合特征维度不一致，采用重采样模块，变化张量形状，使其尺寸与D3降维后的F3一致，因此，将第一融合图像输入至图像扩维子模块进行图像扩维处理，得到扩维样本图像。将第一融合图像进行图像扩维处理，得到I3扩维后的扩维样本图像方式如下。

第一融合图像I0、I1和I2进行图像扩维方式同理，本实施例对此不再进行赘述。将扩维样本图像和第二融合图像输入至权重融合子模块进行特征融合，得到第三融合图像。具体的，以扩维样本图像和第二融合图像降维后的F3进行图像特征融合处理，得到第三待融合图像M3，具体的融合方式如下：

同理，将I2进行扩维后的扩维样本图像和第二融合图像D2降维后的F2进行图像特征融合处理，得到第三待融合图像M2；将I1进行扩维后的扩维样本图像/>和第二融合图像D1降维后的F1进行图像特征融合处理，得到第三待融合图像M1。将I0进行扩维后的扩维样本图像/>和第二融合图像D0降维后的F0进行图像特征融合处理，得到第三待融合图像M0。将第三待融合图像M0进行特征提取及变换，得到第三融合图像FW（Fusion Weight），提取方式如下，以M0为例，得到第三融合图像FW，其中，第三融合图像FW为具有权重融合参数的图像。

将第三融合图像FW和训练样本图像G0输入至图像特征融合子模块（FusionBlock，FB）进行特征融合，得到预测融合图像。

需要说明的是，待融合图像可能为灰度图像，也可能为彩色图像。当待融合图像为彩色图像时，需要对彩色图像进行图像转换，并将转换后的图像输入至训练好的景深图像融合模型进行图像融合。

在一个可选实施例中，若数据处理模块获取的待融合图像的图像类型为彩色图像，则将待融合图像进行图像转换，得到各颜色空间通道的通道图像；颜色空间通道包括亮度通道和色度通道；将亮度通道的通道图像输入至景深融合模型，得到模型输出的亮度通道融合图像；以及，将色度通道的通道图像输入至第二图像融合模块中的权重融合子模块，得到模块输出的色度通道特征图像，并将色度通道特征图像输入至图像特征融合子模块，得到模块输出的色度通道融合图像；根据亮度通道融合图像和色度通道融合图像，确定景深融合图像。

其中，图像转换方式可以为RGB（Red、Green、Blue，红绿蓝）图像转YCrCb也可以为RGB图像转YUC，具体根据实际需求进行设定。

其中，YCrCb颜色空间通道对应的三通道分别为Y（亮度分量）通道Cr（色度分量）通道和Cb（色度分量）通道；YUC颜色空间通道对应的三通道分别为Y（亮度分量）通道U（色度分量）通道和C（色度分量）通道。

在得到亮度空间通道（Y通道）的通道图像，以及色度空间通道（Cr和Cb通道）的通道图像后，将亮度空间通道的通道图像输入至景深模型，得到模型输出的亮度通道融合图像。针对色度空间通道的通道图像，输入至二图像融合模块中的权重融合子模块（FW）和图像特征融合子模块（FB），得到模块输出的色度通道融合图像；根据亮度通道融合图像和色度通道融合图像，确定景深融合图像。具体可以是将亮度通道融合图像和色度通道融合图像进行颜色空间变换，得到景深融合图像。

示例性的，以RGB转YCrCb为例，如图1G所示的一种图像转换示意图。其中，输入为彩色的待融合图像。通过图像转换（RGB2YCrCb）模块，将待融合图像转换为Y、Cr、Cb 3个分支，将Y分支输入景深图像融合模型得到融合权重FW与融合模块FB；根据融合权重FW与融合模块FB分别融合Y，Cr, Cb分支的输入图像，得到各分支的融合图像，将各分支的融合图像输入至图像转换（YCrCb2RGB）模块进行图像转换，得到景深融合图像

其中，RGB转YCrCb公式如下：

Cr与Cb分支通过FW与FB模块可得到相应分支的融合图像，然后经过YCrCb转RGB即可得到融合后的彩色图像。YCrCb转RGB公式如下：

可选的，如图1H所示的一种景深图像融合系统的结构示意图；所述景深图像融合系统还包括：存储模块14、功能接口模块15和融合图像分析模块16；存储模块14与数据处理模块13通信连接；功能接口模块15包括千兆网口单元；融合图像分析模块16通过千兆网口单元与数据处理模块13通信连接。

其中，存储模块14，用于存储待处理图像和各模块相关数据；功能接口模块15，用于为数据处理模块13提供至少一个功能接口；图像分析模块16，用于对景深融合图像进行图像分析。

其中，存储模块14还可以存储数据处理模块13的硬件驱动程序、图像文件以及其他临时文件等。功能接口模块15还可以包括DP（DisplayPort，显示端口）视频口单元、Tpye-C口单元、USB（Universal Serial Bus，通用串行总线）口单元和通用IO（Input/Output，输入/输出）口单元。

其中，DP视频口单元可使用DP线缆，输出视频；USB口单元可接鼠标键盘，方便开发者调试；TypeC口单元可接其他外部设备，例如，外接不同型号的液态镜头等；通用IO口单元，可接入硬触发信号，用于触发图像采集单元采集图像，也可输出其他控制逻辑便于整个系统集成。

本发明实施例的图像采集模块，用于响应于图像采集请求，向变焦控制模块获取焦平面位置，并基于焦平面位置对待拍摄物体进行图像采集，得到待处理图像，将待处理图像发送至FPGA控制模块；变焦控制模块，用于根据图像采集模块的采集设备相关信息，确定焦平面位置，并将焦平面位置反馈至图像采集模块；FPGA控制模块，用于对待处理图像进行图像预处理，得到待融合图像，并将待融合图像发送至数据处理模块；数据处理模块，用于将待融合图像输入至预先训练得到的景深图像融合模型，得到模型输出的景深融合图像。上述景深图像融合系统实现了对图像采集相关参数的自动化调节，降低了系统使用者的开发难度，图像融合处理方式提高了图像融合速度、融合质量和稳定性。

实施例二

图2为本发明实施例一提供的一种景深图像融合方法的流程图，本实施例可适用于对有线缆布线需求的电气设备进行自动化精准布线的情况，该方法可以由景深图像融合装置来执行，该景深图像融合装置可以采用硬件和/或软件的形式实现，该景深图像融合装置可应用于景深图像融合系统中。该景深图像融合系统包括：图像采集模块、变焦控制模块、现场可编程门阵列FPGA控制模块和数据处理模块；FPGA控制模块分别与图像采集模块和数据处理模块通信连接；变焦控制模块分别与图像采集模块和数据处理模块通信连接。

如图2所示，该方法包括以下具体步骤：

S210、通过图像采集模块响应于图像采集请求，向变焦控制模块获取焦平面位置，并基于焦平面位置对待拍摄物体进行图像采集，得到待处理图像，将待处理图像发送至FPGA控制模块。

S220、通过变焦控制模块根据图像采集模块的采集设备相关信息，确定焦平面位置，并将焦平面位置反馈至图像采集设备模块。

可选的，根据图像采集模块的采集设备相关信息，确定焦平面位置，并将焦平面位置反馈至图像采集模块，包括：根据图像采集模块的预设物距，确定物体最近平面位置和物体最远平面位置；根据物体最近平面位置和物体最远平面位置，确定成像最近平面位置和成像最远平面位置；根据成像最近平面位置和成像最远平面位置，基于图像采集模块的设备拍摄景深，确定图像拍摄张数；根据成像最近平面位置和成像最远平面位置，基于图像拍摄张数，确定焦平面位置，并将焦平面位置反馈至图像采集模块。

可选的，根据图像采集模块的预设物距，确定物体最近平面位置和物体最远平面位置，包括：确定待处理图像在预设物距下的图像清晰度；根据预设物距下的图像清晰度，确定物体最近平面位置和物体最远平面位置。

S230、通过FPGA控制模块对待处理图像进行图像预处理，得到待融合图像，并将待融合图像发送至数据处理模块。

S240、通过数据处理模块将待融合图像输入至预先训练得到的景深图像融合模型，得到模型输出的景深融合图像。

可选的，景深图像融合模型的训练方式如下：确定用于进行模型训练的图像样本数据集；图像样本数据集中包括多张训练样本图像；将多张训练样本图像输入至预设的图像融合网络模型中，得到模型输出的预测融合图像；根据预测融合图像和训练样本图像对应的真实融合图像，基于预设的模型训练函数，对图像融合网络模型进行模型训练，得到景深图像融合模型。

可选的，景深图像融合模型包括第一图像融合模块和第二图像融合模块；相应的，将多张训练样本图像输入至预设的图像融合网络模型中，得到模型输出的预测融合图像，包括：将训练样本图像输入至第一图像融合模块进行图像融合处理，得到第一图像融合模块输出的第一融合图像；将训练样本图像和第一融合图像输入至第二图像融合模块进行图像融合处理，得到第二图像融合模块输出的预测融合图像。

可选的，第一图像融合模块包括：高斯特征提取子模块、拉普拉斯特征提取子模块、清晰度特征评价子模块、图像特征融合子模块和高频特征合并子模块；相应的，将训练样本图像输入至第一图像融合模块进行图像融合处理，得到第一图像融合模块输出的第一融合图像，包括：将训练样本图像输入至高斯特征提取子模块进行高斯卷积及下采样处理，得到第一高斯样本图像；将第一高斯样本图像输入至拉普拉斯特征提取子模块进行上采样及图像特征提取，得到第一特征样本图像；将训练样本图像输入至清晰度特征评价子模块进行图像清晰度特征提取，得到第二特征样本图像；将第二特征样本图像输入至高斯特征提取子模块进行高斯卷积及下采样处理，得到第二高斯样本图像；将第二高斯样本图像输入至图像特征融合子模块进行图像融合处理，得到第三特征样本图像；将第三特征样本图像输入至高频特征合并子模块进行特征融合处理，得到第一融合图像。

可选的，第二图像融合模块包括图像特征提取子模块、下采样特征融合子模块、图像扩维子模块、权重融合子模块和图像特征融合子模块；相应的，将训练样本图像和第一融合图像输入至第二图像融合模块进行图像融合处理，得到第二图像融合模块输出的预测融合图像，包括：将训练样本图像输入至图像特征提取子模块进行图像特征提取，得到第四特征样本图像；将第四特征样本图像、第一高斯样本图像和第二高斯样本图像输入至下采样特征融合模块进行特征融合处理，得到第二融合图像；将第一融合图像输入至图像扩维子模块进行图像扩维处理，得到扩维样本图像；将扩维样本图像和第二融合图像输入至权重融合子模块进行特征融合，得到第三融合图像；将第三融合图像和训练样本图像输入至图像特征融合子模块进行特征融合，得到预测融合图像。

本实施例未详述的部分可参见上述系统实施例，本实施例对其不再进行赘述。

本发明实施例通过图像采集模块响应于图像采集请求，向变焦控制模块获取焦平面位置，并基于焦平面位置对待拍摄物体进行图像采集，得到待处理图像，将待处理图像发送至FPGA控制模块；通过变焦控制模块根据图像采集模块的采集设备相关信息，确定焦平面位置，并将焦平面位置反馈至图像采集模块；通过FPGA控制模块对待处理图像进行图像预处理，得到待融合图像，并将待融合图像发送至数据处理模块；通过数据处理模块将待融合图像输入至预先训练得到的景深图像融合模型，得到模型输出的景深融合图像。上述景深图像融合系统实现了对图像采集相关参数的自动化调节，降低了系统使用者的开发难度，图像融合处理方式提高了图像融合速度、融合质量和稳定性。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (6)

1.一种景深图像融合系统，其特征在于，所述系统包括：图像采集模块、变焦控制模块、现场可编程门阵列FPGA控制模块和数据处理模块；所述FPGA控制模块分别与所述图像采集模块和所述数据处理模块通信连接；所述变焦控制模块分别与所述图像采集模块和所述数据处理模块通信连接；

所述图像采集模块，用于响应于图像采集请求，向所述变焦控制模块获取焦平面位置，并基于所述焦平面位置对待拍摄物体进行图像采集，得到待处理图像，将所述待处理图像发送至所述FPGA控制模块；

所述变焦控制模块，用于根据所述图像采集模块的采集设备相关信息，确定焦平面位置，并将所述焦平面位置反馈至所述图像采集模块；

所述FPGA控制模块，用于对所述待处理图像进行图像预处理，得到待融合图像，并将所述待融合图像发送至所述数据处理模块；

所述数据处理模块，用于将所述待融合图像输入至预先训练得到的景深图像融合模型，得到模型输出的景深融合图像；

所述景深图像融合模型的训练方式如下：

确定用于进行模型训练的图像样本数据集；所述图像样本数据集中包括多组训练样本图像；

将所述训练样本图像输入至所述景深图像融合模型的第一图像融合模块进行图像融合处理，得到所述第一图像融合模块输出的第一融合图像；

将所述训练样本图像和所述第一融合图像输入至所述景深图像融合模型的第二图像融合模块进行图像融合处理，得到所述第二图像融合模块输出的预测融合图像；

根据所述预测融合图像和所述训练样本图像对应的真实融合图像，基于预设的模型训练函数，对所述图像融合网络模型进行模型训练，得到景深图像融合模型；

其中，所述第一图像融合模块包括：高斯特征提取子模块、拉普拉斯特征提取子模块、清晰度特征评价子模块、图像特征融合子模块和高频特征合并子模块；

相应的，所述将所述训练样本图像输入至所述第一图像融合模块进行图像融合处理，得到所述第一图像融合模块输出的第一融合图像，包括：

将所述训练样本图像输入至所述高斯特征提取子模块进行高斯卷积及下采样处理，得到第一高斯样本图像；

将所述第一高斯样本图像输入至拉普拉斯特征提取子模块进行上采样及图像特征提取，得到第一特征样本图像；

将所述训练样本图像输入至所述清晰度特征评价子模块进行图像清晰度特征提取，得到第二特征样本图像；

将所述第二特征样本图像输入至所述高斯特征提取子模块进行高斯卷积及下采样处理，得到第二高斯样本图像；

将所述第二高斯样本图像输入和所述第一特征样本图像至所述图像特征融合子模块进行图像融合处理，得到第三特征样本图像；

将所述第三特征样本图像输入至所述高频特征合并子模块进行特征融合处理，得到第一融合图像；

其中，所述第二图像融合模块包括图像特征提取子模块、下采样特征融合子模块、图像扩维子模块、权重融合子模块和图像特征融合子模块；

相应的，所述将所述训练样本图像和所述第一融合图像输入至所述第二图像融合模块进行图像融合处理，得到所述第二图像融合模块输出的预测融合图像，包括：

将所述训练样本图像输入至所述图像特征提取子模块进行图像特征提取，得到第四特征样本图像；

将所述第四特征样本图像、所述第一高斯样本图像和所述第二高斯样本图像输入至所述下采样特征融合子模块进行特征融合处理，得到第二融合图像；

将所述第一融合图像输入至所述图像扩维子模块进行图像扩维处理，得到扩维样本图像；

将所述扩维样本图像和所述第二融合图像输入至所述权重融合子模块进行特征融合，得到第三融合图像；

将所述第三融合图像和所述训练样本图像输入至所述图像特征融合子模块进行特征融合，得到预测融合图像。

2.根据权利要求1所述的系统，其特征在于，所述根据所述图像采集模块的采集设备相关信息，确定焦平面位置，并将所述焦平面位置反馈至所述图像采集模块，包括：

根据所述图像采集模块的预设物距，确定物体最近平面位置和物体最远平面位置；

根据所述物体最近平面位置和所述物体最远平面位置，确定成像最近平面位置和成像最远平面位置；

根据所述成像最近平面位置和所述成像最远平面位置，基于所述图像采集模块的设备拍摄景深，确定图像拍摄张数；

根据所述成像最近平面位置和所述成像最远平面位置，基于图像拍摄张数，确定焦平面位置，并将所述焦平面位置反馈至所述图像采集模块。

3.根据权利要求2所述的系统，其特征在于，所述根据所述图像采集模块的预设物距，确定物体最近平面位置和物体最远平面位置，包括：

确定所述待处理图像在所述预设物距下的图像清晰度；

根据所述预设物距下的图像清晰度，确定物体最近平面位置和物体最远平面位置。

4.根据权利要求1所述的系统，其特征在于，所述系统还包括：

若所述数据处理模块获取的所述待融合图像的图像类型为彩色图像，则将所述待融合图像进行图像转换，得到各颜色空间通道的通道图像；所述颜色空间通道包括亮度通道和色度通道；

将所述亮度通道的通道图像输入至所述景深融合模型，得到模型输出的亮度通道融合图像；以及，

将所述色度通道的通道图像输入至所述第二图像融合模块中的权重融合子模块，得到模块输出的色度通道特征图像，并将所述色度通道特征图像输入至所述图像特征融合子模块，得到模块输出的色度通道融合图像；

根据所述亮度通道融合图像和所述色度通道融合图像，确定景深融合图像。

5.根据权利要求1所述的系统，其特征在于，所述系统还包括：存储模块、功能接口模块和融合图像分析模块；所述存储模块与所述数据处理模块通信连接；所述功能接口模块包括千兆网口单元；所述融合图像分析模块通过所述千兆网口单元与所述数据处理模块通信连接；

所述存储模块，用于存储所述待处理图像和各模块相关数据；

所述功能接口模块，用于为所述数据处理模块提供至少一个功能接口；

所述图像分析模块，用于对所述景深融合图像进行图像分析。

6.一种景深图像融合方法，其特征在于，应用于景深图像融合系统，所述系统包括：图像采集模块、变焦控制模块、现场可编程门阵列FPGA控制模块和数据处理模块；所述FPGA控制模块分别与所述图像采集模块和所述数据处理模块通信连接；所述变焦控制模块分别与所述图像采集模块和所述数据处理模块通信连接；

通过所述图像采集模块响应于图像采集请求，向所述变焦控制模块获取焦平面位置，并基于所述焦平面位置对待拍摄物体进行图像采集，得到待处理图像，将所述待处理图像发送至所述FPGA控制模块；

通过所述变焦控制模块根据所述图像采集模块的采集设备相关信息，确定焦平面位置，并将所述焦平面位置反馈至所述图像采集模块；

通过所述FPGA控制模块对所述待处理图像进行图像预处理，得到待融合图像，并将所述待融合图像发送至所述数据处理模块；

通过所述数据处理模块将所述待融合图像输入至预先训练得到的景深图像融合模型，得到模型输出的景深融合图像；

所述景深图像融合模型的训练方式如下：

确定用于进行模型训练的图像样本数据集；所述图像样本数据集中包括多组训练样本图像；

将所述训练样本图像输入至所述景深图像融合模型的第一图像融合模块进行图像融合处理，得到所述第一图像融合模块输出的第一融合图像；

将所述训练样本图像和所述第一融合图像输入至所述景深图像融合模型的第二图像融合模块进行图像融合处理，得到所述第二图像融合模块输出的预测融合图像；

根据所述预测融合图像和所述训练样本图像对应的真实融合图像，基于预设的模型训练函数，对所述图像融合网络模型进行模型训练，得到景深图像融合模型；

其中，所述第一图像融合模块包括：高斯特征提取子模块、拉普拉斯特征提取子模块、清晰度特征评价子模块、图像特征融合子模块和高频特征合并子模块；

相应的，所述将所述训练样本图像输入至所述第一图像融合模块进行图像融合处理，得到所述第一图像融合模块输出的第一融合图像，包括：

将所述训练样本图像输入至所述高斯特征提取子模块进行高斯卷积及下采样处理，得到第一高斯样本图像；

将所述第一高斯样本图像输入至拉普拉斯特征提取子模块进行上采样及图像特征提取，得到第一特征样本图像；

将所述训练样本图像输入至所述清晰度特征评价子模块进行图像清晰度特征提取，得到第二特征样本图像；

将所述第二特征样本图像输入至所述高斯特征提取子模块进行高斯卷积及下采样处理，得到第二高斯样本图像；

将所述第二高斯样本图像和所述第一特征样本图像输入至所述图像特征融合子模块进行图像融合处理，得到第三特征样本图像；

将所述第三特征样本图像输入至所述高频特征合并子模块进行特征融合处理，得到第一融合图像；

其中，所述第二图像融合模块包括图像特征提取子模块、下采样特征融合子模块、图像扩维子模块、权重融合子模块和图像特征融合子模块；

相应的，所述将所述训练样本图像和所述第一融合图像输入至所述第二图像融合模块进行图像融合处理，得到所述第二图像融合模块输出的预测融合图像，包括：

将所述训练样本图像输入至所述图像特征提取子模块进行图像特征提取，得到第四特征样本图像；

将所述第四特征样本图像、所述第一高斯样本图像和所述第二高斯样本图像输入至所述下采样特征融合子模块进行特征融合处理，得到第二融合图像；

将所述第一融合图像输入至所述图像扩维子模块进行图像扩维处理，得到扩维样本图像；

将所述扩维样本图像和所述第二融合图像输入至所述权重融合子模块进行特征融合，得到第三融合图像；

将所述第三融合图像和所述训练样本图像输入至所述图像特征融合子模块进行特征融合，得到预测融合图像。