CN117593619B - 图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请实施例提供了一种图像处理方法、装置、电子设备以及存储介质，涉及人工智能技术领域。图像处理方法包括：获取目标对象在同一场景下的多个初始图像；调用图形处理器GPU依次对多个初始图像进行特征提取操作，得到最后一个初始图像的至少两个不同层级的目标特征图；基于最后一个初始图像的至少两个不同层级的目标特征图进行图像重建，得到融合图像；特征提取操作包括：由GPU通过调用卷积函数对初始图像进行至少两次高斯模糊处理，得到至少两个不同层级的初始特征图；确定初始图像中的目标区域；基于目标区域将初始特征图和上一个初始图像对应层级的目标特征图融合，得到该层级的目标特征图。可以有效提高图像处理效率，减少处理耗时。

Description

图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及人工智能领域，具体而言，本申请涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

多聚焦图像融合是图像分析和融合领域里的一个重要研究分支，在科研、医疗、数码摄像、微结构分析等领域都发挥着重要的作用。由于光学传感器的固有特性，使得单次拍摄只能保证在对焦区域前后一定的范围内的目标呈现清晰的像，而非聚焦区域呈现模糊的像，通过物理操作无法在一个镜头内将深度距离相差很大的物体全部聚焦。因此，往往采用基于图像处理的多聚焦图像融合方法通过融合多张图像中各自清晰的区域，最终获得全聚焦的图像。

目前的多聚焦图像融合，通常是通过中央处理器（Central Processing Unit，CPU）进行的，融合速度较慢，导致在一些高速工业场景不适合使用。

发明内容

本申请实施例的目的旨在提供一种图像处理方法、装置及电子设备，本申请实施例提供的技术方案如下：

一方面，本申请实施例提供了一种图像处理的方法，该方法由GPU执行，且包括：

获取目标对象的多个初始图像；不同的初始图像针对目标对象的聚焦区域不同；

依次对多个初始图像进行特征提取操作，得到最后一个初始图像的至少两个不同层级的目标特征图；

基于最后一个初始图像的至少两个不同层级的目标特征图进行图像重建，得到多个初始图像的融合图像；

其中，对于每一初始图像，特征提取操作包括：

通过调用卷积函数对初始图像进行至少两次下采样，获取初始图像的至少两个不同层级的初始特征图；基于初始图像的能量密度矩阵确定初始图像中的目标区域；能量密度矩阵中的元素用于表示初始图像中对应像素区域的清晰程度；

对于该初始图像每一层级的初始特征图，基于目标区域将初始特征图和上一个初始图像对应层级的目标特征图融合，得到该层级的目标特征图。

在一些可能的实施方式中，卷积函数是基于如下方式生成的：

基于指定卷积核尺寸确定高斯模糊参数；

基于指定卷积核尺寸和高斯模糊参数生成符合高斯分布、且矩阵大小与指定卷积核尺寸相同的矩阵；

以所生成的矩阵作为卷积核参数，得到卷积函数。

在一些可能的实施方式中，通过调用卷积函数对所述初始图像进行至少两次下采样，获取所述初始图像的至少两个不同层级的初始特征图，包括：

对于每一次下采样，基于所述卷积函数对第一待处理图像进行卷积处理，得到第一图像特征；删除所述第一图像特征中指定的像素行和像素列，得到第二图像特征；其中，第一次下采样对应的第一待处理图像为初始图像，除第一次之外的下采样对应的第一待处理图像为上一次下采样得到的第二图像特征；

基于所述第二图像特征与第二待处理图像之间的差异信息，得到第三图像特征；其中，第一次下采样得到的第二特征图对应的第二待处理图像为所述初始图像；除第一次之外的下采样对应的第二待处理图像为上一次下采样得到的第二图像特征；所述至少两个不同层级的初始特征图包括每一次下采样得到的第三图像特征和最后一次下采样得到的第二图像特征。

在一些可能的实施方式中，基于第二图像特征与待比对图像之间的差异信息，得到第三图像特征，包括：

将第二图像特征尺寸恢复至待比对图像的相同尺寸；

将待比对图像减去恢复尺寸后的第二图像特征，得到第三图像特征。

在一些可能的实施方式中，卷积函数包括水平方向对应的第一卷积函数和垂直方向对应的第二卷积函数；基于卷积函数对待处理图像进行卷积处理，得到第一图像特征，包括：

调用第一卷积函数对待处理图像进行水平方向的卷积处理，得到第四图像特征；

调用第二卷积函数对第四图像特征进行垂直方向的卷积处理，得到第一图像特征。

在一些可能的实施方式中，对于每一初始图像，能量密度矩阵是基于如下方式确定的：

由GPU调用第三卷积函数对初始图像最后一次下采样得到的初始特征图进行卷积处理，得到能量密度矩阵。

在一些可能的实施方式中，基于初始图像的能量密度矩阵确定初始图像中的目标区域，包括：

将能量密度矩阵中的第一元素与参考密度矩阵的对应的第二元素进行对比，将第一元素中大于对应的第二元素的第一目标元素在能量密度矩阵中的区域，作为初始图像的目标区域；

其中，对于第一个初始图像，参考密度矩阵为预设密度矩阵；对于除第一个初始图像以外的初始图像，参考密度矩阵是通过融合该初始图像之前的各初始图像的能量密度矩阵得到的。

在一些可能的实施方式中，还包括：

采用第一目标元素，替换参考密度矩阵中对应区域的第二元素，得到更新后的参考密度矩阵；

将更新后的参考密度矩阵作为下一个初始图像对应的参考密度矩阵。

在一些可能的实施方式中，对于该初始图像每一层级的初始特征图，基于目标区域将初始特征图和上一个初始图像对应层级的目标特征图融合，得到该层级的目标特征图，包括：

对于该初始图像每一层级的初始特征图，确定初始特征图中与目标区域对应的第一特征元素；

采用第一特征元素替换上一个初始图像对应层级的目标特征图中对应的第二特征元素，得到该层级的目标特征图。

另一方面，本申请实施例提供了一种图像处理装置，

获取模块，用于获取目标对象的多个初始图像；不同的初始图像针对目标对象的聚焦区域不同；

特征提取模块，用于依次对多个初始图像进行特征提取操作，得到至少两个不同层级的目标特征图；每一目标特征图融合了各所述初始图像的特征；

图像重建模块，用于基于最后一个初始图像的至少两个不同层级的目标特征图进行图像重建，得到所述多个初始图像的融合图像；

其中，对于每一初始图像，所述特征提取操作包括：

通过调用卷积函数对所述初始图像进行至少两次下采样，获取所述初始图像的至少两个不同层级的初始特征图；基于所述初始图像的能量密度矩阵确定所述初始图像中的目标区域；所述能量密度矩阵中的元素用于表示初始图像中对应像素区域的清晰程度；

对于该初始图像每一层级的初始特征图，基于所述目标区域将所述初始特征图和上一个初始图像对应层级的目标特征图融合，得到该层级的目标特征图。

在一些可能的实施方式中，还包括生成模块，用于：

基于指定卷积核尺寸确定高斯模糊参数；

基于指定卷积核尺寸和高斯模糊参数生成符合高斯分布、且矩阵大小与指定卷积核尺寸相同的矩阵；

以所生成的矩阵作为卷积核参数，得到卷积函数。

在一些可能的实施方式中，特征提取模块在通过调用卷积函数对所述初始图像进行至少两次下采样，获取所述初始图像的至少两个不同层级的初始特征图时，具体用于：

对于每一次下采样，基于所述卷积函数对第一待处理图像进行卷积处理，得到第一图像特征；删除所述第一图像特征中指定的像素行和像素列，得到第二图像特征；其中，第一次下采样对应的第一待处理图像为初始图像，除第一次之外的下采样对应的第一待处理图像为上一次下采样得到的第二图像特征；

基于所述第二图像特征与第二待处理图像之间的差异信息，得到第三图像特征；其中，第一次下采样得到的第二特征图对应的第二待处理图像为所述初始图像；除第一次之外的下采样对应的第二待处理图像为上一次下采样得到的第二图像特征；所述至少两个不同层级的初始特征图包括每一次下采样得到的第三图像特征和最后一次下采样得到的第二图像特征。

在一些可能的实施方式中，特征提取模块在基于第二图像特征与待比对图像之间的差异信息，得到第三图像特征时，具体用于：

将第二图像特征尺寸恢复至待比对图像的相同尺寸；

将待比对图像减去恢复尺寸后的第二图像特征，得到第三图像特征。

在一些可能的实施方式中，卷积函数包括水平方向对应的第一卷积函数和垂直方向对应的第二卷积函数；基于卷积函数对待处理图像进行卷积处理，得到第一图像特征，包括：

调用第一卷积函数对待处理图像进行水平方向的卷积处理，得到第四图像特征；

调用第二卷积函数对第四图像特征进行垂直方向的卷积处理，得到第一图像特征。

在一些可能的实施方式中，对于每一初始图像，能量密度矩阵是基于如下方式确定的：

由GPU调用第三卷积函数对初始图像最后一次下采样得到的初始特征图进行卷积处理，得到能量密度矩阵。

在一些可能的实施方式中，特征提取模块在基于初始图像的能量密度矩阵确定初始图像中的目标区域时，具体用于：

将能量密度矩阵中的第一元素与参考密度矩阵的对应的第二元素进行对比，将第一元素中大于对应的第二元素的第一目标元素在能量密度矩阵中的区域，作为初始图像的目标区域；

其中，对于第一个初始图像，参考密度矩阵为预设密度矩阵；对于除第一个初始图像以外的初始图像，参考密度矩阵是通过融合该初始图像之前的各初始图像的能量密度矩阵得到的。

在一些可能的实施方式中，还包括更新模块，用于：

采用第一目标元素，替换参考密度矩阵中对应区域的第二元素，得到更新后的参考密度矩阵；

将更新后的参考密度矩阵作为下一个初始图像对应的参考密度矩阵。

在一些可能的实施方式中，特征提取模块在对于该初始图像每一层级的初始特征图，基于目标区域将初始特征图和上一个初始图像对应层级的目标特征图融合，得到该层级的目标特征图时，用于：

对于该初始图像每一层级的初始特征图，确定初始特征图中与目标区域对应的第一特征元素；

采用第一特征元素替换上一个初始图像对应层级的目标特征图中对应的第二特征元素，得到该层级的目标特征图。

另一方面，本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，存储器中存储有计算机程序，处理器执行该计算机程序以实现本申请任一可选实施例中提供的方法。

另一方面，本申请实施例还提供了一种计算机可读存储介质，该存储介质中存储有计算机程序，该计算机程序被处理器执行时实现本申请任一可选实施例中提供的方法。

另一方面，本申请实施例还提供了一种计算机程序产品，该计算机产品包括计算机程序，该计算机程序被处理器执行时实现本申请任一可选实施例中提供的方法。

本申请实施例提供的技术方案带来的有益效果如下：

通过调用GPU依次对多个初始图像进行特征提取操作，得到至少两个不同层级的目标特征图，每一目标特征图融合了各所述初始图像的特征，并基于至少两个不同层级的目标特征图进行图像重建，得到多个初始图像的融合图像，可以通过GPU实现多个初始图像中的清晰区域的融合，相对于CPU的多聚焦融合操作，可以有效降低图像处理耗时，提升融合速度。

此外，通过基于指定卷积核尺寸确定高斯模糊参数，再基于指定卷积核尺寸和高斯模糊参数生成符合高斯分布、且矩阵大小与指定卷积核尺寸相同的矩阵，以所生成的矩阵作为卷积核参数，得到卷积函数，使得GPU能够调用该卷积函数，实现对初始图像进行下采样，从而提高图像处理效率。

进一步的，初始化特征金字塔到GPU显存中，每融合一个初始图像，即对GPU显存中的特征金字塔进行更新，相当于之前已经融合的初始图像的信息已经全部保存在GPU显存中，不需要再重新进行计算，可以有效减少计算量，提高图像融合的效率。

进一步的，下采样次数越多，得到的初始特征图的信息会更加的汇聚，基于最后一次下采样得到的初始特征图所确定的能量密度矩阵，能够更加准确的确定出初始图像中的清晰区域，从而能够将更加精准地将不同初始图像中的清晰区域分别融合，得到融合图像。

进一步的，对于每一个初始图像，融合该初始图像之前的各初始图像的能量密度矩阵，即比较各个能量密度矩阵，得到每一个区域分别对应的元素的最大值，可以保留各个初始图像中的清晰区域；预先初始化参考密度矩阵到GPU显存中，每融合一个初始图像，即对GPU显存中的参考密度矩阵进行更新，即依次保留各个初始图像中的清晰区域在GPU显存中，可以有效提高图像融合的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。

图1为一个示例中提供的图像处理方法的应用环境示意图；

图2为本申请实施例提供的一种图像处理方法的流程示意图；

图3为本申请一个示例提供的同一场景下不同对焦区域的初始图像；

图4为本申请一个示例提供的获取融合图像的方案的示意图；

图5为本申请一个示例提供的获取初始特征图的方案的示意图；

图6为本申请一个示例提供的确定目标区域的方案的示意图；

图7为本申请一个示例提供的对参考密度矩阵进行更新的方案的示意图；

图8为本申请实施例提供的一种图像处理装置的结构示意图；

图9为本申请实施例所适用的一种电子设备的结构示意图。

具体实施方式

下面结合本申请中的附图描述本申请的实施例。应理解，下面结合附图所阐述的实施方式，是用于解释本申请实施例的技术方案的示例性描述，对本申请实施例的技术方案不构成限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请实施例所使用的术语“包括”以及“包含”是指相应特征可以实现为所呈现的特征、信息、数据、步骤、操作、元件和/或组件，但不排除实现为本技术领域所支持其他特征、信息、数据、步骤、操作、元件、组件和/或它们的组合等。应该理解，当我们称一个元件被“连接”或“耦接”到另一元件时，该一个元件可以直接连接或耦接到另一元件，也可以指该一个元件和另一元件通过中间元件建立连接关系。此外，这里使用的“连接”或 “耦接”可以包括无线连接或无线耦接。这里使用的术语“和/或”指示该术语所限定的项目中的至少一个，例如“A和/或B”可以实现为“A”，或者实现为“B”，或者实现为“A和B”。在描述多个（两个或两个以上）项目时，如果没有明确限定多个项目之间的关系，这多个项目之间可以是指多个项目中的一个、多个或者全部，例如，对于“参数A包括A1、A2、A3”的描述，可以实现为参数A包括A1或A2或A3，还可以实现为参数A包括参数A1、A2、A3这三项中的至少两项。

本申请实施例中，术语“模块”或“单元”是指有预定功能的计算机程序或计算机程序的一部分，并与其他相关部分一起工作以实现预定目标，并且可以通过使用软件、硬件（如处理电路或存储器）或其组合来全部或部分实现。同样的，一个处理器（或多个处理器或存储器）可以用来实现一个或多个模块或单元。此外，每个模块或单元都可以是包含该模块或单元功能的整体模块或单元的一部分。

本申请的图像处理方法可以基于人工智能(Artificial Intelligence, AI)中的机器学习(Machine Learning, ML)来实现。

人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大图像处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、图像处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

语音技术(Speech Technology)的关键技术有自动语音识别技术（ASR）和语音合成技术（TTS）以及声纹识别技术。让计算机能听、能看、能说、能感觉，是未来人机交互的发展方向，其中语音成为未来最被看好的人机交互方式之一。大模型技术为语音技术发展带来变革，WavLM, UniSpeech等沿用Transformer架构的预训练模型具有强大的泛化性、通用性，可以优秀完成各方向的图像处理任务。

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。预训练模型是深度学习的最新发展成果，融合了以上技术。

随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、数字孪生、虚拟人、机器人、人工智能生成内容（AIGC）、对话式交互、智能医疗、智能客服、游戏AI等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。

本申请实施例提供的方案涉及人工智能的图像处理等技术，具体通过如下实施例进行说明。

下面通过对几个可选的实施例的描述，对本申请提供的技术方案以及本申请的技术方案产生的技术效果进行说明。需要指出的是，下述实施方式之间可以相互参考、借鉴或结合，对于不同实施方式中相同的术语、相似的特征以及相似的实施步骤等，不再重复描述。

在本申请的具体实施方式中，涉及到目标对象的初始图像等等任何与对象相关的数据，当本申请实施例运用到具体产品或技术中时，需要获得对象许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。也就是说，本申请实施例中如果涉及到上述任何与对象相关的数据，这些数据需要经由对象授权同意、且符合国家和地区的相关法律法规和标准的情况下获取的。

本申请实施例提供的图像处理方法，可以由任意的计算机设备执行，可选的，可以由服务器执行，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。

图1为本申请实施例提供的图像处理方法的应用环境示意图。其中，应用环境可以包括服务器101和终端102，服务器101中包括图像处理器（graphics processing unit，GPU）。终端102采集的目标对象的多个初始图像，终端102将多个初始图像发送至服务器101，服务器101调用GPU依次对多个初始图像进行特征提取操作，得到至少两个不同层级的目标特征图；基于至少两个不同层级的目标特征图进行图像重建，得到所述多个初始图像的融合图像，服务器101基于融合图像对目标对象进行目标检测。

上述应用场景中，是服务器中包括GPU，终端用于图像采集，在其他应用场景中，也可以是终端中包括GPU，终端自行采集初始图像并通过GPU得到最终的融合图像。

本技术领域技术人员可以理解，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN（ContentDelivery Network，内容分发网络）、以及大数据和人工智能平台等基础云计算服务的云服务器或服务器集群。终端可以是智能手机（如Android手机、iOS手机等）、平板电脑、笔记本电脑、数字广播接收器、MID（Mobile Internet Devices，移动互联网设备）、PDA（个人数字助理）、台式计算机、智能家电、车载终端（例如车载导航终端、车载电脑等）、智能音箱、智能手表等，终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，但并不局限于此。本发明实施例可应用于各种场景，包括但不限于云技术、人工智能、智慧交通、辅助驾驶等。具体也可基于实际应用场景需求确定，在此不作限定。

终端（也可以称为用户终端或用户设备）可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能语音交互设备（例如智能音箱）、可穿戴电子设备（例如智能手表）、车载终端、智能家电（例如智能电视）、AR/VR设备、飞行器等，但并不局限于此。本发明实施例可应用于各种场景，包括但不限于工业质检、云技术、人工智能、智慧交通、辅助驾驶等。

在一些可能的实施方式中，提供了一种图像处理方法，可以由GPU执行。

图2示出了本申请实施例提供的一种图像处理方法的流程示意图，以执行主体为GPU为例，本申请提供的图像处理方法，可以包括如下步骤：

步骤S201，获取目标对象的多个初始图像。

其中，不同的初始图像针对目标对象的聚焦区域不同。

具体的，可以通过图像采集设备，对目标对象在同一场景下多次进行图像采集，每次图像采集的过程中，调节聚焦区域，即每次拍摄的初始图像场景相同，但清晰区域不同。

如图3所示，对于目标对象在同一场景下采集到4张图像，左上角第一张图像中A区域为聚焦区域，右上角第二张图像中B区域为聚焦区域，左下角第三张图像中C区域为聚焦区域，右下角第四张图像中D区域为聚焦区域。

在具体实施过程中，可以是GPU将已采集的初始图像从内存中复制到显存中，然后对显存中的初始图像进行处理。

步骤S202，依次对多个初始图像进行特征提取操作，得到至少两个不同层级的目标特征图。

其中，每一目标特征图融合了各所述初始图像的特征。

对于每一初始图像，特征提取操作包括：

（1）通过调用卷积函数对初始图像进行至少两次下采样，获取初始图像的至少两个不同层级的初始特征图；基于初始图像的能量密度矩阵确定初始图像中的目标区域。

其中，能量密度矩阵中的元素用于表示初始图像中对应像素区域的清晰程度。

也就是说，能量密度矩阵中元素越大，代表元素对应的像素区域越清晰。

具体的，GPU通过调用卷积函数，对初始图像进行至少两次下采样，可以得到不同层级的初始特征图。

在具体实施过程中，下采样实际上可以包括下采样以及计算下采样得到不同层级特征图之间的差异，具体针对下采样的过程，将在下文进行进一步详细阐述。

（2）对于该初始图像每一层级的初始特征图，基于目标区域将初始特征图和上一个初始图像对应层级的目标特征图融合，得到该层级的目标特征图。

其中，第一个初始图像对应的上一个初始图像的初始特征图为预设的特征图。

具体的，对第一个初始图像进行至少两次下采样，得到初始图像的至少两个不同层级的初始特征图；然后将至少两个不同层级的初始特征图与分别对应的预设的特征图进行融合，得到至少两个不同层级的目标特征图。

在具体实施过程中，获取目标对象的初始图像的步骤和对已获取的初始图像进行特征提取操作的步骤可以同步进行，例如，总共需要获取目标对象的6个初始图像，则在获取到2个初始图像后，即可分别对已获取的2个初始图像进行特征提取操作，得到至少两个不同层级的目标特征图，并同时获取第3个初始图像；再在已得到的至少两个不同层级的目标特征图的基础上，继续对第3个初始图像进行特征提取操作，并同时获取第4个初始图像，如此同步进行可以有效提高图像的特征提取操作的效率。

在本申请实施例中，目标特征图也可以称为特征金字塔。

其中，预设的特征图中各个特征元素可以为0，可以理解成将第一个初始特征图与空白的特征图进行融合。

然后对于第二个初始图像进行至少两次下采样，得到初始图像的至少两个不同层级的初始特征图，将第二个初始图像的初始特征图，分别跟第一个初始图像的处理得到的目标特征图进行融合，得到新的目标特征图，以此类推，直至得到最后一个初始图像对应的不同层级的目标特征图。

也就是说，第一个初始图像与空白的图像进行融合，得到第一个初始图像的不同层级的目标特征图；然后将第二个初始图像的多个层级的初始特征图与目标特征图分别进行融合，即将第二个初始图像与第一个初始图像进行融合，得到第二个初始图像对应的目标特征图；依次类推，不断将新的初始图像依次进行融合，得到最终的融合了所有初始图像的特征的不同层级的目标特征图。

在具体实施过程中，可以预先初始化各个特征元素为0的特征金字塔到GPU显存中，即初始化预设的特征图到GPU显存中，当基于初始化的特征金字塔和第一个初始图像进行融合后，得到第一个初始图像对应的至少两个不同层级的目标特征图，基于至少两个不同层级的目标特征图对GPU显存中的特征金字塔进行更新；依次类推，每融合一个初始图像，即对GPU显存中的特征金字塔进行更新，相当于之前已经融合的初始图像的信息已经全部保存在GPU显存中，不需要再重新进行计算，可以有效减少计算量，提高图像融合的效率。

步骤S203，基于最后一个初始图像的至少两个不同层级的目标特征图进行图像重建，得到多个初始图像的融合图像。

具体的，对于至少两个不同层级的目标特征图进行图像重建，实际上是针对不同层级的目标特征图进行上采样，即对于尺寸最小的目标特征图，进行上采样之后，得到与上一层级的尺寸相同的上采样特征图，将上采样特征图与上一个层级的目标特征图进行融合，得到上一层级的融合特征图；再将上一层级的融合特征图作为新的目标特征图进行上采样，以此类推。

如图4所示，在一个实施例中，包括多个目标特征图A1到A3，对于图像A1进行上采样，长宽增加两倍，得到B1，然后B1与A2进行融合后进行上采样，长宽增加两倍，得到B2，然后B2与A3进行融合，得到最终的融合图像。

上述实施例中，通过调用GPU依次对多个初始图像进行特征提取操作，得到至少两个不同层级的目标特征图，并基于至少两个不同层级的目标特征图进行图像重建，得到多个初始图像的融合图像，可以通过GPU实现多个初始图像中的清晰区域的融合，相对于CPU的多聚焦融合操作，可以有效降低图像处理耗时，提升融合速度。

以下将结合实施例阐述生成卷积函数的具体过程。

在一些可能的实施方式中，卷积函数是基于如下方式生成的：

（1）基于指定卷积核尺寸确定高斯模糊参数。

其中，高斯模糊参数可以包括高斯分布的标准差。

在具体实施过程中，可以基于如下公式计算：

（1）

其中，表示高斯分布的标准差，即高斯模糊参数；/>表示指定卷积核尺寸。

（2）基于指定卷积核尺寸和高斯模糊参数生成符合高斯分布、且矩阵大小与指定卷积核尺寸相同的矩阵。

在具体实施过程中，可以先对x方向进行高斯模糊。

具体的，矩阵可以为一个高斯分布的1维张量gauss，长度为kernel_size，基于如下公式给张量的每一个元素赋值：

（2）

其中，表示一维张量中第x个元素的值；/>（）表示一种tensor处理函数；Tensor函数是一种多元函数，Tensor函数的输入和输出可以是任意维度的张量；（）表示一种 PyTorch函数；PyTorch为一种开源的机器学习库；//表示整除。

对上述公式得到的高斯向量进行归一化，生成一个大小为kernel_size的GPU矩阵，里面的值满足以矩阵中心为中心的高斯分布。

具体的，可以参考如下公式进行归一化：

（3）

其中，表示归一化之后得到的矩阵；/>归一化之前的张量；表示/>中各元素之和。

（3）以所生成的矩阵作为卷积核参数，得到卷积函数。

具体的，可以通过如下方式生成卷积函数：

（4）

其中，表示初始图像；/>表示一种PyTorch的卷积函数；表示归一化之后得到的矩阵。

上述实施例中，通过基于指定卷积核尺寸确定高斯模糊参数，再基于指定卷积核尺寸和高斯模糊参数生成符合高斯分布、且矩阵大小与指定卷积核尺寸相同的矩阵，以所生成的矩阵作为卷积核参数，得到卷积函数，使得GPU能够调用该卷积函数，实现对初始图像进行下采样。

上述实施例阐述了生成卷积的具体过程，以下将结合实施例进一步阐述高斯模糊处理的具体过程。

在一些可能的实施方式中，通过调用卷积函数对所述初始图像进行至少两次下采样，获取所述初始图像的至少两个不同层级的初始特征图，包括：

（1）对于每一次下采样，基于卷积函数对第一待处理图像进行卷积处理，得到第一图像特征；删除第一图像特征中指定的像素行和像素列，得到第二图像特征。

其中，第一次下采样对应的第一待处理图像为初始图像，除第一次之外的下采样对应的第一待处理图像为上一次下采样得到的第二图像特征。

具体的，可以删除第一图像特征中的奇数像素行和奇数像素列，或者删除第一图像特征中的偶数像素行和偶数像素列，即可将图像的长宽都缩小一倍，得到第二图像特征。

在具体实施过程中，对初始图像进行卷积处理，即进行高斯模糊，得到第一图像特征；然后删除第一图像特征中的奇数像素行和奇数像素列，或者删除第一图像特征中的偶数像素行和偶数像素列，得到第二图像特征；然后将第二图像特征作为新的初始图像，重复进行x方向和y方向上的高斯模糊，得到第一图像特征的过程。

在一个示例中，可以结合公式（2）-（4），生成对应的卷积函数g1（），卷积函数g1（）的卷积核尺寸可以设为5，可以对初始图像进行5次g1（）高斯模糊，每经过一次高斯卷积后，抛弃奇数行和奇数列，这样每一次高斯模糊之后图像长宽缩小一倍，加上初始图像共得到6张图片，相当于于下采样了5次，GPU通过调用卷积函数g1（），实现了下采样，从而有效提高图像处理的效率。（2）基于第二图像特征与第二待处理图像之间的差异信息，得到第三图像特征。

其中，第一次下采样得到的第二特征图对应的第二待处理图像为初始图像；除第一次之外的下采样对应的第二待处理图像为上一次下采样得到的第二图像特征。

在具体实施过程中，确定初始图像和第一下采样得到的第二图像特征之间的差异信息，得到第一个第三图像特征；然后计算第一次下采样得到的第二图像特征和第二次下采样得到的第二图像特征之间的差异信息，得到第二个第三图像特征，以此类推。

其中，至少两个不同层级的初始特征图包括每一次下采样得到的第三图像特征和最后一次下采样得到的第二图像特征。

具体的，第二图像特征与第二待处理图像尺寸不同，因此，需要将第二图像特征与第二待处理图像进行尺寸统一，然后确定第三图像特征。

在具体实施过程中，基于第二图像特征与待比对图像之间的差异信息，得到第三图像特征，包括：

将第二图像特征尺寸恢复至待比对图像的相同尺寸；

将待比对图像减去恢复尺寸后的第二图像特征，得到第三图像特征。

以下将结合示例对上述特征提取操作的具体过程进行详细阐述。

如图5所示，在一个示例中，对于每一初始图像，每一次特征提取操作的过程，可以包括如下步骤：

对于初始图像，基于卷积函数对第一待处理图像进行卷积处理，得到第一图像特征；即进行高斯模糊，得到第一图像特征；删除第一图像特征中指定的像素行和像素列，得到第二图像特征，这个过程可以称为下采样过程；卷积函数的卷积核尺寸可以为5；

将第二图像特征作为新的初始图像，再继续上述下采样过程重复2次，即共进行3次下采样过程，得到3个不同层级的第二图像特征，依次为C1-C3；

对于第一个第二图像特征，将第二图像特征尺寸恢复至初始图像的尺寸，计算初始图像和恢复尺寸后的第二图像特征之间的差异信息，得到第三图像特征；

对于第二个以及之后的第二图像特征，分别计算相邻两个层级的第二图像特征之间的差异，以此类推，得到3个第三图像特征；

将最小尺寸的第二图像特征和3个第三图像特征，均作为目标特征图。

在一些可能的实施方式中，卷积函数包括水平方向对应的第一卷积函数和垂直方向对应的第二卷积函数；基于卷积函数对待处理图像进行卷积处理，得到第一图像特征，可以包括：

调用第一卷积函数对待处理图像进行水平方向的卷积处理，得到第四图像特征；

调用第二卷积函数对第四图像特征进行垂直方向的卷积处理，得到第一图像特征。

具体的，可以先对待处理图像进行x方向的高斯模糊，再进行y方向的高斯模糊；也可以先对待处理图像进行y方向的高斯模糊，再进行x方向的高斯模糊。

在具体实施过程中，图像是二维的，因此需要二维的高斯分布，将二维高斯模糊，拆成了两个一维高斯的卷积操作，即先在水平做卷积，再在垂直做卷积，使得GPU能够实现二维高斯模糊，从而提高图像处理效率。

在一些可能的实施方式中，对于每一初始图像，能量密度矩阵是基于如下方式确定的：

由GPU调用第三卷积函数对初始图像最后一次下采样得到的初始特征图进行卷积处理，得到能量密度矩阵。

具体的，第三卷积函数的生成方式与上述卷积函数的生成方式相同，在此不再赘述。

在一个示例中，第三卷积函数的卷积核尺寸可以为31。

具体的，可以参考如下公式进行能量密度矩阵的计算：

（5）

其中，表示能量密度矩阵；/>表示最后一次下采样得到的初始特征图中的像素值；g2（）表示第三卷积函数。

类似地，在一个示例中，可以结合公式（2）-（4），生成对应的第三卷积函数g2（），第三卷积函数g2（）的卷积核尺寸可以设为31，可以基于第三卷积函数g2（）对最后一次下采样得到的初始特征图进行卷积运算，下采样次数越多，得到的初始特征图的信息会更加的汇聚，基于最后一次下采样得到的初始特征图所确定的能量密度矩阵，能够更加准确的确定出初始图像中的清晰区域，从而能够将更加精准地将不同初始图像中的清晰区域分别融合，得到融合图像。

在一些可能的实施方式中，基于初始图像的能量密度矩阵确定初始图像中的目标区域，包括：

将能量密度矩阵中的第一元素与参考密度矩阵的对应的第二元素进行对比，将第一元素中大于对应的第二元素的第一目标元素在能量密度矩阵中的区域，作为初始图像的目标区域。

具体的，能量密度矩阵中的元素可以用于表示初始图像中对应像素区域的清晰程度，第一元素中大于对应的第二元素的第一目标元素在能量密度矩阵中的区域，即对应初始图像的清晰区域。

其中，对于第一个初始图像，参考密度矩阵为预设密度矩阵。

具体的，预设密度矩阵中的数值可以全为0，相当于将第一个初始图像与空白图像进行清晰度对比。

其中，对于除第一个初始图像以外的初始图像，参考密度矩阵是通过融合该初始图像之前的各初始图像的能量密度矩阵得到的。

具体的，融合该初始图像之前的各初始图像的能量密度矩阵，即比较各个能量密度矩阵，得到每一个区域分别对应的元素的最大值，也就是保留各个初始图像中的清晰区域。

如图6所示，在一个示例中，能量密度矩阵如图6中所示，参考密度矩阵和能量密度矩阵进行对比，即可得到图中601区域对应得到各个元素为第一目标元素，即对应初始图像中的目标区域。

在具体实施过程中，可以采用如下公式确定目标区域：

（6）

其中，表示目标区域；/>表示能量密度矩阵；/>表示参考密度矩阵。

在一些可能的实施方式中，还包括：

采用第一目标元素，替换参考密度矩阵中对应区域的第二元素，得到更新后的参考密度矩阵；

将更新后的参考密度矩阵作为下一个初始图像对应的参考密度矩阵。

其中，第一目标元素为能量密度矩阵的第一元素中，大于参考密度矩阵的对应的第二元素的元素，也就是说，融合参考密度矩阵和能量密度矩阵中更大的元素，进一步的即可融合不同的初始图像中的清晰区域。

在具体实施过程中，每次更新参考密度矩阵后，即将参考密度矩阵更新到GPU显存中，当需要使用时，即从GPU显存中获取参考密度矩阵。

如图7所示，图6中的能量密度矩阵和参考密度矩阵进行对比，确定目标区域601后，保留能量密度矩阵中的601区域，其他部分即保留参考密度矩阵中的区域，从而融合能量密度矩阵和参考密度矩阵中更大的元素，即融合各个初始图像中的清晰区域，得到更新后的参考密度矩阵。

上述实施例中，通过预先初始化参考密度矩阵到GPU显存中，当基于参考密度矩阵将第一个初始图像和预设的特征图进行融合后，基于第一个初始图像对应的能量密度矩阵对GPU显存中的参考密度矩阵进行更新，可以保留第一个初始图像中的清晰区域；以此类推，每融合一个初始图像，即对GPU显存中的参考密度矩阵进行更新，即依次保留各个初始图像中的清晰区域在GPU显存中，可以有效提高图像融合的效率。

在一些可能的实施方式中，对于该初始图像每一层级的初始特征图，基于目标区域将初始特征图和上一个初始图像对应层级的目标特征图融合，得到该层级的目标特征图，包括：

对于该初始图像每一层级的初始特征图，确定初始特征图中与目标区域对应的第一特征元素；

采用第一特征元素替换上一个初始图像对应层级的目标特征图中对应的第二特征元素，得到该层级的目标特征图。

具体的，采用第一特征元素替换上一个初始图像对应层级的目标特征图中对应的第二特征元素，即用当前的初始图像中的清晰区域，替换掉上一个目标特征图中的对应区域，则最终得到的最后一个初始图像的目标特征图，即融合了各个初始图像中分别对应的清晰区域。

具体的，每次得到最新的初始图像的各个层级的目标特征图，即将各个层级的目标特征图更新到GPU显存中，当对下一个初始图像进行处理时，即从GPU显存中获取目标特征图，与下一个初始图像的初始特征图进行融合，得到新的目标特征图，然后重复更新至GPU显存中。

在具体实施过程中，对于每一个初始图像的每一个层级，可以采用如下公式计算该层级的目标特征图：

（7）

式中，表示当前的初始图像的第n层的目标特征图；/>表示当前的初始图像的第n层的初始特征图；/>表示上一个初始图像的第n层的目标特征图。

例如，共3个初始图像，每一个初始图像对应4个层级的目标特征图，第一个初始图像得到4个层级的初始特征图之后，对于每一个层级，都将初始特征图中的清晰区域替换掉预设特征图中的对应区域，即替换掉空白特征图中的对应区域，也就是得到4个层级的目标特征图；对于第二个初始图像的每一个层级的初始特征图，将第二个初始图像的初始特征图中的清晰区域，替换掉第一个初始图像的目标特征图的对应区域，得到第二个初始图像对应层级的目标特征图，以此类推，得到第三个初始图像的目标特征图，第三个初始图像的目标特征图即融合了所有初始图像中的清晰区域。

在一个示例中，本申请的图像处理方法应用在nvidia（英伟达）的4090显卡上，相较于目前采用CPU进行图像处理，本申请可以把融合耗时降低至原来的15%，速度提升6-7倍。

上述的图像处理方法，通过调用GPU依次对多个初始图像进行特征提取操作，得到至少两个不同层级的目标特征图，每一目标特征图融合了各所述初始图像的特征，并基于至少两个不同层级的目标特征图进行图像重建，得到多个初始图像的融合图像，可以通过GPU实现多个初始图像中的清晰区域的融合，相对于CPU的多聚焦融合操作，可以有效降低图像处理耗时，提升融合速度。

此外，通过基于指定卷积核尺寸确定高斯模糊参数，再基于指定卷积核尺寸和高斯模糊参数生成符合高斯分布、且矩阵大小与指定卷积核尺寸相同的矩阵，以所生成的矩阵作为卷积核参数，得到卷积函数，使得GPU能够调用该卷积函数，实现对初始图像进行下采样，从而提高图像处理效率。

进一步的，初始化特征金字塔到GPU显存中，每融合一个初始图像，即对GPU显存中的特征金字塔进行更新，相当于之前已经融合的初始图像的信息已经全部保存在GPU显存中，不需要再重新进行计算，可以有效减少计算量，提高图像融合的效率。

进一步的，下采样次数越多，得到的初始特征图的信息会更加的汇聚，基于最后一次下采样得到的初始特征图所确定的能量密度矩阵，能够更加准确的确定出初始图像中的清晰区域，从而能够将更加精准地将不同初始图像中的清晰区域分别融合，得到融合图像。

进一步的，对于每一个初始图像，融合该初始图像之前的各初始图像的能量密度矩阵，即比较各个能量密度矩阵，得到每一个区域分别对应的元素的最大值，可以保留各个初始图像中的清晰区域；预先初始化参考密度矩阵到GPU显存中，每融合一个初始图像，即对GPU显存中的参考密度矩阵进行更新，即依次保留各个初始图像中的清晰区域在GPU显存中，可以有效提高图像融合的效率。

进一步的，采用第一特征元素替换上一个初始图像对应层级的目标特征图中对应的第二特征元素，即用当前的初始图像中的清晰区域，替换掉上一个目标特征图中的对应区域，则最终得到的最后一个初始图像的目标特征图，即融合了各个初始图像中分别对应的清晰区域。

如图8所示，在一些可能的实施方式中，提供了一种图像处理装置，包括：

获取模块801，用于获取目标对象在同一场景下的多个初始图像；不同的初始图像针对目标对象的聚焦区域不同；

特征提取模块802，用于调用图形处理器GPU依次对多个初始图像进行特征提取操作，得到最后一个初始图像的至少两个不同层级的目标特征图；

图像重建模块803，用于基于最后一个初始图像的至少两个不同层级的目标特征图进行图像重建，得到多个初始图像的融合图像；

其中，对于每一初始图像，特征提取操作包括：

由GPU通过调用卷积函数对初始图像进行至少两次下采样，得到初始图像的至少两个不同层级的初始特征图；基于初始图像的能量密度矩阵确定初始图像中的目标区域；能量密度矩阵中的元素用于表示初始图像中对应像素区域的清晰程度；

对于该初始图像每一层级的初始特征图，基于目标区域将初始特征图和上一个初始图像对应层级的目标特征图融合，得到该层级的目标特征图；其中，第一个初始图像对应的上一个初始图像的初始特征图为预设的特征图。

在一些可能的实施方式中，还包括生成模块，用于：

基于指定卷积核尺寸确定高斯模糊参数；

基于指定卷积核尺寸和高斯模糊参数生成符合高斯分布、且矩阵大小与指定卷积核尺寸相同的矩阵；

以所生成的矩阵作为卷积核参数，得到卷积函数。

在一些可能的实施方式中，特征提取模块802在执行每一次下采样的过程时，具体用于：

基于卷积函数对待处理图像进行卷积处理，得到第一图像特征；其中，第一次下采样对应的待处理图像为初始图像，除第一次之外的下采样对应的待处理图像为上一次下采样得到的第二图像特征；

删除第一图像特征中指定的像素行和像素列，得到第二图像特征；

基于第二图像特征与上一次下采样得到的第二图像特征之间的差异信息，得到第三图像特征；至少两个不同层级的初始特征图包括每一次下采样得到的第三图像特征和最后一次下采样得到的第二图像特征。

在一些可能的实施方式中，特征提取模块802在基于第二图像特征与上一次下采样得到的第二图像特征之间的差异信息，得到第三图像特征时，具体用于：

将第二图像特征尺寸恢复至与上一次下采样得到的第二图像特征相同尺寸；

将上一次下采样得到的第二图像特征减去恢复尺寸后的第二图像特征，得到第三图像特征。

在一些可能的实施方式中，卷积函数包括水平方向对应的第一卷积函数和垂直方向对应的第二卷积函数；特征提取模块802基于卷积函数对待处理图像进行卷积处理，得到第一图像特征时，具体用于：

调用第一卷积函数对待处理图像进行水平方向的卷积处理，得到第四图像特征；

调用第二卷积函数对第四图像特征进行垂直方向的卷积处理，得到第一图像特征。

在一些可能的实施方式中，对于每一初始图像，能量密度矩阵是基于如下方式确定的：

由GPU调用第三卷积函数对初始图像最后一次下采样得到的初始特征图进行卷积处理，得到能量密度矩阵。

在一些可能的实施方式中，特征提取模块802在基于初始图像的能量密度矩阵确定初始图像中的目标区域时，具体用于：

将能量密度矩阵中的第一元素与参考密度矩阵的对应的第二元素进行对比，将第一元素中大于对应的第二元素的第一目标元素在能量密度矩阵中的区域，作为初始图像的目标区域；

其中，对于第一个初始图像，参考密度矩阵为预设密度矩阵；对于除第一个初始图像以外的初始图像，参考密度矩阵是通过融合该初始图像之前的各初始图像的能量密度矩阵得到的。

在一些可能的实施方式中，还包括更新模块，用于：

采用第一目标元素，替换参考密度矩阵中对应区域的第二元素，得到更新后的参考密度矩阵；

将更新后的参考密度矩阵作为下一个初始图像对应的参考密度矩阵。

在一些可能的实施方式中，特征提取模块802在对于该初始图像每一层级的初始特征图，基于目标区域将初始特征图和上一个初始图像对应层级的目标特征图融合，得到该层级的目标特征图时，用于：

对于该初始图像每一层级的初始特征图，确定初始特征图中与目标区域对应的第一特征元素；

采用第一特征元素替换上一个初始图像对应层级的目标特征图中对应的第二特征元素，得到该层级的目标特征图。

上述的图像处理装置，通过调用GPU依次对多个初始图像进行特征提取操作，得到至少两个不同层级的目标特征图，每一目标特征图融合了各所述初始图像的特征，并基于至少两个不同层级的目标特征图进行图像重建，得到多个初始图像的融合图像，可以通过GPU实现多个初始图像中的清晰区域的融合，相对于CPU的多聚焦融合操作，可以有效降低图像处理耗时，提升融合速度。

此外，通过基于指定卷积核尺寸确定高斯模糊参数，再基于指定卷积核尺寸和高斯模糊参数生成符合高斯分布、且矩阵大小与指定卷积核尺寸相同的矩阵，以所生成的矩阵作为卷积核参数，得到卷积函数，使得GPU能够调用该卷积函数，实现对初始图像进行下采样，从而提高图像处理效率。

进一步的，初始化特征金字塔到GPU显存中，每融合一个初始图像，即对GPU显存中的特征金字塔进行更新，相当于之前已经融合的初始图像的信息已经全部保存在GPU显存中，不需要再重新进行计算，可以有效减少计算量，提高图像融合的效率。

进一步的，下采样次数越多，得到的初始特征图的信息会更加的汇聚，基于最后一次下采样得到的初始特征图所确定的能量密度矩阵，能够更加准确的确定出初始图像中的清晰区域，从而能够将更加精准地将不同初始图像中的清晰区域分别融合，得到融合图像。

进一步的，对于每一个初始图像，融合该初始图像之前的各初始图像的能量密度矩阵，即比较各个能量密度矩阵，得到每一个区域分别对应的元素的最大值，可以保留各个初始图像中的清晰区域；预先初始化参考密度矩阵到GPU显存中，每融合一个初始图像，即对GPU显存中的参考密度矩阵进行更新，即依次保留各个初始图像中的清晰区域在GPU显存中，可以有效提高图像融合的效率。

本申请实施例的装置可执行本申请实施例所提供的方法，其实现原理相类似，本申请各实施例的装置中的各模块所执行的动作是与本申请各实施例的方法中的步骤相对应的，对于装置的各模块的详细功能描述具体可以参见前文中所示的对应方法中的描述，此处不再赘述。

本申请实施例中提供了一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，该处理器执行存储器中存储的计算机程序时可实现本申请任一可选实施例中的方法。

图9示出了本发明实施例所适用的一种电子设备的结构示意图，如图9所示，该电子设备可以为服务器或者用户终端，该电子设备可以用于实施本发明任一实施例中提供的方法。

如图9中所示，该电子设备900主要可以包括至少一个处理器901（图9中示出了一个）、存储器902、通信模块903和输入/输出接口904等组件，可选的，各组件之间可以通过总线905实现连接通信。需要说明的是，图9中示出的该电子设备900的结构只是示意性的，并不构成对本申请实施例提供的方法所适用的电子设备的限定。

其中，存储器902可以用于存储操作系统和应用程序等，应用程序可以包括在被处理器901调用时实现本发明实施例所示方法的计算机程序，还可以包括用于实现其他功能或服务的程序。存储器902可以是ROM（Read Only Memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，RAM（Random Access Memory，随机存取存储器）或者可存储信息和计算机程序的其他类型的动态存储设备，也可以是EEPROM（ElectricallyErasable Programmable Read Only Memory，电可擦可编程只读存储器）、CD-ROM（CompactDisc Read Only Memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

处理器901通过总线905与存储器902连接，通过调用存储器902中所存储的应用程序实现相应的功能。其中，处理器901可以是CPU（Central Processing Unit，中央处理器），通用处理器，DSP（Digital Signal Processor，数据信号处理器），ASIC（ApplicationSpecific Integrated Circuit，专用集成电路），FPGA（Field Programmable Gate Array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合，其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器901也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

电子设备900可以通过通信模块903（可以包括但不限于网络接口等组件）连接到网络，以通过网络与其它设备（如用户终端或服务器等）的通信，实现数据的交互，如向其他设备发送数据或从其他设备接收数据。其中，通信模块903可以包括有线网络接口和/或无线网络接口等，即通信模块可以包括有线通信模块或无线通信模块中的至少一项。

电子设备900可以通过输入/输出接口904可以连接所需要的输入/输出设备，如键盘、显示设备等，电子设备900自身可以具有显示设备，还可以通过接口904外接其他显示设备。可选的，通过该接口904还可以连接存储装置，如硬盘等，以可以将电子设备900中的数据存储到存储装置中，或者读取存储装置中的数据，还可以将存储装置中的数据存储到存储器902中。可以理解的，输入/输出接口904可以是有线接口，也可以是无线接口。根据实际应用场景的不同，与输入/输出接口904连接的设备，可以是电子设备900的组成部分，也可以是在需要时与电子设备900连接的外接设备。

用于连接各组件的总线905可以包括一通路，在上述组件之间传送信息。总线905可以是PCI（Peripheral Component Interconnect，外设部件互连标准）总线或EISA（Extended Industry Standard Architecture，扩展工业标准结构）总线等。根据功能的不同，总线905可以分为地址总线、数据总线、控制总线等。

可选的，对于本发明实施例所提供的方案而言，存储器902可以用于存储执行本发明方案的计算机程序，并由处理器901来运行，处理器901运行该计算机程序时实现本发明实施例提供的方法或装置的动作。

基于与本申请实施例提供的方法相同的原理，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现前述方法实施例的相应内容。

本申请实施例还提供了一种计算机程序产品，该产品包括计算机程序，该计算机程序被处理器执行时可实现前述方法实施例的相应内容。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”、“1”、“2”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除图示或文字描述以外的顺序实施。

应该理解的是，虽然本申请实施例的流程图中通过箭头指示各个操作步骤，但是这些步骤的实施顺序并不受限于箭头所指示的顺序。除非本文中有明确的说明，否则在本申请实施例的一些实施场景中，各流程图中的实施步骤可以按照需求以其他的顺序执行。此外，各流程图中的部分或全部步骤基于实际的实施场景，可以包括多个子步骤或者多个阶段。这些子步骤或者阶段中的部分或全部可以在同一时刻被执行，这些子步骤或者阶段中的每个子步骤或者阶段也可以分别在不同的时刻被执行。在执行时刻不同的场景下，这些子步骤或者阶段的执行顺序可以根据需求灵活配置，本申请实施例对此不限制。

以上所述仅是本申请部分实施场景的可选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请的方案技术构思的前提下，采用基于本申请技术思想的其他类似实施手段，同样属于本申请实施例的保护范畴。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法由图形处理器GPU执行，且包括：

获取目标对象的多个初始图像；不同的初始图像针对目标对象的聚焦区域不同；

依次对多个初始图像进行特征提取操作；对于第一个初始图像，对所述初始图像进行特征提取操作，对初始化特征图进行更新，得到第一个初始图像对应的至少两个不同层级的目标特征图，将所得到的至少两个不同层级的目标特征图保存在GPU显存中；对于除第一个初始图像以外的每一初始图像，对所述初始图像进行特征提取操作，对GPU显存中已保存的至少两个不同层级的目标特征图进行更新，直至得到最后一个初始图像对应的至少两个不同层级的目标特征图；最后一个初始图像对应的每一目标特征图融合了各所述初始图像的特征；

基于至少两个不同层级的目标特征图进行图像重构重建，得到所述多个初始图像的融合图像；

其中，对于每一初始图像，所述特征提取操作包括：

通过调用卷积函数对所述初始图像进行至少两次下采样，得到每一次下采样对应的第二图像特征；基于所述第二图像特征与待处理图像之间的差异信息，得到第三图像特征；其中，第一次下采样对应的待处理图像为所述初始图像；除第一次之外的下采样对应的待处理图像为上一次下采样得到的第二图像特征；将每一次下采样得到的第三图像特征和最后一次下采样得到的第二图像特征作为所述初始图像的至少两个不同层级的初始特征图；基于所述初始图像的能量密度矩阵确定所述初始图像中的目标区域；所述能量密度矩阵中的元素用于表示初始图像中对应像素区域的清晰程度；

对于该初始图像每一层级的初始特征图，基于所述目标区域将所述初始特征图和上一个初始图像对应层级的目标特征图融合，得到该层级的目标特征图。

2.根据权利要求1所述的方法，其特征在于，所述卷积函数是基于如下方式生成的：

基于指定卷积核尺寸确定高斯模糊参数；

基于所述指定卷积核尺寸和所述高斯模糊参数生成符合高斯分布、且矩阵大小与所述指定卷积核尺寸相同的矩阵；

以所生成的矩阵作为卷积核参数，得到所述卷积函数。

3.根据权利要求1所述的方法，其特征在于，所述通过调用卷积函数对所述初始图像进行至少两次下采样，得到每一次下采样对应的第二图像特征，包括：

对于每一次下采样，基于所述卷积函数对所述待处理图像进行卷积处理，得到第一图像特征；

删除所述第一图像特征中指定的像素行和像素列，得到所述第二图像特征。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第二图像特征与待处理图像之间的差异信息，得到第三图像特征，包括：

将所述第二图像特征尺寸恢复至待处理图像的相同尺寸；

将所述待处理图像减去恢复尺寸后的第二图像特征，得到所述第三图像特征。

5.根据权利要求3所述的方法，其特征在于，所述卷积函数包括水平方向对应的第一卷积函数和垂直方向对应的第二卷积函数；所述基于所述卷积函数对待处理图像进行卷积处理，得到第一图像特征，包括：

调用第一卷积函数对所述待处理图像进行水平方向的卷积处理，得到第四图像特征；

调用第二卷积函数对所述第四图像特征进行垂直方向的卷积处理，得到所述第一图像特征。

6.根据权利要求1所述的方法，其特征在于，对于每一初始图像，所述能量密度矩阵是基于如下方式确定的：

由GPU调用第三卷积函数对所述初始图像最后一次下采样得到的初始特征图进行卷积处理，得到所述能量密度矩阵。

7.根据权利要求1所述的方法，其特征在于，所述基于所述初始图像的能量密度矩阵确定所述初始图像中的目标区域，包括：

将所述能量密度矩阵中的第一元素与参考密度矩阵的对应的第二元素进行对比，将第一元素中大于对应的第二元素的第一目标元素在所述能量密度矩阵中的区域，作为所述初始图像的目标区域；

其中，对于第一个初始图像，所述参考密度矩阵为预设密度矩阵；对于除第一个初始图像以外的初始图像，所述参考密度矩阵是通过融合该初始图像之前的各初始图像的能量密度矩阵得到的。

8.根据权利要求7所述的方法，其特征在于，还包括：

采用所述第一目标元素，替换所述参考密度矩阵中对应区域的第二元素，得到更新后的参考密度矩阵；

将更新后的参考密度矩阵作为下一个初始图像对应的参考密度矩阵。

9.根据权利要求1所述的方法，其特征在于，所述对于该初始图像每一层级的初始特征图，基于所述目标区域将所述初始特征图和上一个初始图像对应层级的目标特征图融合，得到该层级的目标特征图，包括：

对于该初始图像每一层级的初始特征图，确定所述初始特征图中与所述目标区域对应的第一特征元素；

采用所述第一特征元素替换上一个初始图像对应层级的目标特征图中对应的第二特征元素，得到该层级的目标特征图。

10.一种图像处理装置，其特征在于，所述装置包括：

获取模块，用于获取目标对象的多个初始图像；不同的初始图像针对目标对象的聚焦区域不同；

特征提取模块，用于依次对多个初始图像进行特征提取操作；对于第一个初始图像，对所述初始图像进行特征提取操作，对初始化特征图进行更新，得到第一个初始图像对应的至少两个不同层级的目标特征图，将所得到的至少两个不同层级的目标特征图保存在GPU显存中；对于除第一个初始图像以外的每一初始图像，对所述初始图像进行特征提取操作，对GPU显存中已保存的至少两个不同层级的目标特征图进行更新，直至得到最后一个初始图像对应的至少两个不同层级的目标特征图；最后一个初始图像对应的每一目标特征图融合了各所述初始图像的特征；

图像重建模块，用于基于最后一个初始图像的至少两个不同层级的目标特征图进行图像重建，得到所述多个初始图像的融合图像；

其中，对于每一初始图像，所述特征提取操作包括：

通过调用卷积函数对所述初始图像进行至少两次下采样，得到每一次下采样对应的第二图像特征；基于所述第二图像特征与待处理图像之间的差异信息，得到第三图像特征；其中，第一次下采样对应的待处理图像为所述初始图像；除第一次之外的下采样对应的待处理图像为上一次下采样得到的第二图像特征；将每一次下采样得到的第三图像特征和最后一次下采样得到的第二图像特征作为所述初始图像的至少两个不同层级的初始特征图；基于所述初始图像的能量密度矩阵确定所述初始图像中的目标区域；所述能量密度矩阵中的元素用于表示初始图像中对应像素区域的清晰程度；

对于该初始图像每一层级的初始特征图，基于所述目标区域将所述初始特征图和上一个初始图像对应层级的目标特征图融合，得到该层级的目标特征图。

11.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序以实现权利要求1至9中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法。