CN111488887B - 基于人工智能的图像处理方法、装置 - Google Patents

Abstract

本发明公开了一种基于人工智能的图像处理方法、装置。其中，该方法包括：采用获取待处理的第一图片的第一特征信息，对第一特征信息进行采样，得到记录有第一图片的全局信息的第一卷积核，使用第一卷积核与第一标准卷积核进行卷积，得到目标神经网络模型中的第一动态卷积核；将第一特征信息与第一动态卷积核进行卷积，得到第一图片的第一特征集合。本发明解决了卷积神经网络的图像特征提取方式过于单一，对于图像的全局信息不够敏感的技术问题。

Description

基于人工智能的图像处理方法、装置

技术领域

本发明涉及计算机领域，具体而言，涉及一种基于人工智能的图像处理方法、装置、存储介质以及电子装置。

背景技术

目前的图像处理相关技术中，卷积神经网络作为较好的特征提取器，已经在很多基础的视觉任务上获得了成功，如图像分类、图像分割、物体检测、物体定位、物体识别等。传统的卷积过程是利用多个参数可更新的(可学习的)卷积核来提取输入信息的深层特征。然而这种传统的卷积方式在进行特征提取时，通过固定的卷积核进行卷积，提取的特征信息会较为片面，不能很好的捕获输入图片的全局信息，仅仅基于输入信息的局部信息进行卷积，例如，在一张图片中，仅仅能够通过卷积神经网络识别图像中的特定目标对象，但对于特定目标对象所处的环境以及特定目标对象的行为难以基于输入图片进行进一步识别，存在相关技术中卷积神经网络的特征提取方式较为单一的技术问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种基于人工智能的图像处理方法、装置、存储介质以及电子装置，以至少解决卷积神经网络的图像特征提取方式过于单一，对于图像的全局信息不够敏感的技术问题。

根据本发明实施例的一个方面，提供了一种基于人工智能的图像处理方法，包括：获取待处理的第一图片的第一特征信息，其中，所述第一特征信息用于表示所述第一图片；对所述第一特征信息进行采样，得到第一卷积核，所述第一卷积核记录有所述第一图片的全局信息；使用所述第一卷积核与第一标准卷积核进行卷积，得到目标神经网络模型中的第一动态卷积核；将所述第一特征信息与所述第一动态卷积核进行卷积，得到所述第一图片的第一特征集合。

可选地，所述对所述第一特征信息进行采样，得到第一卷积核，包括：对所述第一特征信息W×H×C进行全局平均下采样，得到1×1×C的第一向量，其中，W用于表示所述第一特征信息的宽度，H用于表示所述第一特征信息的长度，C用于表示所述第一特征信息的通道数；对所述第一向量进行上采样，得到k×k×C的所述第一卷积核，其中，所述k为预设的卷积核大小。

可选地，在将所述第一特征信息与所述第一动态卷积核进行卷积，得到动态更新后的所述第一图片的第一特征集合之后，所述方法还包括：将所述第一标准卷积核进行更新，得到第二标准卷积核。

可选地，所述将所述第一标准卷积核进行更新，得到第二标准卷积核，包括：将所述第一特征信息和所述第一图片的第一特征集合输入损失函数模型，得到目标损失函数值；基于所述目标损失函数值通过反向传播的方式更新所述第一标准卷积核，得到所述第二标准卷积核。

可选地，在将所述第一标准卷积核进行更新，得到第二标准卷积核之后，所述方法还包括：获取待处理的第二图片的第二特征信息，其中，所述第二特征信息用于表示所述第二图片；对所述第二特征信息进行采样，得到第二卷积核，所述第二卷积核记录有所述第二图片的全局信息；使用所述第二卷积核与所述第二标准卷积核进行卷积，得到第二动态卷积核；将所述第二特征信息与所述第二动态卷积核进行卷积，得到动态更新后的所述第二图片的第二特征集合。

可选地，在将所述第一全局信息与所述第一动态卷积核进行卷积，得到所述第一图片的特征信息之后，所述方法还包括：将所述第一特征信息与所述第一图片的第一特征集合相加，得到第一输出结果，其中，所述第一输出结果用于识别所述第一图片中的目标对象。

可选地，在将所述与所述第一图片的特征信息与所述第一图片的所述第一全局信息相加，得到第一输出结果之后，所述方法还包括以下至少之一：根据所述第一输出结果确定所述第一图片中的所述目标对象的动作信息；根据所述第一输出结果确定所述第一图片中的所述目标对象所处的环境信息；根据所述第一输出结果确定所述第一图片中的所述目标对象。

可选地，将所述第一全局信息与所述第一动态卷积核进行卷积，得到所述第一图片的特征信息之后，所述方法还包括以下至少之一：根据所述第一图片的特征信息确定所述第一图片中的所述目标对象的动作信息；根据所述第一图片的特征信息确定所述第一图片中的所述目标对象所处的环境信息；根据所述第一图片的特征信息确定所述第一图片中的所述目标对象。

根据本发明实施例的另一方面，还提供了一种基于人工智能的图像处理装置，包括：获取模块，用于获取待处理的第一图片的第一特征信息，其中，所述第一特征信息用于表示所述第一图片；采样模块，用于对所述第一特征信息进行采样，得到第一卷积核，所述第一卷积核记录有所述第一图片的全局信息；第一卷积模块，用于使用所述第一卷积核与第一标准卷积核进行卷积，得到目标神经网络模型中的第一动态卷积核；第二卷积模块，用于将所述第一特征信息与所述第一动态卷积核进行卷积，得到所述第一图片的第一特征集合。

可选地，所述采样模块，包括：下采样单元，用于对所述第一特征信息W×H×C进行全局平均下采样，得到1×1×C的第一向量，其中，W用于表示所述第一特征信息的宽度，H用于表示所述第一特征信息的长度，C用于表示所述第一特征信息的通道数；上采样单元，用于对所述第一向量进行上采样，得到k×k×C的所述第一卷积核，其中，所述k为预设的卷积核大小。

可选地，所述装置还用于：在将所述第一特征信息与所述第一动态卷积核进行卷积，得到所述第一图片的第一特征集合之后，将所述第一标准卷积核进行更新，得到第二标准卷积核。

可选地，所述装置用于通过如下方式将所述第一标准卷积核进行更新，得到第二标准卷积核：将所述第一特征信息和所述第一图片的第一特征集合输入预设损失函数模型，得到目标损失函数值；基于所述目标损失函数值通过反向传播的方式更新所述第一标准卷积核，得到所述第二标准卷积核。

可选地，所述装置还用于：在将所述第一标准卷积核进行更新，得到第二标准卷积核之后，获取待处理的第二图片的第二特征信息，其中，所述第二特征信息用于表示所述第二图片；对于所述第二特征信息进行采样，得到第二卷积核，所述第二卷积核记录有所述第二图片的全局信息；使用所述第二卷积核与所述第二标准卷积核进行卷积，得到第二动态卷积核；将所述第二特征信息与所述第二动态卷积核进行卷积，得到动态更新后的所述第二图片的第二特征集合。

可选地，所述装置还用于：在将所述第一全局信息与所述第一动态卷积核进行卷积，得到所述第一图片的特征信息之后，将所述第一特征信息与所述第一图片的第一特征集合相加，得到第一输出结果，其中，所述第一输出结果用于识别所述第一图片中的目标对象。

可选地，所述装置还用于执行以下至少之一步骤：在将所述与所述第一图片的特征信息与所述第一图片的所述第一全局信息相加，得到第一输出结果之后，根据所述第一输出结果确定所述第一图片中的所述目标对象的动作信息；根据所述第一输出结果确定所述第一图片中的所述目标对象所处的环境信息；根据所述第一输出结果确定所述第一图片中的所述目标对象。

可选地，所述装置还用于执行以下至少之一步骤：将所述第一全局信息与所述第一动态卷积核进行卷积，得到所述第一图片的特征信息之后，根据所述第一图片的特征信息确定所述第一图片中的所述目标对象的动作信息；根据所述第一图片的特征信息确定所述第一图片中的所述目标对象所处的环境信息；根据所述第一图片的特征信息确定所述第一图片中的所述目标对象。

根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述图像处理方式方法。

根据本发明实施例的又一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，上述处理器通过计算机程序执行上述的图像处理方式方法。

在本发明实施例中，采用获取待处理的第一图片的第一特征信息，对第一特征信息进行采样，得到记录有第一图片的全局信息的第一卷积核，使用第一卷积核与第一标准卷积核进行卷积，得到目标神经网络模型中的第一动态卷积核；将第一特征信息与第一动态卷积核进行卷积，得到第一图片的第一特征集合的方式，通过对特征信息进行采样，生成用于进行卷积操作的动态卷积核，替代了现有技术中的标准卷积核，达到了丰富特征提取方式的目的，从而实现了丰富了特征提取的方式，更好的结合了图片局部信息和全局信息的特征的技术效果，进而解决了卷积神经网络的图像特征提取方式过于单一，对于图像的全局信息不够敏感的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种可选的图像处理方式方法的应用环境的示意图；

图2是根据本发明实施例的一种图像处理方法的流程示意图；

图3是根据本发明实施例的另一种图像处理方法的流程示意图；

图4是根据本发明实施例的一种图像处理方法的示意图；

图5是根据本发明实施例的又一种一种图像处理方法的流程示意图；

图6是根据本发明实施例的一种可选的图像处理方式装置的结构示意图；

图7是根据本发明实施例的另一种可选的图像处理方式装置的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

首先，对本申请实施例中涉及的部分名词或者术语进行说明：

卷积：卷积是一种积分运算，通过用一个模板和一幅图像进行卷积，也即，对于图像上的一个点，使得上述模板的原点和该点重合，再将模板上的点和图像上对应的点相乘，各点的积相加，即得到该点的卷积值。通过对图像上的每个点进行相似的处理，可以用于提取图像的特征。

深度学习：深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值(例如一幅图像)可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务(例如，人脸识别或面部表情识别)。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

下面结合实施例对本发明进行说明：

根据本发明实施例的一个方面，提供了一种基于人工智能的方法，可选地，在本实施例中，上述基于人工智能的图像处理方法可以应用于如图1所示的由服务器101和用户终端103所构成的硬件环境中。如图1所示，服务器101通过网络与终端103进行连接，可用于为用户终端或用户终端上安装的客户端提供服务(如应用服务、会议服务、游戏服务等)，可在服务器上或独立于服务器设置数据库105，用于为服务器101提供数据存储服务，上述网络包括但不限于：广域网、城域网或局域网，用户终端103并不限定于PC、手机、平板电脑等，图像处理应用107通过用户终端103进行显示，可通过终端上配置的图像处理应用107的入口使用上述基于人工智能的图像处理服务。

根据本发明实施例的一个方面，提供了一种基于人工智能的图像处理方法，在一个可选的实施例中，作为一种可选的实施方式，上述图像处理方式方法可以但不限于应用于如图1所示的环境中。

根据本发明实施例的一个方面，提供了一种基于人工智能的图像处理方法，包括：

S202，获取待处理的第一图片的第一特征信息，其中，第一特征信息用于表示第一图片；

S204，对第一特征信息进行采样，得到第一卷积核，第一卷积核记录有第一图片的全局信息；

S206，使用第一卷积核与第一标准卷积核进行卷积，得到目标神经网络模型中的第一动态卷积核；

S208，将第一特征信息与第一动态卷积核进行卷积，得到第一图片的第一特征集合。

可选地，在本实施例中，上述第一图片可以包括但不限于通过多种方式获取的图片，例如，通过图像采集设备采集到的图片，视频文件中的截图等。上述第一特征信息可以包括但不限于卷积神经网络将输入的上述第一图片通过卷积操作得到的特征向量，上述第一特征信息可以为将第一图片进行标准化处理后得到的特征信息。

可选地，在本实施例中，上述采样方式可以包括但不限于上采样、下采样等。上述全局信息可以包括但不限于表示上述第一图片的全部特征信息。

可选地，在本实施例中，上述卷积操作可以包括但不限于通过滑动窗口(slidingwindow)的形式进行卷积计算，得到相应的输出结果，例如，上述第一动态卷积核、上述第一图片的第一特征集合等。

可选地，在本实施例中，图3是根据本发明实施例的另一种图像处理方法的示意图，如图3所示，具体包括如下步骤：

S302，获取待处理的图片特征信息(对应于前述的待处理的第一特征信息)；

S304，通过卷积神经网络对上述第一特征信息进行采样，并与上述第一标准卷积核卷积，得到上述第一动态卷积核；

S306，利用上述第一动态卷积核与上述第一特征信息进行卷积，得到当前动态卷积层的输出结果(对应于前述的第一特征集合)。

通过本实施例，采用获取待处理的第一图片的第一特征信息，对第一特征信息进行采样，得到记录有第一图片的全局信息的第一卷积核，使用第一卷积核与第一标准卷积核进行卷积，得到目标神经网络模型中的第一动态卷积核；将第一特征信息与第一动态卷积核进行卷积，得到第一图片的第一特征集合的方式，通过对特征信息进行采样，生成用于进行卷积操作的动态卷积核，替代了现有技术中的标准卷积核，达到了丰富特征提取方式的目的，从而实现了丰富了特征提取的方式，更好的结合了图片局部信息和全局信息的特征的技术效果，进而解决了卷积神经网络的图像特征提取方式过于单一，对于图像的全局信息不够敏感的技术问题。

在一个可选的实施例中，对第一特征信息进行采样，得到第一卷积核，包括：对第一特征信息W×H×C进行全局平均下采样，得到1×1×C的第一向量，其中，W用于表示所述第一特征信息的宽度，H用于表示所述第一特征信息的长度，C用于表示所述第一特征信息的通道数；对第一向量进行上采样，得到k×k×C的第一卷积核，其中，k为预设的卷积核大小。

可选地，在本实施例中，上述下采样的方式可以包括但不限于最大值采样、平均值采样、求和区域采样和随机区域采样，优选地，在本实施例中，进行下采样的方式为平均下采样，通过上述上采样的方式可以缩小上述第一图像，将上述第一特征信息中记录的全局信息浓缩为一个1×1×C的第一向量。

可选地，在本实施例中，上述下采样的方式可以包括但不限于传统插值法、基于边缘的图像插值算法、基于区域的图像插值算法等，通过上述下采样的方式，可以放大图像，根据预设的自定义卷积核大小k，将上述1×1×C的第一向量进行上采样，得到k×k×C的第一卷积核。

通过本实施例，可以对待处理的第一图片的第一特征信息进行相应的采样处理，能够获取到上述第一图片的全局信息，对全局信息敏感，更好的结合了局部信息和全局信息的特征，在需要考虑图像全局信息的场景中，能够自动分析出图像上的物体处在什么样的环境或状态下，例如，当应用场景为电影中的某一个场景，能够判断主要人物处在什么样的环境下(危险、放松、安全等)，还可以为该人物的后续行为进行预测(跳跃、奔跑、静止等)，更全面的预测图像中的目标对象的动作。

在一个可选的实施例中，在将第一特征信息与第一动态卷积核进行卷积，得到动态更新后的第一图片的第一特征集合之后，上述方法还包括：将第一标准卷积核进行更新，得到第二标准卷积核。

可选地，在本实施例中，上述将第一标准卷积核进行更新，得到第二标准卷积核通过卷积神经网络的反向传播算法将神经网络的误差层层回传，利用梯度下降算法更新神经网络中每一层的权重值，进而实现对上述标准卷积核的更新，

在一个可选的实施例中，将第一标准卷积核进行更新，得到第二标准卷积核，包括：将第一特征信息和第一图片的第一特征集合输入预设损失函数模型，得到目标损失函数值；基于目标损失函数值通过反向传播的方式更新第一标准卷积核，得到第二标准卷积核。

可选地，在本实施例中，上述预设损函数模型可以包括但不限于Softmax损失函数、铰链损失函数、三重损失函数等现有的损失函数模型，上述反向传播的方式可以包括但不限于随机梯度下降算法，还可以包括但不限于将上述卷积核翻转以进行卷积运算，实现通过反向传播对第一标准卷积核的更新。

可选地，在本实施例中，上述将第一标准卷积核进行更新，得到第二标准卷积核的流程步骤在卷积神经网络的训练过程中进行，在卷积神经网络的测试过程中不进行。

上述仅是一种更新标准卷积核的示例，本发明对于具体运用的算法不做任何限定。

在一个可选的实施例中，在将第一标准卷积核进行更新，得到第二标准卷积核之后，上述方法还包括：获取待处理的第二图片的第二特征信息，其中，第二特征信息用于表示第二图片；对第二特征信息进行采样，得到第二卷积核，第二卷积核记录有第二图片的全局信息；使用第二卷积核与第二标准卷积核进行卷积，得到第二动态卷积核；将第二特征信息与第二动态卷积核进行卷积，得到动态更新后的第二图片的第二特征集合。

可选地，在本实施例中，上述第二动态卷积核的动态更新与输入的图片的特征信息相关联，通过向卷积神经网络输入多个图片，可以实现对卷积神经网络的训练过程，使得每一层卷积神经网络节点所得到的输出特征集合都能够基于当前输入的特征信息进行动态更新，能够更好的结合局部和全局的特征，不需要额外的神经网络(只需要同样卷积的参数量)来生成动态卷积核。

在一个可选的实施例中，在将第一全局信息与第一动态卷积核进行卷积，得到第一图片的特征信息之后，上述方法还包括：将第一特征信息与第一图片的第一特征集合相加，得到第一输出结果，其中，第一输出结果用于识别第一图片中的目标对象。

可选地，在本实施例中，上述第一输出结果包括但不限于上述目标神经网络模型的输出结果，还可以包括但不限于目标神经网络模型中某一节点的输出结果，上述将第一特征信息与第一图片的第一特征集合相加，得到第一输出结果的操作通过恒等连接分支实现，将当前卷积神经网络节点的输入向量(对应于前述的第一特征信息)与将上述第一动态卷积核与上述第一特征信息进行卷积操作得到的第一特征集合相叠加，完成卷积神经网络中偏导数的传递，使得最后得到的第一输出结果能够较好的结合低层次的语义特征(第一特征集合)和高层次的语义特征(第一特征信息)，并由此达成多层次特征整合的目的。

例如，假设上述第一特征信息为x，上述第一输出结果为y，则上述将第一特征信息与第一图片的第一特征集合相加，得到第一输出结果可以满足如下公式：

y＝f(x)＝(w⊙T(x))⊙x+x

其中，T(x)为下采样和上采样操作，w为可学习的标准卷积核，⊙为卷积操作。

在一个可选的实施例中，在将与第一图片的特征信息与第一图片的第一全局信息相加，得到第一输出结果之后，上述方法还包括以下至少之一：根据第一输出结果确定第一图片中的目标对象的动作信息；根据第一输出结果确定第一图片中的目标对象所处的环境信息；根据第一输出结果确定第一图片中的目标对象。

可选地，在本实施例中，上述将与第一图片的特征信息与第一图片的第一全局信息相加，得到第一输出结果可以应用于自动驾驶领域，通过传感器实现感知作用，并根据所感知的信息完成处理与融合，在根据上述全局信息生成动态卷积核，进而实现全局整体理解后，在第一图片为设置在车辆上的拍摄设备所拍摄的图片的情况下，根据第一输出结果确定第一图片中的目标对象的动作信息，根据上述目标对象的动作信息通过相应的算法得出决策结果并传递给控制系统生成执行指令，上述传感器包括视觉传感器、雷达传感器等，上述目标对象可以包括但不限于道路中的行人、设施等，例如，通过设置在车辆上的拍摄设备拍摄记录有道路中的行人、设施等的多个图片，将多个图片输入卷积神经网络模型，进而获取到行人的动作信息，如，奔跑、行走、站立、躺下等，通过本发明中基于全局信息进行卷积操作，能够有效的实现车与外界的信息交换，帮助车辆实时获取更大范围的环境信息，并引导车辆根据外界环境信息作出相应的动作，例如，减速、停车、加速等。

可选地，在本实施例中，将与第一图片的特征信息与第一图片的第一全局信息相加，得到第一输出结果可以应用于计算机视觉领域，通过获取视频图片，根据上述第一输出结果确定第一图片中的目标对象所处的环境信息，进而，帮助分析上述第一图片中目标对象所处的环境，以及目标对象将要执行的动作，进而，根据上述第一输出对象确认目标对象的相关信息。在第一图片为视频图片的情况下，根据第一输出结果确定第一图片中的目标对象所处的环境信息，例如，图4是根据本发明实施例的又一种图像处理方法的示意图，如图4所示，左图为上述待处理的第一图像402，右图为包括但不限于通过本实施例能够进行分析处理的具体内容，其中，基于上述待处理的第一图像所得到的第一输出对象能够确定包括但不限于图4中目标人物所处的环境信息404，以及图4中的目标人物正在执行的动作406。

上述仅是一种示例，具体进行应用的领域还可以包括但不限于金融领域、公共安全领域、教育领域、泛信息处理领域、医疗健康领域、工业制造领域、零售领域、广告营销领域等，本实施例对此不做具体限定。

通过本实施例，可以将上述图像处理方案应用于自动驾驶领域，自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术，自动驾驶技术有着广泛的应用前景，能够提高相关场景数据收集的效率，提高自动驾驶的安全性，有利于通过仿真环境实现对路段的虚拟路测，对封闭环境的结构化路测，使得卷积神经网络模型对输入信息更为敏感。

在一个可选的实施例中，将第一全局信息与第一动态卷积核进行卷积，得到第一图片的特征信息之后，上述方法还包括以下至少之一：根据第一图片的特征信息确定第一图片中的目标对象的动作信息；根据第一图片的特征信息确定第一图片中的目标对象所处的环境信息；根据第一图片的特征信息确定第一图片中的目标对象。

可选地，在本实施例中，例如，在公共安全领域中，在第一图片为监视摄像头所拍摄的图片的情况下，根据第一输出结果确定第一图片中的目标对象，例如，通过安装在预设区域的安全监视摄像头捕捉摄像头中出现的目标对象，通过本实施例对监视图像进行分析处理，进而获取与实际需求相关的目标对象是否出现在监视摄像头所拍摄的图片中等内容。可以通过第一图片的特征信息直接确定第一图片中的目标对象所处的环境信息；在第一图片为监视摄像头所拍摄的图片的情况下，根据第一图片的特征信息直接确定第一图片中的目标对象，简化了卷积神经网络的计算流程，达到了丰富特征提取方式的目的，从而实现了丰富了特征提取的方式，更好的结合了图片局部信息和全局信息的特征的技术效果。

下面结合具体的实施例对本发明进行整体说明：

可选地，在本实施例中，图5是根据本发明实施例的另一种图像处理方法的示意图，如图5所示，具体包括如下步骤：

S502，将上述第一图像的第一特征信息输入卷积神经网络模型；

S504，对上述第一特征信息进行全局平均下采样(GAP)，将上述第一特征信息浓缩为一个1×1×C的向量；

S506，对上述向量进行上采样，得到上述第一动态卷积核；

S508，将上述第一动态卷积核通过滑动窗口(sliding window)的形式，在上述第一特征信息上进行卷积运算，得到上述第一特征集合；

S510，假设上述第一特征信息为x，上述第一输出结果为y，则上述将第一特征信息与第一图片的第一特征集合相加，得到第一输出结果可以满足如下公式：

y＝f(x)＝(w⊙T(x))⊙x+x

其中，T(x)为下采样和上采样操作，w为可学习的标准卷积核，⊙为卷积操作。

上述技术方案相比于普通卷积，对输入的图片信息更加敏感，对于不同的输入得到不同的卷积核。由于对全局信息敏感，能够更好的结合局部和全局的特征。

上述技术方案相相比于动态卷积，对全局信息敏感。对输入的图片信息更加敏感，对于不同的输入得到不同的卷积核，且不需要额外的网络(只需要同样卷积的参数量)来生成动态卷积核。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。

根据本发明实施例的另一个方面，还提供了一种用于实施上述基于人工智能的图像处理方法的图像处理装置。如图6所示，该装置包括：

获取模块602，用于获取待处理的第一图片的第一特征信息，其中，第一特征信息用于表示第一图片；采样模块604，用于对第一特征信息进行采样，得到第一卷积核，第一卷积核记录有第一图片的全局信息；第一卷积模块606，用于使用第一卷积核与第一标准卷积核进行卷积，得到目标神经网络模型中的第一动态卷积核；第二卷积模块608，用于将第一特征信息与第一动态卷积核进行卷积，得到第一图片的第一特征集合。

在一个可选的实施例中，上述采样模块，如图7所示，包括：下采样单元702，用于对第一特征信息W×H×C进行全局平均下采样，得到1×1×C的第一向量，其中，W用于表示所述第一特征信息的宽度，H用于表示所述第一特征信息的长度，C用于表示所述第一特征信息的通道数；

上采样单元704，用于对第一向量进行上采样，得到k×k×C的第一卷积核，其中，k为预设的卷积核大小。

在一个可选的实施例中，上述装置还用于：在将第一特征信息与第一动态卷积核进行卷积，得到第一图片的第一特征集合之后，将第一标准卷积核进行更新，得到第二标准卷积核。

在一个可选的实施例中，所述装置用于通过如下方式将所述第一标准卷积核进行更新，得到第二标准卷积核：将所述第一特征信息和所述第一图片的第一特征集合输入预设损失函数模型，得到目标损失函数值；基于所述目标损失函数值通过反向传播的方式更新所述第一标准卷积核，得到所述第二标准卷积核。

在一个可选的实施例中，所述装置还用于：在将所述第一标准卷积核进行更新，得到第二标准卷积核之后，获取待处理的第二图片的第二特征信息，其中，所述第二特征信息用于表示所述第二图片；对于所述第二特征信息进行采样，得到第二卷积核，所述第二卷积核记录有所述第二图片的全局信息；使用所述第二卷积核与所述第二标准卷积核进行卷积，得到第二动态卷积核；将所述第二特征信息与所述第二动态卷积核进行卷积，得到动态更新后的所述第二图片的第二特征集合。

在一个可选的实施例中，所述装置还用于：在将所述第一全局信息与所述第一动态卷积核进行卷积，得到所述第一图片的特征信息之后，将所述第一特征信息与所述第一图片的第一特征集合相加，得到第一输出结果，其中，所述第一输出结果用于识别所述第一图片中的目标对象。

在一个可选的实施例中，所述装置还用于执行以下至少之一步骤：在将所述与所述第一图片的特征信息与所述第一图片的所述第一全局信息相加，得到第一输出结果之后，根据所述第一输出结果确定所述第一图片中的所述目标对象的动作信息；根据所述第一输出结果确定所述第一图片中的所述目标对象所处的环境信息；根据所述第一输出结果确定所述第一图片中的所述目标对象。

在一个可选的实施例中，所述装置还用于执行以下至少之一步骤：将所述第一全局信息与所述第一动态卷积核进行卷积，得到所述第一图片的特征信息之后，根据所述第一图片的特征信息确定所述第一图片中的所述目标对象的动作信息；根据所述第一图片的特征信息确定所述第一图片中的所述目标对象所处的环境信息；根据所述第一图片的特征信息确定所述第一图片中的所述目标对象。

根据本发明实施例的又一个方面，还提供了一种用于实施上述基于人工智能的图像处理方法的电子装置，该电子装置包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为通过计算机程序执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述电子装置可以位于计算机网络的多个网络设备中的至少一个网络设备。

可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：

S1，获取待处理的第一图片的第一特征信息，其中，第一特征信息用于表示第一图片；

S2，对第一特征信息进行采样，得到第一卷积核，第一卷积核记录有第一图片的全局信息；

S3，使用第一卷积核与第一标准卷积核进行卷积，得到目标神经网络模型中的第一动态卷积核；

S4，将第一特征信息与第一动态卷积核进行卷积，得到第一图片的第一特征集合。

可选地，本领域普通技术人员可以理解，电子装置也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌上电脑以及移动互联网设备(Mobile Internet Devices，MID)、PAD等终端设备。本发明并不对上述电子装置的结构造成限定。例如，电子装置还可包括更多或者更少的组件(如网络接口等)，或者具有与本发明所述不同的配置。

其中，存储器可用于存储软件程序以及模块，如本发明实施例中的基于超声回波信号的成像方法和装置对应的程序指令/模块，处理器通过运行存储在存储器内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的基于人工智能的图像处理方法。存储器可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器具体可以但不限于用于存储预设图像以及目标图像等信息。作为一种示例，上述存储器中可以但不限于包括上述基于人工智能的图像处理装置中的获取模块602、采集模块604、第一卷积模块606以及第二卷积模块608。此外，还可以包括但不限于上述基于人工智能的图像处理装置中的其他模块单元，本示例中不再赘述。

可选地，上述的传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置包括一个网络适配器(NetworkInterface Controller，NIC)，其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。

此外，上述电子装置还包括：显示器，用于显示上述应用界面；和连接总线，用于连接上述电子装置中的各个模块部件。

根据本发明的实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：

S1，获取待处理的第一图片的第一特征信息，其中，第一特征信息用于表示第一图片；

S2，对第一特征信息进行采样，得到第一卷积核，第一卷积核记录有第一图片的全局信息；

S3，使用第一卷积核与第一标准卷积核进行卷积，得到目标神经网络模型中的第一动态卷积核；

S4，将第一特征信息与第一动态卷积核进行卷积，得到第一图片的第一特征集合。

可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random Access Memory，RAM)、磁盘或光盘等。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种基于人工智能的图像处理方法，其特征在于，包括：

获取待处理的第一图片的第一特征信息，其中，所述第一特征信息用于表示所述第一图片；

对所述第一特征信息进行采样，得到第一卷积核，其中，所述第一卷积核记录有所述第一图片的全局信息；

使用所述第一卷积核与第一标准卷积核进行卷积，得到目标神经网络模型中的第一动态卷积核；

将所述第一特征信息与所述第一动态卷积核进行卷积，得到所述第一图片的第一特征集合；

所述对所述第一特征信息进行采样，得到第一卷积核，包括：

对所述第一特征信息W×H×C进行全局平均下采样，得到1×1×C的第一向量，其中，W用于表示所述第一特征信息的宽度，H用于表示所述第一特征信息的长度，C用于表示所述第一特征信息的通道数；

对所述第一向量进行上采样，得到k×k×C的所述第一卷积核，其中，所述k为预设的卷积核大小。

2.根据权利要求1所述的方法，其特征在于，在将所述第一特征信息与所述第一动态卷积核进行卷积，得到所述第一图片的第一特征集合之后，所述方法还包括：

将所述第一标准卷积核进行更新，得到第二标准卷积核。

3.根据权利要求2所述的方法，其特征在于，所述将所述第一标准卷积核进行更新，得到第二标准卷积核，包括：

将所述第一特征信息和所述第一图片的第一特征集合输入损失函数模型，得到目标损失函数值；

基于所述目标损失函数值通过反向传播的方式更新所述第一标准卷积核，得到所述第二标准卷积核。

4.根据权利要求2所述的方法，其特征在于，在将所述第一标准卷积核进行更新，得到第二标准卷积核之后，所述方法还包括：

获取待处理的第二图片的第二特征信息，其中，所述第二特征信息用于表示所述第二图片；

对所述第二特征信息进行采样，得到第二卷积核，所述第二卷积核记录有所述第二图片的全局信息；

使用所述第二卷积核与所述第二标准卷积核进行卷积，得到第二动态卷积核；

将所述第二特征信息与所述第二动态卷积核进行卷积，得到动态更新后的所述第二图片的第二特征集合。

5.根据权利要求1所述的方法，其特征在于，在将所述第一特征信息与所述第一动态卷积核进行卷积，得到所述第一图片的第一特征集合之后，所述方法还包括：

将所述第一特征信息与所述第一图片的所述第一特征集合相加，得到第一输出结果，其中，所述第一输出结果用于识别所述第一图片中的目标对象。

6.根据权利要求5所述的方法，其特征在于，在将所述第一特征信息与所述第一图片的所述第一特征集合相加，得到第一输出结果之后，所述方法还包括以下至少之一：

根据所述第一输出结果确定所述第一图片中的所述目标对象的动作信息；

根据所述第一输出结果确定所述第一图片中的所述目标对象所处的环境信息；

根据所述第一输出结果确定所述第一图片中的所述目标对象。

7.根据权利要求1至4中任一项所述的方法，其特征在于，将所述第一特征信息与所述第一动态卷积核进行卷积，得到所述第一图片的第一特征集合之后，所述方法还包括以下至少之一：

根据所述第一特征集合确定所述第一图片中的目标对象的动作信息；

根据所述第一特征集合确定所述第一图片中的所述目标对象所处的环境信息；

根据所述第一特征集合确定所述第一图片中的所述目标对象。

8.一种基于人工智能的图像处理装置，其特征在于，包括：

获取模块，用于获取待处理的第一图片的第一特征信息，其中，所述第一特征信息用于表示所述第一图片；

采样模块，用于对所述第一特征信息进行采样，得到第一卷积核，所述第一卷积核记录有所述第一图片的全局信息；

第一卷积模块，用于使用所述第一卷积核与第一标准卷积核进行卷积，得到目标神经网络模型中的第一动态卷积核；

第二卷积模块，用于将所述第一特征信息与所述第一动态卷积核进行卷积，得到所述第一图片的第一特征集合；

所述采样模块，包括：

下采样单元，用于对所述第一特征信息W×H×C进行全局平均下采样，得到1×1×C的第一向量，其中，W用于表示所述第一特征信息的宽度，H用于表示所述第一特征信息的长度，C用于表示所述第一特征信息的通道数；

上采样单元，用于对所述第一向量进行上采样，得到k×k×C的所述第一卷积核，其中，所述k为预设的卷积核大小。

9.根据权利要求8所述的装置，其特征在于，所述装置还用于：

在将所述第一特征信息与所述第一动态卷积核进行卷积，得到所述第一图片的第一特征集合之后，将所述第一标准卷积核进行更新，得到第二标准卷积核。

10.根据权利要求9所述的装置，其特征在于，所述装置用于通过如下方式将所述第一标准卷积核进行更新，得到第二标准卷积核：

将所述第一特征信息和所述第一图片的第一特征集合输入预设损失函数模型，得到目标损失函数值；

基于所述目标损失函数值通过反向传播的方式更新所述第一标准卷积核，得到所述第二标准卷积核。

11.根据权利要求9所述的装置，其特征在于，所述装置还用于：

在将所述第一标准卷积核进行更新，得到第二标准卷积核之后，获取待处理的第二图片的第二特征信息，其中，所述第二特征信息用于表示所述第二图片；对于所述第二特征信息进行采样，得到第二卷积核，所述第二卷积核记录有所述第二图片的全局信息；使用所述第二卷积核与所述第二标准卷积核进行卷积，得到第二动态卷积核；将所述第二特征信息与所述第二动态卷积核进行卷积，得到动态更新后的所述第二图片的第二特征集合。

12.一种计算机可读的存储介质，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至7任一项中所述的方法。

13.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至7任一项中所述的方法。

Images