CN111656359A - 一种图像处理方法、终端、系统以及计算机可读存储介质 - Google Patents

一种图像处理方法、终端、系统以及计算机可读存储介质 Download PDF

Info

Publication number
CN111656359A
CN111656359A CN201980007770.XA CN201980007770A CN111656359A CN 111656359 A CN111656359 A CN 111656359A CN 201980007770 A CN201980007770 A CN 201980007770A CN 111656359 A CN111656359 A CN 111656359A
Authority
CN
China
Prior art keywords
matrix
feature
target
vector
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980007770.XA
Other languages
English (en)
Inventor
李力达
曹子晟
胡攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Shenzhen Dajiang Innovations Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN111656359A publication Critical patent/CN111656359A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

一种图像处理方法、终端、系统以及及计算机可读存储介质，其中，所述方法包括：获取神经网络输出的多张特征图，并将所述多张特征图分成至少两个分组，所述至少两个分组中的每一个分组包括至少一张特征图，所述至少两个分组中的任意两个分组包括的特征图不相同；分别计算每一组特征图对应的特征向量；将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量。通过本发明实施例可以基于分组对特征图进行池化，分组使得每一组的特征图数量较少，有效减少每一组的计算量，分组并行计算可以有效提高池化效率。

Description

一种图像处理方法、终端、系统以及计算机可读存储介质
技术领域
本发明涉及数据处理技术领域，尤其涉及一种图像处理方法、终端、系统以及计算机可读存储介质。
背景技术
近年来，卷积神经网络已经广泛应用于各个领域，尤其在图像分类应用中具有很好的分类效果。如何将卷积神经网络输出的一组特征图T进行池化，进而得到有辨别性的特征向量是当前的研究热点。
由于卷积神经网络输出的一组特征图T的数量C一般都非常大，通常在几千的数量级，直接对该组特征图进行池化则会占用大量计算资源，池化效率低。目前，在对该组特征图进行池化之前，首先依次使用CLOW(CLOW通常在101-102数量级，CLOW远小于C)个1*1卷积、批规范化层、整流线性单元三层，将该组特征图T转换为低数量级的一组特征图T’。然后对转换得到的低数量级的一组特征图T’进行池化得到特征向量。
但上述方式只适用于该组特征图T可以由其中少量的特征图线性表示的情况，对于该组特征图T不可以由其中少量的特征图线性表示的情况则不适用。并且上述方式引入了额外的参数CLOW个1*1卷积、批规范化层和整流线性单元，会占据额外的存储空间；另外还增加了额外的卷积操作，卷积操作在大多数设备中并行程度较差，会导致池化过程中的计算时间变长，池化效率也较低。
发明内容
本发明实施例公开了一种图像处理方法、终端、系统以及计算机可读存储介质，可以基于分组对特征图进行池化，有效提高池化效率。
本发明实施例第一方面公开了一种图像处理方法，所述方法包括：
获取多张特征图，并将所述多张特征图分成至少两个分组，所述至少两个分组中的每一个分组包括至少一张特征图，所述至少两个分组中的任意两个分组包括的特征图不相同；
分别计算每一组特征图对应的特征向量；
将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量。
本发明实施例第二方面公开了一种终端，包括：存储器和处理器，
所述存储器，用于存储程序指令；
所述处理器，用于执行所述存储器存储的程序指令，当所述程序指令被执行时，所述处理器用于：
获取多张特征图，并将所述多张特征图分成至少两个分组，所述至少两个分组中的每一个分组包括至少一张特征图，所述至少两个分组中的任意两个分组包括的特征图不相同；
分别计算每一组特征图对应的特征向量；
将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量。
本发明实施例第三方面公开了一种系统，包括：无人机和移动终端，所述无人机上配置有拍摄装置和所述拍摄装置的稳定器，所述拍摄装置安装于所述稳定器上；
所述无人机在沿航线飞行的过程中，控制所述拍摄装置拍照得到多张图像，并将所述多张图像发送给所述移动终端；
所述移动终端在接收到所述无人机发送的多张图像之后，对所述多张图像进行处理得到多张特征图，将所述多张特征图分成至少两个分组，并分别计算每一组特征图对应的特征向量，并将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量；其中，所述至少两个分组中的每一个分组包括至少一张特征图，所述至少两个分组中的任意两个分组包括的特征图不相同。
本发明实施例第四方面公开了一种无人机，所述无人机用于执行如上述第一方面所述方法的步骤。
本发明实施例第五方面公开了一种拍摄装置，其特征在于，所述拍摄装置用于执行如上述第一方面所述方法的步骤。
本发明实施例第六方面公开了一种交通工具，其特征在于，所述交通工具用于执行如上述第一方面所述方法的步骤。
本发明实施例第七方面公开了一种移动终端，其特征在于，所述移动终端用于执行如上述第一方面所述方法的步骤。
本发明实施例第八方面公开了一种具有拍摄装置的稳定器，其特征在于，所述稳定器用于执行如上述第一方面所述方法的步骤。
本发明实施例第九方面公开了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述方法的步骤。
本发明实施例通过获取神经网络输出的多张特征图，并将该多张特征图分成至少两个分组，然后分别计算每一组特征图对应的特征向量，并将计算得到的多个特征向量进行池化，得到该多张特征图对应的特征向量，从而可以基于分组对特征图进行池化，分组使得每一组的特征图数量较少，有效减少每一组的计算量，分组并行计算可以有效提高池化效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种池化过程的示意图；
图2是本发明实施例公开的一种图像处理方法的流程示意图；
图3是本发明实施例公开的一种三维张量的几何示意图；
图4是本发明实施例公开的一种终端的结构示意图；
图5是本发明实施例公开的一种系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
请参阅图1，图1为本发明实施例提供的一种池化过程的示意图。如图1所示，终端首先获取神经网络输出的多张特征图
Figure BDA0002576526880000031
其中，H表示特征图的行数，W表示特征图的列数，C表示该多张特征图中特征图的数量，通常存在H×W远小于C。然后将神经网络输出的多张特征图分成C1、C2......Ck共K个分组；其中，K为大于1的正整数，该K个分组中的每一个分组包括至少一张特征图，并且该K个分组中的任意两个分组包括的特征图不相同。进一步地，终端分别计算每一组特征图对应的特征向量，也即计算C1分组的特征图对应的特征向量1，C2分组的特征图对应的特征向量2，CK分组的特征图对应的特征向量K等共K个特征向量。然后将计算得到的K个特征向量进行池化，得到神经网络输出的多张特征图对应的目标特征向量。本发明实施例通过获取神经网络输出的多张特征图，并将该多张特征图分成至少两个分组，然后分别计算每一组特征图对应的特征向量，并将计算得到的多个特征向量进行池化，得到该多张特征图对应的特征向量，从而可以基于分组对特征图进行池化，分组对特征图进行池化可以使得每一个分组中的特征图的数量远少于特征图总数量，会使得每一组的计算量大大减少，有效减少池化所需时间，提高池化效率，以下进行详细说明。
请参阅图2，图2为本发明实施例提供的一种图像处理方法的流程示意图。本发明实施例中所描述的图像处理方法可以包括：
S201、终端获取多张特征图，并将所述多张特征图分成至少两个分组。
本发明实施例中，终端可以是首先利用其配置的神经网络对输入的多张图像进行处理，然后获取神经网络在对输入的多张图像进行处理后输出的多张特征图。终端也可以是从网络中或者其他终端处获取神经网络对多张图像进行处理后输出的多张特征图。进一步地，终端对获取到的多张特征图进行分组，得到至少两个分组。该至少两个分组中的每一个分组包括至少一张特征图，该至少两个分组中的任意两个分组包括的特征图不相同。其中，每一张特征图对应神经网络的一个通道；该至少两个分组中的任意两个分组包括的特征图不相同，也即是指任意两个分组包括的特征图对应的通道不相同。该至少两个分组中的每一个分组包括的特征图的数量可以相同，该至少两个分组中的各个分组包括的特征图的数量可以不相同或者不完全相同。
在一实施方式中，终端可以是按照特征图对应的通道对该多张特征图进行分组，得到至少两个分组。具体地，终端可以是按照特征图对应的通道的排序顺序对该多张特征图进行分组，得到至少两个分组；也可以是按照特征图对应的通道随机对该多张特征图进行分组，得到至少两个分组。
在一实施方式，终端将该多张特征图分成至少两个分组之前，根据该多张特征图的数量确定分组数目K，K为大于1的正整数；然后根据确定出的分组数目K将该多张特征图分成K个分组。其中，终端可以是根据预先存储的特征图的数量与分组数目之间的映射关系，确定分组数目K的。
S202、所述终端分别计算每一组特征图对应的特征向量。
本发明实施例中，终端首先计算目标分组的特征图对应的协方差矩阵的α次幂，得到目标矩阵；然后根据该目标矩阵确定目标分组的特征图对应的特征向量。其中，目标分组为上述至少两个分组中的任意一个，所述α为正有理数。在一实施方式中，所述α具体可以为0.5。
在一实施方式中，终端计算目标分组的特征图对应的协方差矩阵的α次幂，得到目标矩阵的方式为：首先获取目标分组的特征图对应的三维张量，并将所述三维张量中的第一维度的元素和第二维度的元素进行合并，得到目标分组的特征图对应的二维张量。其中，第一维度为三维张量中的行方向对应的维度，第二维度为三维张量中的列方向对应的维度。所述三维张量中还包括第三维度的元素，第三维度为三维张量中的深度方向对应的维度。进一步地，计算所述二维张量的协方差矩阵，并计算所述协方差矩阵的α次幂，得到目标矩阵。以此类推，可以计算得到每一组特征图对应的协方差矩阵的α次幂。需要说明的是，协方差矩阵可以用于指示目标分组的特征图之间的关联性，由于关联性是相互的，故上述确定出的目标矩阵中位于上三角位置和下三角位置的元素通常是对称的。另外，采用协方差矩阵来计算目标分组的特征图的特征，可以更好的利用特征图之间的关联信息，可以使得在后续的图像分类任务上准确率更高。
在一实施方式中，终端根据目标矩阵确定目标分组的特征图对应的特征向量的方式为：获取目标矩阵中的目标元素，该目标元素为目标矩阵中位于上三角位置或者下三角位置的元素；然后根据目标元素在目标矩阵中的位置，对目标元素进行排列，生成目标分组的特征图对应的特征向量。在一实施方式中，终端具体可以是先按照目标元素在目标矩阵中所属的行数对目标元素进行排列，然后对于在目标矩阵中属于同一行数的目标元素，则分别按照目标元素在目标矩阵中所属的列数对所述属于同一行数的目标元素进行排列。或者，先按照目标元素在目标矩阵中所属的列数对目标元素进行排列，然后对于在目标矩阵中属于同一列数的目标元素，则分别按照目标元素在目标矩阵中所属的行数对所述属于同一列数的目标元素进行排列。
S203、所述终端将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量。
本发明实施例中，终端获取目标特征向量对应的第一向量和第二向量，目标特征向量为计算得到的多个特征向量中的任意一个；然后根据所述第一向量确定第一矩阵，并根据所述第二向量确定第二矩阵；最后根据所述第一矩阵以及所述第二矩阵，确定神经网络输出的多张特征图对应的特征向量。其中，第一向量中包括与目标特征向量中的元素对应的第一元素，第一向量中除所述第一元素之外的元素取值为0；第二向量中与所述第一元素对应的第二元素取值为1，第二向量中除所述第二元素之外的元素取值为0。各个目标特征向量对应的第一向量中的元素数量相同，目标特征向量对应的第一向量中的元素数量和对应的第二向量中的元素数量相同。第一矩阵是根据计算得到的多个特征向量对应的多个第一向量确定的，第一矩阵中的一列元素对应一个第一向量；第二矩阵是根据计算得到的多个特征向量对应的多个第二向量确定的，第二矩阵中的一列元素对应一个第二向量。
需要说明的是，在目标特征向量对应的第一向量和第二向量中添加0元素，是为了保证各个目标特征向量对应的第一向量中的元素数量相同，第二向量中的元素数量与相应第一向量中的元素数量相同，便于后续计算。对于上述至少两个分组中每一个分组包括的特征图的数量相同的情况，每一组特征图对应的特征向量中的元素数量相同。此时，第一向量中可以只包括与目标特征向量中的元素对应的第一元素；第二向量中可以只包括与所述第一元素对应的第二元素，第二元素的取值为1。或者，第一向量中只包括与目标特征向量中的元素对应的第一元素，并且无需确定第二向量和第二矩阵，直接根据各个分组的特征图对应的多个第一向量确定第一矩阵，并根据第一矩阵直接确定神经网络输出的多张特征图对应的特征向量。
在一实施方式中，终端根据第一矩阵以及第二矩阵，确定神经网络输出的多张特征图对应的特征向量的方式为：分别计算所述第一矩阵每一行中的第三元素的平均值，并根据计算得到的各行中的第三元素的平均值，生成神经网络输出的对应的特征向量；或者，分别计算所述第一矩阵每一行中的第三元素的和，并根据计算得到的各行中的第三元素的和，生成神经网络输出的多张特征图对应的特征向量；或者，分别计算所述第一矩阵每一行中的第三元素的乘积，并根据计算得到的各行中的第三元素的乘积，生成神经网络输出的对应的特征向量；或者，分别获取所述第一矩阵每一行中的第三元素中的最大值，并根据获取到的各行中的第三元素中的最大值，生成神经网络输出的多张特征图对应的特征向量；或者，分别获取所述第一矩阵每一行中的第三元素中的最小值，并根据获取到的各行中的第三元素中的最小值，生成神经网络输出的多张特征图对应的特征向量。其中，所述第三元素为所述第一矩阵中与所述第二矩阵中的非零元素对应的元素。
为更好的理解本发明实施例中的图像处理方法，下面结合相应公式以及例子进行详细说明。终端首先获取神经网络输出的多张特征图
Figure BDA0002576526880000071
其中，H表示特征图的行数，或者说用于表示特征图中一列像素点的数量；W表示特征图的列数，或者说用于表示特征图中一行像素点的数量；C为该多张特征图中特征图的数量；通常存在H×W远小于C。终端然后按照特征图对应的通道将该多张特征图分成K组。其中，K为大于1的正整数；第i组包含Ci张特征图，第i组特征图为
Figure BDA0002576526880000072
i的取值范围为[1，k]，并且满足C＝∑iCi，∑函数表示求和。在一实施方式中，K可以被C整除，并且C1＝C2＝…＝CK；在另一实施方式中，C1、C2、...、CK不相等或者不完全相等。
进一步地，终端分别计算各组特征图的特征向量。对于第i组特征图，终端首先获取第i组特征图对应的三维张量，并将该三维张量中的第一维度的元素和第二维度的元素进行合并，得到二维张量
Figure BDA0002576526880000073
其中，d＝H×W；二维张量Ui为d×Ci矩阵。第一维度为该三维张量中的行方向对应的维度，第二维度为该三维张量中的列方向对应的维度。为便于说明，假设第i组特征图中包括两张特征图，该两张特征图对应的矩阵形式分别为：
Figure BDA0002576526880000074
和
Figure BDA0002576526880000075
其中，特征图的行列数均为3，矩阵中的元素a1,1可以表示特征图中位于第一行第一列的像素点的像素值，矩阵中的其他元素则以此类推。根据上述两个矩阵可以得到上述两张特征图对应的三维张量的矩阵形式为:
Figure BDA0002576526880000081
其中，该三维张量为一个3×3×2矩阵，或者说为一个行数为3、列数为3、深度为2的三维矩阵。请一并参见图3，为上述两张特征图对应的三维张量的几何表示。如图3所示，301和302分别表示一张特征图，301和302表示的两张特征图形成一个三维张量。该三维张量包括三个维度，第一维度为该三维张量中的行方向对应的维度，第二维度为该三维张量中的列方向对应的维度，第三维度为该三维张量中的深度方向对应的维度。在三维空间坐标系中，行方向为纵轴对应的方向，列方向为横轴对应的方向，深度方向为竖轴对应的方向。将该三维张量中的第一维度的元素和第二维度的元素进行合并后得到的二维张量的矩阵形式为：
Figure BDA0002576526880000082
或者为：
Figure BDA0002576526880000083
其中，将该三维张量中的第一维度的元素和第二维度的元素进行合并后得到的二维张量为一个2×9矩阵，或者说为一个行数为2、列数为9的矩阵；或者得到的二维张量为一个9×2矩阵，或者说为一个行数为9、列数为2的矩阵。
终端计算得到二维张量Ui之后，计算二维张量Ui的协方差矩阵。二维张量Ui的协方差矩阵的计算方式如式一所示：
Figure BDA0002576526880000084
其中，Σi为二维张量Ui的协方差矩阵，Σi为Ci×Ci矩阵，Ci为第i组特征图中特征图的数量；
Figure BDA0002576526880000085
为二维张量Ui的转置矩阵；
Figure BDA0002576526880000086
I为单位阵，1为各项元素全为1的方阵，I和1均为d×d矩阵，d＝H×W，H与W分别为第i组特征图中特征图的行列数。
终端计算得到二维张量Ui的协方差矩阵Σi之后，计算协方差矩阵Σi的α次幂。协方差矩阵Σi的α次幂的计算方式如式二所示：
Figure BDA0002576526880000087
其中，Vi为协方差矩阵Σi的α次幂，Vi为Ci×Ci矩阵；α为正有理数，在一实施方式中，α＝0.5；可以采用迭代法针对式二进行迭代求解，因迭代过程只包含简单的矩阵加法与乘法，整个求解过程便于并行计算，求解效率高；也可以采用本征分解的方式对式二进行求解。
终端计算得到协方差矩阵Σi的α次幂Vi之后，获取矩阵Vi中位于上三角位置或者下三角位置的目标元素；然后根据目标元素在矩阵中的位置，将目标元素排列成第i组特征图的特征向量
Figure BDA0002576526880000091
其中，特征向量vi中的元素数量为
Figure BDA0002576526880000092
Figure BDA0002576526880000093
Ci为第i组特征图中特征图的数量。结合前文所述的例子，假设协方差矩阵Σi的α次幂Vi的矩阵形式为：
Figure BDA0002576526880000094
其中，矩阵Vi中的元素对称，或者说C1,1与C1,2相同，C1,2与C2,1相同。位于矩阵Vi中上三角位置的目标元素为C1,1、C1,2和C2,1，则生成的第i组特征图的特征向量vi可以为[C1,1，C1,2，C2,1]，或者为[C1,1，C2,1，C1,2]。位于Vi中下三角位置的目标元素为C1,2、C2,1和C2,2，则生成的第i组特征图的特征向量vi可以为[C1,2，C2,1，C2,2]，或者为[C2,1，C1,2，C2,2]。采用上述方式，可以计算得到各组特征图的特征向量vi,i＝1,…,K。
进一步地，终端计算得到各组特征图的特征向量之后，将各组特征图的特征向量vi,i＝1,…,K进行池化，得到神经网络输出的多张特征图
Figure BDA0002576526880000095
的特征向量v。在一实施方式中，终端首先计算
Figure BDA0002576526880000096
的最大值
Figure BDA0002576526880000097
Figure BDA0002576526880000098
Figure BDA0002576526880000099
为特征向量vi中的元素数量。然后确定各组特征图的特征向量vi,i＝1,…,K分别对应的第一向量和第二向量。对于
Figure BDA00025765268800000910
pi＝[vi；0i]为第i组特征图的特征向量vi对应的第一向量，mi＝[1i；0i]为第i组特征图的特征向量vi对应的第二向量；其中，
Figure BDA00025765268800000911
为各项元素全为1的向量，1i中的元素数量为
Figure BDA00025765268800000912
Figure BDA00025765268800000913
为各项元素全为0的向量，0i中的元素数量为
Figure BDA00025765268800000914
第二向量中的元素数量和第一向量中的元素数量均为
Figure BDA00025765268800000915
结合前文中的例子，假设生成的第i组特征图的特征向量vi为[C1,1，C1,2，C2,1]，
Figure BDA00025765268800000916
的最大值
Figure BDA00025765268800000917
为5；则第i组特征图的特征向量vi对应的第一向量为[C1,1，C1,2，C2,1，0，0]；第i组特征图的特征向量vi对应的第二向量为[1，1，1，0，0]。
终端确定出各组特征图的特征向量对应的第一向量pi以及第二向量mi之后，根据各个第一向量pi确定第一矩阵P，并根据各个第二向量mi确定第二矩阵M。其中，第一矩阵
Figure BDA0002576526880000101
第二矩阵
Figure BDA0002576526880000102
第一矩阵P和第二矩阵M均为
Figure BDA0002576526880000103
矩阵；第一矩阵P中的一列元素对应一个第一向量，第二矩阵M中的一列元素对应一个第二向量。然后根据第一矩阵和第二矩阵确定神经网络输出的多张特征图
Figure BDA0002576526880000104
的特征向量v。其中，
Figure BDA0002576526880000108
特征向量v中的元素数量为
Figure BDA0002576526880000105
f表示按行计算P在M中对应位置上为非零的所有元素的平均值，即v[j]＝(∑iPj,i×(Mj,i≠0))/(∑i(Mj,i≠0))，Pj,i表示第一矩阵P中第j行第i列元素的取值，Mj,i表示第一矩阵M中第j行第i列元素的取值；j的取值范围为
Figure BDA0002576526880000106
i的取值范围为[1，K]。
假设将神经网络输出的多张特征图总共分成三组，第一组特征图的特征向量v1为[8，10，6]，第二组特征图的特征向量v2为[12，0，7，10]，第三组特征图的特征向量v3为[4，11，5，13，5]。可见，特征向量v1、v2、v3中的元素数量最大值为5，则特征向量v1对应的第一向量p1为[8，10，6，0，0]，对应的第二向量m1为[1，1，1，0，0]；特征向量v2对应的第一向量p2为[12，0，7，10，0]，对应的第二向量m2为[1，1，1，1，0]；特征向量v3对应的第一向量p3为[4，11，5，13，5]，对应的第二向量m3为[1，1，1，1，1]。根据第一向量p1、p2、p3确定出的第一矩阵P，以及根据第二向量m1、m2、m3确定出的第二矩阵M分别为：
Figure BDA0002576526880000107
其中，第一矩阵P的第一行元素中在第二矩阵M中对应位置上为非零的所有元素的平均值为(8+12+4)/3＝8；第一矩阵P的第二行元素中在第二矩阵M中对应位置上为非零的所有元素的平均值为(10+0+11)/3＝7；第一矩阵P的第三行元素中在第三矩阵M中对应位置上为非零的所有元素的平均值为(6+7+5)/3＝6。第一矩阵P的第四行元素中在第二矩阵M中对应位置上为非零的所有元素的平均值为(10+13)/2＝11.5；第一矩阵P的第五行元素中在第二矩阵M中对应位置上为非零的所有元素的平均值为(5)/1＝5。根据上述结果，可以确定出神经网络输出的多张特征图T的特征向量v为[8，7，6，11.5，5]。
需要说明的是，f还可以是表示按行计算P在M中对应位上为非零的所有元素的和、最大值、最小值或者乘积。具体计算方式可参照上述描述，此处不再赘述。
采用本发明实施例提供的图像处理方法，可以先将神经网络输出的多张特征图进行分组，然后并行计算每一个分组的特征图的特征向量；由于分组使得每一个分组中的特征图的数量远少于特征图总数量，从而使得每一组的计算量大大减少，有效减少池化所需时间以及计算机资源，提高池化效率。另外，采用协方差矩阵来计算目标分组的特征图的特征，可以更好的利用特征图之间的关联信息，可以使得在后续的图像分类任务上准确率更高。另外，由于本发明实施例中的图像处理方法不需引入额外参数，因此无需占用额外的存储空间。由于本发明实施例中的图像处理方法不需引入卷积操作，并且分组计算每一组特征图的基于协方差的特征时仅涉及矩阵的乘法，因此整个算法流程可高度并行执行，有效节省运算时间。由于本发明实施例中的图像处理方法采用了分组计算每一组特征图的特征，可以提高特征图之间信息的利用率，更好地利用神经网络末端输出的大量特征图之间的信息。由于本发明实施例中的图像处理方法对于输入的任一组特征图没有任何限制，因此无需要求主干神经网络有特殊的结构设计，例如要求主干神经网络存在两路分支，每一路的分支有相同大小的输出等。另外，本发明实施例中的图像处理方法支持将神经网络输出的多张特征图分成两组甚至更多组，因此可以去除因为融合需要，图像处理方法对于主干神经网络的输入大小的限制。本发明实施例中的图像处理方法由于利用了神经网络输出的多张特征图的高阶统计信息，因此，相比仅适用于一阶信息的图像处理方法，采用本发明实施例中的图像处理方法可以使得在后续的图像分类任务上准确率更高。
请参阅图4，图4为本发明实施例提供的一种终端的结构示意图。本发明实施例中所描述的终端包括：处理器401、通信接口402、存储器403。其中，处理器401、通信接口402、存储器403可通过总线或其他方式连接，本发明实施例以通过总线连接为例。
处理器401可以是中央处理器(central processing unit，CPU)，网络处理器(network processor，NP)，或者CPU和NP的组合。处理器401也可以是多核CPU、或多核NP中用于实现通信标识绑定的核。
所述处理器401可以是硬件芯片。所述硬件芯片可以是专用集成电路(application-specific integrated circuit，ASIC)，可编程逻辑器件(programmablelogic device，PLD)或其组合。所述PLD可以是复杂可编程逻辑器件(complexprogrammable logic device，CPLD)，现场可编程逻辑门阵列(field-programmable gatearray，FPGA)，通用阵列逻辑(generic array logic，GAL)或其任意组合。
所述通信接口402可用于收发信息或信令的交互，以及信号的接收和传递。所述存储器403可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的存储程序(比如文字存储功能、位置存储功能等)；存储数据区可存储根据装置的使用所创建的数据(比如图像数据、文字数据)等，并可以包括应用存储程序等。此外，存储器403可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
所述存储器403还用于存储程序指令。所述处理器401，用于执行所述存储器403存储的程序指令，当所述程序指令被执行时，所述处理器401用于：
获取多张特征图，并将所述多张特征图分成至少两个分组，所述至少两个分组中的每一个分组包括至少一张特征图，所述至少两个分组中的任意两个分组包括的特征图不相同；
分别计算每一组特征图对应的特征向量；
将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量。
本发明实施例中处理器执行的方法均从处理器的角度来描述，可以理解的是，本发明实施例中处理器要执行上述方法需要其他硬件结构的配合。本发明实施例对具体的实现过程不作详细描述和限制。
在一实施方式中，所述至少两个分组中的每一个分组包括的特征图的数量相同。
在一实施方式中，所述处理器401分别计算每一组特征图对应的特征向量时，具体用于：计算目标分组的特征图对应的协方差矩阵的α次幂，得到目标矩阵，所述目标分组为所述至少两个分组中的任意一个，所述α为正有理数；根据所述目标矩阵确定所述目标分组的特征图对应的特征向量。
在一实施方式中，所述处理器401计算目标分组的特征图对应的协方差矩阵的α次幂，得到目标矩阵时，具体用于：获取目标分组的特征图对应的三维张量；将所述三维张量中的第一维度的元素和第二维度的元素进行合并，得到二维张量，所述第一维度为所述三维张量中的行方向对应的维度，所述第二维度为所述三维张量中的列方向对应的维度；计算所述二维张量对应的协方差矩阵，并计算所述协方差矩阵的α次幂，得到目标矩阵。
在一实施方式中，所述α为0.5。
在一实施方式中，所述处理器401根据所述目标矩阵确定所述目标分组的特征图对应的特征向量时，具体用于：获取所述目标矩阵中的目标元素，所述目标元素为所述目标矩阵中位于上三角位置或者下三角位置的元素；根据所述目标元素在所述目标矩阵中的位置，对所述目标元素进行排列，生成所述目标分组的特征图对应的特征向量。
在一实施方式中，所述处理器401将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量时，具体用于：获取目标特征向量对应的第一向量和第二向量，所述目标特征向量为计算得到的多个特征向量中的任意一个；根据所述第一向量确定第一矩阵，并根据所述第二向量确定第二矩阵；根据所述第一矩阵以及所述第二矩阵，确定所述多张特征图对应的特征向量。
在一实施方式中，所述第一向量中包括与所述目标特征向量中的元素对应的第一元素，所述第一向量中除所述第一元素之外的元素取值为0；所述第二向量中与所述第一元素对应的第二元素取值为1，所述第二向量中除所述第二元素之外的元素取值为0。
在一实施方式中，所述第一矩阵中的一列元素对应一个第一向量，所述第二矩阵中的一列元素对应一个第二向量。
在一实施方式中，所述处理器401根据所述第一矩阵以及所述第二矩阵，确定所述多张特征图对应的特征向量时，具体用于：分别计算所述第一矩阵每一行中的第三元素的平均值，并根据计算得到的各行中的第三元素的平均值，生成所述多张特征图对应的特征向量；其中，所述第三元素为所述第一矩阵中与所述第二矩阵中的非零元素对应的元素。
在一实施方式中，所述处理器401根据所述第一矩阵以及所述第二矩阵，确定所述多张特征图对应的特征向量时，具体用于：分别计算所述第一矩阵每一行中的第三元素的和，并根据计算得到的各行中的第三元素的和，生成所述多张特征图对应的特征向量；其中，所述第三元素为所述第一矩阵中与所述第二矩阵中的非零元素对应的元素。
在一实施方式中，所述处理器401根据所述第一矩阵以及所述第二矩阵，确定所述多张特征图对应的特征向量时，具体用于：分别计算所述第一矩阵每一行中的第三元素的乘积，并根据计算得到的各行中的第三元素的乘积，生成所述多张特征图对应的特征向量；其中，所述第三元素为所述第一矩阵中与所述第二矩阵中的非零元素对应的元素。
在一实施方式中，所述处理器401根据所述第一矩阵以及所述第二矩阵，确定所述多张特征图对应的特征向量时，具体用于：分别获取所述第一矩阵每一行中的第三元素中的最大值或者最小值，并根据获取到的各行中的第三元素中的最大值或者最小值，生成所述多张特征图对应的特征向量；其中，所述第三元素为所述第一矩阵中与所述第二矩阵中的非零元素对应的元素。
具体实现中，本发明实施例中所描述的处理器401、通信接口402、存储器403可执行本发明实施例提供的一种图像处理方法中所描述的实现方式，在此不再赘述。
本发明实施例通过获取神经网络输出的多张特征图，并将该多张特征图分成至少两个分组，然后分别计算每一组特征图对应的特征向量，并将计算得到的多个特征向量进行池化，得到该多张特征图对应的特征向量，从而可以基于分组对特征图进行池化，有效提高池化效率。
请参阅图5，图5为本发明实施例提供的一种系统的架构示意图。如图5所示，该系统包括无人机500和移动终端600，所述无人机500和所述移动终端600之间建立有通信连接，移动终端600对应前文所述的终端。所述无人机500上配置有拍摄装置502和所述拍摄装置的稳定器501，所述拍摄装置502安装于所述稳定器501上。其中：
所述无人机500在沿航线飞行的过程中，控制所述拍摄装置502拍照得到多张图像，并将所述多张图像发送给所述移动终端600。其中，可以是由所述移动终端600控制所述无人机500沿航线飞行，并在所述无人机500沿航线飞行的过程中，控制所述拍摄装置502拍照得到多张图像。所述移动终端600在接收到所述无人机发送的多张图像之后，先对所述多张图像进行处理得到多张特征图，并将所述多张特征图分成至少两个分组，然后分别计算每一组特征图对应的特征向量，并将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量；其中，所述至少两个分组中的每一个分组包括至少一张特征图，所述至少两个分组中的任意两个分组包括的特征图不相同。具体实现中，本发明实施例中所描述的移动终端600可执行本发明实施例提供的一种图像处理方法中所描述的实现方式，在此不再赘述。
本发明实施例还提供一种无人机，所述无人机对应前文所述的终端。所述无人机用于：获取多张特征图，并将所述多张特征图分成至少两个分组，所述至少两个分组中的每一个分组包括至少一张特征图，所述至少两个分组中的任意两个分组包括的特征图不相同；分别计算每一组特征图对应的特征向量；将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量。其中，所述多张特征图可以是无人机对其配置的拍摄装置采集到的图像进行处理得到的；所述多张特征图也可以是无人机从其他终端处获取到的。具体实现中，本发明实施例中所描述的无人机可执行本发明实施例提供的一种图像处理方法中所描述的实现方式，在此不再赘述。
本发明实施例还提供一种拍摄装置，所述拍摄装置对应前文所述的终端。所述拍摄装置用于：获取多张特征图，并将所述多张特征图分成至少两个分组，所述至少两个分组中的每一个分组包括至少一张特征图，所述至少两个分组中的任意两个分组包括的特征图不相同；分别计算每一组特征图对应的特征向量；将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量。其中，所述多张特征图可以是拍摄装置针对其采集到的图像进行处理得到的；所述多张特征图也可以是拍摄装置从其他终端处获取到的。具体实现中，本发明实施例中所描述的拍摄装置可执行本发明实施例提供的一种图像处理方法中所描述的实现方式，在此不再赘述。
本发明实施例还提供一种交通工具，所述交通工具对应前文所述的终端，所述交通工具可以是汽车、单车、船等。所述交通工具用于：获取多张特征图，并将所述多张特征图分成至少两个分组，所述至少两个分组中的每一个分组包括至少一张特征图，所述至少两个分组中的任意两个分组包括的特征图不相同；分别计算每一组特征图对应的特征向量；将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量。其中，所述多张特征图可以是交通工具对其配置的拍摄装置采集到的图像进行处理得到的；所述多张特征图也可以是交通工具从其他终端处获取到的。具体实现中，本发明实施例中所描述的交通工具可执行本发明实施例提供的一种图像处理方法中所描述的实现方式，在此不再赘述。
本发明实施例还提供一种移动终端，所述移动终端对应前文所述的终端。所述移动终端用于：获取多张特征图，并将所述多张特征图分成至少两个分组，所述至少两个分组中的每一个分组包括至少一张特征图，所述至少两个分组中的任意两个分组包括的特征图不相同；分别计算每一组特征图对应的特征向量；将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量。其中，所述多张特征图可以是移动终端对其配置的拍摄装置采集到的图像进行处理得到的；所述多张特征图也可以是移动终端从其他终端处获取到的。具体实现中，本发明实施例中所描述的移动终端可执行本发明实施例提供的一种图像处理方法中所描述的实现方式，在此不再赘述。
本发明实施例还提供一种具有拍摄装置的稳定器，所述具有拍摄装置的稳定器对应前文所述的终端。所述具有拍摄装置的稳定器用于：获取多张特征图，并将所述多张特征图分成至少两个分组，所述至少两个分组中的每一个分组包括至少一张特征图，所述至少两个分组中的任意两个分组包括的特征图不相同；分别计算每一组特征图对应的特征向量；将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量。其中，所述多张特征图可以是所述稳定器对其配置的拍摄装置采集到的图像进行处理得到的；所述多张特征图也可以是所述稳定器从其他终端处获取到的。具体实现中，本发明实施例中所描述的具有拍摄装置的稳定器可执行本发明实施例提供的一种图像处理方法中所描述的实现方式，在此不再赘述。
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时实现上述方法实施例所述的图像处理方法。
本发明实施例还提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述方法实施例所述的图像处理方法。
需要说明的是，对于前述的各个方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某一些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上对本发明实施例所提供的一种图像处理方法、终端及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (33)

1.一种图像处理方法，其特征在于，所述方法包括：
获取多张特征图，并将所述多张特征图分成至少两个分组，所述至少两个分组中的每一个分组包括至少一张特征图，所述至少两个分组中的任意两个分组包括的特征图不相同；
分别计算每一组特征图对应的特征向量；
将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量。
2.根据权利要求1所述的方法，其特征在于，所述至少两个分组中的每一个分组包括的特征图的数量相同。
3.根据权利要求1或2所述的方法，其特征在于，所述分别计算每一组特征图对应的特征向量，包括：
计算目标分组的特征图对应的协方差矩阵的α次幂，得到目标矩阵，所述目标分组为所述至少两个分组中的任意一个，所述α为正有理数；
根据所述目标矩阵确定所述目标分组的特征图对应的特征向量。
4.根据权利要求3所述的方法，其特征在于，所述计算目标分组的特征图对应的协方差矩阵的α次幂，得到目标矩阵，包括：
获取目标分组的特征图对应的三维张量；
将所述三维张量中的第一维度的元素和第二维度的元素进行合并，得到二维张量，所述第一维度为所述三维张量中的行方向对应的维度，所述第二维度为所述三维张量中的列方向对应的维度；
计算所述二维张量对应的协方差矩阵，并计算所述协方差矩阵的α次幂，得到目标矩阵。
5.根据权利要求3所述的方法，其特征在于，所述α为0.5。
6.根据权利要求3所述的方法，其特征在于，所述根据所述目标矩阵确定所述目标分组的特征图对应的特征向量，包括：
获取所述目标矩阵中的目标元素，所述目标元素为所述目标矩阵中位于上三角位置或者下三角位置的元素；
根据所述目标元素在所述目标矩阵中的位置，对所述目标元素进行排列，生成所述目标分组的特征图对应的特征向量。
7.根据权利要求1所述的方法，其特征在于，所述将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量，包括：
获取目标特征向量对应的第一向量和第二向量，所述目标特征向量为计算得到的多个特征向量中的任意一个；
根据所述第一向量确定第一矩阵，并根据所述第二向量确定第二矩阵；
根据所述第一矩阵以及所述第二矩阵，确定所述多张特征图对应的特征向量。
8.根据权利要求7所述的方法，其特征在于，所述第一向量中包括与所述目标特征向量中的元素对应的第一元素，所述第一向量中除所述第一元素之外的元素取值为0；所述第二向量中与所述第一元素对应的第二元素取值为1，所述第二向量中除所述第二元素之外的元素取值为0。
9.根据权利要求7所述的方法，其特征在于，所述第一矩阵中的一列元素对应一个第一向量，所述第二矩阵中的一列元素对应一个第二向量。
10.根据权利要求7至9中任一项所述的方法，其特征在于，所述根据所述第一矩阵以及所述第二矩阵，确定所述多张特征图对应的特征向量，包括：
分别计算所述第一矩阵每一行中的第三元素的平均值，并根据计算得到的各行中的第三元素的平均值，生成所述多张特征图对应的特征向量；
其中，所述第三元素为所述第一矩阵中与所述第二矩阵中的非零元素对应的元素。
11.根据权利要求7至9中任一项所述的方法，其特征在于，所述根据所述第一矩阵以及所述第二矩阵，确定所述多张特征图对应的特征向量，包括：
分别计算所述第一矩阵每一行中的第三元素的和，并根据计算得到的各行中的第三元素的和，生成所述多张特征图对应的特征向量；
其中，所述第三元素为所述第一矩阵中与所述第二矩阵中的非零元素对应的元素。
12.根据权利要求7至9中任一项所述的方法，其特征在于，所述根据所述第一矩阵以及所述第二矩阵，确定所述多张特征图对应的特征向量，包括：
分别计算所述第一矩阵每一行中的第三元素的乘积，并根据计算得到的各行中的第三元素的乘积，生成所述多张特征图对应的特征向量；
其中，所述第三元素为所述第一矩阵中与所述第二矩阵中的非零元素对应的元素。
13.根据权利要求7至9中任一项所述的方法，其特征在于，所述根据所述第一矩阵以及所述第二矩阵，确定所述多张特征图对应的特征向量，包括：
分别获取所述第一矩阵每一行中的第三元素中的最大值或者最小值，并根据获取到的各行中的第三元素中的最大值或者最小值，生成所述多张特征图对应的特征向量；
其中，所述第三元素为所述第一矩阵中与所述第二矩阵中的非零元素对应的元素。
14.一种终端，其特征在于，包括：存储器和处理器，
所述存储器，用于存储程序指令；
所述处理器，用于执行所述存储器存储的程序指令，当所述程序指令被执行时，所述处理器用于：
获取多张特征图，并将所述多张特征图分成至少两个分组，所述至少两个分组中的每一个分组包括至少一张特征图，所述至少两个分组中的任意两个分组包括的特征图不相同；
分别计算每一组特征图对应的特征向量；
将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量。
15.根据权利要求14所述的终端，其特征在于，所述至少两个分组中的每一个分组包括的特征图的数量相同。
16.根据权利要求14或15所述的终端，其特征在于，所述处理器分别计算每一组特征图对应的特征向量时，具体用于：
计算目标分组的特征图对应的协方差矩阵的α次幂，得到目标矩阵，所述目标分组为所述至少两个分组中的任意一个，所述α为正有理数；
根据所述目标矩阵确定所述目标分组的特征图对应的特征向量。
17.根据权利要求16所述的终端，其特征在于，所述处理器计算目标分组的特征图对应的协方差矩阵的α次幂，得到目标矩阵时，具体用于：
获取目标分组的特征图对应的三维张量；
将所述三维张量中的第一维度的元素和第二维度的元素进行合并，得到二维张量，所述第一维度为所述三维张量中的行方向对应的维度，所述第二维度为所述三维张量中的列方向对应的维度；
计算所述二维张量对应的协方差矩阵，并计算所述协方差矩阵的α次幂，得到目标矩阵。
18.根据权利要求16所述的终端，其特征在于，所述α为0.5。
19.根据权利要求16所述的终端，其特征在于，所述处理器根据所述目标矩阵确定所述目标分组的特征图对应的特征向量时，具体用于：
获取所述目标矩阵中的目标元素，所述目标元素为所述目标矩阵中位于上三角位置或者下三角位置的元素；
根据所述目标元素在所述目标矩阵中的位置，对所述目标元素进行排列，生成所述目标分组的特征图对应的特征向量。
20.根据权利要求14所述的终端，其特征在于，所述处理器将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量时，具体用于：
获取目标特征向量对应的第一向量和第二向量，所述目标特征向量为计算得到的多个特征向量中的任意一个；
根据所述第一向量确定第一矩阵，并根据所述第二向量确定第二矩阵；
根据所述第一矩阵以及所述第二矩阵，确定所述多张特征图对应的特征向量。
21.根据权利要求20所述的终端，其特征在于，所述第一向量中包括与所述目标特征向量中的元素对应的第一元素，所述第一向量中除所述第一元素之外的元素取值为0；所述第二向量中与所述第一元素对应的第二元素取值为1，所述第二向量中除所述第二元素之外的元素取值为0。
22.根据权利要求20所述的终端，其特征在于，所述第一矩阵中的一列元素对应一个第一向量，所述第二矩阵中的一列元素对应一个第二向量。
23.根据权利要求20至22中任一项所述的终端，其特征在于，所述处理器根据所述第一矩阵以及所述第二矩阵，确定所述多张特征图对应的特征向量时，具体用于：
分别计算所述第一矩阵每一行中的第三元素的平均值，并根据计算得到的各行中的第三元素的平均值，生成所述多张特征图对应的特征向量；
其中，所述第三元素为所述第一矩阵中与所述第二矩阵中的非零元素对应的元素。
24.根据权利要求20至22中任一项所述的终端，其特征在于，所述处理器根据所述第一矩阵以及所述第二矩阵，确定所述多张特征图对应的特征向量时，具体用于：
分别计算所述第一矩阵每一行中的第三元素的和，并根据计算得到的各行中的第三元素的和，生成所述多张特征图对应的特征向量；
其中，所述第三元素为所述第一矩阵中与所述第二矩阵中的非零元素对应的元素。
25.根据权利要求20至22中任一项所述的终端，其特征在于，所述处理器根据所述第一矩阵以及所述第二矩阵，确定所述多张特征图对应的特征向量时，具体用于：
分别计算所述第一矩阵每一行中的第三元素的乘积，并根据计算得到的各行中的第三元素的乘积，生成所述多张特征图对应的特征向量；
其中，所述第三元素为所述第一矩阵中与所述第二矩阵中的非零元素对应的元素。
26.根据权利要求20至22中任一项所述的终端，其特征在于，所述处理器根据所述第一矩阵以及所述第二矩阵，确定所述多张特征图对应的特征向量时，具体用于：
分别获取所述第一矩阵每一行中的第三元素中的最大值或者最小值，并根据获取到的各行中的第三元素中的最大值或者最小值，生成所述多张特征图对应的特征向量；
其中，所述第三元素为所述第一矩阵中与所述第二矩阵中的非零元素对应的元素。
27.一种系统，其特征在于，包括：无人机和移动终端，所述无人机上配置有拍摄装置和所述拍摄装置的稳定器，所述拍摄装置安装于所述稳定器上；
所述无人机在沿航线飞行的过程中，控制所述拍摄装置拍照得到多张图像，并将所述多张图像发送给所述移动终端；
所述移动终端在接收到所述无人机发送的多张图像之后，对所述多张图像进行处理得到多张特征图，将所述多张特征图分成至少两个分组，并分别计算每一组特征图对应的特征向量，并将计算得到的多个特征向量进行池化，得到所述多张特征图对应的特征向量；其中，所述至少两个分组中的每一个分组包括至少一张特征图，所述至少两个分组中的任意两个分组包括的特征图不相同。
28.一种无人机，其特征在于，所述无人机用于执行如权利要求1至13中任一项所述方法的步骤。
29.一种拍摄装置，其特征在于，所述拍摄装置用于执行如权利要求1至13中任一项所述方法的步骤。
30.一种交通工具，其特征在于，所述交通工具用于执行如权利要求1至13中任一项所述方法的步骤。
31.一种移动终端，其特征在于，所述移动终端用于执行如权利要求1至13中任一项所述方法的步骤。
32.一种具有拍摄装置的稳定器，其特征在于，所述稳定器用于执行如权利要求1至13中任一项所述方法的步骤。
33.一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如权利要求1至13中任一项所述方法的步骤。
CN201980007770.XA 2019-05-22 2019-05-22 一种图像处理方法、终端、系统以及计算机可读存储介质 Pending CN111656359A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/087935 WO2020232666A1 (zh) 2019-05-22 2019-05-22 一种图像处理方法、终端、系统以及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN111656359A true CN111656359A (zh) 2020-09-11

Family

ID=72348584

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980007770.XA Pending CN111656359A (zh) 2019-05-22 2019-05-22 一种图像处理方法、终端、系统以及计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN111656359A (zh)
WO (1) WO2020232666A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363844A (zh) * 2021-01-12 2021-02-12 之江实验室 一种面向图像处理的卷积神经网络垂直分割方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114723922B (zh) * 2022-02-24 2023-04-18 北京深势科技有限公司 基于数据降维的三维结构数据对比呈现方法和装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104142995A (zh) * 2014-07-30 2014-11-12 中国科学院自动化研究所 基于视觉属性的社会事件识别方法
US20160132750A1 (en) * 2014-11-07 2016-05-12 Adobe Systems Incorporated Local feature representation for image recognition
US20160267111A1 (en) * 2015-03-11 2016-09-15 Microsoft Technology Licensing, Llc Two-stage vector reduction using two-dimensional and one-dimensional systolic arrays
CN107292352A (zh) * 2017-08-07 2017-10-24 北京中星微电子有限公司 基于卷积神经网络的图像分类方法和装置
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
CN108764336A (zh) * 2018-05-28 2018-11-06 北京陌上花科技有限公司 用于图像识别的深度学习方法及装置、客户端、服务器
JP2018198053A (ja) * 2017-05-22 2018-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109426776A (zh) * 2017-08-25 2019-03-05 微软技术许可有限责任公司 基于深度神经网络的对象检测
CN109241880B (zh) * 2018-08-22 2021-02-05 北京旷视科技有限公司 图像处理方法、图像处理装置、计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104142995A (zh) * 2014-07-30 2014-11-12 中国科学院自动化研究所 基于视觉属性的社会事件识别方法
US20160132750A1 (en) * 2014-11-07 2016-05-12 Adobe Systems Incorporated Local feature representation for image recognition
US20160267111A1 (en) * 2015-03-11 2016-09-15 Microsoft Technology Licensing, Llc Two-stage vector reduction using two-dimensional and one-dimensional systolic arrays
JP2018198053A (ja) * 2017-05-22 2018-12-13 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN107292352A (zh) * 2017-08-07 2017-10-24 北京中星微电子有限公司 基于卷积神经网络的图像分类方法和装置
US10007865B1 (en) * 2017-10-16 2018-06-26 StradVision, Inc. Learning method and learning device for adjusting parameters of CNN by using multi-scale feature maps and testing method and testing device using the same
CN108764336A (zh) * 2018-05-28 2018-11-06 北京陌上花科技有限公司 用于图像识别的深度学习方法及装置、客户端、服务器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
于丽 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112363844A (zh) * 2021-01-12 2021-02-12 之江实验室 一种面向图像处理的卷积神经网络垂直分割方法

Also Published As

Publication number Publication date
WO2020232666A1 (zh) 2020-11-26

Similar Documents

Publication Publication Date Title
EP3349153B1 (en) Convolutional neural network (cnn) processing method and apparatus
US11928577B2 (en) System and method for parallelizing convolutional neural networks
US11270190B2 (en) Method and apparatus for generating target neural network structure, electronic device, and storage medium
Ye et al. 3d recurrent neural networks with context fusion for point cloud semantic segmentation
US10445638B1 (en) Restructuring a multi-dimensional array
US11188794B2 (en) Convolutional neural network framework using reverse connections and objectness priors for object detection
US10824934B2 (en) Methods and apparatus for matrix processing in a convolutional neural network
CN111583284B (zh) 一种基于混合模型的小样本图像语义分割方法
US20230062238A1 (en) Pooling Processing Method and System Applied to Convolutional Neural Network
CN112449009B (zh) 一种基于svd的联邦学习推荐系统通信压缩方法及装置
CN111656359A (zh) 一种图像处理方法、终端、系统以及计算机可读存储介质
KR20220051162A (ko) 시각적 포지셔닝 방법, 관련 모델의 훈련 방법 및 관련 장치, 기기
CN114299303A (zh) 一种船舶目标检测方法、终端设备及存储介质
US20220391471A1 (en) Method, circuit, and soc for performing matrix multiplication operation
EP3889844A1 (en) Neural network system and data processing technology
WO2022041188A1 (zh) 用于神经网络的加速器、方法、装置及计算机存储介质
CN111709415B (zh) 目标检测方法、装置、计算机设备和存储介质
US20200272890A1 (en) Information processing device and information processing method
CN112686377A (zh) 利用卷积硬件对特征数据进行反卷积处理的方法和装置
US11467973B1 (en) Fine-grained access memory controller
CN116560828A (zh) 任务处理方法、装置、计算机设备、存储介质和程序产品
CN114662647A (zh) 处理用于神经网络的层的数据
US8924316B2 (en) Multiclass classification of points
Zhou et al. Competitive layer model of discrete-time recurrent neural networks with LT neurons
CN110366732B (zh) 用于在卷积神经网络中进行矩阵处理的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200911