CN112215840A - 图像检测、行驶控制方法、装置、电子设备及存储介质 - Google Patents
图像检测、行驶控制方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN112215840A CN112215840A CN202011187750.6A CN202011187750A CN112215840A CN 112215840 A CN112215840 A CN 112215840A CN 202011187750 A CN202011187750 A CN 202011187750A CN 112215840 A CN112215840 A CN 112215840A
- Authority
- CN
- China
- Prior art keywords
- feature
- channel
- matrix
- data
- feature vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 81
- 238000000034 method Methods 0.000 title claims abstract description 77
- 239000013598 vector Substances 0.000 claims abstract description 322
- 239000011159 matrix material Substances 0.000 claims description 172
- 230000009467 reduction Effects 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 55
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 9
- 238000011176 pooling Methods 0.000 claims description 8
- 230000006835 compression Effects 0.000 claims description 6
- 238000007906 compression Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 9
- 238000013528 artificial neural network Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本公开提供了一种图像检测、行驶控制方法、装置、电子设备及存储介质，该方法包括：根据待检测图像生成多通道特征数据；将所述多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量；根据所述压缩特征向量生成全局特征向量，所述全局特征向量中包含所述待检测图像的全局信息；基于所述全局特征向量和所述多通道特征数据，确定所述待检测图像对应的检测结果。
Description
技术领域
本公开涉及深度学习技术领域，具体而言，涉及一种图像检测、行驶控制方法、装置、电子设备及存储介质。
背景技术
图像处理任务可以包括图像分类、目标物体检测、语义分割、实例分割等。比如，语义分割是计算机视觉领域的基本问题之一，语义分割的目标是对图像上的每一个像素进行检测、分类，将图像上属于同一类的像素归为一类，其中，语义分割有着广泛的应用场景，比如自动驾驶场景、机器人场景等。
一般的，可以通过非局部Non-Local算法完成图像处理任务，但是，Non-Local算法的运行效率与输入图像的分辨率密切相关，在输入图像的分辨率较高时，Non-Local算法的效率较低。
发明内容
有鉴于此，本公开至少提供一种图像检测、行驶控制方法、装置、电子设备及存储介质。
第一方面，本公开提供了一种图像检测方法，包括：
根据待检测图像生成多通道特征数据；
将所述多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量；
根据所述压缩特征向量生成全局特征向量，所述全局特征向量中包含所述待检测图像的全局信息；
基于所述全局特征向量和所述多通道特征数据，确定所述待检测图像对应的检测结果。
采用上述方法，经实验发现，神经网络最后生成的、用于进行预测的特征图上，每个类别在通道上面的分布较稀疏，因此，本方案在生成多通道特征数据之后，将多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量，根据压缩特征向量生成全局特征向量，该全局特征向量中包含有待检测图像的全局信息；最后基于包含有待检测图像的全局信息的全局特征向量和多通道特征数据，确定待检测图像对应的检测结果时，保障了待检测图像的检测结果的准确度的同时还由于特征数据被压缩减小了数据处理量，从而无需关注待检测图像的分辨率信息，在保证图像检测准确度的基础上，提高了图像检测的效率。
一种可能的实施方式中，所述将所述多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量，包括：
对所述多通道特征数据进行降维处理，生成降维后的多通道特征数据；
将所述降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成所述压缩特征向量。
采用上述方法，可以先对多通道特征数据进行降维处理，基于降维后的多通道特征数据生成压缩特征向量时，减少了压缩特征向量的维度，以便后续基于压缩特征向量生成全局特征向量时，可以减少计算量，提高处理效率。
一种可能的实施方式中，将所述降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成所述压缩特征向量，包括：
基于全局池化操作对所述降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成所述压缩特征向量。
上述方法中，利用全局池化操作对降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量，压缩处理过程较为简便。
一种可能的实施方式中，所述对所述多通道特征数据进行降维处理，生成降维后的多通道特征数据，包括：
利用卷积参数不同的卷积操作分别对所述多通道特征数据进行第一降维处理和第二降维处理，生成第一降维处理后的第一多通道特征数据、和第二降维处理后的第二多通道特征数据；
所述将所述降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成所述压缩特征向量，包括：
计算所述第一多通道特征数据和所述第二多通道特征数据的哈达玛积，得到中间多通道特征数据；
针对所述中间多通道特征数据中每个通道的特征数据，将该通道的特征数据求和，得到该通道对应的特征值；
所述中间多通道特征数据中每个通道对应的特征值，构成所述压缩特征向量。
采用上述方法，通过计算降维后的第一多通道特征数据与第二多通道特征数据的哈达玛积，得到中间多通道特征数据，生成的中间多通道特征数据中包含的特征信息较为丰富，进而基于中间多通道特征数据，可以生成判别力较高的压缩特征向量。
一种可能的实施方式中，根据所述压缩特征向量生成全局特征向量，包括：
对所述压缩特征向量进行分组，得到多个局部特征向量；
根据多个局部特征向量，生成全局特征向量。
上述实施方式中，对压缩特征向量进行分组，得到多个局部特征向量，并根据多个局部特征向量，生成全局特征向量，获取到了待检测图像对应的全局上下文信息，使得基于包含有待检测图像的全局信息的全局特征向量和多通道特征数据，可以较准确的确定待检测图像对应的检测结果。
一种可能的实施方式中，对所述压缩特征向量进行分组，得到多个局部特征向量，包括：
按照设置的组数，沿着特征的通道方向将所述压缩特征向量划分为多个局部特征向量。
采用上述方法，由于设置的组数与待检测对象的类别数量有关，故在按照设置的组数，沿着特征的通道方向将压缩特征向量划分为多个局部特征向量后，使得划分后的多个局部特征向量可以关注对象的类别，后续基于多个局部特征向量生成全局特征向量时，使得生成的全局特征向量对语义类别较为敏感，提高了待检测图像的检测结果的准确度。
一种可能的实施方式中，根据多个局部特征向量，生成全局特征向量，包括：
基于所述多个局部特征向量、以及基于样本数据训练得到的权重矩阵和邻接矩阵，生成全局特征向量，其中，所述权重矩阵用于表征所述多个局部特征向量之间的关联程度，所述邻接矩阵用于表征所述多个局部特征向量之间的连接关系。
采用上述方法，基于样本数据训练得到的权重矩阵可以较准确的表征多个局部特征向量之间的关联程度，以及基于样本数据训练得到的邻接矩阵可以较准确的表征多个局部特征向量之间的连接关系，进而可以基于多个局部特征向量、权重矩阵和邻接矩阵，较准确的生成全局特征向量。
一种可能的实施方式中，基于所述多个局部特征向量、以及基于样本数据训练得到的权重矩阵和邻接矩阵，生成全局特征向量，包括：
将设置的单位矩阵与所述邻接矩阵相减，得到第一中间矩阵；
将所述权重矩阵、所述多个局部特征向量、和所述第一中间矩阵进行矩阵乘法，生成第二中间矩阵；
基于设置的激活函数和所述第二中间矩阵，生成所述全局特征向量。
一种可能的实施方式中，根据多个局部特征向量，生成全局特征向量，包括：
利用设置的卷积参数不同的第一卷积操作、第二卷积操作、和第三卷积操作分别对划分后的多个局部特征向量进行特征提取处理，生成第一特征矩阵、第二特征矩阵和第三特征矩阵；其中，所述第一卷积操作和所述第二卷积操作用于确定所述多个局部特征向量之间的相似度；所述第三卷积操作用于确定所述多个局部特征向量之间的关联程度；
基于所述第一特征矩阵和所述第二特征矩阵生成相似度矩阵；
基于所述相似度矩阵、所述第三特征矩阵、和设置的激活函数，生成所述全局特征向量。
一种可能的实施方式中，所述基于所述全局特征向量和所述多通道特征数据，确定所述待检测图像对应的检测结果，包括：
基于所述全局特征向量和所述多通道特征数据，生成用于对所述待检测图像进行检测的目标特征数据；
基于所述目标特征数据，确定所述待检测图像对应的检测结果。
一种可能的实施方式中，所述基于所述全局特征向量和所述多通道特征数据，生成用于对所述待检测图像进行检测的目标特征数据，包括：
基于所述全局特征向量、所述多通道特征数据和基于样本数据训练得到的参数矩阵，生成所述目标特征数据，其中，所述参数矩阵用于对所述处理后的全局特征向量进行升维处理。
一种可能的实施方式中，基于所述全局特征向量、所述多通道特征数据和基于样本数据训练得到的参数矩阵，生成所述目标特征数据，包括：
将所述多通道特征数据与所述全局特征向量相乘，得到第三中间矩阵；
将所述参数矩阵与所述第三中间矩阵相乘，得到第四中间矩阵；
将所述第四中间矩阵与所述多通道特征数据相加，生成所述目标特征数据。
以下装置、电子设备等的效果描述参见上述方法的说明，这里不再赘述。
第二方面，本公开提供了一种行驶控制方法，包括：
获取行驶装置在行驶过程中采集的道路图像；
利用第一方面任一项所述的图像检测方法对所述道路图像进行检测，得到所述道路图像中包括的目标对象的类别和轮廓信息；
基于所述道路图像中包括的目标对象的类别和轮廓信息，控制所述行驶装置。
第三方面，本公开提供了一种图像检测装置，包括：
第一获取模块，用于根据待检测图像生成多通道特征数据；
压缩模块，用于将所述多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量；
提取模块，用于根据所述压缩特征向量生成全局特征向量，所述全局特征向量中包含所述待检测图像的全局信息；
确定模块，用于基于所述全局特征向量和所述多通道特征数据，确定所述待检测图像对应的检测结果。
第四方面，本公开提供了一种行驶控制装置，包括：
第二获取模块，用于获取行驶装置在行驶过程中采集的道路图像；
检测模块，用于利用第一方面任一项所述的图像检测方法对所述道路图像进行检测，得到所述道路图像中包括的目标对象的类别和轮廓信息；
控制模块，用于基于所述道路图像中包括的目标对象的类别和轮廓信息，控制所述行驶装置。
第五方面，本公开提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的图像检测方法的步骤；或者，执行如上述第二方面所述的行驶控制方法的步骤。
第六方面，本公开提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的图像检测方法的步骤；或者，执行如上述第二方面所述的行驶控制方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像检测方法的流程示意图；
图2示出了本公开实施例所提供的一种图像检测方法中，生成融合后的目标特征数据的流程示意图；
图3示出了本公开实施例所提供的一种行驶控制方法的流程示意图；
图4示出了本公开实施例所提供的一种图像检测装置的架构示意图；
图5示出了本公开实施例所提供的一种行驶控制装置的架构示意图；
图6示出了本公开实施例所提供的一种电子设备的结构示意图；
图7示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
一般的，可以通过非局部Non-Local算法实现图像处理任务，但是，Non-Local算法的运行效率与输入图像的分辨率密切相关，在输入图像的分辨率较高时，Non-Local算法的效率较低。为了提高图像检测的效率，本公开实施例提供了一种图像检测方法。
针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。
下面将结合本公开中附图，对本公开中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
为便于对本公开实施例进行理解，首先对本公开实施例所公开的一种图像检测方法进行详细介绍。本公开实施例所提供的图像检测方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像检测方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例所提供的图像检测方法的流程示意图，该方法包括S101-S104，其中：
S101，根据待检测图像生成多通道特征数据。
S102，将多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量。
S103，根据压缩特征向量生成全局特征向量，全局特征向量中包含待检测图像的全局信息。
S104，基于全局特征向量和多通道特征数据，确定待检测图像对应的检测结果。
经实验发现，神经网络最后生成的、用于进行预测的特征图上，每个类别在通道上面的分布较稀疏，因此，本方案在生成多通道特征数据之后，将多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量，根据压缩特征向量生成全局特征向量，该全局特征向量中包含有待检测图像的全局信息；最后基于包含有待检测图像的全局信息的全局特征向量和多通道特征数据，确定待检测图像对应的检测结果时，保障了待检测图像的检测结果的准确度的同时还由于特征数据被压缩减小了数据处理量，从而无需关注待检测图像的分辨率信息，在保证图像检测准确度的基础上，提高了图像检测的效率。
针对S101：
这里，待检测图像可以为任一需要检测的图像，该图像可以为彩色图像，也可以为灰度图。比如，在自动驾驶场景内，待检测图像可以为自动驾驶汽车在行驶过程中采集的任一帧场景图像。
一般的，神经网络的结构可以包括骨干网络backbone、头部head网络等。具体实施时，可以将待检测图像输入至训练后的神经网络中，该神经网络中包含的backbone网络可以对待检测图像进行特征提取，得到用于输入至head网络的特征图，该输入至head网络的特征图即为多通道特征数据。其中，多通道特征数据可以为尺寸为C×H×W的特征图，C表示特征图的维度(通道数)，H为特征图的高度，W为特征图的宽度。
针对S102：
这里，可以将多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量。
一种可选实施方式中，将多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量，包括：
S1021，对多通道特征数据进行降维处理，生成降维后的多通道特征数据。
S1022，将降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量。
考虑到在多通道特征图的维度较大时降低了检测的效率，故为了提高图像检测的效率，可以先利用卷积操作对多通道特征数据进行降维处理，生成降维后的多通道特征数据。比如，可以使用卷积核为1×1的卷积层对多通道特征数据进行降维处理，生成降维后的多通道特征数据。
对降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量，该压缩特征向量的维度与降维后的多通道特征数据的维度相同。比如，若降维后的多通道特征数据的尺寸为13×13×256，则生成的压缩特征向量为256维的向量。
采用上述方法，可以先对多通道特征数据进行降维处理，基于降维后的多通道特征数据生成压缩特征向量时，减少了压缩特征向量的维度，以便后续基于压缩特征向量生成全局特征向量时，可以减少计算量，提高处理效率。
其中，可以通过下述两种方式生成压缩特征向量：
方式一、将降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量，包括：基于全局池化操作对降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量。
在方式一中，在得到降维后的多通道特征数据之后，可以利用全局池化操作对降维后的多通道特征数据进行处理，生成压缩特征向量，即可以对降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量。其中，还可以基于全局平均池化操作对降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量。
上述方法中，利用全局池化操作对降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量，压缩处理过程较为简便。
方式二、利用卷积操作对多通道特征数据进行降维处理，生成降维后的多通道特征数据，包括：利用卷积参数不同的卷积操作分别对多通道特征数据进行第一降维处理和第二降维处理，生成第一降维处理后的第一多通道特征数据、和第二降维处理后的第二多通道特征数据。其中，第一多通道特征数据和第二多通道特征数据的维度相同。示例性的，可以使用卷积核为1×1的第一卷积层和第二卷积层(第一卷积层的卷积参数与第二卷积层的卷积参数不同)分别对多通道特征数据进行降维处理，即使用第一卷积层对多通道特征数据进行第一降维处理，生成第一多通道特征数据；以及使用第二卷积层对多通道特征数据进行第二降维处理，生成第二多通道特征数据。
将降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量，包括：
步骤一、计算第一多通道特征数据和第二多通道特征数据的哈达玛积，得到中间多通道特征数据。
步骤二、针对中间多通道特征数据中每个通道的特征数据，将该通道的特征数据求和，得到该通道对应的特征值。
步骤三、中间多通道特征数据中每个通道对应的特征值，构成压缩特征向量。
采用上述方法，通过计算降维后的第一多通道特征数据与第二多通道特征数据的哈达玛积，得到中间多通道特征数据，生成的中间多通道特征数据中包含的特征信息较为丰富，进而基于中间多通道特征数据，可以生成判别力较高的压缩特征向量。
针对S103：
这里，可以根据压缩特征向量生成全局特征向量，比如，可以对压缩特征向量进行推理(即全局特征提取处理)，获取待检测图像对应的全局上下文信息(即全局信息)，生成全局特征向量，其中，该全局特征向量中包含待检测图像对应的全局信息。
一种可能的实施方式中，根据压缩特征向量生成全局特征向量，包括：
S1031，对压缩特征向量进行分组，得到多个局部特征向量。
S1032，根据多个局部特征向量，生成全局特征向量。
可以将压缩特征向量进行分组，得到多个局部特征向量，每个局部特征向量的维度相同。比如，若压缩特征向量为128维，将128维压缩特征向量分为4组，可以得到4个32维的局部特征向量。再可以根据多个局部特征向量，生成全局特征向量。
上述实施方式中，对压缩特征向量进行分组，得到多个局部特征向量，并根据多个局部特征向量，生成全局特征向量，获取到了待检测图像对应的全局上下文信息，使得基于包含有待检测图像的全局信息的全局特征向量和多通道特征数据，可以较准确地确定待检测图像对应的检测结果。
作为一可选实施方式，对压缩特征向量进行分组，得到多个局部特征向量，包括：按照设置的组数，沿着特征的通道方向将压缩特征向量划分为多个局部特征向量。
采用上述方法，由于设置的组数与待检测对象的类别数量有关，故在按照设置的组数，沿着特征的通道方向将压缩特征向量划分为多个局部特征向量后，使得划分后的多个局部特征向量可以关注对象的类别，后续基于多个局部特征向量生成全局特征向量时，使得生成的全局特征向量对语义类别较为敏感，提高了待检测图像的检测结果的准确度。
这里，可以根据预设的目标对象的类别数量，确定设置的组数，其中，组数可以根据实际情况进行设置。具体实施时，可以按照设置的组数n，将压缩特征量平均划分为n个局部特征向量，比如，若压缩特征向量的维度为C，则可以将维度为C的压缩特征向量平均划分为n个局部特征向量，每个局部特征向量的维度为b，即C＝n×b。进一步的，还可以将n个局部特征向量作为n个节点，再将n个节点中任意两个节点相连，生成了多个局部特征向量对应的有向图。
接着，可以对划分后的多个局部特征向量进行全局特征提取处理，生成全局特征向量。即可以对生成的多个局部特征向量对应的有向图进行推理，生成处理后的全局特征向量。
采用上述方法，可以按照设置的组数将压缩特征向量划分为多个局部特征向量，并对划分后的多个局部特征向量进行全局特征提取处理，生成包含有待检测图像的全局信息的全局特征向量，使得基于全局特征向量和多通道特征数据，可以较准确的确定待检测图像对应的检测结果。
其中，在S1032中，可以通过下述两种方法根据多个局部特征向量，生成全局特征向量：
方式一、基于多个局部特征向量、以及基于样本数据训练得到的权重矩阵和邻接矩阵，生成全局特征向量，其中，权重矩阵用于表征多个局部特征向量之间的关联程度，邻接矩阵用于表征多个局部特征向量之间的连接关系。
这里，可以利用样本数据对用于对待检测图像进行检测的神经网络进行训练，直至神经网络的准确度满足设置的阈值，该神经网络中包括基于本公开提供的图像检测方法确定的head网络。在对神经网络训练后，可以确定训练后的权重矩阵、邻接矩阵、和参数矩阵，即权重矩阵、邻接矩阵和参数矩阵为利用样本数据进行学习后得到的矩阵。
其中，该权重矩阵可以用于表征多个局部特征向量之间的关联程度，比如，可以从权重矩阵中得到局部特征向量A与局部特征向量B之间的权重，权重值越大，则关联程度越高；邻接矩阵可以用于表征多个局部特征向量之间的连接关系，即可以从邻接矩阵中确定局部特征向量A与局部特征向量B之间是否连接。
在方式一中，基于多个局部特征向量、以及基于样本数据训练得到的权重矩阵和邻接矩阵，生成全局特征向量，包括：
步骤一、将设置的单位矩阵与邻接矩阵相减，得到第一中间矩阵。
步骤二、将权重矩阵、多个局部特征向量、和第一中间矩阵进行矩阵乘法，生成第二中间矩阵。
步骤三、基于设置的激活函数和第二中间矩阵，生成全局特征向量。
具体实施时，可以根据下述公式(1)生成全局特征向量：
Goutput＝σ(WgGinput(I-Ag))；(1)
其中，Goutput为处理后的全局特征向量，I为单位矩阵，Ag为邻接矩阵，Wg为权重矩阵，σ表征激活函数，Ginput为划分后的多个局部特征向量。
即可以将设置的单位矩阵与邻接矩阵进行矩阵减法，得到第一中间矩阵，即I-Ag；将权重矩阵与多个局部特征向量进行第一矩阵乘法，即WgGinput，再将第一矩阵乘法得到的矩阵与第一中间矩阵进行第二矩阵乘法，即WgGinput(I-Ag)，生成第二中间矩阵，最后基于第二中间矩阵、以及设置的激活函数，生成全局特征向量。
采用上述方法，基于样本数据训练得到的权重矩阵可以较准确的表征多个局部特征向量之间的关联程度，以及基于样本数据训练得到的邻接矩阵可以较准确的表征多个局部特征向量之间的连接关系，进而可以基于多个局部特征向量、权重矩阵和邻接矩阵，较准确的生成全局特征向量。
方式二、根据多个局部特征向量，生成全局特征向量，包括：
步骤一、利用设置的卷积参数不同的第一卷积操作、第二卷积操作、和第三卷积操作分别对划分后的多个局部特征向量进行特征提取处理，生成第一特征矩阵、第二特征矩阵和第三特征矩阵；其中，第一卷积操作和第二卷积操作用于确定多个局部特征向量之间的相似度；第三卷积操作用于确定多个局部特征向量之间的关联程度。
步骤二、基于第一特征矩阵和第二特征矩阵生成相似度矩阵。
步骤三、基于相似度矩阵、第三特征矩阵、和设置的激活函数，生成全局特征向量。
具体实施时，可以设置三个卷积参数不同的、卷积核大小为1×1的卷积层A、卷积层B、和卷积层C，利用卷积层A对多个局部特征向量进行第一卷积操作，生成第一特征矩阵；利用卷积层B对多个局部特征向量进行第二卷积操作，生成第二特征矩阵；利用卷积层C对多个局部特征向量进行第三卷积操作，生成第三特征矩阵。其中，第一卷积操作和第二卷积操作可以用于确定多个局部特征向量之间的相似度；第三卷积操作可以用于确定多个局部特征向量之间的关联程度。进而，可以基于第一特征矩阵和第二特征矩阵生成相似度矩阵，生成相似度矩阵；再基于相似度矩阵、第三特征矩阵、以及设置的激活函数，生成全局特征向量。
具体实施时，可以根据下述公式(2)生成全局特征向量：
Goutput＝σ{ρg(Ginput)[φg(Ginput)Tθg(Ginput)]}；(2)
其中，Goutput为处理后的全局特征向量，Ginput为划分后的多个局部特征向量，σ表征激活函数，φg(Ginput)为利用第一卷积操作对多个局部特征向量进行特征提取处理，生成的第一特征矩阵；φg表征第一卷积操作；θg(Ginput)为利用第二卷积操作对多个局部特征向量进行特征提取处理，生成的第二特征矩阵；θg表征第二卷积操作；ρg(Ginput)为利用第三卷积操作对多个局部特征向量进行特征提取处理，生成的第三特征矩阵；ρg表征第三卷积操作。
针对S104：
这里，待检测图像对应的检测结果可以为待检测图像中包括的对象的检测框信息(检测框的尺寸、位置、类别、置信度等)；也可以为待检测图像对应的语义分割结果；还可以为待检测图像对应的实例分割结果等。其中，可以根据不同的检测需求，生成不同的检测结果。
一种可选实施方式中，基于全局特征向量和多通道特征数据，确定待检测图像对应的检测结果，包括：
S1041，基于全局特征向量和多通道特征数据，生成用于对待检测图像进行检测的目标特征数据。
S1042，基于目标特征数据，确定待检测图像对应的检测结果。
这里，可以先基于全局特征向量和多通道特征数据，生成用于对待检测图像进行检测的目标特征数据；再可以对目标特征数据进行预测，确定待检测图像对应的检测结果。
在S1041中，基于全局特征向量和多通道特征数据，生成用于对待检测图像进行检测的目标特征数据，可以包括：基于处理后的全局特征向量、多通道特征数据和基于样本数据训练得到的参数矩阵，生成融合后的目标特征数据，其中，参数矩阵用于对处理后的全局特征向量进行升维处理，使得生成的目标特征数据与多通道特征数据的尺寸相同，即目标特征数据也可以为：尺寸信息为C×H×W的特征图。
基于全局特征向量、多通道特征数据和基于样本数据训练得到的参数矩阵，生成目标特征数据，可以包括：
步骤一、将多通道特征数据与全局特征向量相乘，得到第三中间矩阵。
步骤二、将参数矩阵与第三中间矩阵相乘，得到第四中间矩阵。
步骤三、将第四中间矩阵与多通道特征数据相加，生成目标特征数据。
这里，可以将多通道特征数据与处理后的全局特征向量相乘，得到第三中间矩阵。或者，还可以利用第四卷积操作对多通道特征数据进行降维处理，将降维处理后的多通道特征数据与全局特征向量相乘，得到第三中间矩阵。即：
其中，X为多通道特征数据，
为第三中间矩阵，Goutput为处理后的全局特征向量。
进而，可以根据下述公式(3)生成融合后的目标特征数据：
其中，Y为目标特征数据，WR为参数矩阵，
为第三中间矩阵，X为多通道特征数据。
参见图2所示的一种图像检测方法中，生成融合后的目标特征数据的流程示意图。结合图2对生成融合后的目标特征数据的过程进行示例性说明，首先，可以根据待检测图像生成多通道特征数据21，利用卷积参数不同的卷积操作22分别对多通道特征数据21进行第一降维处理和第二降维处理，生成第一多通道特征数据和第二多通道特征数据；再可以计算第一多通道特征数据和第二多通道特征数据的哈达玛积，得到中间多通道特征数据，并将中间多通道特征数据中每个通道的特征数据求和，得到每个通道对应的特征值，进而中间多通道特征数据中每个通道对应的特征值，构成了压缩特征向量23；接着，可以按照设置的组数，沿着特征的通道方向将压缩特征向量划分为多个局部特征向量，将多个局部特征向量分别作为多个节点，将再将多个节点中任意两个节点相连，生成了多个局部特征向量对应的有向图24，并对生成的多个局部特征向量对应的有向图24(划分后的多个局部特征向量)进行推理(全局特征提取处理)，生成全局特征向量25；最后，基于全局特征向量、和多通道特征数据，得到第三中间矩阵26，再基于第三中间矩阵、参数矩阵、和多通道特征数据，生成融合后的目标特征数据27。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思，本公开实施例提供了一种行驶控制方法，参见图3所示，为本公开实施例所提供的一种行驶控制方法的流程示意图，该方法包括S301-S303，其中：
S301，获取行驶装置在行驶过程中采集的道路图像；
S302，利用上述实施例所述的图像检测方法对道路图像进行检测，得到道路图像中包括的目标对象的类别和轮廓信息；
S303，基于道路图像中包括的目标对象的类别和轮廓信息，控制行驶装置。
示例性的，行驶装置可以为自动驾驶车辆、装有高级驾驶辅助系统(AdvancedDriving Assistance System，ADAS)的车辆、或者机器人等。道路图像可以为行驶装置在行驶过程中实时采集到的图像。目标对象可以为道路中可以能出现的任一物体和/或、任一对象。比如，目标对象可以为出现在道路上的动物、行人等，也可以为道路上的其他车辆(包括机动车辆和非机动车辆)等。
其中，在控制行驶装置时，可以控制行驶装置加速、减速、转向、制动等，或者可以播放语音提示信息，以提示驾驶员控制行驶装置加速、减速、转向、制动等。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于相同的构思，本公开实施例还提供了一种图像检测装置，参见图4所示，为本公开实施例提供的图像检测装置的架构示意图，包括第一获取模块401、压缩模块402、提取模块403、确定模块404，具体的：
第一获取模块401，用于根据待检测图像生成多通道特征数据；
压缩模块402，用于将所述多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量；
提取模块403，用于根据所述压缩特征向量生成全局特征向量，所述全局特征向量中包含所述待检测图像的全局信息；
确定模块404，用于基于所述全局特征向量和所述多通道特征数据，确定所述待检测图像对应的检测结果。
一种可能的实施方式中，所述压缩模块402，在将所述多通道特征数据中每个通道的特征数据分别进行压缩处理，生成压缩特征向量时，用于：
对所述多通道特征数据进行降维处理，生成降维后的多通道特征数据；
将所述降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成所述压缩特征向量。
一种可能的实施方式中，所述压缩模块402，在将所述降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成所述压缩特征向量时，用于：
基于全局池化操作对所述降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成所述压缩特征向量。
一种可能的实施方式中，所述压缩模块402，在对所述多通道特征数据进行降维处理，生成降维后的多通道特征数据时，用于：
利用卷积参数不同的卷积操作分别对所述多通道特征数据进行第一降维处理和第二降维处理，生成第一降维处理后的第一多通道特征数据、和第二降维处理后的第二多通道特征数据；
所述压缩模块402，在将所述降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成所述压缩特征向量时，用于：
计算所述第一多通道特征数据和所述第二多通道特征数据的哈达玛积，得到中间多通道特征数据；
针对所述中间多通道特征数据中每个通道的特征数据，将该通道的特征数据求和，得到该通道对应的特征值；
所述中间多通道特征数据中每个通道对应的特征值，构成所述压缩特征向量。
一种可能的实施方式中，所述提取模块403，在根据所述压缩特征向量生成全局特征向量时，用于：
对所述压缩特征向量进行分组，得到多个局部特征向量；
根据多个局部特征向量，生成全局特征向量。
一种可能的实施方式中，所述提取模块403，在对所述压缩特征向量进行分组，得到多个局部特征向量时，用于：
按照设置的组数，沿着特征的通道方向将所述压缩特征向量划分为多个局部特征向量。
一种可能的实施方式中，所述提取模块403，在根据多个局部特征向量，生成全局特征向量时，用于：
基于所述多个局部特征向量、以及基于样本数据训练得到的权重矩阵和邻接矩阵，生成全局特征向量，其中，所述权重矩阵用于表征所述多个局部特征向量之间的关联程度，所述邻接矩阵用于表征所述多个局部特征向量之间的连接关系。
一种可能的实施方式中，所述提取模块403，在基于所述多个局部特征向量、以及基于样本数据训练得到的权重矩阵和邻接矩阵，生成全局特征向量时，用于：
将设置的单位矩阵与所述邻接矩阵相减，得到第一中间矩阵；
将所述权重矩阵、所述多个局部特征向量、和所述第一中间矩阵进行矩阵乘法，生成第二中间矩阵；
基于设置的激活函数和所述第二中间矩阵，生成所述全局特征向量。
一种可能的实施方式中，所述提取模块403，在根据多个局部特征向量，生成全局特征向量时，包括：
利用设置的卷积参数不同的第一卷积操作、第二卷积操作、和第三卷积操作分别对划分后的多个局部特征向量进行特征提取处理，生成第一特征矩阵、第二特征矩阵和第三特征矩阵；其中，所述第一卷积操作和所述第二卷积操作用于确定所述多个局部特征向量之间的相似度；所述第三卷积操作用于确定所述多个局部特征向量之间的关联程度；
基于所述第一特征矩阵和所述第二特征矩阵生成相似度矩阵；
基于所述相似度矩阵、所述第三特征矩阵、和设置的激活函数，生成所述全局特征向量。
一种可能的实施方式中，所述确定模块403，在基于所述全局特征向量和所述多通道特征数据，确定所述待检测图像对应的检测结果时，用于：
基于所述全局特征向量和所述多通道特征数据，生成用于对所述待检测图像进行检测的目标特征数据；
基于所述目标特征数据，确定所述待检测图像对应的检测结果。
一种可能的实施方式中，所述确定模块404，在基于所述全局特征向量和所述多通道特征数据，生成用于对所述待检测图像进行检测的目标特征数据时，用于：
基于所述全局特征向量、所述多通道特征数据和基于样本数据训练得到的参数矩阵，生成所述目标特征数据，其中，所述参数矩阵用于对所述处理后的全局特征向量进行升维处理。
一种可能的实施方式中，所述确定模块404，在基于所述全局特征向量、所述多通道特征数据和基于样本数据训练得到的参数矩阵，生成所述目标特征数据时，用于：
将所述多通道特征数据与所述全局特征向量相乘，得到第三中间矩阵；
将所述参数矩阵与所述第三中间矩阵相乘，得到第四中间矩阵；
将所述第四中间矩阵与所述多通道特征数据相加，生成所述目标特征数据。
基于相同的构思，本公开实施例还提供了一种行驶控制装置，参见图5所示，为本公开实施例提供的行驶控制装置的架构示意图，包括第二获取模块501、检测模块502、控制模块503，具体的：
第二获取模块501，用于获取行驶装置在行驶过程中采集的道路图像；
检测模块502，用于利用上述实施例所述的图像检测方法对所述道路图像进行检测，得到所述道路图像中包括的目标对象的类别和轮廓信息；
控制模块503，用于基于所述道路图像中包括的目标对象的类别和轮廓信息，控制所述行驶装置。
在一些实施例中，本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。
基于同一技术构思，本公开实施例还提供了一种电子设备600。参照图6所示，为本公开实施例提供的电子设备的结构示意图，包括处理器601、存储器602、和总线603。其中，存储器602用于存储执行指令，包括内存6021和外部存储器6022；这里的内存6021也称内存储器，用于暂时存放处理器601中的运算数据，以及与硬盘等外部存储器6022交换的数据，处理器601通过内存6021与外部存储器6022进行数据交换，当电子设备600运行时，处理器601与存储器602之间通过总线603通信，使得处理器601在执行以下指令：
根据待检测图像生成多通道特征数据；
将所述多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量；
根据所述压缩特征向量生成全局特征向量，所述全局特征向量中包含所述待检测图像的全局信息；
基于所述全局特征向量和所述多通道特征数据，确定所述待检测图像对应的检测结果。
基于同一技术构思，本公开实施例还提供了一种电子设备700。参照图7所示，为本公开实施例提供的电子设备的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换，当电子设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701在执行以下指令：
获取行驶装置在行驶过程中采集的道路图像；
利用上述实施例所述的图像检测方法对所述道路图像进行检测，得到所述道路图像中包括的目标对象的类别和轮廓信息；
基于所述道路图像中包括的目标对象的类别和轮廓信息，控制所述行驶装置。
此外，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像检测方法的步骤；以及执行上述方法实施例中所述的行驶控制方法的步骤。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像检测方法的步骤、以及行驶控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以权利要求的保护范围为准。
Claims (17)
1.一种图像检测方法，其特征在于，包括：
根据待检测图像生成多通道特征数据；
将所述多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量；
根据所述压缩特征向量生成全局特征向量，所述全局特征向量中包含所述待检测图像的全局信息；
基于所述全局特征向量和所述多通道特征数据，确定所述待检测图像对应的检测结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量，包括：
对所述多通道特征数据进行降维处理，生成降维后的多通道特征数据；
将所述降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成所述压缩特征向量。
3.根据权利要求2所述的方法，其特征在于，将所述降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成所述压缩特征向量，包括：
基于全局池化操作对所述降维后的多通道特征数据中每个通道的特征数据分别进行压缩处理，生成所述压缩特征向量。
4.根据权利要求2所述的方法，其特征在于，所述对所述多通道特征数据进行降维处理，生成降维后的多通道特征数据，包括：
利用卷积参数不同的卷积操作分别对所述多通道特征数据进行第一降维处理和第二降维处理，生成第一降维处理后的第一多通道特征数据、和第二降维处理后的第二多通道特征数据；
所述将所述降维后的多通道特征数据中每个通道的特征数据分别进行压缩，生成所述压缩特征向量，包括：
计算所述第一多通道特征数据和所述第二多通道特征数据的哈达玛积，得到中间多通道特征数据；
针对所述中间多通道特征数据中每个通道的特征数据，将该通道的特征数据求和，得到该通道对应的特征值；
所述中间多通道特征数据中每个通道对应的特征值，构成所述压缩特征向量。
5.根据权利要求1～4任一所述的方法，其特征在于，根据所述压缩特征向量生成全局特征向量，包括：
对所述压缩特征向量进行分组，得到多个局部特征向量；
根据多个局部特征向量，生成全局特征向量。
6.根据权利要求5所述的方法，其特征在于，对所述压缩特征向量进行分组，得到多个局部特征向量，包括：
按照设置的组数，沿着特征的通道方向将所述压缩特征向量划分为多个局部特征向量。
7.根据权利要求5所述的方法，其特征在于，根据多个局部特征向量，生成全局特征向量，包括：
基于所述多个局部特征向量、以及基于样本数据训练得到的权重矩阵和邻接矩阵，生成全局特征向量，其中，所述权重矩阵用于表征所述多个局部特征向量之间的关联程度，所述邻接矩阵用于表征所述多个局部特征向量之间的连接关系。
8.根据权利要求7所述的方法，其特征在于，基于所述多个局部特征向量、以及基于样本数据训练得到的权重矩阵和邻接矩阵，生成全局特征向量，包括：
将设置的单位矩阵与所述邻接矩阵相减，得到第一中间矩阵；
将所述权重矩阵、所述多个局部特征向量、和所述第一中间矩阵进行矩阵乘法，生成第二中间矩阵；
基于设置的激活函数和所述第二中间矩阵，生成所述全局特征向量。
9.根据权利要求5所述的方法，其特征在于，根据多个局部特征向量，生成全局特征向量，包括：
利用设置的卷积参数不同的第一卷积操作、第二卷积操作、和第三卷积操作分别对划分后的多个局部特征向量进行特征提取处理，生成第一特征矩阵、第二特征矩阵和第三特征矩阵；其中，所述第一卷积操作和所述第二卷积操作用于确定所述多个局部特征向量之间的相似度；所述第三卷积操作用于确定所述多个局部特征向量之间的关联程度；
基于所述第一特征矩阵和所述第二特征矩阵生成相似度矩阵；
基于所述相似度矩阵、所述第三特征矩阵、和设置的激活函数，生成所述全局特征向量。
10.根据权利要求1～9任一所述的方法，其特征在于，所述基于所述全局特征向量和所述多通道特征数据，确定所述待检测图像对应的检测结果，包括：
基于所述全局特征向量和所述多通道特征数据，生成用于对所述待检测图像进行检测的目标特征数据；
基于所述目标特征数据，确定所述待检测图像的检测结果。
11.根据权利要求10所述的方法，其特征在于，所述基于所述全局特征向量和所述多通道特征数据，生成用于对所述待检测图像进行检测的目标特征数据，包括：
基于所述全局特征向量、所述多通道特征数据和基于样本数据训练得到的参数矩阵，生成所述目标特征数据，其中，所述参数矩阵用于对所述处理后的全局特征向量进行升维处理。
12.根据权利要求11所述的方法，其特征在于，基于所述全局特征向量、所述多通道特征数据和基于样本数据训练得到的参数矩阵，生成所述目标特征数据，包括：
将所述多通道特征数据与所述全局特征向量相乘，得到第三中间矩阵；
将所述参数矩阵与所述第三中间矩阵相乘，得到第四中间矩阵；
将所述第四中间矩阵与所述多通道特征数据相加，生成所述目标特征数据。
13.一种行驶控制方法，其特征在于，包括：
获取行驶装置在行驶过程中采集的道路图像；
利用权利要求1至12任一项所述的图像检测方法对所述道路图像进行检测，得到所述道路图像中包括的目标对象的类别和轮廓信息；
基于所述道路图像中包括的目标对象的类别和轮廓信息，控制所述行驶装置。
14.一种图像检测装置，其特征在于，包括：
第一获取模块，用于根据待检测图像生成多通道特征数据；
压缩模块，用于将所述多通道特征数据中每个通道的特征数据分别进行压缩，生成压缩特征向量；
提取模块，用于根据所述压缩特征向量生成全局特征向量，所述全局特征向量中包含所述待检测图像的全局信息；
确定模块，用于基于所述全局特征向量和所述多通道特征数据，确定所述待检测图像对应的检测结果。
15.一种行驶控制装置，其特征在于，包括：
第二获取模块，用于获取行驶装置在行驶过程中采集的道路图像；
检测模块，用于利用权利要求1至12任一项所述的图像检测方法对所述道路图像进行检测，得到所述道路图像中包括的目标对象的类别和轮廓信息；
控制模块，用于基于所述道路图像中包括的目标对象的类别和轮廓信息，控制所述行驶装置。
16.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至12任一所述的图像检测方法的步骤；或者，执行时执行如权利要求13所述的行驶控制方法的步骤。
17.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至12任一所述的图像检测方法的步骤；或者，执行时执行如权利要求13所述的行驶控制方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011187750.6A CN112215840A (zh) | 2020-10-30 | 2020-10-30 | 图像检测、行驶控制方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011187750.6A CN112215840A (zh) | 2020-10-30 | 2020-10-30 | 图像检测、行驶控制方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112215840A true CN112215840A (zh) | 2021-01-12 |
Family
ID=74057636
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011187750.6A Pending CN112215840A (zh) | 2020-10-30 | 2020-10-30 | 图像检测、行驶控制方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112215840A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024077781A1 (zh) * | 2022-10-13 | 2024-04-18 | 深圳云天励飞技术股份有限公司 | 基于卷积神经网络模型的图像识别方法、装置及终端设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109784166A (zh) * | 2018-12-13 | 2019-05-21 | 北京飞搜科技有限公司 | 行人重识别的方法及装置 |
| CN109872364A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 图像区域定位方法、装置、存储介质和医学影像处理设备 |
| CN109886242A (zh) * | 2019-03-01 | 2019-06-14 | 中国科学院重庆绿色智能技术研究院 | 一种行人重识别的方法及系统 |
| US20190222845A1 (en) * | 2016-05-23 | 2019-07-18 | David Scott Taubman | Method and apparatus for image compression |
| CN110046550A (zh) * | 2019-03-14 | 2019-07-23 | 中山大学 | 基于多层特征学习的行人属性识别系统及方法 |
| CN110070073A (zh) * | 2019-05-07 | 2019-07-30 | 国家广播电视总局广播电视科学研究院 | 基于注意力机制的全局特征和局部特征的行人再识别方法 |
| WO2019237846A1 (zh) * | 2018-06-11 | 2019-12-19 | 腾讯科技（深圳）有限公司 | 图像处理方法、人脸识别方法、装置和计算机设备 |
| CN110647893A (zh) * | 2019-09-20 | 2020-01-03 | 北京地平线机器人技术研发有限公司 | 目标对象识别方法、装置、存储介质和设备 |
| CN110752028A (zh) * | 2019-10-21 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN111242088A (zh) * | 2020-01-22 | 2020-06-05 | 上海商汤临港智能科技有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
| CN111325687A (zh) * | 2020-02-14 | 2020-06-23 | 上海工程技术大学 | 一种基于端对端深度网络的平滑滤波取证方法 |
| CN111598894A (zh) * | 2020-04-17 | 2020-08-28 | 哈尔滨工业大学 | 基于全局信息卷积神经网络的视网膜血管图像分割系统 |
| WO2020219229A1 (en) * | 2019-04-23 | 2020-10-29 | Microsoft Technology Licensing, Llc | Direct computation with compressed weight in training deep neural network |
-
2020
- 2020-10-30 CN CN202011187750.6A patent/CN112215840A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190222845A1 (en) * | 2016-05-23 | 2019-07-18 | David Scott Taubman | Method and apparatus for image compression |
| WO2019237846A1 (zh) * | 2018-06-11 | 2019-12-19 | 腾讯科技（深圳）有限公司 | 图像处理方法、人脸识别方法、装置和计算机设备 |
| CN109784166A (zh) * | 2018-12-13 | 2019-05-21 | 北京飞搜科技有限公司 | 行人重识别的方法及装置 |
| CN109872364A (zh) * | 2019-01-28 | 2019-06-11 | 腾讯科技（深圳）有限公司 | 图像区域定位方法、装置、存储介质和医学影像处理设备 |
| CN109886242A (zh) * | 2019-03-01 | 2019-06-14 | 中国科学院重庆绿色智能技术研究院 | 一种行人重识别的方法及系统 |
| CN110046550A (zh) * | 2019-03-14 | 2019-07-23 | 中山大学 | 基于多层特征学习的行人属性识别系统及方法 |
| WO2020219229A1 (en) * | 2019-04-23 | 2020-10-29 | Microsoft Technology Licensing, Llc | Direct computation with compressed weight in training deep neural network |
| CN110070073A (zh) * | 2019-05-07 | 2019-07-30 | 国家广播电视总局广播电视科学研究院 | 基于注意力机制的全局特征和局部特征的行人再识别方法 |
| CN110647893A (zh) * | 2019-09-20 | 2020-01-03 | 北京地平线机器人技术研发有限公司 | 目标对象识别方法、装置、存储介质和设备 |
| CN110752028A (zh) * | 2019-10-21 | 2020-02-04 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备以及存储介质 |
| CN111242088A (zh) * | 2020-01-22 | 2020-06-05 | 上海商汤临港智能科技有限公司 | 一种目标检测方法、装置、电子设备及存储介质 |
| CN111325687A (zh) * | 2020-02-14 | 2020-06-23 | 上海工程技术大学 | 一种基于端对端深度网络的平滑滤波取证方法 |
| CN111598894A (zh) * | 2020-04-17 | 2020-08-28 | 哈尔滨工业大学 | 基于全局信息卷积神经网络的视网膜血管图像分割系统 |
Non-Patent Citations (3)
| Title |
|---|
| LIANG JH等: "Channel Compression: Rethinking Information Redundancy among Channels in CNN Architecture", IEEE ACCESS, vol. 8, 4 September 2020 (2020-09-04), pages 147265 - 147274, XP011806042, DOI: 10.1109/ACCESS.2020.3015714 * |
| 梁延禹;李金宝;: "多尺度非局部注意力网络的小目标检测算法", 计算机科学与探索, no. 10, 25 December 2019 (2019-12-25) * |
| 纪清晨: "基于深度学习的行人属性识别研究", 中国优秀硕士学位论文全文数据库信息科技辑, 15 January 2020 (2020-01-15) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024077781A1 (zh) * | 2022-10-13 | 2024-04-18 | 深圳云天励飞技术股份有限公司 | 基于卷积神经网络模型的图像识别方法、装置及终端设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109961009B (zh) | 基于深度学习的行人检测方法、系统、装置及存储介质 | |
| EP3289529B1 (en) | Reducing image resolution in deep convolutional networks | |
| CN111126258A (zh) | 图像识别方法及相关装置 | |
| CN113469073A (zh) | 一种基于轻量级深度学习的sar图像舰船检测方法及系统 | |
| KR102140805B1 (ko) | 위성 영상의 물체 식별을 위한 뉴럴 네트워크 학습 방법 및 장치 | |
| CN111597884A (zh) | 面部动作单元识别方法、装置、电子设备及存储介质 | |
| CN110222607B (zh) | 人脸关键点检测的方法、装置及系统 | |
| CN110245714B (zh) | 图像识别方法、装置及电子设备 | |
| CN111401196A (zh) | 受限空间内自适应人脸聚类的方法、计算机装置及计算机可读存储介质 | |
| CN112381061B (zh) | 一种面部表情识别方法及系统 | |
| CN112926461B (zh) | 神经网络训练、行驶控制方法及装置 | |
| CN115631344B (zh) | 一种基于特征自适应聚合的目标检测方法 | |
| CN113920538B (zh) | 目标检测方法、装置、设备、存储介质及计算机程序产品 | |
| CN109982088B (zh) | 图像处理方法及装置 | |
| CN114266894A (zh) | 一种图像分割方法、装置、电子设备及存储介质 | |
| CN111179270A (zh) | 基于注意力机制的图像共分割方法和装置 | |
| CN110232381B (zh) | 车牌分割方法、装置、计算机设备及计算机可读存储介质 | |
| CN111881854A (zh) | 动作识别方法、装置、计算机设备及存储介质 | |
| CN111340223A (zh) | 神经网络压缩、目标检测、行驶控制方法以及装置 | |
| CN112215840A (zh) | 图像检测、行驶控制方法、装置、电子设备及存储介质 | |
| CN114170623A (zh) | 一种人物交互检测设备及其方法、装置、可读存储介质 | |
| CN113240092A (zh) | 神经网络训练及人脸识别方法、装置、设备及存储介质 | |
| CN111639537A (zh) | 人脸动作单元识别方法、装置、电子设备及存储介质 | |
| CN111723614A (zh) | 交通信号灯识别方法及装置 | |
| CN112801045B (zh) | 一种文本区域检测方法、电子设备及计算机存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |