CN114332599A - 图像识别方法、装置、计算机设备、存储介质和产品 - Google Patents

Abstract

本申请实施例公开了一种图像识别方法、装置、计算机设备、存储介质和产品，通过获取待识别图像；对待识别图像进行关键图像特征提取，得到待识别图像中包含的关键对象的关键特征信息；根据关键对象的关键特征信息，确定关键对象对应的关联信息；对关键对象的关联信息进行信息联立处理，得到待识别图像的关联特征信息；基于关联特征信息对待识别图像进行图像识别，得到待识别图像的图像信息。本方案通过基于待识别图像包含的关键对象进行图像识别，避免基于完整图像进行图像识别时，由于待识别图像包含的内容过于复杂，特征提取困难导致图像识别出错，提高图像识别的准确性，本申请实施例可应用于云技术、人工智能、智慧交通等各种场景。

Description

图像识别方法、装置、计算机设备、存储介质和产品

技术领域

本申请涉及通信技术领域，具体涉及一种图像识别方法、装置、计算机设备、存储介质和产品。

背景技术

在对图像内容进行识别的过程中，需要根据图像对应的特征信息进行分类处理，确定图像包含的图像内容，而当分类类别较多且复杂时，会因为对图像的特征提取不够准确导致图像内容识别出错。例如，在地图要素识别过程中，由于地图要素众多等问题，比如，地图要素包含多种类型的提示牌，而每种类型的提示牌在不同场景下包含的内容不同，会因为提示牌种类众多，且包含的内容复杂产生大量识别类型错误等问题。

发明内容

本申请实施例提供一种图像识别方法、装置、计算机设备、存储介质和产品，可以提高图像识别的准确性。

本申请实施例提供的一种图像识别方法，包括：

获取待识别图像；

对所述待识别图像进行关键图像特征提取，得到所述待识别图像中包含的关键对象的关键特征信息；

根据所述关键对象的关键特征信息，确定所述关键对象对应的关联信息；

对所述关键对象的关联信息进行信息联立处理，得到所述待识别图像的关联特征信息；

基于所述关联特征信息对所述待识别图像进行图像识别，得到所述待识别图像的图像信息。

相应的，本申请实施例还提供的一种图像识别装置，包括：

图像获取单元，用于获取待识别图像；

特征提取单元，用于对所述待识别图像进行关键图像特征提取，得到所述待识别图像中包含的关键对象的关键特征信息；

信息确定单元，用于根据所述关键对象的关键特征信息，确定所述关键对象对应的关联信息；

信息联立单元，用于对所述关键对象的关联信息进行信息联立处理，得到所述待识别图像的关联特征信息；

图像识别单元，用于基于所述关联特征信息对所述待识别图像进行图像识别，得到所述待识别图像的内容信息。

在一实施例中，所述关键特征信息包括至少两个子关键特征信息，所述特征提取单元，包括：

特征提取子单元，用于对所述待识别图像进行关键图像特征提取，得到所述关键对象的至少两个子关键特征信息；

特征融合子单元，用于对所述关键对象对应的至少子两个关键特征信息进行特征融合处理，得到所述关键对象的关键特征信息。

在一实施例中，所述至少两个子关键特征信息包括对象特征信息、位置特征信息以及类别特征信息，所述特征提取子单元，包括：

特征提取模块，用于对所述待识别图像进行关键图像特征提取，得到所述待识别图像中每个关键对象对应的对象特征信息以及位置特征信息；

特征信息确定模块，用于基于每个所述关键对象的对象特征信息，确定所述关键对象的类别特征信息。

在一实施例中，所述特征信息确定模块，包括：

信息获取子模块，用于获取初始类别特征信息；

类别确定子模块，用于基于每个所述关键对象的对象特征信息，确定所述关键对象对应的目标对象类别；

选择子模块，用于根据所述目标对象类别对所述初始类别特征信息进行选择处理，得到所述类别特征信息。

在一实施例中，所述信息确定单元，包括：

生成子单元，用于根据所述关键对象的关键特征信息，生成对象网络图，所述对象网络图包含有所述关键特征信息对应的对象节点；

关联信息确定子单元，用于根据所述关键特征信息在所述对象网络图中对应的对象节点，确定所述关键对象的关联信息。

在一实施例中，所述图像识别装置，还包括：

第一获取单元，用于获取初始待识别图像，所述初始待识别图像包含识别要素；

检测单元，用于对所述初始待识别图像进行识别要素检测，确定所述识别要素在所述初始待识别图像中的位置信息；

第二获取单元，用于根据所述识别要素的位置信息从所述初始待识别图像中获取待识别图像。

在一实施例中，所述检测单元，包括：

图像特征提取子单元，用于对所述初始待识别图像进行图像特征提取，得到所述初始识别图像包含的至少一个特征点；

位置信息确定子单元，用于基于所述特征点以及预设检测框，确定所述识别要素在所述初始待识别图像中的位置信息。

相应的，本申请实施例还提供的一种计算机设备，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行本申请实施例提供的任一种图像识别方法。

相应的，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载以执行本申请实施例提供的任一种图像识别方法。

本申请实施例通过获取待识别图像；对待识别图像进行关键图像特征提取，得到待识别图像中包含的关键对象的关键特征信息；根据关键对象的关键特征信息，确定关键对象对应的关联信息；对关键对象的关联信息进行信息联立处理，得到待识别图像的关联特征信息；基于关联特征信息对待识别图像进行图像识别，得到待识别图像的图像信息。

本方案通过对待识别图像进行关键图像特征提取，得到关键对象对应的关键特征信息，并基于关键对象对应的关键特征信息对待识别图像进行图像识别，以基于待识别图像包含的关键对象进行图像识别，避免基于完整图像进行图像识别时，由于待识别图像包含的内容过于复杂，特征提取困难导致图像识别出错，提高对待识别图像进行图像识别的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的图像识别方法的场景图；

图2是本申请实施例提供的图像识别方法的流程图；

图3是本申请实施例提供的图像识别方法的另一流程图；

图4是本申请实施例提供的识别要素类别示意图；

图5是本申请实施例提供的关键对象类别示意图；

图6是本申请实施例提供的候选检测框示意图；

图7是本申请实施例提供的图像识别装置示意图；

图8是本申请实施例提供的计算机设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供一种图像识别方法、装置、计算机设备和计算机可读存储介质。该图像识别装置可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。

其中，该终端可以包括手机、穿戴式智能设备、平板电脑、笔记本电脑、个人计算(PC，Personal Computer)、智能语音交互设备、以及车载计算机等。

其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。

例如，如图1所示，计算机设备获取待识别图像，对待识别图像进行关键图像特征提取，得到待识别图像中包含的至少一个关键对象的关键特征信息，根据每个关键对象对应的关键特征信息之间的关联关系，确定每个关键对象的关联信息，对每个关键对象的关联信息进行信息联立处理，得到待识别图像的关联特征信息，基于关联特征信息对待识别图像进行图像识别，得到待识别图像的图像信息。本方案通过对待识别图像进行关键图像特征提取，得到关键对象对应的关键特征信息，并基于关键对象对应的关键特征信息对待识别图像进行图像识别，以基于待识别图像包含的关键对象进行图像识别，避免基于完整图像进行图像识别时，由于待识别图像包含的内容过于复杂，特征提取困难导致图像识别出错，提高对待识别图像进行图像识别的准确性。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

本实施例将从图像识别装置的角度进行描述，该图像识别装置具体可以集成在计算机设备中，该计算机设备可以是服务器，也可以是终端等设备。

本申请实施例提供的一种图像识别方法，如图2所示，该图像识别方法的具体流程可以如下：

101、获取待识别图像。

比如，待识别图像可以是进行图像识别的图像，具体可以从云端、数据库或者区块链中获取待识别图像。

其中，待识别图像可以是从初始待识别图像中裁取得到的图像，通过从初始待识别图像中裁取待识别图像，可以减少对图像进行特征提取时，因为图像尺寸较大而造成计算量大的问题，且提取关键特征信息时可以更容易地学习到关键对象的关键特征，即在一实施例中，步骤“获取待识别图像”之前，本申请实施例提供的图像识别方法具体还可以包括：

获取初始待识别图像，初始待识别图像包含识别要素；

对初始待识别图像进行识别要素检测，确定识别要素在初始待识别图像中的位置信息；

根据识别要素的位置信息从初始待识别图像中获取待识别图像。

其中，初始待识别图像可以是包含识别要素的图像，识别要素可以包括图像识别所要识别的内容，例如，当应用场景为道路标牌识别时，识别要素可以是初始待识别图像中的道路标牌，待识别图像为初始待识别图像中识别要素所在的图像区域。

比如，具体可以是从云端、数据库或者区块链中获取初始待识别图像，还可以根据应用场景从不同途径获取待识别图像，例如，当应用场景为对道路标牌进行图像识别时，可以获取通过车载摄像头以及其他设备采集的初始待识别图像。

通过神经网络对初始待识别图像进行识别要素检测，例如，通过模板匹配方式从待识别图像中识别待与模板图像相似的图像区域，模板匹配指的是通过模板图像与初始待识别图像之间进行比较，找到初始待识别图像上与模板图像相似的部分，模板图像可以根据实际应用场景中的识别要素的特点进行灵活设置，与模板图像相似的部分即为识别要素所在的图像区域，从待识别图像中检测识别要素以及确定识别要素所在位置的位置信息，根据位置信息从初始待识别图像中截取待识别图像。

从初始待识别图像中确定识别要素还可以根据特征点以及候选检测框确定，具体地，步骤“对初始待识别图像进行图像要素检测，确定图像要素在初始待识别图像中的位置信息”，可以包括：

对初始待识别图像进行图像特征提取，得到初始识别图像包含的至少一个特征点；

基于特征点以及预设检测框，确定识别要素在初始待识别图像中的位置信息。

其中，预设检测框可以是用于从初始待识别图像中确定待识别图像所在的图像区域，预设检测框可以是正方形、矩形、圆形、以及三角形等其他形状。

比如，具体可以是通过神经网络模型对初始待识别图像进行图像特征提取，神经网络模型的网络结构可以包括卷积层、归一化层(Batch Normalization，BN)、以及激活层，具体地，可以通过神经网络模型中的卷积层提取始待识别图像的边缘以及纹理等图像特征，得到初始待识别图像的图像特征，由神经网络模型中的归一化层对卷积层提取的图像特征按照正态分布进行归一化处理，以过滤图像特征中的噪声特征，通过激活层对归一化处理后的图像特征进行非线性映射，得到初始待识别图像中的特征点。

以每一个特征点作为中心点和预设检测框从初始待识别图像中裁剪一个图像区域作为待识别图像。可选的，可以设置多个预设检测框，例如，预设检测框的长宽比分别为{1:1，2:1，1:2}三种比例，以每个特征点为中点，包含一个特征点的预设检测框(三种比例)、两个特征点的预设检测框(三种比例)、以及三个特征点的预设检测框(三种比例)，作为候选检测框，可以理解的是，预设检测框的比例可以根据需要进行灵活设置，例如，预设检测框的长宽比可以设置为4:1，或者可以这是为圆形以及其他的形状，且根据场景识别精确度调节预设检测框的数量，在此不做限定。

将九个候选检测框得到的图像区域与预设识别要素集合中的每个识别要素进行匹配，例如，匹配候选检测框中包含的物体的形状与识别要素的形状等，得到每个候选检测框的匹配分数，例如，对候选检测框中的图像区域进行边缘特征提取，确定候选检测框中所包含物体的形状，将该形状与预设识别要素集合中的每个识别要素的形状进行匹配，得到匹配分数，匹配分数可以表征候选检测框所包含的物体与预设识别要素集合中的识别要素之间的相似程度。

截取匹配分数最高的候选检测框所在的图像区域作为待识别图像。

102、对待识别图像进行关键图像特征提取，得到待识别图像中包含的关键对象的关键特征信息。

其中，关键特征信息可以包括关键对象的特征信息，通过关键特征信息可以将关键对象映射至特征空间中。

比如，具体可以是提取待识别图像的边缘以及纹理等图像特征，得到待识别图像的特征图，根据待识别图像对应的特征图进行关键对象检测，从待识别特征图中确定待识别图像中包含的关键对象，当待识别图像中包含有多个关键对象时，可以从待识别图像中确定多个关键对象。根据关键对象在待识别图像中的图像区域，将特征图中相应位置的特征信息确定为关键对象的关键特征信息。

可选的，从待识别图像中对关键对象进行检测还可以参考对初始待识别图像进行识别要素检测的方式，以从待识别图像中确定关键对象，具体实现过程上述具体描述过程，在此不做赘述。

可选的，从待识别图像中确定关键对象所在的图像区域后，提取该图像区域的对象特征，得到可以表征该关键对象的关键特征信息。

可选的，还可以提取关键对象的位置特征和类别特征等其他特征，以基于多个特征信息确定关键对象对应的关键特征信息，即步骤“对待识别图像进行关键图像特征提取，得到待识别图像中包含的关键对象的关键特征信息”，具体可以包括：

对待识别图像进行关键图像特征提取，得到关键对象的至少两个子关键特征信息；

对关键对象对应的至少子两个关键特征信息进行特征融合处理，得到关键对象的关键特征信息。

其中，子关键特征信息可以包括表示关键对象特征的信息，例如，子关键特征信息可以是对象特征信息、位置特征信息或者是类别特征信息等。

对象特征信息可以表征关键对象的语义信息，根据对象特征信息可以确定关键对象所指示的信息，例如，根据道路标牌中的关键对象对应的对象特征信息可以确定该关键对象指示前面路口左转等。

位置特征信息可以表征关键对象在待识别图像中的位置，以及该关键对象的尺寸大小等信息。尺寸大小可以包括对关键对象进行检测时，确定的候选检测框的大小。

类别特征信息可以表征关键对象所属的类别，例如，可以根据不同关键对象传达的信息预设多种类别，类别特征信息可以表示关键对象为预设多种类别中对应的类别。

比如，在一实施例中，可以对待识别图像的对象特征以及位置特征等关键图像特征进行提取，得到关键对象对应的对象特征信息以及位置特征信息，将对象特征信息以及位置特征信息进行特征融合处理，得到关键对象的关键特征信息。

在一实施例中，可以对待识别图像的对象特征以及类别特征等关键图像特征进行提取，得到关键对象对应的对象特征信息以及类别特征信息，将对象特征信息以及类别特征信息进行特征融合处理，得到关键对象的关键特征信息。

在一实施例中，可以对待识别图像的对象特征、位置特征以及类别特征等关键图像特征进行提取，得到关键对象对应的对象特征信息、位置特征信息以及类别特征信息，将对象特征信息、位置特征信息以及类别特征信息进行特征融合处理，得到关键对象的关键特征信息，即步骤“对待识别图像进行关键图像特征提取，得到待识别图像中每个关键对象对应的至少两个关键特征信息”，具体可以包括：

对待识别图像进行关键图像特征提取，得到待识别图像中每个关键对象对应的对象特征信息以及位置特征信息；

基于每个关键对象的对象特征信息，确定关键对象的类别特征信息。

比如，对待识别图像进行关键图像特征提取，得到待识别对象中每个关键对象的对象特征信息以及位置特征信息，由于对象特征信息表征关键对象的语义信息，因此可以根据对象特征信息确定关键对象对应的对象类别，并基于关键对象所属的对象类别确定对应的类别特征信息。

其中，类别特征信息可以基于初始类别特征信息以及关键对象的对象类别得到，使得不同关键对象对应的类别特征信息在形式上统一，提高对类别特征信息的处理速度，进而提高图像识别速度，即在一实施例中，步骤“基于每个关键对象的对象特征信息确定关键对象的类别特征信息”，具体可以包括：

初始类别特征信息；

基于每个关键对象的对象特征信息，确定关键对象对应的目标对象类别；

根据目标对象类别对初始类别特征信息进行选择处理，得到类别特征信息。

其中，初始类别特征信息可以根据对象类别集合中包含的至少一个对象类别得到，对象类别集合中包含多个对象类别，根据对象类别集合中包含的对象类别的类别数，生成初始类别特征信息，初始类别特征信息的维度与上述类别数相同。根据预设规则将对象类别集合中的多个对象类别进行排序，每个对象类别基于排序顺序分别对应于初始类别特征信息中一个维度的数据。比如，对象类别集合中包含有5个对象类别，经排序后为ABCDE，那么，对应的初始类别特征信息为(0,0,0,0,0)。

比如，由于对象特征信息表征关键对象的语义信息，因此，可以根据对象特征信息确定关键对象对应的目标对象类别，将初始类别特征信息中，目标对象类别对应维度的数值1，得到关键对象的类别特征信息，例如，若关键对象的目标对象类别为E，则类别特征信息为(0,0,0,0,1)，可选的，可以根据其他子关键特征信息的维度等信息，对类别特征信息进行维度转换等操作，使得不同子关键特征信息在大小上一致，方便进行计算。

通过位置特征信息可以确定关键对象在待识别图像中的位置，根据类别特征信息可以确定关键对象的类别，根据关键对象的类别以及在待识别图像中所处的位置可以更好地确定关键对象在待识别图像中所起的作用，以更好确定待识别图像的图像信息。

当待识别图像中，包含多个关键对象时，还可以获取关键对象的位置特征信息，以根据位置特征信息确定不同关键对象在待识别图像中的位置关系，基于关键对象和关键对象之间的位置关系可以更加准确地对待识别图像进行识别；还可以获取关键对象的类别特征信息，以根据类别特征信息更好地确定关键对象之间的关系，提高图像识别的准确性。

本申请实施例通过提取待识别图像包含的关键对象的关键特征信息，将对待识别图像的图像识别任务转化为对待识别图像中更小的要素——关键对象的识别，可以避免由于待识别图像包含内容过于复杂时，基于整张图像进行特征提取时，特征提取难度大而造成由于特征提取不准确引起的图像识别出错，或者无法识别。且同个类别的识别要素的表现形式不是固定不变的，例如，其中包含的文本内容、箭头方向、颜色以及符号等均会发生变化，这会导致训练时需要获取不同表现形式的样本进行训练，训练难度大，且应用效果差。

将图像识别转化为对关键对象进行识别，不仅可以降低特征提取难度，且当同种类别的识别要素改变时，通过待识别图像中多个关键对象的关键特征信息可以确定关键对象的类别，以及预测关键对象之间的关联关系，依旧能够识别待识别图像的类别，相比于基于整图进行识别，本申请实施例提供的图像识别方法提高图像识别的准确性，且具备灵活性。

103、根据关键对象的关键特征信息，确定关键对象对应的关联信息。

其中，关联信息可以包括关键对象与其他关键对象之间的关联关系，当待识别图像中只有一个关键对象时，该关键对象对应的关联信息为0或者为空。

比如，具体可以是当只存在一个关键对象时，根据关键特征信息确定没有关联的其他关键特征信息，确定该关键对象对应的关联信息为0或者为空；当存在至少两个关键对象时，根据每个关键对象的关键特征信息确定每两个关键对象之间的关联信息，当关联信息为0或者为空，表示两个关键对象之间没有关联关系，反之，则存在关联关系。

可选的，可以通过图神经网络(Graph Neural Networks，GNN)确定关键对象的关联信息，即步骤“根据关键对象的关键特征信息确定关键对象的关联信息”，具体可以包括：

根据关键对象的关键特征信息，生成对象网络图，对象网络图包含有关键特征信息对应的对象节点；

根据关键特征信息在对象网络图中对应的对象节点，确定关键对象的关联信息。

其中，对象网络图可以是基于关键特征信息生成的神经网络图，对象网络图中包含有基于关键特征信息生成的节点，每个节点分别对应于一个关键对象。

比如，具体可以是将关键对象的关键特征信息映射至为网络图上的节点，以得到对象图网络，通过图神经网络基于对象图网络中的对象节点，预测关键对象之间的关联关系，得到关键对象之间的关联信息。

104、对关键对象的关联信息进行信息联立处理，得到待识别图像的关联特征信息。

其中，关联特征信息可以包括待识别图像中关键对象的关键特征信息，以及关键对象之间的关联信息。

比如，若只存在一个关键对象时，对关键对象的关联信息进行信息联立处理后，得到的关联特征信息为该关键对象的关联信息。

当存在n(n>1)个关键对象时，存在n(n-1)对关联关系，将关键对象的关联信息中的n(n-1)对关系进行拼接处理，得到待识别图像的关联特征信息。

对关键信息进行信息联立处理除了拼接处理的方式之外，还可以特征融合的方式，比如，将关联信息进行按位和计算或者按位乘等计算以将关联信息进行信息联立处理。

105、基于关联特征信息对待识别图像进行图像识别，得到待识别图像的图像信息。

其中，图像信息可以是待识别图像的图像类别，也可以待识别图像所传达的内容信息。

比如，具体可以是通过分类网络基于关联特征信息对待识图像进行图像识别，确定待识别图像的图像类别，以确定待识别图像的图像信息。

由上可知，本申请实施例通过获取待识别图像；对待识别图像进行关键图像特征提取，得到待识别图像中包含的关键对象的关键特征信息；根据关键对象的关键特征信息，确定关键对象对应的关联信息；对关键对象的关联信息进行信息联立处理，得到待识别图像的关联特征信息；基于关联特征信息对待识别图像进行图像识别，得到待识别图像的图像信息。

本方案通过对待识别图像进行关键图像特征提取，得到关键对象对应的关键特征信息，并基于关键对象对应的关键特征信息对待识别图像进行图像识别，以基于待识别图像包含的关键对象进行图像识别，避免基于完整图像进行图像识别时，由于待识别图像包含的内容过于复杂，特征提取困难导致图像识别出错，提高对待识别图像进行图像识别的准确性。

在上述实施例的基础上，下面将举例做进一步详细说明。

本实施例将从图像识别装置，以及该图像识别方法应用于道路标牌识别场景的角度进行描述，该图像识别装置具体可以集成在计算机设备中，该计算机设备可以是终端等设备。

本申请实施例提供的一种图像识别方法，如图3所示，该图像识别方法的具体流程可以如下：

201、终端获取初始待识别图像。

比如，具体可以是终端通过车载摄像头或者其他设备采集的初始待识别图像，初始待识别图像中可以包含待识别的道路标牌，例如，限速提示牌、交通工具限制提示牌等，初始待识别图像中的道路标牌即为识别要素。

地图道路数据采集过程中，会产生采集得到的图像质量较差、地图要素覆盖不均衡等问题，对深度学习分类网络的训练样本不够优质且样本数量不足，导致产生大量误检、识别类型错误等问题。

可选的，识别要素的分类类别可以包括图4中所示的多种类别：道路名称-指示牌、标牌车信、方面名称、以及道路名称等类别，从图中可知每一个类别中都包含了复杂的内容，例如，类别a：道路名称-指示牌，包含了箭头、符号、以及文本等信息，且每一个道路标牌的类别中包含的内容信息的模态均不固定，通过单纯的卷积神经网络提取特征进行分类的难度非常大，导致分类结果不准确。

本申请实施例提供的图像识别方法，将这些复杂的内容信息作为关键对象，通过将关键图像特征提取出来，并进行后续的信息联立处理来预测类别，提高对待识别图像的辨识能力，从而有效地提高对道路标牌识别的准确率。

其中，关键对象的类别可以包括图5中所示的类别，图5中包含了直行、左转、右转、掉头、以及人行横道等多种类别，其中，序号为20的分类除了包括其他箭头形式之外，还可以包括文本信息。

202、服务器根据初始待识别图像中包含的识别要素的位置信息，从初始待识别图像中获取待识别图像。

比如，具体可以是服务器通过神经网络模型对初始待识别图像进行图像特征提取，具体地，可以通过神经网络模型中的卷积层提取始待识别图像的边缘以及纹理等图像特征，得到初始待识别图像的图像特征，由神经网络模型中的归一化层(BatchNormalization，BN)对卷积层提取的图像特征按照正态分布进行归一化处理，以过滤图像特征中的噪声特征，使得神经网络模型在训练过程的训练收敛更加快速。通过激活层对归一化处理后的图像特征进行非线性映射，加强神经网络模型的泛化能力，得到初始待识别图像中的特征点。

服务器以每一个特征点作为中心点和预设检测框从初始待识别图像中裁剪一个图像区域作为待识别图像。可选的，可以设置多个预设检测框，例如，预设检测框的长宽比分别为{1:1，2:1，1:2}三种比例，如图6所示，以一个特征点为中点，不同线条类型为包含不同数量的特征点的预设检测框，比如，包含一个特征点的预设检测框(三种比例)、两个特征点的预设检测框(三种比例)、以及三个特征点的预设检测框(三种比例)，作为候选检测框。

服务器将九个候选检测框得到的图像区域与预设识别要素集合中的每个识别要素进行匹配，例如，匹配候选检测框中包含的物体的形状与识别要素的形状等，得到每个候选检测框的匹配分数。

服务器截取匹配分数最高的候选检测框所在的图像区域的位置信息，确定为识别要素的位置信息，根据位置信息从初始待识别图像中获取待识别图像。

其中，卷积层包括卷积神经网络，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一，卷积神经网络可以是Resnet卷积神经网络。

当初始待识别图像中包含多个识别要素时，可以从初始待识别图像中获取多张待识别图像。

203、服务器对待识别图像进行关键图像特征提取，得到关键对象的至少两个子关键特征信息。

比如，具体可以是服务器提取待识别图像的边缘纹理等图像特征，得到待识别图像的特征图，根据待识别图像对应的特征图进行关键对象检测，从待识别特征图中确定待识别图像中包含的关键对象，当待识别图像中包含有多个关键对象时，服务器可以从待识别图像中确定多个关键对象。

根据关键对象在待识别图像中的图像区域，提取该图像区域的关键图像特征，得到待识别对象中每个关键对象的对象特征信息以及位置特征信息，由于对象特征信息表征关键对象的语义信息，因此，服务器可以通过分类网络根据对象特征信息进行分类处理，确定关键对象对应的目标对象类别，将初始类别特征信息中，目标对象类别对应维度的数值1，得到关键对象的类别特征信息，例如，若关键对象的目标对象类别为E，则类别特征信息为(0,0,0,0,1)。

通过位置特征信息可以确定关键对象在待识别图像中的位置，根据类别特征信息可以确定关键对象的类别，根据关键对象的类别以及在待识别图像中所处的位置可以更好地确定关键对象在待识别图像中所起的作用，以更好确定待识别图像的图像信息。

当待识别图像中，包含多个关键对象时，还可以获取关键对象的位置特征信息，以根据位置特征信息确定不同关键对象在待识别图像中的位置关系，基于关键对象和关键对象之间的位置关系可以更加准确地对待识别图像进行识别；还可以获取关键对象的类别特征信息，以根据类别特征信息更好地确定关键对象之间的关系，提高图像识别的准确性。

204、服务器针对每个关键对象，将对应的至少两个子关键特征信息进行特征融合处理，得到关键对象的关键特征信息。

比如，具体可以是服务器将对象特征信息、位置特征信息以及类别特征信息进行特征融合处理，例如，将对象特征信息、位置特征信息以及类别特征信息进行按位和计算，以将至少两个子关键特征信息进行特征融合处理，得到关键对象的关键特征信息。

205、服务器根据每个关键对象的关键特征信息，确定至少一个关键对象之间的关联关系。

比如，具体可以是服务器将关键对象的关键特征信息映射至为网络图上的节点，以得到对象图网络，通过图神经网络基于对象图网络中的对象节点，预测关键对象之间的关联关系，得到关键对象之间的关联关系，当每两个对象节点之间的关联关系R₀为0时，表示两个关键对象之间没有关系，反之，则存在关联关系。

206、服务器对关键对象之间的关联关系进行信息联立处理，得到待识别图像的关联特征信息。

比如，若只存在一个关键对象时，服务器对关键对象的关联关系进行信息联立处理后，得到的关联特征信息为该关键对象的关联信息。

当存在n(n>1)个关键对象时，存在n(n-1)对关联关系，服务器将关键对象的关联信息中的n(n-1)对关系进行拼接处理，得到待识别图像的关联特征信息。例如，每两个对象节点之间存在关联关系R₀，R₀∈512，将n(n-1)对关联关系进行拼接处理，得到关联特征信息R，R∈512×n(n-1)。

服务器对关键信息进行信息关系处理除了拼接处理的方式之外，还可以特征融合的方式，比如，将关联关系进行按位和计算或者按位乘等计算以将关联关系进行信息联立处理。

207、服务器基于关联特征信息对待识别图像进行图像识别，得到待识别图像的图像信息，并将图像信息发送给终端。

比如，具体可以是服务器通过维度转换将关联特征信息变换到1×n维度，其中，n表示道路标牌类别总数，道路标牌类别如图所示，选取n个数中最大值对应的类别为最终预测的图像类别，以确定待识别图像的图像信息。

服务器将图像识别得到的图像信息发送给终端。

208、终端基于图像信息进行展示。

比如，具体可以是终端接收服务器发送的图像信息，并在终端采集得到的初始待识别图像中显示该图像信息，以使得用户可以获取初始待识别图像中该道路标牌的类型，获取基于图像信息在显示设备中显示该道路标牌的类型。

可选的，服务器可以基于图像信息确定该道路所包含的道路标牌类型，以根据道路信息可以进行道路规划或者是自动驾驶等交通领域以及交通领域中的应用。

本申请实施例提供的图像识别方法可以应用于人工智能领域，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

其中，计算机视觉技术(Computer Vision,CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。

由上可知，本申请实施例通过终端获取初始待识别图像；服务器根据初始待识别图像中包含的识别要素的位置信息，从初始待识别图像中获取待识别图像；服务器对待识别图像进行关键图像特征提取，得到关键对象的至少两个子关键特征信息；服务器针对每个关键对象，将对应的至少子两个关键特征信息进行特征融合处理，得到关键对象的关键特征信息；服务器根据每个关键对象的关键特征信息，确定至少一个关键对象之间的关联关系；服务器对关键对象之间的关联关系进行信息联立处理，得到待识别图像的关联特征信息；服务器基于关联特征信息对待识别图像进行图像识别，得到待识别图像的图像信息，并将图像信息发送给终端；终端基于图像信息进行展示。

本方案通过对待识别图像进行关键图像特征提取，得到关键对象对应的关键特征信息，并基于关键对象对应的关键特征信息对待识别图像进行图像识别，以基于待识别图像包含的关键对象进行图像识别，避免基于完整图像进行图像识别时，由于待识别图像包含的内容过于复杂，特征提取困难导致图像识别出错，提高对待识别图像进行图像识别的准确性。

为了便于更好地实施本申请实施例提供的图像识别方法，在一实施例中还提供了一种图像识别装置。其中名词的含义与上述图像识别方法中相同，具体实现细节可以参考方法实施例中的说明。

该图像识别装置具体可以集成在计算机设备中，如图7所示，该图像识别装置可以包括：图像获取单元301、特征提取单元302、信息确定单元303、信息联立单元304和图像识别单元305，具体如下：

(1)图像获取单元301：用于获取待识别图像。

(2)特征提取单元302：用于对待识别图像进行关键图像特征提取，得到待识别图像中包含的关键对象的关键特征信息。

在一实施例中，关键特征信息包括至少两个子关键特征信息，特征提取单元302包括特征提取子单元和特征融合子单元，具体地：

特征提取子单元：用于对待识别图像进行关键图像特征提取，得到关键对象的至少两个子关键特征信息；

特征融合子单元：用于对关键对象对应的至少子两个关键特征信息进行特征融合处理，得到关键对象的关键特征信息。

在一实施例中，至少两个子关键特征信息包括对象特征信息、位置特征信息以及类别特征信息，特征提取子单元包括特征提取模块和特征信息确定模块，具体地：

特征提取模块：用于对待识别图像进行关键图像特征提取，得到待识别图像中每个关键对象对应的对象特征信息以及位置特征信息；

特征信息确定模块：用于基于每个关键对象的对象特征信息，确定关键对象的类别特征信息。

在一实施例中，特征信息确定模块包括信息获取子模块、类别确定子模块以及选择子模块，具体地：

信息获取子模块：用于获取初始类别特征信息；

类别确定子模块：用于基于每个关键对象的对象特征信息，确定关键对象对应的目标对象类别；

选择子模块：用于根据目标对象类别对初始类别特征信息进行选择处理，得到类别特征信息。

(3)信息确定单元303：用于根据关键对象的关键特征信息，确定关键对象对应的关联信息。

在一实施例中，信息确定单元303包括生成子单元和关联信息确定子单元，具体地：

生成子单元，用于根据关键对象的关键特征信息，生成对象网络图，对象网络图包含有关键特征信息对应的对象节点；

关联信息确定子单元，用于根据关键特征信息在对象网络图中对应的对象节点，确定关键对象的关联信息。

(4)信息联立单元304：用于对关键对象的关联信息进行信息联立处理，得到待识别图像的关联特征信息。

(5)图像识别单元305：用于基于关联特征信息对待识别图像进行图像识别，得到待识别图像的内容信息。

在一实施例中，图像识别装置还包括第一获取单元、检测单元以及第二获取单元，具体地：

第一获取单元：用于获取初始待识别图像，初始待识别图像包含识别要素；

检测单元：用于对初始待识别图像进行识别要素检测，确定识别要素在初始待识别图像中的位置信息；

第二获取单元：用于根据识别要素的位置信息从初始待识别图像中获取待识别图像。

在一实施例中，检测单元包括图像特征提取子单元和位置信息确定子单元，具体地：

图像特征提取子单元：用于对初始待识别图像进行图像特征提取，得到初始识别图像包含的至少一个特征点；

位置信息确定子单元：用于基于特征点以及预设检测框，确定识别要素在初始待识别图像中的位置信息。

由上可知，本申请实施例图像识别装置通过图像获取单元301获取待识别图像；由特征提取单元302对待识别图像进行关键图像特征提取，得到待识别图像中包含的关键对象的关键特征信息；通过信息确定单元303根据关键对象的关键特征信息，确定关键对象对应的关联信息；由信息联立单元304对关键对象的关联信息进行信息联立处理，得到待识别图像的关联特征信息；最后，通过图像识别单元305基于关联特征信息对待识别图像进行图像识别，得到待识别图像的图像信息。

本方案通过对待识别图像进行关键图像特征提取，得到关键对象对应的关键特征信息，并基于关键对象对应的关键特征信息对待识别图像进行图像识别，以基于待识别图像包含的关键对象进行图像识别，避免基于完整图像进行图像识别时，由于待识别图像包含的内容过于复杂，特征提取困难导致图像识别出错，提高对待识别图像进行图像识别的准确性。

本申请实施例还提供一种计算机设备，该计算机设备可以是终端，也可以是服务器，如图8所示，其示出了本申请实施例所涉及的计算机设备的结构示意图，具体来讲：

该计算机设备可以包括一个或者一个以上处理核心的处理器1001、一个或一个以上计算机可读存储介质的存储器1002、电源1003和输入单元1004等部件。本领域技术人员可以理解，图8中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器1001是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器1002内的软件程序和/或模块，以及调用存储在存储器1002内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器1001可包括一个或多个处理核心；优选的，处理器1001可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和计算机程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1001中。

存储器1002可用于存储软件程序以及模块，处理器1001通过运行存储在存储器1002的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1002可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据等。此外，存储器1002可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1002还可以包括存储器控制器，以提供处理器1001对存储器1002的访问。

计算机设备还包括给各个部件供电的电源1003，优选的，电源1003可以通过电源管理系统与处理器1001逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1003还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该计算机设备还可包括输入单元1004，该输入单元1004可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器1001会按照如下的指令，将一个或一个以上的计算机程序的进程对应的可执行文件加载到存储器1002中，并由处理器1001来运行存储在存储器1002中的计算机程序，从而实现各种功能，如下：

获取待识别图像；

对待识别图像进行关键图像特征提取，得到待识别图像中包含的关键对象的关键特征信息；

根据关键对象的关键特征信息，确定关键对象对应的关联信息；

对关键对象的关联信息进行信息联立处理，得到待识别图像的关联特征信息；

基于关联特征信息对待识别图像进行图像识别，得到待识别图像的图像信息。

以上各个操作的具体实施可参见前面的实施例，在此不作赘述。

由上可知，本申请实施例通过获取待识别图像；对待识别图像进行关键图像特征提取，得到待识别图像中包含的关键对象的关键特征信息；根据关键对象的关键特征信息，确定关键对象对应的关联信息；对关键对象的关联信息进行信息联立处理，得到待识别图像的关联特征信息；基于关联特征信息对待识别图像进行图像识别，得到待识别图像的图像信息。

本方案通过对待识别图像进行关键图像特征提取，得到关键对象对应的关键特征信息，并基于关键对象对应的关键特征信息对待识别图像进行图像识别，以基于待识别图像包含的关键对象进行图像识别，避免基于完整图像进行图像识别时，由于待识别图像包含的内容过于复杂，特征提取困难导致图像识别出错，提高对待识别图像进行图像识别的准确性。根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中各种可选实现方式中提供的方法。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过计算机程序来完成，或通过计算机程序控制相关的硬件来完成，该计算机程序可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有计算机程序，该计算机程序，能够被处理器进行加载，以执行本申请实施例所提供的任一种图像识别方法。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该计算机可读存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种图像识别方法，因此，可以实现本申请实施例所提供的任一种图像识别方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种图像识别方法、装置、计算机设备和计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像识别方法，其特征在于，包括：

获取待识别图像；

对所述待识别图像进行关键图像特征提取，得到所述待识别图像中包含的关键对象的关键特征信息；

根据所述关键对象的关键特征信息，确定所述关键对象对应的关联信息；

对所述关键对象的关联信息进行信息联立处理，得到所述待识别图像的关联特征信息；

基于所述关联特征信息对所述待识别图像进行图像识别，得到所述待识别图像的图像信息。

2.根据权利要求1所述的方法，其特征在于，所述关键特征信息包括至少两个子关键特征信息，所述对所述待识别图像进行关键图像特征提取，得到所述待识别图像中包含的关键对象的关键特征信息，包括：

对所述待识别图像进行关键图像特征提取，得到所述关键对象的至少两个子关键特征信息；

对所述关键对象对应的至少子两个关键特征信息进行特征融合处理，得到所述关键对象的关键特征信息。

3.根据权利要求2所述的方法，其特征在于，所述至少两个子关键特征信息包括对象特征信息、位置特征信息以及类别特征信息，所述对所述待识别图像进行关键图像特征提取，得到所述待识别图像中每个关键对象对应的至少两个关键特征信息，包括：

对所述待识别图像进行关键图像特征提取，得到所述待识别图像中每个关键对象对应的对象特征信息以及位置特征信息；

基于每个所述关键对象的对象特征信息，确定所述关键对象的类别特征信息。

4.根据权利要求3所述的方法，其特征在于，所述基于每个所述关键对象的对象特征信息，确定所述关键对象的类别特征信息，包括：

获取初始类别特征信息；

基于每个所述关键对象的对象特征信息，确定所述关键对象对应的目标对象类别；

根据所述目标对象类别对所述初始类别特征信息进行选择处理，得到所述类别特征信息。

5.根据权利要求1所述的方法，其特征在于，所述根据所述关键对象的关键特征信息确定所述关键对象的关联信息，包括：

根据所述关键对象的关键特征信息，生成对象网络图，所述对象网络图包含有所述关键特征信息对应的对象节点；

根据所述关键特征信息在所述对象网络图中对应的对象节点，确定所述关键对象的关联信息。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述获取待识别图像之前，所述方法还包括：

获取初始待识别图像，所述初始待识别图像包含识别要素；

对所述初始待识别图像进行识别要素检测，确定所述识别要素在所述初始待识别图像中的位置信息；

根据所述识别要素的位置信息从所述初始待识别图像中获取待识别图像。

7.根据权利要求6所述的方法，其特征在于，所述对所述初始待识别图像进行图像要素检测，确定图像要素在所述初始待识别图像中的位置信息，包括：

对所述初始待识别图像进行图像特征提取，得到所述初始识别图像包含的至少一个特征点；

基于所述特征点以及预设检测框，确定所述识别要素在所述初始待识别图像中的位置信息。

8.一种图像识别装置，其特征在于，包括：

图像获取单元，用于获取待识别图像；

特征提取单元，用于对所述待识别图像进行关键图像特征提取，得到所述待识别图像中包含的关键对象的关键特征信息；

信息确定单元，用于根据所述关键对象的关键特征信息，确定所述关键对象对应的关联信息；

信息联立单元，用于对所述关键对象的关联信息进行信息联立处理，得到所述待识别图像的关联特征信息；

图像识别单元，用于基于所述关联特征信息对所述待识别图像进行图像识别，得到所述待识别图像的内容信息。

9.一种计算机设备，其特征在于，包括存储器和处理器；所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序，以执行权利要求1至7任一项所述的图像识别方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被处理器加载，以执行权利要求1至7任一项所述的图像识别方法。

11.一种计算机产品，其特征在于，所述计算机产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的图像识别方法。

Images