CN113688814A - 图像识别方法及装置 - Google Patents

图像识别方法及装置 Download PDF

Info

Publication number
CN113688814A
CN113688814A CN202111252484.5A CN202111252484A CN113688814A CN 113688814 A CN113688814 A CN 113688814A CN 202111252484 A CN202111252484 A CN 202111252484A CN 113688814 A CN113688814 A CN 113688814A
Authority
CN
China
Prior art keywords
image
node
candidate
images
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111252484.5A
Other languages
English (en)
Other versions
CN113688814B (zh
Inventor
何政
叶刚
石超英
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Bangtuo Information Technology Co ltd
Wuhan University WHU
Original Assignee
Wuhan Bangtuo Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Bangtuo Information Technology Co ltd filed Critical Wuhan Bangtuo Information Technology Co ltd
Priority to CN202111252484.5A priority Critical patent/CN113688814B/zh
Publication of CN113688814A publication Critical patent/CN113688814A/zh
Application granted granted Critical
Publication of CN113688814B publication Critical patent/CN113688814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种图像识别方法及装置；该方法重新定义了图神经网络的参数以及后续的图像识别网络，之后通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，并根据提取结果构建所述参考图像对应的待分类图神经网络，最后通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数；本发明基于图像的型号特征和个体特征、候选图像之间的相似度来确定参考图像和候选图像之间的相似度，这样就可以提升图像识别的准确性，进而可以提高车辆重识别的效率等。

Description

图像识别方法及装置
技术领域
本申请涉及图像识别领域，具体涉及一种图像识别方法及装置。
背景技术
图像识别技术都从多个候选图像中识别出与参考图像属于一个对象的图像，其应用在生活的方法面面，例如本申请后文涉及的车辆重识别技术等应用场景。车辆重识别是一种车辆图像快速搜索的技术，其目的是对于给定的车辆图像，检索出特定图像库/视频库中具有与目标图像相同身份的车辆图像/视频片段；车辆重识别对城市道路监控智能化管理，智慧城市全面建设等方面具有重要的实际意义。
当前车辆重识别方法是基于深度卷积网络（一般为文本识别网络）对车辆图像进行识别得到车牌等唯一标识，基于这些唯一标识对车辆图像是否是同一车辆进行快速识别。但是该方法过度依赖文本识别网络准确性，如果文本识别网络将相近的文本（例如0和C等）识别错误，就是导致图像归属失败。即便文本识别网络识别无误，针对套牌车辆的车辆图像也只能错误归类。
即当前基于对象标识的图像识别方式存在识别准确率低的技术问题。
发明内容
本申请实施例提供一种图像识别方法及装置，以缓解当前图像识别方式存在的识别准确率低的技术问题。
为解决上述技术问题，本申请实施例提供以下技术方案：
本申请实施例提供一种基于图神经网络的图像识别方法，包括：
调用图神经网络、以及训练后的图像识别网络；其中，所述图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成；所述图像识别网络包括型号特征提取网络、个体特征提取网络、以及图节点分类网络；
通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征；
根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络；
通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数。
在一种实施例中，根据预设的图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络的步骤，包括：
确定由参考图像和候选图像组成的多个图像对，并将图像对确定为待分类图神经网络中节点对应的图像对；
根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征；
根据连边相关节点对中的候选图像的型号特征和个体特征的差异值，确定连边权重。
在一种实施例中，实现所述根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征的步骤的方式，包括：
将图像对中参考图像的个体特征和候选图像的个体特征的特征向量差，确定为节点的节点特征。
在一种实施例中，实现所述根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征的步骤的方式，包括：
将图像对中参考图像的型号特征和候选图像的型号特征的特征向量差，确定为节点的节点特征。
在一种实施例中，实现所述根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征的步骤的方式，包括：
根据预设的拼接权重，将参考图像的型号特征和个体特征进行特征拼接，得到参考图像的拼接特征，将候选图像的型号特征和个体特征进行特征拼接，得到候选图像的拼接特征；
将图像对中参考图像的拼接特征和候选图像的拼接特征的特征向量差，确定为节点的节点特征。
在一种实施例中，所述根据连边相关节点对中的候选图像的型号特征和个体特征的差异值，确定连边权重的步骤，包括：
根据所述连边相关节点对中的第一候选图像和第二候选图像的型号特征及个体特征的差异值，确定所述连边相关节点对中的第一候选图像和第二候选图像之间的相似性度量参数；
根据所述第一候选图像与其他候选图像之后的相似性度量参数、以及所述第一候选图像和第二候选图像之间的相似性度量参数，确定所述连边的连边权重。
在一种实施例中，所述通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数的步骤，包括：
对所述待分类图神经网络中各节点的节点特征进行映射迭代处理，得到各节点处理后的节点特征；
对各节点处理后的节点特征进行概率映射，得到各节点对应图像对中参考图像和候选图像之间的相似度参数。
在一种实施例中，在所述通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数的步骤之后，还包括：
获取候选图像对之间的相似度参数；
根据所述候选图像对之间的相似度参数、以及所述参考图像和候选图像之间的相似度参数，从所述候选图像中确定与所述参考图像属于相同对象的目标图像。
本申请实施例提供一种基于图神经网络的图像识别装置，包括：
调用模块，用于调用图神经网络、以及训练后的图像识别网络；其中，所述图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成；所述图像识别网络包括型号特征提取网络、个体特征提取网络、以及图节点分类网络；
提取模块，用于通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征；
构建模块，用于根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络；
识别模块，用于通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数。
本申请实施例提供一种服务器，其包括处理器和存储器，存储器存储有多条指令，指令适于处理器进行加载，以执行上述方法中的步骤。
本申请实施例提供一种计算机可读存储介质，计算机可读存储介质存储有多条指令，指令适于处理器进行加载，以执行上述方法中的步骤。
本申请实施例提供了一种新的图像识别方法及装置；该方法重新定义了图神经网络的参数以及后续的图像识别网络，之后通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，并根据提取结果构建所述参考图像对应的待分类图神经网络，最后通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数；本发明基于图像的型号特征和个体特征、候选图像之间的相似度来确定参考图像和候选图像之间的相似度，这样就可以提升图像识别的准确性，例如，本申请不会将车辆型号不同且车牌相同（套牌车的两个车辆的图像）的两张图像确定为一个车辆的图像，也可以将车辆型号相似且车牌相似（车牌识别错误）的两张图像确定为一个车辆的图像，进而可以提高车辆重识别的效率等。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的识别系统的组网示意图。
图2是本申请实施例提供的图像识别方法的第一种流程示意图。
图3是本申请实施例提供的图像识别方法的第二种流程示意图。
图4是本申请实施例提供的图像识别方法的第三种流程示意图。
图5是本申请实施例提供的图像识别装置的结构示意图。
图6是本申请实施例提供的服务器的结构示意图。
图7是本申请实施例涉及的模型示意图。
图8是本申请实施例涉及的图像识别示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。本申请具体涉及计算机视觉技术。
计算机视觉技术(Computer Vision, CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。本申请具体涉及图像识别技术，具体的为通过计算机从多个候选图像中确定与参考图像属于同一特定对应的目标图像。
在本申请实施例中，参考图像、候选图像、目标图像、样本图像都是摄像头等图像采集设备针对特定对象在不同位置/不同角度下采集的照片/视频等图像，特定对象是指批量生成并可以唯一识别的产品，例如汽车、电动车、摩托车、飞机等等；例如汽车在批量生成时有X马X系XXXX款XX套装XX颜色等车型，在卖给用户后有车牌等唯一标识，其他电动车、摩托车、飞机与其类似。
为便于说明，本申请将车型“X马X系XXXX款XX套装XX颜色”作为型号特征标签，与型号特征标签对应的图像特征记为型号特征；本申请将车牌“某A12XXX”等作为个体特征标签，与个体特征标签对应的图像特征记为个体特征；本申请将两张图像是否属于同一特定对象的判断结果“属于-1，不属于-0”作为相似匹配标签，两张图像之间的相似度参数用于表征两张图像属于同一特定对象的概率，在概率大于某阈值时神经网络就将这两张图像判定为属于同一特定对象。
在本申请实施例中，图像对仅包括两个图像，节点对仅包括两个节点。
本申请实施例涉及的图像识别方法及装置涉及人工智能领域，具体的可以通过云技术领域中的人工智能云服务实现，下文将结合具体的实施例进行说明。
请参阅图1，图1为本申请实施例所提供的识别系统的场景示意图，该系统可以包括用户侧设备以及服务侧设备，用户侧设备与服务侧设备通过各种网关组成的互联网等方式连接，不再赘述，其中，用户侧设备包括多个终端11，服务侧设备包括多个服务器12；其中：
终端11包括但不局限于安装有各种图像识别应用的手机、平板等便携终端，以及电脑、查询机、广告机等固定终端，是用户可以使用并操作的服务端口，在本申请中，终端为用户提供参考图像选择、包含目标图像的照片展示/视频播放等各种功能；为便于下文说明，将终端11定义为开发者终端11a和用户终端11b，开发者终端11a用于对数据服务器提供的样本图像进行标签添加、样本图像对进行相似匹配标签添加，而用户终端11b则用于用户选择参考图像等。
服务器12为用户提供各种业务服务，包括数据服务器12a、识别服务器12b等，其中，数据服务器12a用于存储采集设备（例如路边摄像头、移动摄像头等）采集并上传的车辆等特定对象的照片/视频等图像、提供下载等服务，识别服务器12b用于根据用户对样本图像和样本图像对的标签添加结果对神经网络进行训练，并基于训练后的神经网络从多个候选图像中确定与参考图像属于同一特定对应的目标图像。具体的，识别服务器12b调用图神经网络、以及训练后的图像识别网络，通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络，通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数，获取候选图像对之间的相似度参数，根据所述候选图像对之间的相似度参数、以及所述参考图像和候选图像之间的相似度参数，从所述候选图像中确定与所述参考图像属于相同对象的目标图像。
需要说明的是，图1所示的系统场景示意图仅仅是一个示例，本申请实施例描述的服务器以及场景是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统的演变和新业务场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
图2是本申请实施例提供的图像识别方法的第一种流程示意图，请参阅图2，该图像识别方法包括以下步骤：
201：调用图神经网络、以及训练后的图像识别网络。
在一种实施例中，所述图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成。本申请中的图神经网络可以是任意具备节点属性和连边属性的神经网络，下文以具有全连接结构的无向图神经网络G (V,E)为例进行说明，其他形式的图神经网络与其类似。
在一种实施例中，所述图像识别网络包括型号特征提取网络、个体特征提取网络、以及图节点分类网络；型号特征提取网络和个体特征提取网络可以是任意具备图像特征提取功能的神经网络，例如可以是下文中的基于Resnet50的具有端对端结构的深度卷积网络。
在一种实施例中，在本步骤之前，还包括图像识别网络的训练步骤，其训练步骤包括：
获取样本图像，并组合得到样本图像对；所述样本图像标记有型号特征标签和个体特征标签，所述样本图像对标记有相似匹配标签；
根据样本图像及型号特征标签，采用有监督训练方式对待训练的型号特征提取网络进行训练，得到训练后的型号特征提取网络；所述待训练的型号特征提取网络的输入为样本图像，输出为型号特征标签预测结果，所述训练后的型号特征提取网络的输出为型号特征向量；
根据样本图像及个体特征标签，采用有监督训练方式对待训练的个体特征提取网络进行训练，得到训练后的个体特征提取网络；所述待训练的个体特征提取网络的输入为样本图像，输出为个体特征标签预测结果，所述训练后的个体特征提取网络的输出为个体特征向量；
通过训练后的型号特征提取网络和训练后的个体特征提取网络，处理样本图像对中的样本图像，得到样本图像的型号特征向量和个体特征向量；
根据所述图神经网络、所述样本图像的型号特征向量和个体特征向量，构建各样本图像对的样本图神经网络；
根据所述样本图神经网络以及样本图像对标记的相似匹配标签，采用有监督训练方式对待训练的图节点分类网络进行训练，得到训练后的图节点分类网络；所述待训练的图节点分类网络的输入为样本图像对的样本图神经网络，输出为样本图像对相似匹配标签预测结果，所述训练后的图节点分类网络的输入为图像对的图神经网络，输出为图像对中图像之间的相似度参数。
在上述训练过程中，根据样本图像及个体特征标签，采用有监督训练方式对型号特征提取网络进行训练，使得型号特征提取网络更关注图像内与型号相关的特征表达；根据样本图像及个体特征标签，采用有监督训练方式对待训练的个体特征提取网络进行训练，使得个体特征提取网络更关注图像内与个体相关的特征表达；而样本图神经网络的连边权重与样本图像对之间的相似度相关；基于此，本申请提供的训练后的识别网络是基于图像的型号特征和个体特征、候选图像之间的相似度来确定参考图像和候选图像之间的相似度，这样就可以提升图像识别的准确性。
具体的训练过程请参考下文描述，此处不再赘述。
202：通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征。
在一种实施例中，本步骤是常规的使用训练后的神经网络对图像进行特征提取的步骤，可以参考下文描述。
203：根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络。
在一种实施例中，本步骤主要是对如何使用步骤202的输出构建图神经网络的过程进行说明。
在一种实施例中，本步骤包括：确定由参考图像和候选图像组成的多个图像对，并将图像对确定为待分类图神经网络中节点对应的图像对；根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征；根据连边相关节点对中的候选图像的型号特征和个体特征的差异值，确定连边权重。例如，如果需要从n个候选图像中识别出与参考图像属于同一个车辆的目标图像，本步骤可以是：参考图像分别和n个候选图像组成的n个图像对，之后将各图像对确定为待分类图神经网络中节点对应的图像对，此时，图神经网络存在n个节点，每个节点对应一个图像对，节点的节点特征根据节点对应图像对中参考图像和候选图像的型号特征和个体特征的差异值来确定，n个节点中两两节点组成节点对，共n*（n-1）/2个节点对，节点对对应连边的连边权重根据连边相关节点对中的候选图像的型号特征和个体特征的差异值确定。
在一种实施例中，所述根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征的步骤，包括：将图像对中参考图像的个体特征和候选图像的个体特征的特征向量差，确定为节点的节点特征。本方式直接将个体特征的特征向量差确定为节点的节点特征，降低了运算负担。
在一种实施例中，所述根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征的步骤，包括：将图像对中参考图像的型号特征和候选图像的型号特征的特征向量差，确定为节点的节点特征。本方式直接将型号特征的特征向量差确定为节点的节点特征，降低了运算负担。
在一种实施例中，所述根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征的步骤，包括：根据预设的拼接权重，将参考图像的型号特征和个体特征进行特征拼接，得到参考图像的拼接特征，将候选图像的型号特征和个体特征进行特征拼接，得到候选图像的拼接特征；将图像对中参考图像的拼接特征和候选图像的拼接特征的特征向量差，确定为节点的节点特征。本方式同时考虑个体特征和型号特征的特征向量差，提高了运算准确性。
在一种实施例中，所述根据连边相关节点对中的候选图像的型号特征和个体特征的差异值，确定连边权重的步骤，包括：根据所述连边相关节点对中的第一候选图像和第二候选图像的型号特征及个体特征的差异值，确定所述连边相关节点对中的第一候选图像和第二候选图像之间的相似性度量参数；根据所述第一候选图像与其他候选图像之后的相似性度量参数、以及所述第一候选图像和第二候选图像之间的相似性度量参数，确定所述连边的连边权重。本步骤将在下文进行描述。
204：通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数。
在一种实施例中，本步骤包括：对所述待分类图神经网络中各节点的节点特征进行映射迭代处理，得到各节点处理后的节点特征；对各节点处理后的节点特征进行概率映射，得到各节点对应图像对中参考图像和候选图像之间的相似度参数。映射迭代处理是本申请提供的图神经网络的更新机制，基于该更新机制可以提高准确性。
在通过步骤204得到节点对应图像对中图像之间的相似度参数，即参考图像与各候选图像之间的相似度，就可以基于这个相似度从候选图像中确定参考图像对应的目标图像，例如可以将与参考图像的相似度大于阈值（可以为99.99%等任意值）的候选图像作为目标图像，也可以将与参考图像的相似度最大的候选图像作为目标图像等。
进一步的，为了使得本发明的应用更合理，在步骤204之后，还包括：获取候选图像对之间的相似度参数；根据所述候选图像对之间的相似度参数、以及所述参考图像和候选图像之间的相似度参数，从所述候选图像中确定与所述参考图像属于相同对象的目标图像。例如，针对某一候选图像，采用步骤202至步骤204的技术手段进行处理，得到该候选图像与其他候选图像之间的相似度参数，并进行均值或者加权处理，作为该候选图像对应的优化参数，然后将参考图像与该候选图像的相似度参数与该候选图像对应的优化参数进行求和/加权处理后作为最终的评判参数，基于这个评判参数从候选图像中确定参考图像对应的目标图像。
下文将结合具体的应用场景对本申请进行说明。
在图3及图4所示的应用场景中，特定对象为汽车，那么汽车的型号特征标签就是指车型，汽车的个体特征标签就是指车牌等；型号特征提取网络用于提取图像中与车型相关的图像特征向量，个体特征提取网络用于提取图像中与车牌相关的图像特征向量。
在图3及图4所示的应用场景中，型号特征提取网络和个体特征提取网络采用基于Resnet50的深度卷积网络，一个用以对车辆个体层面的特征（即车牌相关的特征）进行表达，另一个用以对车辆车型层面的特征（即车型相关的特征）进行表达。
图3是本申请实施例提供的图像识别方法的第二种流程示意图，本实施例主要是对模型训练过程进行说明；请参阅图3，该图像识别方法包括以下步骤：
301：样本数据（包括训练数据）的标引。
在一种实施例中，本步骤是开发者通过开发者终端11a从数据服务器12a提供的车辆相关的车辆图片/视频中选择N个样本图像img，并针对每个样本图像img标记对应的车型特征标签M和车牌特征标签I（下文也称为ID标签）。针对每两个样本图像组成的样本图像对，根据是否为同一车辆的两张图像进行相似匹配标签y的标记，y=0表示样本图像对中的样本图像不是同一车辆的两张图像，y=1表示样本图像对中的样本图像是同一车辆的两张图像。
即，通过本步骤得到训练样本
Figure 133297DEST_PATH_IMAGE001
，其 中Ve i 表示第i个训练样本， i 是该样本的图像，M i 是该样本的车型标签，I i 是该样本的ID 标签，N是样本总数目。
302：神经网络的构建。
在一种实施例中，本步骤是开发者通过开发者终端11a在识别服务器12b内构建初始的图像识别网络（包括型号特征提取网络、个体特征提取网络、以及图节点分类网络）并定义图神经网络（图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成），在完成神经网络构建后触发识别服务器进行模型训练。
在一种实施例中，图像识别网络的网络架构如图7所示，图像识别网络包括型号特征提取网络71、个体特征提取网络72、图节点分类网络73以及运算层L0；型号特征提取网络71和个体特征提取网络72均包括输入层L1、特征提取层L2以及池化层L3；图节点分类网络73包括特征映射层L4、特征更新层L5、线性全连接层L6以及输出层L7。其中；输入层L1用于将图像裁剪为预定尺寸大小（例如像素大小为224*224）的图片，并转换为目标维度的图像特征向量；特征提取层L2为顺序连接的多个残差块层组成，如图7所示，依次包括3个残差块层、4个残差块层、6个残差块层和3个残差块层，用于对输入层L1输出的图像特征向量进行特征提取；池化层L3用于对特征提取层L2输出的特征进行池化等操作，得到对应的车型特征向量或者个体特征向量；运算层L0用于根据池化层L3的输出以及图神经网络定义输出图神经网络，下文将具体进行说明；特征映射层L4用于对节点特征进行激活映射，下文将具体进行说明；特征更新层L5用于对节点特征进行更新，下文将具体进行说明；线性全连接层L6用于将每个节点的节点特征映射到实数空间；输出层L7用于根据特定函数将每个节点的最终结果映射到区间（0,1），具体值与节点对应图像对中图像之间的相似度正相关。
303：识别服务器12b从数据服务器12a拉取训练数据。
本步骤为常规的数据拉取，不再赘述。
通过本步骤，识别服务器12b获得到了训练样本
Figure 722541DEST_PATH_IMAGE002
，
Figure 971120DEST_PATH_IMAGE003
等训练数据。
304：识别服务器12b进行特征提取网络的训练。
本步骤主要是进行型号特征提取网络71和个体特征提取网络72的训练。在本申请中，这两个网络独立训练，在训练过程中，型号特征提取网络71和个体特征提取网络72需要在图7所示的池化层L3后分别增加一个输出层，型号特征提取网络71的输出层用于根据池化层L3输出的车型特征向量输出预测的车型标签（一般为车型的编号等），个体特征提取网络72的输出层用于根据池化层L3输出的个体特征向量输出预测的个体标签（一般为车牌号）。
具体的，针对型号特征提取网络71，以
Figure 569592DEST_PATH_IMAGE004
为训练样本（其中，
Figure 118385DEST_PATH_IMAGE005
是车型标签集，例如有100个车型，可以分别标记为0至99），那么车型标签集就是0 至99，以交叉熵损失函数作为训练的损失函数，该损失函数为：
Figure 409689DEST_PATH_IMAGE006
；
其中，M i 是样本 i 的真实车型标签值，
Figure 879984DEST_PATH_IMAGE007
是 i 的车型预测值。
型号特征提取网络71是具有Resnet50网络结构的车型分类深度卷积网络，网络最后一层的线性映射层（作为输出层）的维度设置为训练样本中车辆车型的总个数，实现端对端的有监督式学习。
在训练完成后，将Resnet50最后的池化层L3的输出结果作为车辆图像车型层面的特征向量，即：
Figure 813305DEST_PATH_IMAGE008
Figure 482184DEST_PATH_IMAGE009
是第i个样本的车型特征向量（即上文中的型号特征向量）。
具体的，针对个体特征提取网络72，以
Figure 413231DEST_PATH_IMAGE010
为训练样本（其中，{Ii} 是车牌标签集，例如有1000个车牌，可以分别标记为0至999，那么车牌标签集就是0至999）， 以交叉熵损失函数作为训练的损失函数，该损失函数为：
Figure 167560DEST_PATH_IMAGE011
其中，I i 是样本 i 的真实车牌标签值，
Figure 839326DEST_PATH_IMAGE012
是 i 的车牌预测值。
个体特征提取网络72是具有Resnet50网络结构的车牌分类深度卷积网络，网络最后一层的线性映射层（作为输出层）的维度设置为训练样本中车辆车牌的总个数，实现端对端的有监督式学习。
在训练完成后，将Resnet50最后的池化层L3的输出结果作为车辆图像个体层面的特征向量，即：
Figure 362711DEST_PATH_IMAGE013
Figure 730238DEST_PATH_IMAGE014
是第i个样本的车牌特征向量（即上文中的个体特征向量）。
305：识别服务器12b进行图节点分类网络的训练。
在完成步骤304之后，执行本步骤以实现对图节点分类网络73的训练。
在描述下文之前，做如下参数配置：
利用欧式距离确定不同图像之间的个体特性向量的相似性度量：
Figure 971864DEST_PATH_IMAGE015
；
利用欧式距离确定不同图像之间的型号特征向量的相似性度量：
Figure 450250DEST_PATH_IMAGE016
。
在上述参数配置的基础上，进行后续训练。
在训练过程中，针对N个样本图像，识别服务器从数据服务器中获取任意一个新的车辆图像作为目标车辆图像p，将N个样本图像作为待匹配图像，执行后续步骤。
运算层L0对于给定的目标车辆图像p和个待匹配图像（下文中的图像vi），构建具 有全连接结构的无向图神经网络G(V, E)，其中V表示图节点，每个图节点由目标车辆图像p 和待匹配图像对构成，将“匹配(标记为1)”与“不匹配(标记为0)”作为图节点的分类标签。 并且对于任一图节点(P, V i )，将目标车辆图像p的个体特征向量
Figure 93721DEST_PATH_IMAGE017
与待匹配图像的个体 特征向量
Figure 100991DEST_PATH_IMAGE018
的向量差作为图节点i的特征向量nf i ，则目标车辆图像和待匹配图像中第i 个图像vi对(P, V i )对应了无向图神经网络中的第i个节点。
运算层L0确定图神经网络G(V, E)中的连边E。对任意的图节点对(P, V i )和(P, V j )，存在两个层面的相似关系，即如果待匹配图像V i 与V j 属于同一车辆的两幅图像，则两者的车型特征向量和个体特征向量都应具备较高的相似度，任意特征维度的低相似度都会导致与在身份层面的低相似。
基于神经元激活函数的非线性映射原理，本申请根据图像对(P, V i )和(P, V j )中待匹配图像V i 与V j 的车型相似度和个体相似度两个维度定义G(V, E)中连边E的权重。
任意的节点对((P, Vi),(P, Vj))中V i 与V j 的相似性度量S(Vi, Vj)为：
Figure 829912DEST_PATH_IMAGE019
；
S(Vi, Vj)度量的不仅是单个维度特征（车型特征或个体特征）的相似关系，而且还度量了两个维度特征（车型特征和个体特征）的同质/异构程度，能够更全面地反映出图像在身份层面的相似关系。
运算层L0根据上述的S(•)，计算任意节点对((P, Vi),(P, Vj))之间的连边权重W ij ：
Figure 908727DEST_PATH_IMAGE020
；
其中，V g 表示所有的待匹配图像，exp是指一个以e为底的指数函数。
运算层L0经过上述处理，针对目标车辆图像p和N个待匹配图像，构建了一个目标车辆图像p对应的无向全连接的图神经网络G(V, E)。
开始进行图节点分类网络73的训练。
特征映射层L4对节点特征进行激活映射，具体的，将无向全连接图神经网络中的每个节点的节点特征向量nf i 输入具有两层激活映射的网络结构（即特征映射层L4），其中每层的激活映射包括一个具有多个（例如2048个）神经元的全连接层和一个ReLU激活层，输出深度消息特征mf i ，即：
Mf i =DF(nf i )；
其中DF(•)表示特征映射层L4所使用的双层映射结构函数。
特征更新层L5对节点特征进行更新，具体的，利用图神经网络的消息传播机制对G (V, E)进行图节点的节点特征进行更新，节点特征更新如下：
Figure 344387DEST_PATH_IMAGE021
；
其中，nf i (t) 表示第t次迭代中第i个图节点的特征，mf i (t) 表示第t次迭代中第i个图节点的深度消息特征，α是权衡相邻迭代间特征的融合率的权重，可以设置为0.8至0.98等。
针对每个图节点的节点特征，进行t=t0次迭代后（例如，t=t0），将最终得到每个图 节点i的节点特征
Figure 116034DEST_PATH_IMAGE022
。
如图8所示，在迭代更新的过程中，部分图节点的节点标签会发送变化。
线性全连接层L6将每个图节点i的节点特征
Figure 66673DEST_PATH_IMAGE023
映射至实数空间。
之后，输出层L7通过sigmoid函数将最终结果映射至(0,1)，其数值与图节点i的节 点特征
Figure 886861DEST_PATH_IMAGE024
对应的图节点i (P, V i )中目标车辆图像P与待匹配图像V i 的相似度正相关。
最后，用交叉熵损失函数（Cross-entropy）对征映射层L4、特征更新层L5、线性全连接层L6以及输出层L7进行训练，交叉熵损失函数为：
Figure 239345DEST_PATH_IMAGE025
；
其中，fs(•)表示线性全连接层L6以及输出层L7所使用的映射函数，y i 是
Figure 119577DEST_PATH_IMAGE026
对 应的图节点i(P, V i )图像对的真实匹配标签，y i =0表示待匹配图像V i 与目标车辆图像P不匹 配；y i =1表示待匹配图像V i 与目标车辆图像P相匹配，匹配是指开发者标记的两个图像属于 同一个车辆，不匹配是指开发者标记的两个图像不属于同一个车辆。
本步骤通过对图节点分类网络73进行有监督的训练，得到训练后的图节点分类网络73。
通过本实施例的实施，完成了图像识别网络的训练，之后将训练后的神经网络存入数据服务器中，便于后续使用。
图4是本申请实施例提供的图像识别方法的第三种流程示意图，本实施例主要是对模型应用过程进行说明；请参阅图4，该图像识别方法包括以下步骤：
401：确定待识别数据（包括参考车辆图像和候选车辆图像）。
在一种实施例中，本步骤是用户通过用户终端11b从数据服务器12a提供的车辆相关的车辆图片/视频中选择1个参考图像p和N个候选图像；候选图像可以是数据服务器12a根据用户设置的条件（例如某时间段通过某路口的车辆图像）从存储的车辆图像中进行筛选，参考图像p可以是用户选择或者上传的车辆图像。
402：图像调用。
在一种实施例中，本步骤是识别服务器12b从数据服务器12a中获取参考图像p和N个候选图像。
403：调用网络架构。
在一种实施例中，本步骤是识别服务器12b从数据服务器12a中获取训练后的网络架构。
404：图像相似度识别。
在一种实施例中，本步骤是识别服务器12b基于训练后的网络架构，识别参考图像p和N个候选图像之间的相似度。
具体的，如图8所示，本步骤包括：
步骤A，特征提取。
针对参考图像p和N个候选图像，分别通过型号特征提取网络71进行特征提取，将Resnet50最后的池化层L3的输出结果作为车辆图像车型层面的特征向量，即：
Figure 557511DEST_PATH_IMAGE027
；
Figure 915811DEST_PATH_IMAGE028
是参考图像p和N个候选图像中第
Figure 328994DEST_PATH_IMAGE029
个图像的车型特征向量（图8中的车型特征 向量）。
针对参考图像p和N个候选图像，分别通过个体特征提取网络72进行特征提取，将Resnet50最后的池化层L3的输出结果作为车辆图像个体层面的特征向量，即：
Figure 442443DEST_PATH_IMAGE030
；
Figure 305357DEST_PATH_IMAGE031
是是参考图像p和N个候选图像中第个图像的车牌特征向量（图8中的个体特 征向量）。
步骤B，图神经网络构建。
利用欧式距离确定不同图像（参考图像和候选图像、候选图像和候选图像）之间的个体特性向量的相似性度量：
Figure 529665DEST_PATH_IMAGE032
；
利用欧式距离确定不同图像（参考图像和候选图像、候选图像和候选图像）之间的型号特征向量的相似性度量：
Figure 528845DEST_PATH_IMAGE033
。
运算层L0对于目标图像p和N个候选图像，构建具有全连接结构的无向图神经网络G(V, E)，每个图节点由目标图像p和候选图像vg构成，并且对于任一图节点(P, V i )，将目 标图像p的个体特征向量
Figure 813196DEST_PATH_IMAGE034
与候选图像vg的个体特征向量
Figure 225723DEST_PATH_IMAGE035
的向量差作为图节点i的特 征向量nf i 。
运算层L0对任意的节点对((P, Vi),(P, Vj))，确定Vi与Vj的相似性度量S(V i , V j )为：
Figure 191405DEST_PATH_IMAGE036
。
运算层L0根据上述的S(•)，确定任意节点对((P, Vi),(P, Vj))之间的连边权重Wij：
Figure 372987DEST_PATH_IMAGE037
；
其中，V g 表示所有的待匹配图像，exp是指一个以e为底的指数函数。
运算层L0经过上述处理，针对目标车辆图像p和N个待匹配图像，构建了一个目标车辆图像p对应的无向全连接的图神经网络G(V, E)。
图节点分类网络73通过特征映射层L4对节点特征进行激活映射，具体的，将无向全连接图神经网络中的每个节点的节点特征向量输入具有两层激活映射的网络结构（即特征映射层L4），其中每层的激活映射包括一个具有多个（例如2048个）神经元的全连接层和一个ReLU激活层，输出深度消息特征mf i ，即：
Mf i =DF( nf i )；
其中DF(•)表示特征映射层L4所使用的双层映射结构函数。
图节点分类网络73通过特征更新层L5对节点特征进行更新，具体的，利用图神经网络的消息传播机制对G(V, E)进行图节点的节点特征进行更新，节点特征更新如下：
Figure 500343DEST_PATH_IMAGE038
；
其中，
Figure 400166DEST_PATH_IMAGE039
表示第t次迭代中第i个图节点的特征，
Figure 903960DEST_PATH_IMAGE040
表示第t次迭代中第i个 图节点的深度消息特征，α是权衡相邻迭代间特征的融合率的权重，可以设置为0.8至0.98 等。
针对每个图节点的节点特征，进行t=t0次迭代后（例如，t0=5），将最终得到每个图 节点i的节点特征
Figure 205628DEST_PATH_IMAGE041
。
如图8所示，在迭代更新的过程中，部分图节点的节点标签会发送变化。
图节点分类网络73通过线性全连接层L6将每个图节点i的节点特征
Figure 503885DEST_PATH_IMAGE042
映射至 实数空间。
之后，图节点分类网络73通过输出层L7通过sigmoid函数将最终结果映射至(0, 1)，其数值与图节点i的节点特征
Figure 891004DEST_PATH_IMAGE043
对应的图节点i(P, V i )中目标车辆图像P与待匹配 图像V i 的相似度正相关。
通过本步骤的执行，识别服务器12b得到了参考图像p与N个候选图像之间的相似度值，该相似度值处于区间(0,1)。
405：目标车辆图像确定。
识别服务器基于步骤404的执行结果可以确定参考图像p与N个候选图像之间的相似度值，然后将与参考图像的相似度值大于0.98的候选图像确定为目标图像，并展示给用户终端11b。
通过本实施例的实施，本申请从个体特征和车型特征两个维度的相似关系构建基于图像对匹配标签的图神经网络结构，并且使用基于图神经网络(GNN)的节点特征表达机理，实现了利用待匹配图像对的相似关系对匹配结果进行约束，最终有效地提升了重识别的精度(即匹配精确度)。
相应的，图5是本申请实施例提供的图像识别装置的结构示意图，请参阅图5，该图像识别装置包括以下模块：
调用模块501，用于调用图神经网络、以及训练后的图像识别网络；其中，所述图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成；所述图像识别网络包括型号特征提取网络、个体特征提取网络、以及图节点分类网络；
提取模块502，用于通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征；
构建模块503，用于根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络；
识别模块504，用于通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数。
在一种实施例中，构建模块503用于：确定由参考图像和候选图像组成的多个图像对，并将图像对确定为待分类图神经网络中节点对应的图像对；根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征；根据连边相关节点对中的候选图像的型号特征和个体特征的差异值，确定连边权重。
在一种实施例中，构建模块503用于：将图像对中参考图像的个体特征和候选图像的个体特征的特征向量差，确定为节点的节点特征。
在一种实施例中，构建模块503用于：将图像对中参考图像的型号特征和候选图像的型号特征的特征向量差，确定为节点的节点特征。
在一种实施例中，构建模块503用于：根据预设的拼接权重，将参考图像的型号特征和个体特征进行特征拼接，得到参考图像的拼接特征，将候选图像的型号特征和个体特征进行特征拼接，得到候选图像的拼接特征；将图像对中参考图像的拼接特征和候选图像的拼接特征的特征向量差，确定为节点的节点特征。
在一种实施例中，构建模块503用于：根据所述连边相关节点对中的第一候选图像和第二候选图像的型号特征及个体特征的差异值，确定所述连边相关节点对中的第一候选图像和第二候选图像之间的相似性度量参数；根据所述第一候选图像与其他候选图像之后的相似性度量参数、以及所述第一候选图像和第二候选图像之间的相似性度量参数，确定所述连边的连边权重。
在一种实施例中，识别模块504用于：对所述待分类图神经网络中各节点的节点特征进行映射迭代处理，得到各节点处理后的节点特征；对各节点处理后的节点特征进行概率映射，得到各节点对应图像对中参考图像和候选图像之间的相似度参数。
在一种实施例中，识别模块504用于：获取候选图像对之间的相似度参数；根据所述候选图像对之间的相似度参数、以及所述参考图像和候选图像之间的相似度参数，从所述候选图像中确定与所述参考图像属于相同对象的目标图像。
在一种实施例中，调用模块501用于：获取样本图像，并组合得到样本图像对；所述样本图像标记有型号特征标签和个体特征标签，所述样本图像对标记有相似匹配标签；根据样本图像及型号特征标签，采用有监督训练方式对待训练的型号特征提取网络进行训练，得到训练后的型号特征提取网络；所述待训练的型号特征提取网络的输入为样本图像，输出为型号特征标签预测结果，所述训练后的型号特征提取网络的输出为型号特征向量；根据样本图像及个体特征标签，采用有监督训练方式对待训练的个体特征提取网络进行训练，得到训练后的个体特征提取网络；所述待训练的个体特征提取网络的输入为样本图像，输出为个体特征标签预测结果，所述训练后的个体特征提取网络的输出为个体特征向量；通过训练后的型号特征提取网络和训练后的个体特征提取网络，处理样本图像对中的样本图像，得到样本图像的型号特征向量和个体特征向量；根据所述图神经网络、所述样本图像的型号特征向量和个体特征向量，构建各样本图像对的样本图神经网络；根据所述样本图神经网络以及样本图像对标记的相似匹配标签，采用有监督训练方式对待训练的图节点分类网络进行训练，得到训练后的图节点分类网络；所述待训练的图节点分类网络的输入为样本图像对的样本图神经网络，输出为样本图像对相似匹配标签预测结果，所述训练后的图节点分类网络的输入为图像对的图神经网络，输出为图像对中图像之间的相似度参数。
相应的，本申请实施例还提供一种服务器，如图6所示，该服务器可以包括射频（RF，Radio Frequency）电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真（WiFi，WirelessFidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解，图6中示出的服务器结构并不构成对服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路601可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器608处理；另外，将涉及上行的数据发送给基站。存储器602可用于存储软件程序以及模块，处理器608通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。输入单元603可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及服务器的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。
服务器还可包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。音频电路606包括扬声器，扬声器可提供用户与服务器之间的音频接口。
WiFi属于短距离无线传输技术，服务器通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块607，但是可以理解的是，其并不属于服务器的必须构成，完全可以根据需要在不改变申请的本质的范围内而省略。
处理器608是服务器的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行服务器的各种功能和处理数据，从而对手机进行整体监控。
服务器还包括给各个部件供电的电源609（比如电池），优选的，电源可以通过电源管理系统与处理器608逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，服务器还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，服务器中的处理器608会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器608来运行存储在存储器602中的应用程序，从而实现以下功能：
调用图神经网络、以及训练后的图像识别网络；其中，所述图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成；所述图像识别网络包括型号特征提取网络、个体特征提取网络、以及图节点分类网络；
通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征；
根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络；
通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文的详细描述，此处不再赘述。本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以实现以下功能：
调用图神经网络、以及训练后的图像识别网络；其中，所述图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成；所述图像识别网络包括型号特征提取网络、个体特征提取网络、以及图节点分类网络；
通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征；
根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络；
通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本申请实施例所提供的任一种方法中的步骤，因此，可以实现本申请实施例所提供的任一种方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种图像识别方法及装置、服务器及计算机可读存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像识别方法，其特征在于，包括：
调用图神经网络、以及训练后的图像识别网络；其中，所述图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成；所述图像识别网络包括型号特征提取网络、个体特征提取网络、以及图节点分类网络；
通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征；
根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络；
通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数。
2.根据权利要求1所述的图像识别方法，其特征在于，根据预设的图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络的步骤，包括：
确定由参考图像和候选图像组成的多个图像对，并将图像对确定为待分类图神经网络中节点对应的图像对；
根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征；
根据连边相关节点对中的候选图像的型号特征和个体特征的差异值，确定连边权重。
3.根据权利要求2所述的图像识别方法，其特征在于，所述根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征的步骤，包括：
将图像对中参考图像的个体特征和候选图像的个体特征的特征向量差，确定为节点的节点特征。
4.根据权利要求2所述的图像识别方法，其特征在于，所述根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征的步骤，包括：
将图像对中参考图像的型号特征和候选图像的型号特征的特征向量差，确定为节点的节点特征。
5.根据权利要求2所述的图像识别方法，其特征在于，所述根据图像对中参考图像和候选图像的型号特征和个体特征的差异值，确定节点的节点特征的步骤，包括：
根据预设的拼接权重，将参考图像的型号特征和个体特征进行特征拼接，得到参考图像的拼接特征，将候选图像的型号特征和个体特征进行特征拼接，得到候选图像的拼接特征；
将图像对中参考图像的拼接特征和候选图像的拼接特征的特征向量差，确定为节点的节点特征。
6.根据权利要求2所述的图像识别方法，其特征在于，所述根据连边相关节点对中的候选图像的型号特征和个体特征的差异值，确定连边权重的步骤，包括：
根据所述连边相关节点对中的第一候选图像和第二候选图像的型号特征及个体特征的差异值，确定所述连边相关节点对中的第一候选图像和第二候选图像之间的相似性度量参数；
根据所述第一候选图像与其他候选图像之后的相似性度量参数、以及所述第一候选图像和第二候选图像之间的相似性度量参数，确定所述连边的连边权重。
7.根据权利要求1所述的图像识别方法，其特征在于，所述通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数的步骤，包括：
对所述待分类图神经网络中各节点的节点特征进行映射迭代处理，得到各节点处理后的节点特征；
对各节点处理后的节点特征进行概率映射，得到各节点对应图像对中参考图像和候选图像之间的相似度参数。
8.根据权利要求1所述的图像识别方法，其特征在于，在所述通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数的步骤之后，还包括：
获取候选图像对之间的相似度参数；
根据所述候选图像对之间的相似度参数、以及所述参考图像和候选图像之间的相似度参数，从所述候选图像中确定与所述参考图像属于相同对象的目标图像。
9.根据权利要求1至8任一项所述的图像识别方法，其特征在于，在调用训练后的图像识别网络的步骤之前，还包括：
获取样本图像，并组合得到样本图像对；所述样本图像标记有型号特征标签和个体特征标签，所述样本图像对标记有相似匹配标签；
根据样本图像及型号特征标签，采用有监督训练方式对待训练的型号特征提取网络进行训练，得到训练后的型号特征提取网络；所述待训练的型号特征提取网络的输入为样本图像，输出为型号特征标签预测结果，所述训练后的型号特征提取网络的输出为型号特征向量；
根据样本图像及个体特征标签，采用有监督训练方式对待训练的个体特征提取网络进行训练，得到训练后的个体特征提取网络；所述待训练的个体特征提取网络的输入为样本图像，输出为个体特征标签预测结果，所述训练后的个体特征提取网络的输出为个体特征向量；
通过训练后的型号特征提取网络和训练后的个体特征提取网络，处理样本图像对中的样本图像，得到样本图像的型号特征向量和个体特征向量；
根据所述图神经网络、所述样本图像的型号特征向量和个体特征向量，构建各样本图像对的样本图神经网络；
根据所述样本图神经网络以及样本图像对标记的相似匹配标签，采用有监督训练方式对待训练的图节点分类网络进行训练，得到训练后的图节点分类网络；所述待训练的图节点分类网络的输入为样本图像对的样本图神经网络，输出为样本图像对相似匹配标签预测结果，所述训练后的图节点分类网络的输入为图像对的图神经网络，输出为图像对中图像之间的相似度参数。
10.一种图像识别装置，其特征在于，包括：
调用模块，用于调用图神经网络、以及训练后的图像识别网络；其中，所述图神经网络中节点的节点特征与节点对应图像对中参考图像和候选图像的型号特征和个体特征相关，节点间的连边权重与相关节点对中的候选图像之间的相似度相关，所述图像对由参考图像和候选图像组成；所述图像识别网络包括型号特征提取网络、个体特征提取网络、以及图节点分类网络；
提取模块，用于通过所述型号特征提取网络和所述个体特征提取网络对所述参考图像和所述候选图像进行特征提取，得到所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征；
构建模块，用于根据所述图神经网络、所述参考图像的型号特征和个体特征、以及所述候选图像的型号特征和个体特征，构建所述参考图像对应的待分类图神经网络；
识别模块，用于通过所述图节点分类网络处理所述待分类图神经网络，得到节点对应图像对中图像之间的相似度参数。
CN202111252484.5A 2021-10-27 2021-10-27 图像识别方法及装置 Active CN113688814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111252484.5A CN113688814B (zh) 2021-10-27 2021-10-27 图像识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111252484.5A CN113688814B (zh) 2021-10-27 2021-10-27 图像识别方法及装置

Publications (2)

Publication Number Publication Date
CN113688814A true CN113688814A (zh) 2021-11-23
CN113688814B CN113688814B (zh) 2022-02-11

Family

ID=78588261

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111252484.5A Active CN113688814B (zh) 2021-10-27 2021-10-27 图像识别方法及装置

Country Status (1)

Country Link
CN (1) CN113688814B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067215A (zh) * 2022-01-17 2022-02-18 东华理工大学南昌校区 基于节点注意力机制图神经网络的遥感图像检索方法
CN116824132A (zh) * 2023-05-15 2023-09-29 中国科学院大学 平面图分割方法、装置及电子设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110852168A (zh) * 2019-10-11 2020-02-28 西北大学 基于神经架构搜索的行人重识别模型构建方法及装置
CN111159475A (zh) * 2019-12-06 2020-05-15 中山大学 基于多摄像头视频图像的行人再识别路径生成方法
KR102198480B1 (ko) * 2020-02-28 2021-01-05 연세대학교 산학협력단 재귀 그래프 모델링을 통한 비디오 요약 생성 장치 및 방법
CN112396027A (zh) * 2020-12-01 2021-02-23 北京交通大学 基于图卷积神经网络的车辆重识别方法
WO2021036304A1 (zh) * 2019-08-29 2021-03-04 深圳市商汤科技有限公司 图片检索方法及装置
US20210124987A1 (en) * 2019-10-23 2021-04-29 International Business Machines Corporation Framework for few-shot temporal action localization
CN112784772A (zh) * 2021-01-27 2021-05-11 浙江大学 一种基于对比学习的相机内有监督跨相机行人重识别方法
CN112884815A (zh) * 2021-02-02 2021-06-01 鹏城实验室 一种基于多摄像机的车辆追踪方法
CN113326768A (zh) * 2021-05-28 2021-08-31 浙江商汤科技开发有限公司 训练方法、图像特征提取方法、图像识别方法及装置
CN113553975A (zh) * 2021-07-29 2021-10-26 西安交通大学 基于样本对关系蒸馏的行人重识别方法、系统、设备及介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021036304A1 (zh) * 2019-08-29 2021-03-04 深圳市商汤科技有限公司 图片检索方法及装置
CN110852168A (zh) * 2019-10-11 2020-02-28 西北大学 基于神经架构搜索的行人重识别模型构建方法及装置
US20210124987A1 (en) * 2019-10-23 2021-04-29 International Business Machines Corporation Framework for few-shot temporal action localization
CN111159475A (zh) * 2019-12-06 2020-05-15 中山大学 基于多摄像头视频图像的行人再识别路径生成方法
KR102198480B1 (ko) * 2020-02-28 2021-01-05 연세대학교 산학협력단 재귀 그래프 모델링을 통한 비디오 요약 생성 장치 및 방법
CN112396027A (zh) * 2020-12-01 2021-02-23 北京交通大学 基于图卷积神经网络的车辆重识别方法
CN112784772A (zh) * 2021-01-27 2021-05-11 浙江大学 一种基于对比学习的相机内有监督跨相机行人重识别方法
CN112884815A (zh) * 2021-02-02 2021-06-01 鹏城实验室 一种基于多摄像机的车辆追踪方法
CN113326768A (zh) * 2021-05-28 2021-08-31 浙江商汤科技开发有限公司 训练方法、图像特征提取方法、图像识别方法及装置
CN113553975A (zh) * 2021-07-29 2021-10-26 西安交通大学 基于样本对关系蒸馏的行人重识别方法、系统、设备及介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YAN XU 等: "Cross-Domain Evaluation for Vehicle Re-Identification", 《2021 IEEE 6TH INTERNATIONAL CONFERENCE ON CLOUD COMPUTING AND BIG DATA ANALYTICS (ICCCBDA)》 *
蒋若辉 等: "基于图神经网络的行人重识别算法", 《计算机与多媒体技术》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114067215A (zh) * 2022-01-17 2022-02-18 东华理工大学南昌校区 基于节点注意力机制图神经网络的遥感图像检索方法
CN114067215B (zh) * 2022-01-17 2022-04-15 东华理工大学南昌校区 基于节点注意力机制图神经网络的遥感图像检索方法
CN116824132A (zh) * 2023-05-15 2023-09-29 中国科学院大学 平面图分割方法、装置及电子设备
CN116824132B (zh) * 2023-05-15 2024-03-12 中国科学院大学 平面图分割方法、装置及电子设备

Also Published As

Publication number Publication date
CN113688814B (zh) 2022-02-11

Similar Documents

Publication Publication Date Title
CN111401344B (zh) 人脸识别方法和装置及人脸识别系统的训练方法和装置
CN113688814B (zh) 图像识别方法及装置
CN113011282A (zh) 图数据处理方法、装置、电子设备及计算机存储介质
CN111382868A (zh) 神经网络结构搜索方法和神经网络结构搜索装置
CN112990390B (zh) 一种图像识别模型的训练方法、图像识别的方法及装置
CN111339443A (zh) 用户标签确定方法、装置、计算机设备及存储介质
CN113723378B (zh) 一种模型训练的方法、装置、计算机设备和存储介质
CN114092920B (zh) 一种模型训练的方法、图像分类的方法、装置及存储介质
CN113592041B (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN113641797A (zh) 数据处理方法、装置、设备、存储介质及计算机程序产品
CN114722937A (zh) 一种异常数据检测方法、装置、电子设备和存储介质
CN113987236B (zh) 基于图卷积网络的视觉检索模型的无监督训练方法和装置
CN114610677A (zh) 一种转换模型的确定方法和相关装置
CN113128526B (zh) 图像识别方法、装置、电子设备和计算机可读存储介质
CN114398973A (zh) 一种媒体内容标签识别方法、装置、设备及存储介质
CN112948626B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN114612531A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN112132231A (zh) 对象的识别方法和装置、存储介质及电子设备
CN116958729A (zh) 对象分类模型的训练、对象分类方法、装置及存储介质
CN114170484B (zh) 图片属性预测方法、装置、电子设备和存储介质
CN112667864B (zh) 图对齐方法、装置、电子设备及存储介质
CN113076963B (zh) 一种图像识别方法、装置和计算机可读存储介质
CN111935259B (zh) 目标帐号集合的确定方法和装置、存储介质及电子设备
CN114819138A (zh) 图数据处理方法、装置、电子设备及存储介质
CN113780148A (zh) 交通标志图像识别模型训练方法和交通标志图像识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20230516

Address after: Room 18, 21st Floor, Building 1, Guannan Fuxing Pharmaceutical Park, No. 58 Guanggu Avenue, Donghu New Technology Development Zone, Wuhan City, Hubei Province, 430014

Patentee after: WUHAN BANGTUO INFORMATION TECHNOLOGY Co.,Ltd.

Patentee after: WUHAN University

Address before: 430000 room 18, floor 21, building 1, Guannan Fuxing Pharmaceutical Park, No. 58, Guanggu Avenue, Donghu New Technology Development Zone, Wuhan, Hubei Province

Patentee before: WUHAN BANGTUO INFORMATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right