CN111222399B - 一种图像中的对象标识信息识别方法、装置及存储介质 - Google Patents

Abstract

本申请公开了一种图像中的对象标识信息识别方法、装置及存储介质，所述方法包括：获取待识别对象图像；基于对象标识信息识别模型，得到所述待识别对象图像所对应的对象标识信息；所述对象标识信息识别模型的训练方法包括：构建预设机器学习模型，并将预设机器学习模型确定为当前机器学习模型；将样本对象图像集输入所述当前机器学习模型，确定每个样本对象图像的图像特征；确定每类图像特征子集的类中心；基于所述每类图像特征子集的类中心，确定交叉熵损失值；基于所述交叉熵损失值，确定对象标识信息识别模型。采用本申请构建的对象标识信息识别模型，进行对象标识信息的识别处理，提高了图像中对象标识信息的识别准确率。

Description

一种图像中的对象标识信息识别方法、装置及存储介质

技术领域

本申请涉及图像识别技术领域，尤其涉及一种图像中的对象标识信息识别方法、装置及存储介质。

背景技术

现有技术中，对视频信息中某一个特定对象进行识别时，通常是基于样本与全连接层权重间欧式距离构建损失函数，并确定识别模型。将全连接层权重作为类中心计算样本和某类之间相似度时，由于全连接层的表达能力很强，因此其容易对样本进行过拟合，从而导致将其权重作为类中心时无法代表该类样本真正的分布情况；此外，基于欧式距离计算向量相似度时，数值会受到向量本身模大小的影响，无法准确地描述样本与类的归属关系，从而无法准确识别图像中的对象标识。

因此，有必要提供一种图像中的对象标识信息识别方法、装置及存储介质，减小训练期间对象标识信息识别模型的过拟合，提高模型的泛化能力，从而提高图像中对象标识信息的识别准确率。

发明内容

本申请提供了一种图像中的对象标识信息识别方法、装置及存储介质，可以减小训练期间对象标识信息识别模型的过拟合，提高模型的泛化能力，从而提高图像中对象标识信息的识别准确率。

一方面，本申请提供了一种图像中的对象标识信息识别方法，所述方法包括：

获取待识别对象图像；

基于对象标识信息识别模型，对所述待识别对象图像进行对象标识信息识别处理，得到所述待识别对象图像所对应的对象标识信息；

其中，所述对象标识信息识别模型的训练方法包括：

构建预设机器学习模型，并将所述预设机器学习模型确定为当前机器学习模型；

将标注有对象标识信息的样本对象图像集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集，所述图像特征集包括至少一类图像特征子集；

确定每类图像特征子集的样本中心，并将所述每类图像特征子集的样本中心作为所述每类图像特征子集的类中心；

基于所述每类图像特征子集的类中心，确定交叉熵损失值；

当所述交叉熵损失值大于预设阈值时，基于所述交叉熵损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后机器学习模型，将所述更新后机器学习模型重新确定为所述当前机器学习模型；重复步骤：将标注有对象标识信息的样本对象图像集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集；

当所述交叉熵损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为所述对象标识信息识别模型。

另一方面提供了一种图像中的对象标识信息识别装置，所述装置包括：

待识别对象图像获取模块，用于获取待识别对象图像；

对象标识信息识别模块，用于基于对象标识信息识别模型，对所述待识别对象图像进行对象标识信息识别处理，得到所述待识别对象图像所对应的对象标识信息；

对象标识信息识别模型训练模块，所述对象标识信息识别模型训练模块包括：

当前机器学习模型确定子模块，用于构建预设机器学习模型，并将所述预设机器学习模型确定为当前机器学习模型；

图像特征集确定子模块，用于将标注有对象标识信息的样本对象图像集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集，所述图像特征集包括至少一类图像特征子集；

类中心确定子模块，用于确定每类图像特征子集的样本中心，并将所述每类图像特征子集的样本中心作为所述每类图像特征子集的类中心；

交叉熵损失值确定子模块，用于基于所述每类图像特征子集的类中心，确定交叉熵损失值；

模型更新子模块，用于当所述交叉熵损失值大于预设阈值时，基于所述交叉熵损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后机器学习模型，将所述更新后机器学习模型重新确定为所述当前机器学习模型；重复步骤：将标注有对象标识信息的样本对象图像集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集；

对象标识信息识别模型确定子模块，用于当所述交叉熵损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为所述对象标识信息识别模型。

另一方面提供了一种图像中的对象标识信息识别设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的图像中的对象标识信息识别方法。

另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的图像中的对象标识信息识别方法。

本申请提供的图像中的对象标识信息识别方法、装置及存储介质，具有如下技术效果：

本申请在对象标识信息识别模型的训练过程中，将样本对象图像集对应的每类图像特征子集的样本中心作为所述每类图像特征子集的类中心，计算交叉熵损失值，从而减小训练期间模型的过拟合，提高了模型的泛化能力；采用本申请构建的对象标识信息识别模型，进行对象标识信息的识别处理，提高了图像中对象标识信息的识别准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本申请实施例提供的一种对象标识信息识别系统的示意图；

图2是本申请实施例提供的一种图像中的对象标识信息识别方法的流程示意图；

图3是本申请实施例提供的一种确定目标对象的移动轨迹的方法的流程示意图；

图4是本申请实施例提供的一种确定样本对象图像集对应的图像特征集的方法的流程示意图；

图5是本申请实施例提供的另一种确定样本对象图像集对应的图像特征集的方法的流程示意图；

图6是本申请实施例提供的一种确定对象标识信息识别模型的方法的流程示意图；

图7是本申请实施例提供的一种确定每类图像特征子集的样本中心的方法的流程示意图；

图8是本申请实施例提供的一种确定交叉熵损失值的方法的流程示意图；

图9是本申请实施例提供的一种实时采集的样本对象图像集的示意图；

图10是本申请实施例提供的一种区块链系统的结构示意图；

图11是本申请实施例提供的区块结构示意图；

图12是本申请实施例提供的一种对象标识信息识别装置的结构示意图；

图13是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。

具体地，本申请实施例提供的方案涉及人工智能的机器学习领域。机器学习(Machine Learning,ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

请参阅图1，图1是本申请实施例提供的一种对象标识信息识别系统的示意图，如图1所示，该对象标识信息识别系统可以至少包括服务器01和客户端02。

具体的，本说明书实施例中，所述服务器01可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器01可以包括有网络通信单元、处理器和存储器等等。具体的，所述服务器01可以用于进行图像中对象标识信息的识别处理。

具体的，本说明书实施例中，所述客户端02可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。具体的，所述客户端02可以用于在线查询图像中的对象标识信息。

以下介绍本申请的一种图像中的对象标识信息识别方法，图2是本申请实施例提供的一种图像中的对象标识信息识别方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述方法可以包括：

S201：获取待识别对象图像。

在本说明书实施例中，所述对象图像可以为包括特定对象的图像，例如，所述对象图像可以包括行人图像、动物图像等。

在本说明书实施例中，可以通过在视频信息中逐帧筛选获取所述待识别对象图像。

在本说明书实施例中，所述获取待识别对象图像可以包括：

从目标视频信息中获取至少两个待识别对象图像；

在本说明书实施例中，可以通过视频信息中的对象图像，确定同一目标对象的多个图像，从而便于后续确定目标对象的移动轨迹。

S203：基于对象标识信息识别模型，对所述待识别对象图像进行对象标识信息识别处理，得到所述待识别对象图像所对应的对象标识信息。

在本说明书实施例中，所述基于对象标识信息识别模型，对所述待识别对象图像进行对象标识信息识别处理，得到所述待识别对象图像所对应的对象标识信息可以包括：

基于对象标识信息识别模型，对每个待识别对象图像进行对象标识信息识别处理，得到所述每个待识别对象图像所对应的对象标识信息。

在本说明书实施例中，所述对象标识信息可以包括用于标识对象身份的信息，例如，所述对象标识信息可以为对象的编号，在实际应用中，可以为不同的对象设置不同的编号。

在本说明书实施例中，如图3所示，所述方法还可以包括：

S2041：基于所述每个待识别对象图像所对应的对象标识信息，确定目标对象标识信息对应的至少两个目标对象图像；

S2043：基于所述至少两个目标对象图像，确定所述目标对象的移动轨迹。

具体的，在一些实施方式中，所述基于所述至少两个目标对象图像，确定所述目标对象的移动轨迹可以包括：

基于每个目标对象图像，确定所述每个目标对象图像对应的图像采集时间和图像采集地点；

基于所述每个目标对象图像对应的图像采集时间和图像采集地点，确定所述目标对象的移动轨迹。

具体的，在一些实施方式中，所述基于所述目标对象对应的每个目标对象图像，确定所述每个目标对象图像对应的图像采集时间和图像采集地点可以包括：

基于所述目标对象对应的每个目标对象图像，确定所述每个目标对象图像对应的图像采集设备；

基于所述每个目标对象图像对应的图像采集设备，确定所述每个目标对象图像对应的图像采集时间和图像采集地点。

在本说明书实施例中，图像采集设备记录了每个对象图像的采集时间和地点，例如，在商场中不同位置设置的摄像头，可以采集对象图像，并记录了采集时间，此外，可以通过摄像头的设置位置信息，确定出图像采集地点。

在本说明书实施例中，可以通过对象标识信息识别模型识别出视频信息中的对象标识信息，并可以进一步确定出任一目标对象的移动轨迹。在实际应用中，通过本申请的技术方案，可以用于帮助用户查找失踪的目标对象，例如，可以用于查找丢失的小孩或宠物；此外，还可以用于帮助公安机关查找嫌疑人。

在一些实施例中，所述对象图像可以为行人图像，所述对象标识信息识别模型可以为行人重识别模型，通过行人重识别模型可以用于识别图像中的行人的标识信息，并可以用于确定行人的移动轨迹。

在本说明书实施例中，所述对象标识信息识别模型的训练方法可以包括：

S301：构建预设机器学习模型，并将所述预设机器学习模型确定为当前机器学习模型；

在本说明书实施例中，所述预设机器学习模型可以为骨干(Backbone)深度卷积网络模型，具体的，所述Backbone深度卷积网络模型可以包括残差网络 (resnet)、超分辨率测试序列(Visual Geometry Group，vgg)网络，密集连接的卷积网络(dense net)，神经元上的神经架构搜索网络(Neural Architecture Search net，nas net)等深度网络模型。

S303：将标注有对象标识信息的样本对象图像集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集，所述图像特征集包括至少一类图像特征子集；

在本说明书实施例中，所述将标注有对象标识信息的样本对象图像集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集的步骤之前，所述方法还可以包括：

对所述样本对象图像集中的每个样本对象图像进行预处理；

在本说明书实施例中，所述预处理可以包括放缩、裁剪、随机抖动等处理，对样本对象图像进行预处理可以用于获取同一对象的多组图片，从而进一步丰富样本对象图像集。

在本说明书实施例中，如图4所示，所述将标注有对象标识信息的样本对象图像集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集可以包括：

S3031：对预处理后样本对象图像集进行空间域卷积的降维处理；

S3033：对降维后特征图集中每个特征图进行池化处理，得到图像特征集。

在本说明书实施例中，如图5所示，所述将标注有对象标识信息的样本对象图像集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集可以包括：

S30301：将标注有对象标识信息的样本对象图像集分成M个样本对象图像子集，M≥2且M为正整数；

S30303：对所述M个样本对象图像子集进行排序；

S30305：将排序第一位的样本对象图像子集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集；

在本说明书实施例中，如图6所示，所述当所述交叉熵损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为所述对象标识信息识别模型可以包括：

S30111：当所述交叉熵损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为第1初始对象标识信息识别模型；

S30113：将排序第N+1位的样本对象图像子集输入所述第N初始对象标识信息识别模型进行对象标识信息识别训练，得到第N+1初始对象标识信息识别模型，其中N＝1，2，……，M-1；N为正整数。

S30115：将第M初始对象标识信息识别模型确定为所述对象标识信息识别模型。

在本说明书实施例中，当所述样本对象图像集中样本对象图像的数量过大时，需要将其分成多个批处理(batch)集，在机器学习模型中逐批输入样本对象图像子集，并将第一个batch训练得到的模型作为下一个batch的初始模型进行训练，直至所有batch均训练完成，便可得到对象标识信息识别模型。

S305：确定每类图像特征子集的样本中心，并将所述每类图像特征子集的样本中心作为所述每类图像特征子集的类中心；

在本说明书实施例中，所述确定每类图像特征子集的样本中心的步骤之前，所述方法还可以包括：

确定所述图像特征集中每个图像特征对应的对象标识信息；

将所述图像特征集中的图像特征按照对象标识信息进行分类，得到至少一类图像特征子集。

在本说明书实施例中，同一类图像特征子集对应同一对象标识信息，即每一类代表一种对象。

相应的，如图7所示，所述确定每类图像特征子集的样本中心可以包括：

S3051：根据所述每类图像特征子集中各个图像特征对应的特征值，计算所述每类图像特征子集的图像特征平均值；

S3053：将所述每类图像特征子集的图像特征平均值作为所述每类图像特征子集的样本中心。

在一些实施例中，其中一类图像特征子集的样本中心的计算公式如下：

其中，f_i为一类图像特征子集中第i个图像特征的特征值，其中i＝1，2，……，n；该类图像特征子集中共有n个图像特征，

为样本中心。

在本说明书实施例中，将每类图像特征子集的图像特征平均值作为所述每类图像特征子集的样本中心，由此得到的样本中心能够准确地表征该类样本的分布，从而能够得到识别准确率较高的对象标识信息识别模型。

S307：基于所述每类图像特征子集的类中心，确定交叉熵损失值；

在本说明书实施例中，如图8所示，所述基于所述每类图像特征子集的类中心，确定交叉熵损失值可以包括：

S3071：计算每个图像特征的特征值与所述每个图像特征所在图像特征子集的类中心的余弦相似度；

S3073：计算所述每个图像特征对应的余弦相似度与预设分类差值的差，得到所述每个图像特征对应的差值余弦相似度；

S3075：基于所述每个图像特征对应的类中心与差值余弦相似度，确定所述交叉熵损失值。

在本说明书实施例中，通过差值余弦相似度确定所述交叉熵损失值，可以准确地描述样本与类的归属关系，而不受向量模大小的影响；进而降低过拟合，使得类中心更加准确，从而可得到准确率较高的模型。

在本说明书实施例中，所述基于所述每个图像特征对应的类中心与差值余弦相似度，确定所述交叉熵损失值可以包括：

S30751：计算所述每个图像特征对应的差值余弦相似度与预设放大常量的乘积；

S30753：将所述每个图像特征对应的乘积作为指数，将欧拉数作为底数，构建所述每个图像特征对应的指数函数；

在本说明书实施例中，所述欧拉数为自然常数e。

S30755：基于所述每个图像特征对应的指数函数，确定所述交叉熵损失值。

在本说明书实施例中，所述基于所述每个图像特征对应的指数函数，确定所述交叉熵损失值可以包括：

S307551：基于所述每个图像特征对应的指数函数，构建所述每个图像特征对应的对数函数；

S307553：计算每类图像特征子集的对数函数的平均值；

S307555：基于所述每类图像特征子集的对数函数的平均值，确定所述交叉熵损失值。

在一些实施例中，所述交叉熵损失值对应的损失函数为：

其中，L为交叉熵损失值，N为类的个数，S为帮助其收敛的放大常量(scale)， m为改善分类边界而引入的差值(margin)；f为当前样本的图像特征，其中i，j 均表示类；yi是指第i类样本对应的类标签，

为第i类的样本中心。

S309：当所述交叉熵损失值大于预设阈值时，基于所述交叉熵损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后机器学习模型，将所述更新后机器学习模型重新确定为所述当前机器学习模型；重复步骤：将标注有对象标识信息的样本对象图像集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集；

在本说明书实施例中，所述基于所述交叉熵损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后机器学习模型可以包括：

基于所述交叉熵损失值对所述当前机器学习模型进行反向传播，计算所述交叉熵损失值对应的损失函数的梯度；

基于所述损失函数的梯度，对所述当前机器学习模型进行更新以得到更新后机器学习模型。

S3011：当所述交叉熵损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为所述对象标识信息识别模型。

在本说明书实施例中，所述预设阈值可以根据实际情况进行设置。

本申请的技术方案可以应用于多个领域下的不同场景，如识别、检测、分类等领域。

在一个具体的实施例中，本申请的图像中对象标识信息识别方法可以应用于行人重识别领域(Person ReID)，所述对象标识信息识别模型可以为行人重识别模型。具体的，通过摄像头采集的视频信息以及摄像头所在的位置信息，确定每个行人的行动轨迹。例如，在某大型商场中，如图9所示，通过本发明提供的技术，可以为用户呈现每一位顾客在商场中进出哪些门店，顾客身份信息等。图中的抓拍照是指目标顾客的照片，floor为商场的楼层信息，shop为商场中的商店名称，area为目标用户所在区域；行为是指目标用户的行为，包括进店、路过店、出店等行为，时间是指目标用户出现的时间。将这些数据输入对象标识信息识别模型(行人重识别模型)，便可得到目标用户的运行轨迹。

在一个具体的实施例中，针对行人重识别问题的训练过程，以下将描述使用一个batch中的图片对网络进行训练的步骤。

步骤一：将batch中行人图片输入深度卷积神经网络得到图片特征；

步骤一可以包含以下步骤：

a.将行人图片进行放缩、裁剪、随机抖动等预处理；

b.将预处理后的图片输入Backbone深度卷积网络中得到特征图；

c.将特征图进行空间域卷积降维；

d.将降维后的特征图进行池化，得到行人图片特征；

步骤二：将行人图片特征输入基于样本中心与差值余弦相似度的损失层来计算损失；

步骤二可以包含以下步骤：

使用batch内属于同类的行人图片特征fi取平均值得到该类的样本中心

利用以下公式计算基于样本中心与差值余弦相似度的交叉熵损失值；

其中，L为损失值，N为类的个数，S为帮助其收敛的放大常量(scale)，m为改善分类边界而引入的差值(margin)；f为当前样本，其中i，j均表示类；yi是指i对应的类标签，

为第i类的样本中心。损失函数中的margin和scale可通过别的方式加入，如margin由加性变为乘性等。

步骤三：使用得到的损失对网络进行反向传播，更新网络参数；

步骤三可以包含以下步骤：

利用得到的损失对网络参数进行反向传播计算出梯度；

使用得到的梯度对网络参数进行更新。

至此完成该batch内样本的训练，接下来将读入其他batch样本重复以上步骤即可训练得到行人重识别模型。

由于本申请提出的损失函数能够减小训练期间模型的过拟合，可以提升行人重识别网络的泛化能力；使得类中心的估计更为准确，增加训练过程的稳定性。

在本说明书实施例中，所述方法还可以包括：

基于区块链系统存储所述样本对象图像集，所述区块链系统包括多个节点，所述多个节点之间形成点对点网络。

在一些实施例中，所述区块链系统可以为图10所示的结构，多个节点之间形成组成的点对点(P2P，Peer To Peer)网络，P2P协议是一个运行在传输控制协议(TCP，Transmission Control Protocol)协议之上的应用层协议。在区块链系统中，任何机器如服务器、终端都可以加入而成为节点，节点包括硬件层、中间层、操作系统层和应用层。

图10示出的区块链系统中各节点的功能，涉及的功能包括：

1)路由，节点具有的基本功能，用于支持节点之间的通信。

节点除具有路由功能外，还可以具有以下功能：

2)应用，用于部署在区块链中，根据实际业务需求而实现特定业务，记录实现功能相关的数据形成记录数据，在记录数据中携带数字签名以表示任务数据的来源，将记录数据发送到区块链系统中的其他节点，供其他节点在验证记录数据来源以及完整性成功时，将记录数据添加到临时区块中。

3)区块链，包括一系列按照产生的先后时间顺序相互接续的区块(Block)，新区块一旦加入到区块链中就不会再被移除，区块中记录了区块链系统中节点提交的记录数据。

在一些实施例中，区块结构(Block Structure)可以为图11所示的结构，每个区块中包括本区块存储交易记录的哈希值(本区块的哈希值)、以及前一区块的哈希值，各区块通过哈希值连接形成区块链。另外，区块中还可以包括有区块生成时的时间戳等信息。区块链(Block chain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了相关的信息，用于验证其信息的有效性(防伪)和生成下一个区块。

由以上本说明书实施例提供的技术方案可见，本说明书实施例在对象标识信息识别模型的训练过程中，将样本对象图像集对应的每类图像特征子集的样本中心作为所述每类图像特征子集的类中心，计算交叉熵损失值，从而减小训练期间模型的过拟合，提高了模型的泛化能力；采用本申请构建的对象标识信息识别模型，进行对象标识信息的识别处理，提高了图像中对象标识信息的识别准确率。

本申请实施例还提供了一种图像中的对象标识信息识别装置，如图12所示，所述装置可以包括：

待识别对象图像获取模块1310，用于获取待识别对象图像；

对象标识信息识别模块1320，用于基于对象标识信息识别模型，对所述待识别对象图像进行对象标识信息识别处理，得到所述待识别对象图像所对应的对象标识信息；

对象标识信息识别模型训练模块1330，所述对象标识信息识别模型训练模块包括：

当前机器学习模型确定子模块13301，用于构建预设机器学习模型，并将所述预设机器学习模型确定为当前机器学习模型；

图像特征集确定子模块13302，用于将标注有对象标识信息的样本对象图像集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集，所述图像特征集包括至少一类图像特征子集；

类中心确定子模块13303，用于确定每类图像特征子集的样本中心，并将所述每类图像特征子集的样本中心作为所述每类图像特征子集的类中心；

交叉熵损失值确定子模块13304，用于基于所述每类图像特征子集的类中心，确定交叉熵损失值；

模型更新子模块13305，用于当所述交叉熵损失值大于预设阈值时，基于所述交叉熵损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后机器学习模型，将所述更新后机器学习模型重新确定为所述当前机器学习模型；重复步骤：将标注有对象标识信息的样本对象图像集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集；

对象标识信息识别模型确定子模块13306，用于当所述交叉熵损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为所述对象标识信息识别模型。

在一些实施例中，所述装置还可以包括：

对象标识信息确定模块，用于确定所述图像特征集中每个图像特征对应的对象标识信息；

分类模块，用于将所述图像特征集中的图像特征按照对象标识信息进行分类，得到至少一类图像特征子集。

在一些实施例中，所述类中心确定子模块可以包括：

图像特征平均值计算单元，用于根据所述每类图像特征子集中各个图像特征对应的特征值，计算所述每类图像特征子集的图像特征平均值；

样本中心确定单元，用于将所述每类图像特征子集的图像特征平均值作为所述每类图像特征子集的样本中心。

在一些实施例中，所述交叉熵损失值确定子模块可以包括：

余弦相似度计算单元，用于计算每个图像特征的特征值与所述每个图像特征所在图像特征子集的类中心的余弦相似度；

差值余弦相似度计算单元，用于计算所述每个图像特征对应的余弦相似度与预设分类差值的差，得到所述每个图像特征对应的差值余弦相似度；

交叉熵损失值确定单元，用于基于所述每个图像特征对应的类中心与差值余弦相似度，确定所述交叉熵损失值。

在一些实施例中，所述交叉熵损失值确定单元包括：

交叉熵损失值计算子单元，用于通过如下公式确定所述交叉熵损失值：

其中，L为交叉熵损失值，N为类的个数，S为预设放大常量，m为预设分类差值；f为当前样本的图像特征，i，j均表示类；yi为第i类样本对应的类标签，

为第i类的样本中心。

在一些实施例中，所述装置还可以包括：

预处理模块，用于对所述样本对象图像集中的每个样本对象图像进行预处理；

在一些实施例中，所述图像特征集确定子模块可以包括：

降维处理单元，用于对预处理后样本对象图像集进行空间域卷积的降维处理；

图像特征集确定单元，用于对降维后特征图集中每个特征图进行池化处理，得到图像特征集。

在一些实施例中，所述待识别对象图像获取模块可以包括：

待识别对象图像获取子模块，用于从目标视频信息中获取至少两个待识别对象图像。

在一些实施例中，所述对象标识信息确定模块可以包括：

对象标识信息确定子模块，用于基于对象标识信息识别模型，对每个待识别对象图像进行对象标识信息识别处理，得到所述每个待识别对象图像所对应的对象标识信息。

在一些实施例中，所述装置还可以包括：

目标对象图像确定模块，用于基于所述每个待识别对象图像所对应的对象标识信息，确定目标对象标识信息对应的至少两个目标对象图像；

移动轨迹确定模块，用于基于所述至少两个目标对象图像，确定所述目标对象的移动轨迹。

在一些实施例中，所述图像特征集确定子模块可以包括：

样本对象图像子集确定单元，用于将标注有对象标识信息的样本对象图像集分成M个样本对象图像子集，M≥2且M为正整数；

排序单元，用于对所述M个样本对象图像子集进行排序；

图像特征集确定单元，用于将排序第一位的样本对象图像子集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集。

在一些实施例中，所述对象标识信息识别子模型可以包括：

第1初始对象标识信息识别模型确定单元，用于当所述交叉熵损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为第1初始对象标识信息识别模型；

第N+1初始对象标识信息识别模型确定单元，用于将排序第N+1位的样本对象图像子集输入所述第N初始对象标识信息识别模型进行对象标识信息识别训练，得到第N+1初始对象标识信息识别模型，其中N＝1，2，……，M-1；

对象标识信息识别模型确定单元，用于将第M初始对象标识信息识别模型确定为所述对象标识信息识别模型。

所述的装置实施例中的装置与方法实施例基于同样地发明构思。

本申请实施例提供了一种图像中的对象标识信息识别设备，该设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的图像中的对象标识信息识别方法。

本申请的实施例还提供了一种计算机可读存储介质，所述存储介质可设置于终端之中以保存用于实现方法实施例中一种图像中的对象标识信息识别方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的图像中的对象标识信息识别方法。

可选地，在本说明书实施例中，存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本说明书实施例所述存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。

本申请实施例所提供的图像中的对象标识信息识别方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图13是本申请实施例提供的一种图像中的对象标识信息识别方法的服务器的硬件结构框图。如图13所示，该服务器1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central Processing Units， CPU)1410(处理器1410可以包括但不限于微处理器MCU或可编程逻辑器件 FPGA等的处理装置)、用于存储数据的存储器1430，一个或一个以上存储应用程序1423或数据1422的存储介质1420(例如一个或一个以上海量存储设备)。其中，存储器1430和存储介质1420可以是短暂存储或持久存储。存储在存储介质1420的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1410可以设置为与存储介质1420 通信，在服务器1400上执行存储介质1420中的一系列指令操作。服务器1400 还可以包括一个或一个以上电源1460，一个或一个以上有线或无线网络接口 1450，一个或一个以上输入输出接口1440，和/或，一个或一个以上操作系统1421，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

输入输出接口1440可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1400的通信供应商提供的无线网络。在一个实例中，输入输出接口1440包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1440可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。

本领域普通技术人员可以理解，图13所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器1400还可包括比图13中所示更多或者更少的组件，或者具有与图13所示不同的配置。

由上述本申请提供的图像中的对象标识信息识别方法、装置、服务器或存储介质的实施例可见，本申请在对象标识信息识别模型的训练过程中，将样本对象图像集对应的每类图像特征子集的样本中心作为所述每类图像特征子集的类中心，计算交叉熵损失值，从而减小训练期间模型的过拟合，提高了模型的泛化能力；采用本申请构建的对象标识信息识别模型，进行对象标识信息的识别处理，提高了图像中对象标识信息的识别准确率。

需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种图像中的对象标识信息识别方法，其特征在于，所述方法包括：

获取至少两个待识别对象图像；

基于对象标识信息识别模型，对每个待识别对象图像进行对象标识信息识别处理，得到每个待识别对象图像所对应的对象标识信息；

其中，所述对象标识信息识别模型的训练方法包括：

构建预设机器学习模型，并将所述预设机器学习模型确定为当前机器学习模型；

将标注有对象标识信息的样本对象图像集分成M个样本对象图像子集，M≥2且M为正整数；

对所述M个样本对象图像子集进行排序；

将排序第一位的样本对象图像子集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集；所述图像特征集包括至少一类图像特征子集；

确定所述图像特征集中每个图像特征对应的对象标识信息；

将所述图像特征集中的图像特征按照对象标识信息进行分类，得到至少一类图像特征子集；

确定每类图像特征子集的样本中心，并将所述每类图像特征子集的样本中心作为所述每类图像特征子集的类中心；

基于所述每类图像特征子集的类中心，确定交叉熵损失值；

当所述交叉熵损失值大于预设阈值时，基于所述交叉熵损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后机器学习模型，将所述更新后机器学习模型重新确定为所述当前机器学习模型；重复步骤：所述将标注有对象标识信息的样本对象图像集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集至所述基于所述每类图像特征子集的类中心，确定交叉熵损失值；

当所述交叉熵损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为第1初始对象标识信息识别模型；

将排序第N+1位的样本对象图像子集输入第N初始对象标识信息识别模型进行对象标识信息识别训练，得到第N+1初始对象标识信息识别模型，其中N＝1，2，……，M-1；

将第M初始对象标识信息识别模型确定为所述对象标识信息识别模型。

2.根据权利要求1所述的方法，其特征在于，所述确定每类图像特征子集的样本中心包括：

根据所述每类图像特征子集中各个图像特征对应的特征值，计算所述每类图像特征子集的图像特征平均值；

将所述每类图像特征子集的图像特征平均值作为所述每类图像特征子集的样本中心。

3.根据权利要求1所述的方法，其特征在于，所述基于所述每类图像特征子集的类中心，确定交叉熵损失值包括：

计算每个图像特征的特征值与所述每个图像特征所在图像特征子集的类中心的余弦相似度；

计算所述每个图像特征对应的余弦相似度与预设分类差值的差，得到所述每个图像特征对应的差值余弦相似度；

基于所述每个图像特征对应的类中心与差值余弦相似度，确定所述交叉熵损失值。

4.根据权利要求3所述的方法，其特征在于，所述基于所述每个图像特征对应的类中心与差值余弦相似度，确定所述交叉熵损失值的计算公式如下：

其中，L为交叉熵损失值，N为类的个数，S为预设放大常量，m为预设分类差值；f为当前样本的图像特征，i，j均表示类；yi为第i类样本对应的类标签，

为第i类的样本中心。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述样本对象图像集中的每个样本对象图像进行预处理；

相应的，所述将排序第一位的样本对象图像子集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集包括：

对排序第一位的预处理后样本对象图像子集进行空间域卷积的降维处理；

对降维后特征图集中每个特征图进行池化处理，得到图像特征集。

6.根据权利要求1所述的方法，其特征在于，获取待识别对象图像包括：

从目标视频信息中获取至少两个待识别对象图像；

相应的，所述基于对象标识信息识别模型，对所述待识别对象图像进行对象标识信息识别处理，得到所述待识别对象图像所对应的对象标识信息包括：

基于对象标识信息识别模型，对每个待识别对象图像进行对象标识信息识别处理，得到所述每个待识别对象图像所对应的对象标识信息。

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

基于所述每个待识别对象图像所对应的对象标识信息，确定目标对象标识信息对应的至少两个目标对象图像；

基于所述至少两个目标对象图像，确定所述目标对象的移动轨迹。

8.一种图像中的对象标识信息识别装置，其特征在于，所述装置包括：

待识别对象图像获取模块，用于获取至少两个待识别对象图像；

对象标识信息识别模块，用于基于对象标识信息识别模型，对每个待识别对象图像进行对象标识信息识别处理，得到每个待识别对象图像所对应的对象标识信息；

对象标识信息识别模型训练模块，所述对象标识信息识别模型训练模块包括：

当前机器学习模型确定子模块，用于构建预设机器学习模型，并将所述预设机器学习模型确定为当前机器学习模型；

图像特征集确定子模块，用于将标注有对象标识信息的样本对象图像集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集，所述图像特征集包括至少一类图像特征子集；

对象标识信息确定模块，用于确定所述图像特征集中每个图像特征对应的对象标识信息；

分类模块，用于将所述图像特征集中的图像特征按照对象标识信息进行分类，得到至少一类图像特征子集；

类中心确定子模块，用于确定每类图像特征子集的样本中心，并将所述每类图像特征子集的样本中心作为所述每类图像特征子集的类中心；

交叉熵损失值确定子模块，用于基于所述每类图像特征子集的类中心，确定交叉熵损失值；

模型更新子模块，用于当所述交叉熵损失值大于预设阈值时，基于所述交叉熵损失值进行反向传播，对所述当前机器学习模型进行更新以得到更新后机器学习模型，将所述更新后机器学习模型重新确定为所述当前机器学习模型；重复步骤：所述将标注有对象标识信息的样本对象图像集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集至所述基于所述每类图像特征子集的类中心，确定交叉熵损失值；

对象标识信息识别模型确定子模块，用于当所述交叉熵损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为所述对象标识信息识别模型；

其中，所述图像特征集确定子模块包括：样本对象图像子集确定单元，用于将标注有对象标识信息的样本对象图像集分成M个样本对象图像子集，M≥2且M为正整数；排序单元，用于对所述M个样本对象图像子集进行排序；图像特征集确定单元，用于将排序第一位的样本对象图像子集输入所述当前机器学习模型，确定每个样本对象图像的图像特征，得到图像特征集；

所述对象标识信息识别模型确定子模块包括：

第1初始对象标识信息识别模型确定单元，用于当所述交叉熵损失值小于或等于所述预设阈值时，将所述当前机器学习模型确定为第1初始对象标识信息识别模型；

第N+1初始对象标识信息识别模型确定单元，用于将排序第N+1位的样本对象图像子集输入第N初始对象标识信息识别模型进行对象标识信息识别训练，得到第N+1初始对象标识信息识别模型，其中N＝1，2，……，M-1；

对象标识信息识别模型确定单元，用于将第M初始对象标识信息识别模型确定为所述对象标识信息识别模型。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7任一所述的图像中的对象标识信息识别方法。

10.一种图像中的对象标识信息识别设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一所述的图像中的对象标识信息识别方法。

Images