CN110070034A - 模型训练方法、节识别方法、装置、设备及介质 - Google Patents

Abstract

本申请公开了一种模型训练方法，包括：获取训练样本，所述训练样本包括物体图像以及节标签，所述节标签用于对所述物体图像中物体的每一节进行标注；利用所述训练样本训练实例分割模型，将满足训练目标的实例分割模型确定为节识别模型，所述节识别模型以物体图像为输入，以节识别结果为输出。基于该节识别模型，本申请还公开了一种节识别方法。该方法通过标注样本学习，实现对图像中的目标位置检测和类别识别，从而实现对图像中节识别，由于其具有较高的识别精度，因此，基于该节识别结果进行节定位和节计数具有较高的精度。本申请还公开了对应的装置、设备及介质。

Description

模型训练方法、节识别方法、装置、设备及介质

技术领域

本申请涉及计算机领域，尤其涉及一种模型训练方法、节识别方法、装置、设备及计算机可读存储介质。

背景技术

计算机视觉和大数据技术被广泛应用到零售业，帮助企业快速掌握销售状况和市场趋势分析，增强企业效率和竞争力。大型商超中，货架是一种主要的商品陈列设施，通过借助摄像头拍照的方式进行货架图像信息采集，并运用视觉智能和大数据分析方法，可以进行商品的陈列和销售数据的快速统计和分析。

其中，货架的节数是一项重要的统计指标，可用于计算商品在货架上陈列位置、陈列面积占比等细颗粒度指标。计算货架的节数和确定货架每一节的区域位置是比较困难的任务。目前业界主要是利用计算机视觉技术检测图片中货架的轮廓，估算出货架的长宽比，基于对大量货架的统计经验粗略估算节数，同样基于货架每一节的宽度多数情况下相同的先验规律，进行节的定位。

然而，一些异形货架并不符合上述先验规律，导致其识别结果并不准确。基于此，业界亟需提供一种节识别方法，使得能够精准地进行节识别，从而精准地节计数以及节定位。

发明内容

有鉴于此，本申请提供了一种模型训练方法，该方法利用包括物体图像及其节标签的训练样本训练实例分割模型得到节识别模型，将该模型应用于节识别，能够实现精准地节定位或节计数。对应地，本申请还提供了节识别方法、装置、设备、介质及计算机程序产品。

本申请第一方面提供了一种模型训练方法，所述方法包括：

获取训练样本，所述训练样本包括物体图像以及节标签，所述节标签用于对所述物体图像中物体的每一节进行标注；

利用所述训练样本训练实例分割模型，将满足训练目标的实例分割模型确定为节识别模型，所述节识别模型以物体图像为输入，以节识别结果为输出。

可选的，所述节标签包括多边形形成的定位框，每个所述定位框覆盖所述物体的一节，所述多边形通过位于边缘的N个点组成的点集进行表征；

所述节识别结果包括N个点形成的多边形所围成的节区域。

可选的，所述节区域通过位图形式展示。

可选的，所述实例分割模型包括基于掩码的目标检测卷积神经网络模型或路径聚合网络模型。

可选的，所述训练样本通过如下方式生成：

采集物体图像以及所述物体图像的节标签，所述节标签是利用实例分割样本标注工具对所述物体图像标注所得；

根据所述物体图像和所述节标签，生成所述训练样本。

可选的，所述方法还包括：

利用图像矫正算法对所述物体图像进行矫正；

则所述节标签是利用实例分割样本标注工具对矫正后的物体图像标注所得；

则所述根据所述物体图像和所述节标签生成所述训练样本包括：

根据所述矫正后的物体图像和所述节标签生成所述训练样本。

可选的，所述物体包括货架或储物柜。

本申请第二方面提供了一种节识别方法，包括：

获取物体图像；

将所述物体图像输入节识别模型，获取所述节识别模型输出的所述物体图像的节识别结果，所述节识别模型是基于如本申请第一方面所述的模型训练方法训练生成的。

可选的，所述方法包括：

根据所述节识别结果进行节计数和/或节定位。

本申请第三方面提供了一种模型训练装置，所述装置包括：

获取模块，用于获取训练样本，所述训练样本包括物体图像以及节标签，所述节标签用于对所述物体图像中物体的每一节进行标注；

训练模块，用于利用所述训练样本训练实例分割模型，将满足训练目标的实例分割模型确定为节识别模型，所述节识别模型以物体图像为输入，以节识别结果为输出。

可选的，所述节标签包括多边形形成的定位框，每个所述定位框覆盖所述物体的一节，所述多边形通过位于边缘的N个点组成的点集进行表征；

所述节识别结果包括N个点形成的多边形所围成的节区域。

可选的，所述节区域通过位图形式展示。

可选的，所述实例分割模型包括基于掩码的目标检测卷积神经网络模型或路径聚合网络模型。

可选的，所述装置还包括：

生成模块，用于采集物体图像以及所述物体图像的节标签，所述节标签是利用实例分割样本标注工具对所述物体图像标注所得，根据所述物体图像和所述节标签，生成所述训练样本。

可选的，所述装置还包括：

矫正模块，用于利用图像矫正算法对所述物体图像进行矫正；

则所述节标签是利用实例分割样本标注工具对矫正后的物体图像标注所得；

则所述生成模块具体用于：

根据所述矫正后的物体图像和所述节标签生成所述训练样本。

可选的，所述物体包括货架或储物柜。

本申请第四方面提供了一种节识别装置，所述节识别装置包括：

获取模块，用于获取物体图像；

识别模块，用于将所述物体图像输入节识别模型，获取所述节识别模型输出的所述物体图像的节识别结果，所述节识别模型是基于如权利要求1至7任一项所述的模型训练方法训练生成的。

可选的，所述装置还包括：

处理模块，用于根据所述节识别结果进行节计数和/或节定位。

本申请第五方面提供了一种设备，所述设备包括存储器和处理器：

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序执行本申请第一方面所述的模型训练方法或第二方面所述的节识别方法。

本申请第六方面提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行本申请第一方面所述的模型训练方法或本申请第二方面所述的节识别方法。

本申请第七方面提供了一种包含计算机可读指令的计算机程序产品，当该计算机可读指令在计算机上运行时，使得计算机执行上述第一方面所述的模型训练方法或第二方面所述的节识别方法。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请实施例提供了一种模型训练方法，该方法通过以包括物体图像以及节标签的训练样本训练实例分割模型，所述节标签用于对所述物体图像中物体的每一节进行标注，通过标注样本学习，实现对图像中的目标位置检测和类别识别，从而实现对图像中节识别，由于其具有较高的识别精度，因此，基于该节识别结果进行节定位和节计数具有较高的精度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中一种模型训练方法的场景架构图；

图2为本申请实施例中一种模型训练方法的流程图；

图3为本申请实施例中节标签的示意图；

图4为本申请实施例中节识别结果的示意图；

图5为本申请实施例中节识别方法的场景架构图；

图6为本申请实施例中节识别方法的流程图；

图7为本申请实施例中模型训练装置的结构示意图；

图8为本申请实施例中节识别装置的结构示意图；

图9为本申请实施例中服务器的一个结构示意图；

图10为本申请实施例中终端的一个结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

针对现有技术中利用计算机视觉技术检测图片中货架的轮廓，估算出货架的长宽比，基于对大量货架的统计经验粗略估算节数，同样基于货架每一节的宽度多数情况下相同的先验规律进行节的定位时，异形货架并不符合上述先验规律导致识别结果不准确的技术问题，本申请提供了一种通过训练实例分割模型识别图像中物体的节，从而实现精准地节定位或节计数的方法。

具体地，获取包括物体图像以及节标签的训练样本，通过利用训练样本中对物体的每一节的标注信息，训练实例分割模型，使得实例分割模型对物体图像进行分割的分割结果以及对分割区域是否物体的一节的分类结果趋近于节标签的标注信息，然后将满足训练目标的实例分割模型确定为节识别模型，该节识别模型以物体图像为输入，以节识别结果为输出，应用该节识别模型对物体图像进行节识别，能够实现精准地节定位或节计数。

下面将分别从模型训练和模型应用的角度对本申请实施例提供的方法进行介绍。

可以理解，本申请提供的模型训练方法可以应用于任意具有图像处理能力的处理设备，如具有中央处理器(Central Processing Unit/Processor，CPU)和/或图形处理器(Graphics Processing Unit，GPU)的终端或服务器。其中，终端可以是台式机、笔记本电脑等桌面终端，也可以是智能手机、平板电脑等移动终端，还可以是车载终端、可穿戴智能终端等等。

本申请提供的模型训练方法可以以计算机程序的形式存储于处理设备中，处理设备通过执行上述计算机程序，以实现本申请提供的模型训练方法。

为了使得本申请的技术方案更加清楚、易于理解，下面将从服务器的角度，结合具体场景对本申请的模型训练方法进行介绍。

参见图1所示的场景架构图，该场景中包括终端10和服务器20，其中，终端10可以利用爬取工具从网络中爬取包括至少一节的物体图像，然后利用标注工具对物体图像中物体的每一节进行标注，从而生成训练样本，然后终端10向服务器20发送训练样本，服务器20利用训练样本训练实例分割模型，将满足训练目标的实例分割模型确定为节识别模型，该节识别模型以物体图像为输入，以节识别结果为输出。

接下来，从服务器的角度对本申请提供的模型训练方法的各个步骤进行详细说明。

参见图2所示的模型训练方法的流程图，该方法包括：

S201：获取训练样本。

所述训练样本包括物体图像以及节标签，所述节标签用于对所述物体图像中物体的每一节进行标注。其中，物体图像是以节为单元的物体所对应的图像，所谓节是指物体在水平方向划分的最小单元。具体而言，物体可以是货架或储物柜等能够按节并排摆放的物体，当然物体也可以是其他并排摆放的物体，本实施例对此不作限定。需要说明的是，物体图像可以是一节物体的图像，也可以是多节物体并排摆放的图像。

物体的不同节之间一般具有有价值的视觉特征。以货架为例，通过大量货架图片的观察分析，不同节之间摆放的商品一般是不同的，或者同层的不同节之间商品摆放位置存在轻微的错位和位移。这些视觉特征可以帮助人通过肉眼直接区分出货架的不同节，基于此，可以借助视觉深度学习方法，引入实例分割模型对这些视觉特征进行训练和学习，从而实现货架的各节框架的识别，从而实现精准地节定位和节计数。

其中，深度学习包括有监督学习、无监督学习以及强化学习等多种实现方式。具体到本实施例，可以采用有监督学习方式实现物体各节区域的检测和识别。有监督学习方式是基于包括标签在内的训练样本实现的，为此，服务器先获取训练样本，该训练样本包括物体图像及其节标签。

本申请实施例还提供了生成训练样本的实现方式，具体地，首先采集物体图像以及所述物体图像的节标签，其中，节标签可以是采集物体图像后，利用实例分割样本标注工具对所述物体图像标注所得，实例分割样本标注工具具体可以是lableme，标注对象实例可以是物体图像中物体的每一节，然后根据所述物体图像和所述节标签，生成所述训练样本。为了使得模型具有较好的泛化性能，可以尽可能地采集各种类型以及各种摆放场景的物体图片，以丰富训练样本。

需要说明的是，基于拍摄角度等原因，物体图像可能存在视角倾斜，在采集物体图像后，还可以利用图像矫正算法对物体进行矫正，例如基于灭点的矫正等，如此，在生成训练样本时，可以根据矫正后的物体图像和所述节标签生成所述训练样本。

考虑到物体每一节的真实形状，在对物体每一节进行标注时，可以采用多边形进行标注。换言之，所述节标签可以是多边形形成的定位框，物体的每一节位于对应的多边形形成的定位框内，每个所述定位框覆盖所述物体的一节，所述多边形通过位于边缘的N个点组成的点集进行表征，所述N为大于1的正整数。

进一步地，由于需要对物体的每一节均进行标注，而物体的每一节往往是并排摆放的，为了便于区分，可以通过不同颜色展示相邻的节对应的节标签，也即可以为相邻的定位框填充不同的颜色。

作为本申请的一个示例，当物体为货架时，如图3所示，其节标签可以是不规则多边形形成的定位框，该定位框内的区域覆盖物体的一节，该不规则多边形具体由位于多边形各条边的若干个点组成的点集进行表征，图3中的31示出了物体的一节对应的定位框，32示出了组成该定位框的点集中的一个点，并且，图3中相邻两节的定位框填充不同的颜色。

需要说明的是，为了确定出多边形，一般要求位于边缘的N个点覆盖多边形的各条边。

S202：利用所述训练样本训练实例分割模型，将满足训练目标的实例分割模型确定为节识别模型。

所述节识别模型以物体图像为输入，以节识别结果为输出。当节标签为多边形形成的定位框时，所述节识别结果包括N个点形成的多边形所围成的节区域。具体地，该节区域可以通过位于物体每一节外围的多边形定位框表征，具体表现为位于多边形定位框边缘的N个点的坐标以及是否为节的分类标签。

进一步地，该节识别结果还包括多边形定位框包括的所有像素点的坐标。如此，在显示该节识别结果时，如图4所示，还可以通过位图形式展示，图4中的41以位图的形式展示了一个节识别结果，其中节区域可以采用预设颜色进行标识，如采用绿色进行标识。需要说明的是，图4是转换灰度后的示意图，节区域的真实颜色在图4中未示出。

物体图像中的物体可以仅包括一节，也可以包括多节，节识别模型在输出节识别结果时，输出物体图像中每一节的识别结果。

由于不同节之间在图像上具有有价值的视觉特征，因此，可以通过训练实例分割模型，利用实例分割模型学习上述有价值的视觉特征，实现节识别。其中，实例分割模型可以包括包括基于掩码的目标检测卷积神经网络模型mask rcnn或路径聚合网络模型panet。

在对实例分割模型进行训练时，可以根据实际需求设置其目标函数，其中，该目标函数至少包括损失函数项，通过目标函数的变化情况可以判断模型训练状况。在一些可能的实现方式中，实例分割模型的训练目标可以为该实例分割模型的目标函数趋于收敛，或者目标函数小于预设值。当训练后的实例分割模型满足上述训练目标时，可以将其确定为节识别模型，用于对物体图像中物体的节进行检测和识别。

由上可知，本申请实施例提供了一种模型训练方法，该方法通过以包括物体图像以及节标签的训练样本训练实例分割模型，所述节标签用于对所述物体图像中物体的每一节进行标注，通过标注样本学习，实现对图像中的目标位置检测和类别识别，从而实现对图像中物体的节识别，由于其具有较高的识别精度，因此，基于该识别结果进行节定位和节计数具有较高的精度。

基于上述模型训练方法，本申请实施例还提供了一种节识别方法。接下来，对本申请实施例提供的基于上述节识别模型的节识别方法进行介绍。

可以理解，该节识别方法可以应用于任意具有图像处理能力的处理设备，如CPU和/或GPU的终端或服务器。其中，终端可以是台式机、笔记本电脑等桌面终端，也可以是智能手机、平板电脑等移动终端，还可以是车载终端、可穿戴智能终端等等。

本申请提供的节识别方法可以以计算机程序的形式存储于处理设备中，处理设备通过执行上述计算机程序，调用节识别模型，实现本申请提供的节识别方法。

为了使得本申请的技术方案更加清楚、易于理解，下面将从终端的角度，结合具体场景对本申请的节识别方法进行介绍。

参见图5所示的节识别方法的场景架构图，该场景中包括终端10，终端10获取物体图像，然后将将所述物体图像输入节识别模型，该节识别模型是通过图2所示实施例提供的模型训练方法训练生成的，终端10再获取所述节识别模型输出的所述物体图像的节识别结果，从而实现节定位和节计数。

接下来，从终端的角度对本申请实施例提供的节识别方法进行介绍。

参见图6所示的节识别方法的流程图，该方法包括：

S601：获取物体图像。

该物体图像是具体是对以节为单位的物体拍摄所得图像。在实际应用时，可通过在物体的预设方位安装摄像头，其中，预设方位根据实际需求而设置，终端可以从摄像头拍摄的视频流中获取物体图像，也可以直接控制摄像头实时拍摄而获得物体图像。

以商场货架为例，终端可以调用摄像头拍摄的视频流，从视频流中提取物体图像。需要说明的是，在实际应用时，终端可以仅获取一帧物体图像，也可以获取若干帧图像，通过采用多帧图像可以提高节定位和节计数准确率。

S602：将所述物体图像输入节识别模型，获取所述节识别模型输出的所述物体图像的节识别结果。

所述节识别模型是基于图2所示实施例所述的模型训练方法训练生成的。在将物体图像输入节识别模型后，节识别模型能够学习物体图像中的有价值的视觉特征，从而识别出物体每一节所对应的区域，并输出该节区域外围定位框上N个点的坐标，以及对应的分类标签作为节识别结果。

对应地，该节识别结果还可以包括定位框包括的所有像素点的坐标。如此，可以基于所有像素点的坐标确定节区域。在显示该节识别结果时，通过位图形式显示节区域。其中，节区域可以采用预设颜色进行标识。

在通过节识别模型识别出物体的每一节以后，终端还可以根据所述节识别结果进行节计数和/或节定位。以货架为例，用基于深度学习的实例分割算法，对大量标注样本图片中的货架分节视觉特征进行训练和建模，使用模型对物体图像中货架进行分节实例分割操作得到节识别结果后，可以实现货架各节区域的定位和节数统计。

由上可知，本申请实施例提供了一种节识别方法，该节识别方法是基于节识别模型实现的，而该节识别模型是通过包括节标签的训练样本训练实例分割模型得到的，其对物体的分节具有较高的识别率，因此，通过该方法能够精准地识别物体的分节，基于该识别结果进行节定位或节计数具有较高的准确率。

以上为本申请实施例提供的模型训练方法和节识别方法的一些具体实现方式，基于此，本申请实施例还提供了对应的装置，下面将从功能模块化的角度对本申请实施例提供的上述装置进行介绍。

首先，对本申请实施例提供的模型训练装置进行介绍。参见图7所示的模型训练装置的结构示意图，该装置700包括：

获取模块710，用于获取训练样本，所述训练样本包括物体图像以及节标签，所述节标签用于对所述物体图像中物体的每一节进行标注；

训练模块720，用于利用所述训练样本训练实例分割模型，将满足训练目标的实例分割模型确定为节识别模型，所述节识别模型以物体图像为输入，以节识别结果为输出。

可选的，所述节标签包括多边形形成的定位框，每个所述定位框覆盖所述物体的一节，所述多边形通过位于边缘的N个点组成的点集进行表征，所述N为大于1的正整数；

所述节识别结果包括N个点形成的多边形所围成的节区域。

可选的，所述节区域通过位图形式展示。

可选的，所述实例分割模型包括基于掩码的目标检测卷积神经网络模型或路径聚合网络模型。

可选的，所述装置还包括：

生成模块，用于采集物体图像以及所述物体图像的节标签，所述节标签是利用实例分割样本标注工具对所述物体图像标注所得，根据所述物体图像和所述节标签，生成所述训练样本。

可选的，所述装置还包括：

矫正模块，用于利用图像矫正算法对所述物体图像进行矫正；

则所述节标签是利用实例分割样本标注工具对矫正后的物体图像标注所得；

则所述生成模块具体用于：

根据所述矫正后的物体图像和所述节标签生成所述训练样本。

可选的，所述物体包括货架或储物柜。

其次，对本申请实施例提供的节识别装置进行介绍。参见图8所示的节识别装置的结构示意图，该装置800包括：

获取模块810，用于获取物体图像；

识别模块820，用于将所述物体图像输入节识别模型，获取所述节识别模型输出的所述物体图像的节识别结果，所述节识别模型是基于图2所示实施例所述的模型训练方法训练生成的。

可选的，所述装置800还包括：

处理模块，用于根据所述节识别结果进行节计数和/或节定位。

本申请实施例还提供了一种设备，该设备包括处理器以及存储器：

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序执行本申请实施例提供的模型训练方法或者节识别方法。

下面将从硬件实体化的角度对本申请实施例提供的设备进行介绍。

图9是本申请实施例提供的一种服务器结构示意图，该服务器900可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processingunits，CPU)922(例如，一个或一个以上处理器)和存储器932，一个或一个以上存储应用程序942或数据944的存储介质930(例如一个或一个以上海量存储设备)。其中，存储器932和存储介质930可以是短暂存储或持久存储。存储在存储介质930的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器922可以设置为与存储介质930通信，在服务器900上执行存储介质930中的一系列指令操作。

服务器900还可以包括一个或一个以上电源926，一个或一个以上有线或无线网络接口950，一个或一个以上输入输出接口958，和/或，一个或一个以上操作系统941，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。

上述实施例中由服务器所执行的步骤可以基于该图9所示的服务器结构。

其中，CPU 922用于执行如下步骤：

获取训练样本，所述训练样本包括物体图像以及节标签，所述节标签用于对所述物体图像中物体的每一节进行标注；

利用所述训练样本训练实例分割模型，将满足训练目标的实例分割模型确定为节识别模型，所述节识别模型以物体图像为输入，以节识别结果为输出。

可选的，所述CPU922还用于执行本申请实施例提供的模型训练方法的任意一种实现方式的步骤。

本申请实施例还提供了另一种设备，如图10所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(英文全称：Personal Digital Assistant，英文缩写：PDA)、销售终端(英文全称：Pointof Sales，英文缩写：POS)、车载电脑等任意终端设备，以终端为手机为例：

图10示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图10，手机包括：射频(英文全称：Radio Frequency，英文缩写：RF)电路1010、存储器1020、输入单元1030、显示单元1040、传感器1050、音频电路1060、无线保真(英文全称：wirelessfidelity，英文缩写：WiFi)模块1070、处理器1080、以及电源1090等部件。本领域技术人员可以理解，图10中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图10对手机的各个构成部件进行具体的介绍：

RF电路1010可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1080处理；另外，将设计上行的数据发送给基站。通常，RF电路1010包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(英文全称：LowNoise Amplifier，英文缩写：LNA)、双工器等。此外，RF电路1010还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(英文全称：Global System of Mobile communication，英文缩写：GSM)、通用分组无线服务(英文全称：General Packet Radio Service，GPRS)、码分多址(英文全称：CodeDivision Multiple Access，英文缩写：CDMA)、宽带码分多址(英文全称：Wideband CodeDivision Multiple Access,英文缩写：WCDMA)、长期演进(英文全称：Long TermEvolution，英文缩写：LTE)、电子邮件、短消息服务(英文全称：Short Messaging Service，SMS)等。

存储器1020可用于存储软件程序以及模块，处理器1080通过运行存储在存储器1020的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1020可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1020可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元1030可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1030可包括触控面板1031以及其他输入设备1032。触控面板1031，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1031上或在触控面板1031附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1031可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1080，并能接收处理器1080发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1031。除了触控面板1031，输入单元1030还可以包括其他输入设备1032。具体地，其他输入设备1032可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元1040可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1040可包括显示面板1041，可选的，可以采用液晶显示器(英文全称：Liquid Crystal Display，英文缩写：LCD)、有机发光二极管(英文全称：Organic Light-Emitting Diode，英文缩写：OLED)等形式来配置显示面板1041。进一步的，触控面板1031可覆盖显示面板1041，当触控面板1031检测到在其上或附近的触摸操作后，传送给处理器1080以确定触摸事件的类型，随后处理器1080根据触摸事件的类型在显示面板1041上提供相应的视觉输出。虽然在图10中，触控面板1031与显示面板1041是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1031与显示面板1041集成而实现手机的输入和输出功能。

手机还可包括至少一种传感器1050，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1041的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1041和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路1060、扬声器1061，传声器1062可提供用户与手机之间的音频接口。音频电路1060可将接收到的音频数据转换后的电信号，传输到扬声器1061，由扬声器1061转换为声音信号输出；另一方面，传声器1062将收集的声音信号转换为电信号，由音频电路1060接收后转换为音频数据，再将音频数据输出处理器1080处理后，经RF电路1010以发送给比如另一手机，或者将音频数据输出至存储器1020以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块1070可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图10示出了WiFi模块1070，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器1080是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1020内的软件程序和/或模块，以及调用存储在存储器1020内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1080可包括一个或多个处理单元；优选的，处理器1080可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1080中。

手机还包括给各个部件供电的电源1090(比如电池)，优选的，电源可以通过电源管理系统与处理器1080逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。

在本申请实施例中，该终端所包括的处理器1080还具有以下功能：

获取物体图像；

将所述物体图像输入节识别模型，获取所述节识别模型输出的所述物体图像的节识别结果，所述节识别模型是基于图2所示实施例所述的模型训练方法训练生成的。

可选的，所述处理器1080还用于执行本申请实施例提供的节识别方法的任意一种实现方式的步骤。

本申请实施例还提供一种计算机可读存储介质，用于存储程序代码，该程序代码用于执行前述各个实施例所述的一种模型训练方法中的任意一种实施方式或者各个实施例所述的一种节识别方法的任意一种实施方式。

本申请实施例还提供一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行前述各个实施例所述的一种模型训练方法中的任意一种实施方式或者各个实施例所述的一种节识别方法的任意一种实施方式。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (13)

1.一种模型训练方法，其特征在于，所述方法包括：

获取训练样本，所述训练样本包括物体图像以及节标签，所述节标签用于对所述物体图像中物体的每一节进行标注；

利用所述训练样本训练实例分割模型，将满足训练目标的实例分割模型确定为节识别模型，所述节识别模型以物体图像为输入，以节识别结果为输出。

2.根据权利要求1所述的方法，其特征在于，所述节标签包括多边形形成的定位框，每个所述定位框覆盖所述物体的一节，所述多边形通过位于边缘的N个点组成的点集进行表征，所述N为大于1的正整数；

所述节识别结果包括N个点形成的多边形所围成的节区域。

3.根据权利要求2所述的方法，其特征在于，所述节区域通过位图形式展示。

4.根据权利要求1至4任一项所述的方法，其特征在于，所述实例分割模型包括基于掩码的目标检测卷积神经网络模型或路径聚合网络模型。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述训练样本通过如下方式生成：

采集物体图像以及所述物体图像的节标签，所述节标签是利用实例分割样本标注工具对所述物体图像标注所得；

根据所述物体图像和所述节标签，生成所述训练样本。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

利用图像矫正算法对所述物体图像进行矫正；

则所述节标签是利用实例分割样本标注工具对矫正后的物体图像标注所得；

则所述根据所述物体图像和所述节标签生成所述训练样本包括：

根据所述矫正后的物体图像和所述节标签生成所述训练样本。

7.根据权利要求1至4任一项所述的方法，其特征在于，所述物体包括货架或储物柜。

8.一种节识别方法，其特征在于，所述方法包括：

获取物体图像；

将所述物体图像输入节识别模型，获取所述节识别模型输出的所述物体图像的节识别结果，所述节识别模型是基于如权利要求1至7任一项所述的模型训练方法训练生成的。

9.根据权利要求8所述的节识别方法，其特征在于，所述方法包括：

根据所述节识别结果进行节计数和/或节定位。

10.一种模型训练装置，其特征在于，所述装置包括：

获取模块，用于获取训练样本，所述训练样本包括物体图像以及节标签，所述节标签用于对所述物体图像中物体的每一节进行标注；

训练模块，用于利用所述训练样本训练实例分割模型，将满足训练目标的实例分割模型确定为节识别模型，所述节识别模型以物体图像为输入，以节识别结果为输出。

11.一种节识别装置，其特征在于，所述装置包括：

获取模块，用于获取物体图像；

识别模块，用于将所述物体图像输入节识别模型，获取所述节识别模型输出的所述物体图像的节识别结果，所述节识别模型是基于如权利要求1至7任一项所述的模型训练方法训练生成的。

12.一种设备，其特征在于，所述设备包括存储器和处理器：

所述存储器用于存储计算机程序；

所述处理器用于根据所述计算机程序执行本申请权利要求1至7任一项所述的模型训练方法或权利要求8至9所述的节识别方法。

13.一种计算机可读存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至7任一项所述的模型训练方法或权利要求8至9所述的节识别方法。