CN111428698A

CN111428698A - 一种模型样本采集方法、更新方法、电子设备及存储介质

Info

Publication number: CN111428698A
Application number: CN202010520502.2A
Authority: CN
Inventors: 李梦男; 支涛
Original assignee: Beijing Yunji Technology Co Ltd
Current assignee: Beijing Yunji Technology Co Ltd
Priority date: 2020-06-10
Filing date: 2020-06-10
Publication date: 2020-07-17

Abstract

本申请实施例提供一种模型样本采集方法、更新方法、电子设备及存储介质，涉及智能售货技术领域。该方法包括：接收图像采集装置发送的携带有商品信息的商品图像，以确定用户购买的商品种类；根据所述商品种类对所述商品图像进行标注，生成样本元组数据；将所述样本元组数据发送至云端存储，以利用所述样本元组数据对商品识别模型进行训练和更新；该方法结合用户的购物行为，对模型进行自动化训练和更新，解决了人工重复训练导致重复性工作和运营成本高的问题。

Description

一种模型样本采集方法、更新方法、电子设备及存储介质

技术领域

本申请涉及智能售货技术领域，具体而言，涉及一种模型样本采集方法、更新方法、电子设备及存储介质。

背景技术

普通自动售货机多采用RFID、重力感应等技术对售卖商品进行检测，但是由于面临物料成本、运营成本高等问题，智能售货机逐渐成为主流趋势。

智能售货机通常采用基于深度学习的视觉识别技术，需要经过一系列复杂的模型训练流程，当添加新的商品种类时，还需要再次进行人工训练，增加了重复性工作，增加了运营成本。

发明内容

本申请实施例的目的在于提供一种模型样本采集方法、更新方法、电子设备及存储介质，结合用户的购物行为获取训练样本，对模型进行自动化训练和更新，解决了人工重复训练导致重复性工作和运营成本高的问题。

本申请实施例提供了一种模型样本采集方法，应用于货柜端，所述方法包括：

接收图像采集装置发送的携带有商品信息的商品图像，以确定用户购买的商品种类；

当所述货柜为无接触购物时，

接收图像采集装置采集到的商品出货装置上的出货商品的商品图像；

接收用户提交的商品订单信息；

根据所述商品图像和所述商品订单信息确定商品种类；

当所述货柜为开门自取进行购物时，

接收所述图像采集装置发送的出货前的第一货架商品图像；

接收所述图像采集装置发送的出货后的第二货架商品图像；

将所述第一货架商品图像和所述第二货架商品图像进行对比，确定商品种类；

根据所述商品种类对所述商品图像进行标注，生成样本元组数据；

将所述样本元组数据发送至云端存储，以利用所述样本元组数据对商品识别模型进行训练和更新。

在上述实现过程中，利用图像采集装置对智能货柜在日常工作过程中，用户购买的商品进行图像采集，从而获知用户购买的商品的种类，对商品图像进行标注并以样本元组数据的形式进行存储并发送至云端，以便云端根据样本元组数据对商品识别模型进行训练和更新，该方法结合智能货柜的日常工作，生成训练样本，无需增加货柜端的运行负担，依据用户购买商品的历史信息进行自动学习，无需人工介入进行耗时耗力的数据采集、图像标注等工作，解决了人工重复性样本收集导致重复性工作和运营成本高的问题。

根据用户提交的商品订单信息和出货商品图像确定商品的种类，在此过程中，可以识别出出货装置吐出的商品是否准确、订单生成是否准确等，两者可以相互确认，使得后续的样本元组数据作为训练样本的准确性较高。

通过比较出货前的第一货架商品图像和出货后的第二货架商品图像，可以根据出货前后的图像差异确定商品种类。

本申请实施例还提供一种模型更新方法，应用于云端，所述方法包括：

接收模型样本采集方法的货柜端发送的样本元组数据；

根据商品种类对所述样本元组数据进行分类存储；

对所述样本元组数据进行监控，以判断是否满足训练条件；

若是，则根据所述样本元组数据的数据量和商品种类对商品识别模型进行训练；

根据训练结果对货柜模型进行更新。

在上述实现过程中，接收货柜端发送的样本元组数据，样本元组数据包括商品种类和商品图像，作为模型训练样本根据商品种类进行分类存储，当样本元组数据达到训练条件时，对商品识别模型进行训练，并对智能货柜进行货柜模型的自动更新，在此过程中，无需人工介入，能够自动进行模型的训练和更新，解决了人工重复训练导致重复性工作和运营成本高的问题。

进一步地，所述对所述样本元组数据进行监控，以判断是否符合训练条件包括：

定期检测所述样本元组数据的数量以及覆盖的商品种类是否满足训练条件。

在上述实现过程中，训练样本需要数量基础和覆盖一定的商品种类范围，当满足预设的训练条件时，开始自动训练，保证了训练结果满足商品识别的准确性。

进一步地，所述若是，则根据所述样本元组数据的数据量和商品种类对商品识别模型进行训练，包括：

根据所述样本元组数据的数据量和商品种类进行模型自适应构造，以搭建商品识别模型；

利用所述样本元组数据对所述商品识别模型进行训练；

根据训练结果对所述商品识别模型进行评估，以满足阈值要求。

在上述实现过程中，在进行模型训练时，根据样本数量和商品种类进行模型的自适应构造，设定模型参数进行训练，训练结束后对训练结果进行评估，当评分满足阈值要求时，才对货柜端的商品识别模型进行更新，其目的是提高更新后的商品识别模型的识别商品的准确性。

本申请实施例提供一种模型样本采集装置，应用于货柜端，所述装置包括：

图像接收模块，用于接收图像采集装置发送的携带有商品信息的商品图像，以确定商品种类；

图像标注模块，用于根据所述商品种类对所述商品图像进行标注，生成样本元组数据；

数据发送模块，用于将所述样本元组数据发送至云端存储，以利用所述样本元组数据对商品识别模型进行训练和更新。

在上述实现过程中，接收货柜端的图像采集装置采集到的携带有商品信息的商品图像，并据此获得用户购买的商品种类，利用商品种类信息进一步对商品图像进行标注，将标注后的图像数据发送至云端作为训练样本保存，使用该方法可以在货柜的日常运行中自动获得样本，无需增加货柜端的运行负担，依据用户购买商品的历史信息进行自动学习，无需人工介入进行耗时耗力的数据采集、图像标注等工作，解决了人工重复训练导致重复性样本采集工作和运营成本高的问题。

本申请实施例提供一种模型更新装置，应用于云端，所述装置包括：

数据接收模块，用于接收模型样本采集方法的货柜端发送的样本元组数据；

存储模块，用于根据商品种类对所述样本元组数据进行分类存储；

数据监控模块，用于对所述样本元组数据进行监控，以判断是否满足训练条件；

模型训练模块，用于若所述样本元组数据满足训练条件，则根据所述样本元组数据的数据量和商品种类对商品识别模型进行训练；

模型更新模块，用于根据训练结果对货柜模型进行更新。

在上述实现过程中，在样本元组数据满足训练条件之后再开始训练，有利于提高模型的识别率；在训练过程中无需人工介入，根据样本元组数据进行自动学习，训练完毕后对货柜的商品识别模型进行自动更新，使得货柜的运营成本大大降低，并且提高了货柜的商品识别的准确性，解决了人工重复训练导致重复性工作和运营成本高的问题。

本申请实施例提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使计算机设备执行上述中任一项所述的模型样本采集方法。

本申请实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述中任一项所述的模型样本采集方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种模型样本采集方法的流程图；

图2为本申请实施例提供的确定用户购买的商品种类的流程图；

图3为本申请实施例提供的另一种确定用户购买的商品种类的流程图；

图4为本申请实施例提供的模型更新方法的流程图；

图5为本申请实施例提供的对模型进行训练的具体流程图；

图6为本申请实施例提供的模型样本采集装置的结构框图；

图7为本申请实施例提供的图像接收模块的具体结构框图；

图8为本申请实施例提供的另一种图像接收模块的具体结构框图；

图9为本申请实施例提供的模型更新装置的结构框图；

图10为本申请实施例提供的模型训练模块700的具体结构框图。

图标：

100-图像接收模块；111-商品图像获取模块；112-订单信息接收模块；113-第一商品种类确定模块；121-第一商品图像接收模块；122-第二商品图像接收模块；123-第二商品种类确定模块；200-图像标注模块；300-数据发送模块；400-数据接收模块；500-存储模块；600-数据监控模块；700-模型训练模块；701-模型搭建模块；702-样本训练模块；703-评估模块；800-模型更新模块。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

实施例1

请参看图1，图1为本申请实施例提供的一种模型样本采集方法的流程图。该方法应用于货柜端，如常见的智能货柜，在智能货柜的日常工作过程中，采集用户购买商品的图像，以此作为模型训练的样本。该方法具体可以包括以下步骤：

步骤S100：接收图像采集装置发送的携带有商品信息的商品图像，以确定用户购买的商品种类；

在智能货柜中安装摄像头，对用户购买的商品进行图像采集。由于现有的智能货柜普遍存在两种购买方式，其中一种是无接触购物，即用户通过扫码进入app或小程序等用户终端进行选购商品，选择所需商品进行下单，提交订单后，用户选择的商品通过出货装置进行出货，出货装置可以为移动货篮、机械臂等机械结构，摄像头对用户拿取出货装置上的商品的行为进行拍摄，从而获取用户购买的商品图像，基于该种购物方式，如图2所示，为确定用户购买的商品种类的流程图，具体可以包括以下步骤：

步骤S111：接收图像采集装置采集到的商品出货装置上的出货商品的商品图像；

步骤S112：接收用户提交的商品订单信息；

步骤S113：根据出货商品图像和商品订单信息确定商品种类。

在上述实现过程中，结合用户提交的商品订单信息和采集到的商品图像确定商品的种类，采用这两种因素确定商品种类的方式，确保确定结果的准确性；同时智能货柜的后端算法可以通过商品订单信息确定出货装置的出货商品是否准确，通过商品图像确定商品订单信息是否准确，相互确认，提高商品识别的准确性。

作为另外一种实施方式，智能货柜是开放式，通过人脸识别等身份认证方式确定用户的身份信息后，用户可以自助开启货柜门选择所需商品，然后关门进行付款，在该种情况下，智能货柜需要使用图像比对算法对开门前后分别采集的货架上的商品图像进行对比，确定商品种类，基于该种购物方式，如图3所示，为另一种确定用户购买的商品种类的流程图，具体可以包括以下步骤：

步骤S121：接收图像采集装置发送的出货前的第一货架商品图像；

步骤S122：接收图像采集装置发送的出货后的第二货架商品图像；

步骤S123：将第一货架商品图像和第二货架商品图像进行对比，确定商品种类。

在上述实现过程中，通过对比出货前后货架上的商品图像之间的差异确定商品种类。此外，智能货柜除了上述两种常用的售货方式以外，对于其他的售货方式，通过智能货柜中的摄像头可以捕捉到用户抓取商品的动作，可以据此判定商品的种类，在此不再赘述。

步骤S200：根据商品种类对所述商品图像进行标注，生成样本元组数据；

在用户购买的商品的商品图像数据进行标注，生成样本元组数据，样本元组数据包括商品图像以及对应的商品种类信息，将样本元组数据作为训练样本发送至云端进行分类存储，并根据该训练样本对商品识别模型进行训练和更新。

对应于上述两种不同的商品种类的确定方式，对商品图像进行标注的方式也不相同，对于第一种，通过商品订单信息验证出货装置上采集到的出货商品图像的种类正确之后，利用得到的商品种类来对出货商品图像进行标注。

对于第二种，通过第一货架商品图像和第二货架商品图像进行对比，得到商品种类之后，图像采集装置还需要对用户拿出商品的动作进行图像捕捉，得到用户购买的商品图像，再对该商品图像进行标注。

步骤S300：将样本元组数据发送至云端存储，以利用样本元组数据对商品识别模型进行训练和更新。

结合用户购物行为，实现对训练样本的自动采集，使得智能货柜的运营成本大大降低，无需增加货柜端的运行负担，依据用户购买商品的历史信息进行自动学习，无需人工介入进行耗时耗力的数据采集、图像标注等工作，解决了人工重复性样本收集和训练导致重复性工作和运营成本高的问题。

本申请实施例还提供一种模型更新方法，应用于云端，实现了模型的自动化训练和更新，如图4所示，为模型更新方法的流程图，该方法具体可以包括：

步骤S400：接收货柜端发送的样本元组数据；

步骤S500：根据商品种类对样本元组数据进行分类存储；

在该步骤中，根据商品种类预先设置存储目录，将接收到的样本元组数据依据所在的商品种类存放至对应的目录下。

步骤S600：对样本元组数据进行监控，以判断是否满足训练条件；

具体为，定期检测样本元组数据的数量以及覆盖的商品种类是否满足训练条件。

云端具有数据监控服务，数据监控服务会定时检查数据增量情况，扫描样本元组数据所在的整体数据集是否具备重新训练的条件，训练条件可以为样本元组数据的数量以及覆盖的商品种类，为确保训练结果的准确性，样本元组数据的数量以及覆盖的商品种类均应满足要求，若满足训练条件则启动模型训练服务，自动进行训练。

步骤S700：若是，则根据样本元组数据的数据量和商品种类对商品识别模型进行训练；

如图5所示，为对模型进行训练的具体流程图，对模型进行训练的步骤具体可以包括：

步骤S701：根据样本元组数据的数据量和商品种类进行模型自适应构造，以搭建商品识别模型；

商品识别模型的搭建，需要根据样本元组数据的数据量和商品种类，自适应的更改模型参数。

步骤S702：利用样本元组数据对商品识别模型进行训练；

步骤S703：根据训练结果对商品识别模型进行评估，以满足阈值要求。

训练结束后，需要对模型进行评估测试，当评分达标后，才可对货柜模型进行更新。

步骤S800：根据训练结果对货柜模型进行更新。

示例的，对货柜模型进行热更新，其不影响货柜的正常使用，并且实现了货柜模型的自动化更新。

该方法结合用户的购物行为，结合商品订单信息、摄像头采集的商品图像、商品种类的确定、商品图像的自动化标注、模型自适应训练、评估测试等过程，对生产环境的线上模型进行热更新，无需人工介入，使得智能货柜的运营成本大大降低，不断提升货柜的智能化，增强了智能货柜的商品识别的准确率。

通过摄像头捕捉商品图像，实现了基于图像的目标检测和商品识别模型的数据采集，避免了人工标注的耗时耗力的劳动。

实施例2

本申请实施例提供一种模型样本采集装置，应用于实施例1中的货柜端，如图6所示，为模型样本采集装置的结构框图，该装置具体可以包括：

图像接收模块100，用于接收图像采集装置发送的携带有商品信息的商品图像，以确定用户购买的商品种类；

图像标注模块200，用于根据所述商品种类对所述商品图像进行标注，生成样本元组数据；

数据发送模块300，用于将所述样本元组数据发送至云端存储，以利用所述样本元组数据对商品识别模型进行训练和更新。

接收货柜端的图像采集装置采集到的携带有商品信息的商品图像，并据此获得用户购买的商品种类，利用商品种类信息进一步对商品图像进行标注，将标注后的图像数据发送至云端作为训练样本保存，使用该方法可以在货柜的日常运行中自动获得样本，无需增加货柜端的运行负担，依据用户购买商品的历史信息进行自动学习，无需人工介入进行耗时耗力的数据采集、图像标注等工作，解决了人工重复训练导致重复性样本采集工作和运营成本高的问题。

作为其中一种实施方式，如图7所示，为图像接收模块100的具体结构框图，图像接收模块100包括：

商品图像获取模块111，用于接收图像采集装置采集到的商品出货装置上的出货商品的商品图像；

订单信息接收模块112，用于接收用户提交的商品订单信息；

第一商品种类确定模块113，用于根据所述商品图像和所述商品订单信息确定商品种类。

作为另外一种实施方式，如图8所示，为另一种图像接收模块100的具体结构框图，图像接收模块100包括：

第一商品图像接收模块121，用于接收所述图像采集装置发送的出货前的第一货架商品图像；

第二商品图像接收模块122，用于接收所述图像采集装置发送的出货后的第二货架商品图像；

第二商品种类确定模块123，用于将第一货架商品图像和所述第二货架商品图像进行对比，确定商品种类。

本申请实施例还提供一种模型更新装置，应用于实施例1中的云端，如图9所示，为模型更新装置的结构框图，该装置具体可以包括：

数据接收模块400，用于接收货柜端发送的样本元组数据；

存储模块500，用于根据商品种类对所述样本元组数据进行分类存储；

数据监控模块600，用于对所述样本元组数据进行监控，以判断是否满足训练条件；

具体为，定期检测所述样本元组数据的数量以及覆盖的商品种类是否满足训练条件。

模型训练模块700，用于若所述样本元组数据满足训练条件，则根据所述样本元组数据的数据量和商品种类对商品识别模型进行训练；

模型更新模块800，用于根据训练结果对货柜模型进行更新。

在样本元组数据满足训练条件之后再开始训练，有利于提高模型的识别率；在训练过程中无需人工介入，根据样本元组数据进行自动学习，训练完毕后对货柜的商品识别模型进行自动更新，使得货柜的运营成本大大降低，并且提高了货柜的商品识别的准确性，相较于人工样本采集且商品种类增加后需要重新训练导致的重复性劳动来说，解决了人工重复训练导致重复性工作和运营成本高的问题。

其中，如图10所示，为模型训练模块700的具体结构框图，模型训练模块700包括：

模型搭建模块701，用于根据所述样本元组数据的数据量和商品种类进行模型自适应构造，以搭建商品识别模型；

样本训练模块702，用于利用所述样本元组数据对所述商品识别模型进行训练；

评估模块703，用于根据训练结果对所述商品识别模型进行评估，以满足阈值要求。

实施例3

本申请实施例提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使计算机设备执行实施例1所述的模型样本采集方法和模型更新方法。

本申请实施例提供一种可读存储介质，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行实施例1所述的模型样本采集方法和模型更新方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims

1.一种模型样本采集方法，其特征在于，应用于货柜端，所述方法包括：

当所述货柜为无接触购物时，

接收用户提交的商品订单信息；

根据所述商品图像和所述商品订单信息确定商品种类；

当所述货柜为开门自取进行购物时，

接收所述图像采集装置发送的出货前的第一货架商品图像；

接收所述图像采集装置发送的出货后的第二货架商品图像；

2.一种模型更新方法，其特征在于，应用于云端，所述方法包括：

接收如权利要求1所述的模型样本采集方法的货柜端发送的样本元组数据；

根据商品种类对所述样本元组数据进行分类存储；

对所述样本元组数据进行监控，以判断是否满足训练条件；

根据训练结果对货柜模型进行更新。

3.根据权利要求2所述的模型更新方法，其特征在于，所述对所述样本元组数据进行监控，以判断是否符合训练条件包括：

4.根据权利要求2所述的模型更新方法，其特征在于，所述若是，则根据所述样本元组数据的数据量和商品种类对商品识别模型进行训练，包括：

利用所述样本元组数据对所述商品识别模型进行训练；

5.一种模型样本采集装置，其特征在于，应用于货柜端，所述装置包括：

图像接收模块，用于接收图像采集装置发送的携带有商品信息的商品图像，以确定用户购买的商品种类；

当所述货柜为无接触购物时，

接收用户提交的商品订单信息；

根据所述商品图像和所述商品订单信息确定商品种类；

当所述货柜为开门自取进行购物时，

接收所述图像采集装置发送的出货前的第一货架商品图像；

接收所述图像采集装置发送的出货后的第二货架商品图像；

6.一种模型更新装置，其特征在于，应用于云端，所述装置包括：

数据接收模块，用于接收如权利要求1所述的模型样本采集方法的货柜端发送的样本元组数据；

模型更新模块，用于根据训练结果对货柜模型进行更新。

7.一种电子设备，其特征在于，所述电子设备包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使计算机设备执行根据权利要求1所述的模型样本采集方法。

8.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求1所述的模型样本采集方法。