CN110826481A - 数据处理方法、商品识别方法、服务器和存储介质 - Google Patents

Abstract

本申请提供一种数据处理方法、商品识别方法、服务器和存储介质，一种数据处理方法包括：获取无人售货机的当前订单数据，当前订单数据包括商品图像、目标商品的名称；将当前订单数据中的商品图像作为待训练的目标检测模型对应的商品图像；在获取的目标检测模型对应的商品图像总量大于预设值时，对目标检测模型的所有商品图像进行扩充处理，得到与目标商品对应的多张待训练图像；根据与目标商品对应的多张待训练图像以及目标商品的名称对目标检测模型进行训练。以此可以改善现有技术中为了进行商品识别而需要在线下提前对大量商品进行耗时耗力的数据采集工作的问题。

Description

数据处理方法、商品识别方法、服务器和存储介质

技术领域

本申请涉及商品识别技术领域，具体而言，涉及一种数据处理方法、商品识别方法、服务器和存储介质。

背景技术

目前，市场上的无人售货机有多种识别方案，主要包括：基于RFID(RadioFrequency Identification，无线电射频识别)标签的识别模式、基于重力感应的识别模式、基于视觉识别的识别模式等。

在目前的视觉识别模式方案中，是通过对消费者的“拿起”、“放回”等动作进行识别，从而判断出消费者是否购买了商品。但是现有方案中，为了确定出消费者实际得到的是哪件商品，常使用基于深度学习的视觉识别技术对无人售货机内的未出货商品进行识别，这需要在线下提前对大量的商品进行耗时耗力的数据采集工作。

发明内容

本申请实施例的目的在于提供一种数据处理方法、商品识别方法、服务器和存储介质，用以改善现有技术中为了进行商品识别而需要在线下提前对大量商品进行耗时耗力的数据采集工作的问题。

第一方面，本申请实施例提供一种数据处理方法，所述方法包括：

获取无人售货机的当前订单数据，所述当前订单数据包括商品图像、目标商品的名称；

将所述当前订单数据中的商品图像作为待训练的目标检测模型对应的商品图像；

在获取的所述目标检测模型对应的商品图像总量大于预设值时，对所述目标检测模型的所有商品图像进行扩充处理，得到与所述目标商品对应的多张待训练图像；

根据与所述目标商品对应的多张待训练图像以及所述目标商品的名称对所述目标检测模型进行训练。

通过上述方法，可以基于订单数据对检测模型进行自我训练，降低了人为工作量，降低了对于线下数据采集量的要求，无需人为在线下进行一系列耗时耗力的图像数据采集、标注等工作，降低了线下数据采集难度。

在可选的实施方式中，所述当前订单数据还包括货柜编号，在所述将所述当前订单数据中的商品图像作为待训练的目标检测模型对应的商品图像之前，所述方法还包括：

根据所述货柜编号确定所述目标检测模型。

通过上述实现方式，可以使得每个模型仅需维护对应的无人售货机中的商品类型即可，降低了对单个模型训练所需的数据量要求。

在可选的实施方式中，在所述将所述当前订单数据中的商品图像作为待训练的目标检测模型对应的商品图像之前，所述方法还包括：

判断所述目标检测模型对于所述目标商品的历史检测结果是否达到预设的识别值；

在所述目标检测模型对于所述目标商品的历史检测结果未达到预设的识别值时，将所述当前订单数据保存在所述目标检测模型对应的目标文件夹中，使所述当前订单数据中的商品图像作为所述目标检测模型对应的商品图像，以更新所述目标检测模型对应的商品图像总量。

通过上述实施方式可以根据检测模型的历史检测结果确定是否有必要更新检测模型的商品图像总量，从而更新检测模型的状态。

在可选的实施方式中，所述根据所述货柜编号确定目标检测模型，包括：

根据所述货柜编号判断服务器是否存储有与所述货柜编号对应的商品检测模型；

在所述服务器存储有与所述货柜编号对应的商品检测模型时，以与所述货柜编号对应的商品检测模型作为所述目标检测模型；

在所述服务器未存储有与所述货柜编号对应的商品检测模型时，创建与所述货柜编号对应的新商品检测模型，以所述新商品检测模型作为所述目标检测模型。

通过上述实施方式，可以使得每个无人售货机、每个货柜编号对应一个模型，实现分布式个性化模型的构建。通过上述方法可以降低对于每个检测模型的要求，每个模型仅需识别少量无人售货机的商品。对于单个模型而言，降低了数据量要求。对于所有模型而言，由于每个模型识别的商品可能不同，从整体上看可以在较少数据量的情况下满足更多种商品的识别需求。

在可选的实施方式中，所述对所述目标检测模型的所有商品图像进行扩充处理，得到与所述目标商品对应的多张待训练图像，包括：

对所述目标检测模型关于所述目标商品的每张商品图像进行数据增强，以实现对于每张商品图像的样本扩充，得到与所述目标商品对应的多张待训练图像。

通过上述实施方式，可以基于订单数据中的商品图像进行样本扩充，相较于现有技术中的线下图像采集方式而言，只要有新的订单数据就可以得到新的商品图像，上述方法可以从整体上降低图像采集的难度，仅需少量的订单数据就可以得到较多的待训练图像。

在可选的实施方式中，在所述对所述目标检测模型的所有商品图像进行扩充处理之前，所述方法还包括：

对每张商品图像进行格式化处理，以使每张商品图像的尺寸相同。

通过上述实施方式，可以在对模型进行训练前就得到尺寸统一的图像，以便于后续对尺寸统一的图像进行训练，从整体上提升了数据处理效率。

第二方面，本申请实施例提供一种商品识别方法，所述方法包括：

获取无人售货机采集的当前商品图像；

获取通过前述第一方面所述的方法训练后得到的目标检测模型；

将所述当前商品图像输入所述目标检测模型，得到商品识别结果。

通过上述方法，可以基于前述第一方面训练得到的目标检测模型对无人售货机的当前商品图像进行识别，从而识别出当前商品图像实际对应的商品是什么，以此可以确定当前的订单是否正确。

在可选的实施方式中，所述方法还包括：

在所述商品识别结果指示订单正确时，向所述无人售货机发送交易指令。

通过上述实现方式，可以在通过商品识别结果确定出订单正确的情况下，进行后续交易，从而保障用户在交易结束后能够拿到的商品确实是该用户下单时想要的商品。

第三方面，本申请实施例提供一种数据处理方法，应用于商品识别系统，所述商品识别系统包括无人售货机以及与所述无人售货机通信连接的服务器；所述方法包括：

所述无人售货机响应下单操作，根据所述下单操作得到关于目标商品的出货指令，根据所述出货指令执行出货操作；

所述无人售货机在执行出货操作时，采集出货对象的商品图像；

所述无人售货机将当前订单数据发送给所述服务器，所述当前订单数据包括所述出货对象的商品图像、所述目标商品的名称；

所述服务器接收所述无人售货机的当前订单数据；

所述服务器将所述当前订单数据中的商品图像作为待训练的目标检测模型对应的商品图像；

所述服务器在获取的所述目标检测模型对应的商品图像总量大于预设值时，对所述目标检测模型的所有商品图像进行扩充处理，得到与所述目标商品对应的多张待训练图像；

所述服务器根据与所述目标商品对应的多张待训练图像以及所述目标商品的名称对所述目标检测模型进行训练。

通过上述方法，可以通过无人售货机直接在出货过程中采集商品图像，并将采集到的商品图像作为当前订单数据的一部分，发送给服务器。服务器基于接收到的当前订单数据对待训练的目标检测模型进行自我训练，最后得到训练后的目标检测模型，训练后的目标检测模型可以用于对当前订单数据中对应的商品进行识别。在模型实际达到识别要求前，仅需较少的订单数据对模型进行训练，降低了人为工作量，降低了对于线下数据采集量的要求，无需人为在线下进行一系列耗时耗力的图像数据采集、标注等工作。

第四方面，本申请实施例提供一种服务器，所述服务器上部署有分布式识别模型，所述分布式识别模型中的每个模型表示一个无人售货机的商品检测模型；

所述服务器包括：

处理器；

存储器；

所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行前述第一方面所述的方法。

第五方面，本申请实施例提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行前述第一方面所述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种商品识别系统的示意图。

图2为本申请实施例提供的一种服务器的功能结构示意图。

图3为本申请实施例提供的一种数据处理方法的流程图。

图4为本申请实施例提供的一种商品识别方法的流程图。

图5为本申请实施例提供的另一种数据处理方法的流程图。

图6为本申请实施例提供的一种数据处理装置的功能模块框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

现有技术中，若是基于RFID(Radio Frequency Identification，无线电射频识别)标签进行识别，需要为每个商品贴上RFID标签，以识别售货机中的商品数量及属性。当用户使用这类模式的无人售货机时，用手机扫描售货机上的二维码并取走商品，在售货机的柜门关闭后，手机实现自动扣款，但这种方式需要为每个商品贴RFID标签，作业成本高，效率低，且RFID对于一些特殊材质的商品识别率不高，例如对于液体饮料的识别率不高。

而若是基于重力感应判断具体的商品，常采用以下几种方式：第一种，同一售货机仅出售一种商品，用户选购商品后，后台根据货柜内的重量变化进行扣款；第二种，同一种售货机中，每个货物层放置一种商品，且每个货物层都设置了重力传感器，以使用户在选购商品后，后台通过重力传感器识别出用户在哪个货物层拿了商品，从而进行扣款；第三种，同一售货机售卖多种不同的商品，且共用一个重力传感器，但这种方式需要配合复杂的算法来识别出用户拿走或放下的商品种类，从而进行扣款。可见，基于重力感应的识别模式对售货机的货物摆放、传感器的设置有较为明显的限制，在存在重量相同的不同商品时，需要配合复杂的算法再次进行识别，局限性较大。

而若是每个格子存放一种商品的格子售货机，每个格子通过单独的控制门控制相应格子内的货物取放，这种方式虽然便于销售过程中进行取货，但是由于每个格子只能放单个商品，每次商品上架时需要分别打开对应的控制门进行补货或换货，不便于工作人员对商品进行更新。一些格子售货机会采用弹簧货道或者履带货道对商品进行传输，但一旦工作人员因疏忽放错了格子内的商品，或者因售货机的机械结构故障，可能会出现实际出货的商品错误的问题，这种情况下仍然需要单独设置商品检测机制对实际出货的商品进行监控。

而在借助视觉识别技术对商品进行识别检测时，常常需要依赖一个深度学习模型。然而会在对深度学习模型进行训练前进行一系列复杂的线下数据采集工作，工作人员需要耗费大量的精力收集图像数据并一一进行标注，然后需要对模型进行大量的训练，才能得到用于对商品进行分类识别的模型。

有鉴于此，发明人提出以下实施例以改善现有技术中的上述缺陷。在本申请提供的方案中，可以基于订单数据对用于对商品进行识别的模型进行自我训练，训练后得到的模型可用于对无人售货机中的商品进行识别。若基于这样训练得到的模型对无人售货机的商品进行识别，可以降低对于无人售货机的商品设置限制要求，无需在无人售货机上设置复杂的传感器。由于订单数据可以根据实际下单行为而得到，相较于现有技术在商品上架前进行一系列数据采集、标注的方式，本申请提供的方案可以降低对于前期数据的依赖。

请参阅图1，图1是本申请实施例提供的一种商品识别系统的示意图。

如图1所示，该商品识别系统包括无人售货机200以及与无人售货机200通信连接的服务器100。图1中的“A”、“B”、“C”、“D”、“E”表示无人售货机200，“A’”、“B’”、“C’”、“D’”、“E’”表示部署在服务器100中的分别与无人售货机“A”、“B”、“C”、“D”、“E”对应的商品检测模型。

其中，服务器100可以是云服务器(或称云主机、云计算服务器)。云服务器100(Elastic Compute Service，ECS)是云计算服务的重要组成部分，云服务器100具有计算、存储能力，还能进行网络通信。云服务器100可以提供简单高效、安全可靠、处理能力可弹性伸缩的云端计算服务。

如图2所示，服务器100可包括存储器101、处理器102、通信单元103。处理器102、存储器101、通信单元103各元件之间直接或间接连接。

存储器101是一种存储介质，存储有处理器102可执行的机器可读指令，机器可读指令被处理器102执行时执行本申请实施例提供的数据处理方法。存储器101可以是但不限于，随机存取存储器(Random Access Memory，RAM)，只读存储器(Read Only Memory，ROM)等。

处理器102具有信号处理能力，用以运行存储器101中存储的程序以执行本申请实施例提供的数据处理方法。处理器102可以是通用处理器，包括中央处理器(CentralProcessing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等。

通信单元103用以在服务器100与无人售货机200之间提供通信接口，以使服务器100与无人售货机200之间能够进行数据交互。

可以理解的是，服务器100可包括比图2所示更多的组件或具有与图2所不同的配置，例如服务器100还可以包括显示单元，用以提供显示界面，例如可用以根据商品识别结果进行显示提示。

服务器100上可以部署分布式识别模型，分布式识别模型中的每个模型都可以表示一个无人售货机200的商品检测模型，每个模型都有可能成为本申请实施例中的目标检测模型。服务器100可以接收无人售货机200发送的订单数据，并基于无人售货机200的订单数据对相应的模型进行训练。

其中，由于是在云端部署的模型，相较于在无人售货机200终端进行部署的方式会更易于维护，并且可以降低对于无人售货机200的本地硬件要求。由于在云端部署的是分布式识别模型，每个模型仅需维护对应的无人售货机200中的商品类型即可，降低了对单个模型训练所需的数据量要求。

在本申请实施例中，无人售货机200包括储货区、出货通道。储货区用于放置待售的商品。出货通道中可以设置一个用于放置出货对象的托盘或者储物槽。无人售货机200上设有摄像头等图像采集装置，用以采集出货对象的商品图像数据。出货对象是指无人售货机200在出货过程中从储货区掉落下的商品或以其他方式送出的商品。

在具体实施时，无人售货机200仅需通过单个摄像头就可实现图像采集，降低了对于其他复杂传感器的依赖，且结构简单易于实现，可以避免因传感器复杂而造成硬件维护困难的问题。摄像头可以设置在储货区外，例如可以设置在出货通道中。

无人售货机200可以有一个或多个。每个无人售货机200对应一个商品检测模型。每个无人售货机200中所放的商品可能不完全相同，无人售货机200中的商品可能时常会根据需要而进行更新，例如可能根据实际销售速度、商品促销等情况对无人售货机200中的商品进行更新。

在每次对新商品进行上架时，对于新商品在储货区的摆放位置没有限制，运维测试人员仅需对该新商品进行少量的下单测试即可，每次下单测试过程中，无人售货机200都会得到新的订单数据。与该无人售货机200对应的商品检测模型可基于订单数据进行训练，从而提升对于新商品的识别能力。当新商品只在少量的无人售货机200中进行上架时，仅需对少量的模型针对该新商品进行训练即可，其余模型不受该新商品的数据影响。此种方式可以较好的应用于经常更换售卖商品的智能货柜领域。在添加新商品时，由于无需像深度学习那样对新商品进行数据采集与额外标注，且数据量需求没有深度学习那样大，在一个实例中，本申请实施例提供的方案仅需运维工作人员进行几次下单测试流程就可以采集完新商品的图像数据，模型自我训练速度快，耗时短，不需要像深度学习那样训练很多个小时。

作为一种实际销售过程中的应用场景，当一个无人售货机200收到用户的下单请求时，响应下单操作，根据下单操作得到关于目标商品的出货指令，根据出货指令执行出货操作。此时，出货对象需要被识别，采集出货对象的商品图像并发送给服务器100，以使无人售货机200或服务器100得知此次订单是否正确，即，使得无人售货机200或服务器100得知此次的出货对象实际上是不是用户下单时想要的目标商品。在订单正确的情况下，交易继续进行，用户可以拿到正确的商品，在订单错误的情况下，用户无法拿到错误的商品，工作人员可以对错误的商品重新进行上架并作下单识别测试。以此可以使得在销售过程中，用户能够拿到的商品都是正确的，还可以避免部分商品被错拿或偷拿的情况。

请参阅图3，图3为本申请实施例提供的一种数据处理方法，该数据处理方法可以应用于前述的服务器100。

该数据处理方法包括步骤S31-S34。

S31：获取无人售货机200的当前订单数据，当前订单数据包括商品图像、目标商品的名称。

其中，无人售货机200的订单数据可作为模型训练阶段的数据来源，也可以作为销售识别阶段的数据来源。在模型训练阶段，订单数据中的商品图像是目标商品的图像。模型训练阶段的执行步骤包括S32-S34。在模型训练阶段训练结束后的模型可用于在销售识别阶段进行商品识别。

当前订单数据中的商品图像，可以是无人售货机200在执行出货操作的过程中通过无人售货机200上的图像采集装置采集得到的。当前订单数据中的目标商品的名称，可以是无人售货机200根据具体的下单请求所得到的。

其中，目标商品的名称作为一种用于区分商品的标识，可以是完整的商品名称，也可以是商品编号。

S32：将当前订单数据中的商品图像作为待训练的目标检测模型对应的商品图像。

其中，当前订单数据中的商品图像可以有一张或多张。同一订单数据中的所有商品图像是针对同一个出货对象所采集的图像，每个订单数据中的商品图像数量可根据无人售货机200的图像采集频率确定。

待训练的目标检测模型是指需要对目标商品进行分类识别训练的模型。待训练的目标检测模型可以根据用户需求设定，也可以根据当前订单数据中的内容确定。

S33：在获取的目标检测模型对应的商品图像总量大于预设值时，对目标检测模型的所有商品图像进行扩充处理，得到与目标商品对应的多张待训练图像。

其中，目标检测模型对应的商品图像总量为当前订单数据中的商品图像与历史订单数据中的商品图像之和。以当前订单数据中的商品图像为5张为例，预设值可能是15、20、30、40等值。

当获取的目标检测模型对应的商品图像总量大于预设值时，可以对目标检测模型的所有商品图像进行扩充处理，以得到关于目标商品的更多样本。在图像进行扩充处理后，该目标检测模型对应的图像数据集合得到扩充。对商品图像进行扩充处理的方式包括但不限于对图像进行翻转、旋转、调节对比度等数据增强手段。

S34：根据与目标商品对应的多张待训练图像以及目标商品的名称对目标检测模型进行训练。

作为一种实现方式，无人售货机200可以在每次接收到下单请求并执行出货操作后向服务器100发送当前订单数据，以使服务器100获取到无人售货机200的当前订单数据。

在具体实施时，当前订单数据中还可包括下单时间，用以对每个无人售货机200的各个订单进行区分。当前订单数据中还可以包括货柜编号，货柜编号可以是预先为每个无人售货机200设置的，用于对各个无人售货机200进行区分。

服务器100在获取到无人售货机200发送的当前订单数据后，可以基于待训练的目标商品模型关于目标商品的商品图像确定是否进行样本扩充。在确定进行样本扩充的情况下，对目标检测模型的所有商品图像进行扩充处理以得到待训练图像，并可以根据待训练图像对目标检测模型进行更新训练。

通过上述方法，可以基于订单数据对检测模型进行自我训练。在实际应用中，仅需极少量的订单次数即可得到能够满足一个目标检测模型的图像数据量，便于运维工作人员进行调试操作，降低了工作人员的数据采集工作量，降低了对于线下数据采集量的要求，无需人为在线下进行一系列耗时耗力的图像数据采集、标注等工作。

可选地，在执行S32之前，若服务器100获取到当前订单数据中的货柜编号，数据处理方法还可以包括：根据货柜编号确定目标检测模型。

其中，一个检测模型可以对应一个无人售货机200(或者，也可以一个检测模型对应所有无人售货机200中的部分无人售货机200)，每个无人售货机200可具有一个货柜编号。通过无人售货机200的货柜编号可以确定出与该无人售货机200的货柜编号对应的目标检测模型。即，服务器可根据当前订单数据中的货柜编号从多个模型中确定出目标检测模型。以此可以使得每个模型仅需负责少量的商品类型维护。

示例性地，目标检测模型可以对输入的待训练图像进行稠密的滑动窗口特征提取。其中，可以通过设定的HOG(Histogram of Oriented Gridients，方向梯度直方图)参数进行特征提取。HOG特征是目前计算机视觉、模式识别领域的一种用于描述图像局部纹理的特征。

HOG参数可包括检测窗口的大小、块大小、胞元(cell)大小、移动步长等参数。在一个检测窗口进行特征提取前，检测窗口被分为多个块，一个块内包括多个胞元(cell)。在检测窗口内，以一个块为单位按照设定的步长进行稠密滑动，根据滑动产生的单元格提取HOG特征向量。当每个块提取完当前HOG特征之后，继续滑动，直到遍历完检测窗口内的所有块。整体上看，前述提取HOG特征的过程是对滑动窗口产生的单元格构建梯度直方图，通过统计局部图像的梯度信息并量化，可得到局部图像区域的特征描述向量。在对所有单元格进行特征提取后，将所有单元格组合成块，块内数据归一化得到梯度直方图，将所有块的HOG描述信息组合在一起可形成最终的HOG特征向量。

每次滑动后得到的特征向量可输入至目标检测模型的分类器进行训练。例如，可根据HOG特征向量和相应的分类器参数对目标检测模型的分类器进行训练。分类器参数可能包括SVM(Support Vector Machine，支持向量机)参数、迭代终止条件、核函数等。

可以理解的是，本领域技术人员可以根据实际需要设置模型训练所需的参数，例如可以根据实际需要设置HOG参数、分类器参数。

相较于使用基于深度学习的视觉技术对货柜内(储货区)的商品进行识别的方式，传统方式需要在训练前期进行复杂的数据采集工作，对于图像有成千上万的数据量要求，且需要经过筛选、标注等繁琐处理，这些采集工作在商品频繁更换的零售行业是较为困难的。而本申请实施例提供的上述方法利用了订单数据，并基于图像特征与机器学习相结合的方式降低了对于数据量的要求，人工干预量少，且上述实施方式对于无人售货机200的实际环境敏感性较低，鲁棒性高。

可选的，在执行S32之前，数据处理方法还可以包括：判断目标检测模型对于目标商品的历史检测结果是否达到预设的识别值。

其中，历史检测结果可以是对于目标商品的历史检测分数，历史检测分数可能是运维工作人员在对无人售货机200和相应的目标检测模型进行测试下单时得到的检测结果。在历史检测分数低于预设的识别值(预设的识别值可能是60、70等值，也可以表现为60％、70％等形式)时，表示该目标检测模型对于该目标商品的识别能力较低。在模型的识别能力较低的情况下，需继续收集目标商品的商品图像以对该目标检测模型进行训练，以使目标检测模型能够增强对于目标商品的识别能力。

其中，在目标检测模型对于目标商品的历史检测结果未达到预设的识别值时，可以将当前订单数据保存在目标检测模型对应的目标文件夹中，使当前订单数据中的商品图像作为目标检测模型对应的商品图像，以更新目标检测模型对应的商品图像总量。

作为一种实现方式，服务器100可以为分布式识别模型中的每个模型建立相应的文件夹，根据无人售货机200的当前订单数据确定出目标检测模型的情况下，可以将当前订单数据保存在目标检测模型对应的目标文件夹中。服务器100可以通过数据提取脚本检测对文件夹的写入操作，从而进行数据提取，以此可以得知目标检测模型关于同一商品的商品图像总量。

在目标检测模型对于目标商品的历史检测结果达到预设的识别值时，表示该目标检测模型已经具备对于目标商品的检测能力，此时的目标检测模型可以用于对目标商品进行识别，即，在目标检测模型具备对于目标商品的检测能力的情况下进入销售识别阶段。

通过上述实施方式可以根据检测模型的历史检测结果确定是否有必要更新检测模型的商品图像总量，从而更新检测模型的状态。

可选的，可以通过以下S321-323的子步骤确定目标商品检测模型。

S321：根据货柜编号判断服务器100是否存储有与货柜编号对应的商品检测模型。

S322：在服务器100存储有与货柜编号对应的商品检测模型时，以与货柜编号对应的商品检测模型作为目标检测模型。

S323：在服务器100未存储有与货柜编号对应的商品检测模型时，创建与货柜编号对应的新商品检测模型，以新商品检测模型作为目标检测模型。

作为一种实现方式，可以在服务器100侧为每个无人售货机200建立虚拟货柜，每个虚拟货柜匹配一个商品检测模型，从而实现分布式识别模型的构建。当本地新增了无人售货机200的情况下，当前订单数据中可能出现新的货柜编号，此种情况下在服务器100中可能无法找到与该新的货柜编号对应的商品检测模型。此时，服务器100可以为该新的无人售货机200创建一个新虚拟货柜，创建一个新商品检测模型，以新商品检测模型作为目标检测模型。在新模型对于目标商品的商品图像总量较低时，可以对当前订单数据中的商品图像进行存储。当商品图像总量累积至达到预设值时，可以对模型进行训练。其中，工作人员仅需进行极少量的下单测试即可使得商品图像总量达到预设值。

通过上述实施方式，可以使得每个无人售货机200、每个货柜编号对应一个模型，实现分布式个性化模型的构建。相较于所有无人售货机200都对应同一个模型的方式，上述方法更适用于商品繁杂、更换频率高的零售行业。通过上述方法可降低对于每个检测模型的要求，每个模型仅需识别少量无人售货机的商品。对于单个模型而言，仅需维护一个无人售货机200的商品类别，降低了数据量要求。对于所有模型而言，由于每个模型识别的商品可能不同，从整体上看可以在较少数据量的情况下满足更多种商品的识别需求。

可选的，对目标检测模型的所有商品图像进行扩充处理，得到与目标商品对应的多张待训练图像的过程可以包括：对目标检测模型关于目标商品的每张商品图像进行数据增强，以实现对于每张商品图像的样本扩充，得到与目标商品对应的多张待训练图像。

数据增强(Data Augmentation)是一种扩大数据样本的方式，在数据量有限的情况下，可以通过数据增强手段增加训练样本的多样性。与传统深度学习中为得到成千上万的数据样本而进行数据增强不同的是，由于本申请中是由一个模型负责一个无人售货机200的商品类型识别，在本申请实施例中进行数据增强所需的样本远低于深度学习所需的数据量。

作为一种实现方式，可以依据商品图像的水平轴线、垂直轴线进行翻转，以此可以模拟摄像头旋转安装方式，得到不同角度下的图像，可以使得对于摄像头的正反安装无限制要求。此种实现方式下，每次翻转操作后可以得到2倍于原有数据量的图像。

作为另一种实现方式，可以图像中心点为原点进行旋转，以此可以模拟摄像头安装角度存在少许偏差的情况，得到更多的图像。例如，可以图像中心点为原点，正负旋转范围为(-10°～10°)，通过随机概率抽样的方式在该旋转范围内抽取5个旋转值，基于该5个旋转值，相对于原图像进行旋转操作，以此可以得到5倍于原有数据量的图像。

作为再一种实现方式，可以通过调节图像的对比度、亮度等方式模拟无人售货机200中的光照强度变化，得到更多的图像。例如，可以分别对图像进行对比度调节、亮度调节，假设采用了6个值改变了原始图像矩阵中的参数，可以得到6倍于原有数据量的图像。

作为再一种实现方式，可以通过对图像加入噪声的方式，得到更多的图像。加入的噪声可以包括高斯噪声、椒盐噪声等，通过向图像随机加入噪声数据可以消除高频特征，降低模型训练时过拟合的发生概率。在每次加入噪声后，可以得到2倍于原有数据量的图像。

可以理解的是，上述各种实现方式可以叠加组合使用，若依次执行前述四种实例的实现方式，可以将原有数据集扩大15倍(2+5+6+2＝15)。在具体实施时，还可以通过对图像进行缩放处理、随机裁剪后调节至原图大小、图像平移等方式进行样本扩充。

通过上述方法可以基于订单数据中的商品图像进行样本扩充，相较于现有技术中的线下图像采集方式而言，只要有新的订单数据就可以得到新的商品图像，上述方法可以从整体上降低图像采集的难度，仅需少量的订单数据就可以得到较多的待训练图像。

可选的，在对目标检测模型的所有商品图像进行扩充处理之前，方法还可以包括：对每张商品图像进行格式化处理，以使每张商品图像的尺寸相同。

作为一种进行格式化处理的方式，可以对每张商品图像进行ROI(region ofinterest，感兴趣区域)提取、灰度化、降采样、直方图均衡化等格式化处理。

ROI(感兴趣区域)是在机器视觉、图像处理领域中，从被处理的图像中以方框、圆、椭圆、不规则多边形等方式勾勒出的区域，感兴趣区域是图像分析所关注的区域，是图像的一部分。在确定ROI后，可以对ROI进行灰度化处理和降采样处理。经过降采样后可以将图像的尺寸统一为固定尺寸，例如，可以将原始尺寸为640*480的图像改为尺寸为60*60的图像，以改小原图的尺寸。直方图均衡化是图像处理领域中利用图像直方图进行对比度调整的方法。

上述格式化过程可以视为在进行模型训练之前的数据预处理过程，经过格式化处理的图像可以更好的满足模型训练的输入数据要求。通过上述方法可以在对模型进行训练前就得到尺寸统一的图像，以便于后续对尺寸统一的图像进行训练，从整体上提升数据处理效率。

基于前述的数据处理方法，本申请实施例还提供一种商品识别方法，该商品识别方法可应用于前述的商品识别系统。

如图4所示，该商品识别方法包括步骤S41-S43。

S41：获取无人售货机200采集的当前商品图像。

其中，当无人售货机200终端用于正式的商品销售时，可根据用户的下单请求执行出货操作，并得到包含当前商品图像的当前订单数据。该当前商品图像可能是正确的商品的图像(目标商品的图像)，也可能是错误的商品的图像(非目标商品的图像)。

S42：获取目标检测模型。

其中，该目标检测模型是通过前述数据处理方法训练后得到的模型。

关于目标检测模型的更多细节请参照前述数据处理方法中的相关描述，在此不再赘述。

S43：将当前商品图像输入目标检测模型，得到商品识别结果。

其中，通过将当前商品图像输入训练过的目标检测模型，可以利用训练过的目标检测模型对实际订单下的出货对象进行识别，得到商品识别结果。通过商品识别结果可以得知当前商品图像对应的实际出货对象是否是用户想要的目标商品。

通过上述方法可以基于前述数据处理方法训练得到的目标检测模型对无人售货机200的当前商品图像进行识别，从而识别出当前商品图像实际对应的商品是什么，以此可以确定当前的订单是否正确。

可选的，在S43之后，该商品识别方法还可以包括步骤S44。

S44：在商品识别结果指示订单正确时，向无人售货机200发送交易指令。

作为一种实现方式，商品识别结果中可以包括目标商品的商品概率。当目标商品的商品概率大于或等于预设的概率值时，表示当前订单正确，认为当前商品图像实际对应的商品的确是目标商品。当目标商品的商品概率低于预设的概率值时，可以视为当前商品图像实际对应的商品非目标商品。预设的概率值可能是80％、85％、90％、95％等概率值。

作为另一种实现方式，商品识别结果中可以包括多种商品的商品概率，通过判断多种商品的商品概率中概率值最大的商品是否为目标商品，在概率值最大的商品为目标商品的情况下，表示当前的订单正确。

在当前的订单正确的情况下，可以向无人售货机200发送交易指令，无人售货机200可基于交易指令向用户展示付款界面，当用户付款后，无人售货机200的出货通道向用户开放，用户此时可以拿到通过出货通道出来的商品。

在一个实例中，当商品识别结果为“矿泉水：95％，酸奶：30％，醋：20％”时，可以表示当前商品图像实际对应的商品为矿泉水，若下单时的目标商品的名称也是矿泉水，则可以确定出当前订单正确，向无人售货机200发送交易指令，以使交易继续进行。

通过上述方法可以在通过商品识别结果确定出订单正确的情况下进行后续交易，从而保障用户在交易结束后能够拿到的商品确实是该用户下单时想要的商品。

可选地，服务器100可以根据多个订单数据输出多个订单对应的识别结果。

多个订单可能是同一时间段内的多个订单，通过对同一时间段内的多个订单数据进行处理可以得到同一时间段内的并发执行结果。

多个订单也可能是任意抽取的多个订单，通过对多个订单进行分析统计，可以得知商品销售分布情况，得知哪些商品是用户购买频率较高的商品。

多个订单可能来源于同一无人售货机200，也可能来源于多个无人售货机200。

多个订单对应的识别结果可以字典列表的形式展现，例如可以表现为{订单1：top5；订单2：top5；订单3：top5}等形式，其中，“top5”表示一个订单中的图像识别结果概率最高的5个商品结果。

基于同一发明构思，如图5所示，本申请实施例还提供一种数据处理方法，与前述图3所示的数据处理方法所不同的是，图5所示的方法应用于商品识别系统，商品识别系统包括无人售货机200以及与无人售货机200通信连接的服务器100。

如图5所示，该数据处理方法包括步骤S51-S58。

S51：无人售货机200响应下单操作，根据下单操作得到关于目标商品的出货指令，根据出货指令执行出货操作。

S52：无人售货机200在执行出货操作时，采集出货对象的商品图像。

S53：无人售货机200将当前订单数据发送给服务器100，当前订单数据包括出货对象的商品图像、目标商品的名称。

其中，当前订单数据中还可以包括无人售货机200的货柜编号、下单时间等。

S54：服务器100接收无人售货机200的当前订单数据。

S55：服务器100将当前订单数据中的商品图像作为待训练的目标检测模型对应的商品图像。

其中，待训练的目标检测模型可以根据无人售货机200的货柜编号确定。

S56：服务器100在获取的目标检测模型对应的商品图像总量大于预设值时，对目标检测模型的所有商品图像进行扩充处理，得到与目标商品对应的多张待训练图像。

S57：服务器100根据与目标商品对应的多张待训练图像以及目标商品的名称对目标检测模型进行训练。

关于无人售货机200的其他处理细节请参照前述系统实施例、方法实施例中的相关描述，关于S54-S57的细节可以参照前述S31-S34的相关描述，在此不再赘述。

通过上述方法可以通过无人售货机200直接在出货过程中采集商品图像，并将采集到的商品图像作为当前订单数据的一部分，发送给服务器100。服务器100基于接收到的当前订单数据对当前订单数据对应的目标检测模型进行自我训练，最后得到训练后的目标检测模型，训练后的目标检测模型可以用于对当前订单数据中对应的商品进行识别。在模型实际达到识别要求前，仅需较少的订单数据对模型进行训练，降低人为工作量，降低了对于线下数据采集量的要求，无需人为在线下进行一系列耗时耗力的图像数据采集、标注等工作。

请参阅图6，图6为本申请实施例提供的一种数据处理装置400的功能模块示意图。

如图6所示，该数据处理装置400包括获取模块401、更新模块402、图像处理模块403、训练模块404。

获取模块401，用于获取无人售货机200的当前订单数据，当前订单数据包括商品图像、目标商品的名称。

更新模块402，用于将当前订单数据中的商品图像作为待训练的目标检测模型对应的商品图像。

图像处理模块403，用于在获取的目标检测模型对应的商品图像总量大于预设值时，对目标检测模型的所有商品图像进行扩充处理，得到与目标商品对应的多张待训练图像；

训练模块404，用于根据与目标商品对应的多张待训练图像以及目标商品的名称对目标检测模型进行训练。

上述数据处理装置400可存储在一存储介质中，上述数据处理装置400可用于执行前述图1所示的数据处理方法。

可选地，当前订单数据可包括无人售货机的货柜编号，上述装置还可包括确定模块，用于根据货柜编号确定目标检测模型。

可选地，上述装置还可包括判断模块，判断模块用于判断目标检测模型对于目标商品的历史检测结果是否达到预设的识别值；更新模块402还可用于在目标检测模型对于目标商品的历史检测结果未达到预设的识别值时，将当前订单数据保存在目标检测模型对应的目标文件夹中，使当前订单数据中的商品图像作为目标检测模型对应的商品图像，以更新目标检测模型对应的商品图像总量。

可选地，确定模块还可以用于：根据货柜编号判断服务器100是否存储有与货柜编号对应的商品检测模型；在服务器100存储有与货柜编号对应的商品检测模型时，以与货柜编号对应的商品检测模型作为目标检测模型；在服务器100未存储有与货柜编号对应的商品检测模型时，创建与货柜编号对应的新商品检测模型，以新商品检测模型作为目标检测模型。

可选地，图像处理模块403还可用于对目标检测模型关于目标商品的每张商品图像进行数据增强，以实现对于每张商品图像的样本扩充，得到与目标商品对应的多张待训练图像。

可选地，图像处理模块403还可用于对每张商品图像进行格式化处理，以使每张商品图像的尺寸相同。

关于该数据处理装置400的更多细节请参照前述数据处理方法中的相关描述，在此不再赘述。

除了上述实施例以外，本申请实施例还提供一种存储介质，存储介质上存储有计算机程序，计算机程序被处理器102运行时执行前述的数据处理方法。存储介质包括：移动硬盘、U盘、存储器101、磁碟或者光盘等各种可以存储程序代码的介质。

在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中。

在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据处理方法，其特征在于，所述方法包括：

获取无人售货机的当前订单数据，所述当前订单数据包括商品图像、目标商品的名称；

将所述当前订单数据中的商品图像作为待训练的目标检测模型对应的商品图像；

在获取的所述目标检测模型对应的商品图像总量大于预设值时，对所述目标检测模型的所有商品图像进行扩充处理，得到与所述目标商品对应的多张待训练图像；

根据与所述目标商品对应的多张待训练图像以及所述目标商品的名称对所述目标检测模型进行训练。

2.根据权利要求1所述的方法，其特征在于，所述当前订单数据还包括货柜编号，在所述将所述当前订单数据中的商品图像作为待训练的目标检测模型对应的商品图像之前，所述方法还包括：

根据所述货柜编号确定所述目标检测模型。

3.根据权利要求2所述的方法，其特征在于，在所述将所述当前订单数据中的商品图像作为待训练的目标检测模型对应的商品图像之前，所述方法还包括：

判断所述目标检测模型对于所述目标商品的历史检测结果是否达到预设的识别值；

在所述目标检测模型对于所述目标商品的历史检测结果未达到预设的识别值时，将所述当前订单数据保存在所述目标检测模型对应的目标文件夹中，使所述当前订单数据中的商品图像作为所述目标检测模型对应的商品图像，以更新所述目标检测模型对应的商品图像总量。

4.根据权利要求2所述的方法，其特征在于，所述根据所述货柜编号确定所述目标检测模型，包括：

根据所述货柜编号判断服务器是否存储有与所述货柜编号对应的商品检测模型；

在所述服务器存储有与所述货柜编号对应的商品检测模型时，以与所述货柜编号对应的商品检测模型作为所述目标检测模型；

在所述服务器未存储有与所述货柜编号对应的商品检测模型时，创建与所述货柜编号对应的新商品检测模型，以所述新商品检测模型作为所述目标检测模型。

5.根据权利要求1所述的方法，其特征在于，所述对所述目标检测模型的所有商品图像进行扩充处理，得到与所述目标商品对应的多张待训练图像，包括：

对所述目标检测模型关于所述目标商品的每张商品图像进行数据增强，以实现对于每张商品图像的样本扩充，得到与所述目标商品对应的多张待训练图像。

6.根据权利要求1所述的方法，其特征在于，在所述对所述目标检测模型的所有商品图像进行扩充处理之前，所述方法还包括：

对每张商品图像进行格式化处理，以使每张商品图像的尺寸相同。

7.一种商品识别方法，其特征在于，所述方法包括：

获取无人售货机采集的当前商品图像；

获取通过权利要求1-6任一项所述的方法训练后得到的目标检测模型；

将所述当前商品图像输入所述目标检测模型，得到商品识别结果。

8.一种数据处理方法，其特征在于，应用于商品识别系统，所述商品识别系统包括无人售货机以及与所述无人售货机通信连接的服务器；

所述方法包括：

所述无人售货机响应下单操作，根据所述下单操作得到关于目标商品的出货指令，根据所述出货指令执行出货操作；

所述无人售货机在执行出货操作时，采集出货对象的商品图像；

所述无人售货机将当前订单数据发送给所述服务器，所述当前订单数据包括所述出货对象的商品图像、所述目标商品的名称；

所述服务器接收所述无人售货机的当前订单数据；

所述服务器将所述当前订单数据中的商品图像作为待训练的目标检测模型对应的商品图像；

所述服务器在获取的所述目标检测模型对应的商品图像总量大于预设值时，对所述目标检测模型的所有商品图像进行扩充处理，得到与所述目标商品对应的多张待训练图像；

所述服务器根据与所述目标商品对应的多张待训练图像以及所述目标商品的名称对所述目标检测模型进行训练。

9.一种服务器，其特征在于，所述服务器上部署有分布式识别模型，所述分布式识别模型中的每个模型表示一个无人售货机的商品检测模型；

所述服务器包括：

处理器；

存储器；

所述存储器存储有所述处理器可执行的机器可读指令，所述机器可读指令被所述处理器执行时执行权利要求1-6任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行权利要求1-6任一项所述的方法。

Images