CN110956459A

CN110956459A - 一种商品处理方法及系统

Info

Publication number: CN110956459A
Application number: CN201911191588.2A
Authority: CN
Inventors: 陈建
Original assignee: Zhejiang Youyou Technology Co Ltd
Current assignee: Zhejiang Youyou Technology Co Ltd
Priority date: 2019-11-28
Filing date: 2019-11-28
Publication date: 2020-04-03

Abstract

本申请保护一种商品处理的方法及系统，其特征在于，所述方法包括：获取待处理商品的商品信息，所述商品信息至少包括所述待处理商品的图像信息；基于所述待处理商品的商品信息，使用机器学习模型确定所述待处理商品的商品种类；基于所述商品种类，结合称重信息对所述待处理商品进行标记或结算处理。通过上述方法可以优化商品识别流程，减少人工的介入，提高商品识别精确度及商品识别效率，提升用户体验。

Description

一种商品处理方法及系统

技术领域

本申请涉及数据处理领域，特别涉及一种商品处理方法及系统。

背景技术

在超市中购买一些商品(比如蔬菜水果)的过程，可能包括：消费者挑选需要购买的商品，然后由工作人员进行称重处理，手工输入商品种类或数值代码(商品数值代码常常以特定位数的字符串表示，例如，“空心菜”对应“1101”、“卷心菜”对应“1102”等)，然后打上条码供后续结算，或者直接结算。也有一些情况下，消费者在自助设备中自行称重，手工输入商品的种类并结算。由于商品种类往往较多，单纯人工输入商品种类或数值代码的可能使用时间比较长，影响消费者体验，并且可能需要较高的人员培训成本。

另外，在商品处理过程中，可能存在多种因素影响商品的识别效果。例如，人手的干预及影响、商品所放置的位置有时未处于可识别的预设区域及商品场景多样化导致商品信息识别的复杂化等。因此，需要提供一种商品处理的方法以提高商品识别效率。

发明内容

本申请的目的在于提供一种商品处理的方法和系统，以实现提高商品识别效率，提升顾客的购物体验。

本申请实施例之一提供一种用于商品处理的方法。所述方法包括获取待处理商品的商品信息，所述商品信息至少包括待处理商品的图像信息；基于所述待处理商品的商品信息，使用机器学习模型确定所述待处理商品的商品种类；基于所述商品种类，结合称重信息对所述待处理商品进行标记或结算处理。

本申请实施例之一提供一种商品处理的系统，所述系统包括信息获取模块、信息识别模块及综合处理模块。所述信息获取模块用于获取待处理商品信息，所述商品信息至少包括图像信息；所述信息识别模块用于基于所述待处理商品信息，使用机器学习模型进行识别确定商品种类；所述综合处理模块用于基于所述商品种类，结合称重信息对所述商品进行标记或结算处理。

本申请实施例之一提供一种商品处理的装置，包括处理器，所述处理器用于执行上述方法。

本申请实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行上述方法。

附图说明

本申请将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：

图1是根据本申请一些实施例所示的商品处理系统的应用场景示意图；

图2是根据本申请一些实施例所示的商品处理方法的示例性流程图；

图3是根据本申请一些实施例所示的包含待处理商品类别信息时的一种商品处理方法的示例性流程图

图4是根据本申请一些实施例所示的进行待处理商品输入信息识别方法的示例性流程图。

图5是根据本申请一些实施例所示的待处理商品输入信息识别系统的模块图。

具体实施方式

为了更清楚地说明本申请实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。

应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。

如本申请和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。

本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

图1是根据本申请一些实施例所示的商品处理系统的应用场景示意图。

如图1所示，商品处理系统100可以用于商场或超市的商品称量及价格结算。商品处理系统100可以包括信息获取装置110、网络120、终端130、处理引擎140以及存储设备150。

信息获取装置110可以包括摄像装置及传感器等获取装置，同时包括可支持无线射频识别技术(RFID)及产品电子标签(EPC)等相关识别技术的数据获取。所述摄像装置可以包括摄像机、录像机、红外摄像头或其它可以获取图像或视频数据的设备。所述传感器可包括红外传感器、超声波传感器、距离传感器、光线传感器、重力传感器、加速传感器及方向传感器等中的一种或多种，或其任意组合。

将信息获取装置110获取的商品图像信息及其他相关的商品信息传输至终端130，终端130可以基于相关信息对商品进行信息识别。终端130还可以用于获取人工输入的信息，对商品信息进行显示及其他处理。在一些实施例中，信息获取装置110可以与终端130结合成一体，也可以是分开单独存在，本申请不做限制。

终端130可以包括称重设备131及称重辅助设备132，或其任意组合。终端130可以是目前商场或超市中用来称重结算的工具，例如，电子秤或机电结合秤等。称重设备131可以包括秤盘、秤体等称重系统。所述称重辅助设备132可以包括传力转换系统(如杠杆传力系统、传感器)、示值系统(如刻度盘、电子显示仪)以及用于输入商品信息的按键。在一些实施例中，终端130还可以包括用于与连接到所述产品的无线电收发器，以进行无接触数据交换的RFID通信。

在一些实施例中，称重辅助设备132还可以包括或连接打码设备，将获取到商品的重量以及输入的商品单价信息发送给打码设备，打印价格标签、条形码、二维码等标识。在本说明书中，终端130还可以包括直接进行结算的功能，营业员可以在称重后进行结算收银，或者由顾客自行称重和结算付款。

在一些实施例中，处理引擎140可以处理信息和/或数据以执行本申请中描述的一个或以上功能，例如，促进商品信息在系统内的流通，促进商品处理流程的运行。处理引擎140可包括一个或者以上处理引擎(例如，单芯片处理引擎或多芯片处理引擎)。仅作为示例，处理引擎140可以包括一个或以上硬件处理器，例如中央处理单元(CPU)、特定应用集成电路(ASIC)、特定应用指令集处理器(ASIP)、图像处理单元(GPU)、物理运算处理单元(PPU)、数字信号处理器(DSP)、现场可程序门阵列(FPGA)、可程序逻辑装置(PLD)、控制器、微控制器单元、精简指令集计算机(RISC)、微处理器等或上述举例的任意组合。

在一些实施例中，处理引擎140可以通过网络120进行数据通信。经由网络120从终端130获取用户指令。网络120可以是和/或包括公共网络(例如，因特网)、专用网络(例如，局部区域网络(LAN)、广域网(WAN))等)，有线网络(例如，以太网络)、无线网络(例如802.11网络、Wi-Fi网络等)、蜂窝网络(例如长期演进(LTE)网络)、帧中继网络、虚拟专用网络(VPN)、卫星网络、电话网络、路由器、集线器、交换机、服务器计算机和/或其任何组合。仅作为示例，网络120可以包括电缆网络、有线网络、光纤网络、电信网络、内联网、无线局部区域网络(WLAN)、城域网(MAN)、公共交换电话网络(PSTN)、蓝牙^TM网络、紫蜂^TM网络、近场通信(NFC)网络等，或其任意组合。在一些实施例中，网络120可以包括一个或以上网络接入点。例如，网络120可以包括诸如基站和/或互联网交换点之类的有线和/或无线网络接入点，通过它们可以将商品处理系统100的一个或以上组件连接到网络120以交换数据和/或信息。在一些实施例中，可以使用线缆、无线网络(蓝牙、WLAN、Wi-Fi等)、移动网络(3G、4G或5G信号)、或其他连接方式(VPN、共享网络、NFC等)进行连接。

在一些实施例中，当处理引擎140从终端130接收数据(例如，商品处理指令执行相关的数据)时，处理引擎140的处理器可以接收编码和/或包括该数据的电信号。处理引擎140的处理器可以通过一个或以上信息交换端口接收电信号。如果终端130经由有线网络与处理引擎140通信，则信息交换端口可以物理地连接到电缆。如果终端130经由无线网络与处理引擎140通信，则处理引擎140的信息交换端口可以是一个或以上天线，其可以将电信号转换为电磁信号。在电子设备，例如终端130内，当电子设备的处理器处理指令、发出指令和/或执行动作时，该指令和/或动作是通过电信号传导的。例如，当处理器从存储介质(例如，存储设备150)检索或保存数据时，处理器可以将电信号发送到存储介质的读/写设备，该读/写设备可以在存储介质中读取或写入结构化数据。结构化数据可以电信号的形式经由电子设备的总线传输至处理器。此处，电信号可以指一个电信号、一系列电信号和/或至少两个不连续的电信号。

在一些实施例中，处理引擎140可以在云平台上实现。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。

存储设备150可以存储数据、指令和/或任何其他信息。在一些实施例中，存储设备150可以存储从终端130和/或处理引擎140获取的数据。在一些实施例中，存储设备150可以存储处理引擎140可以执行或用于执行本申请中描述的示例性方法的数据和/或指令。在一些实施例中，存储设备150可包括大容量存储器、可移动存储器、易失性读写内存、只读内存(ROM)等或其任意组合。示例性大容量存储器可以包括磁盘、光盘、固态驱动器等。示例性可移动存储器可以包括闪光驱动器、软盘、光盘、内存卡、压缩盘、磁带等。示例性易失性读写内存可以包括随机访问内存(RAM)。示例性RAM可以包括动态RAM(DRAM)、双倍数据速率同步动态RAM(DDRSDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容RAM(Z-RAM)。示例性ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)，以及数字通用磁盘ROM等。在一些实施例中，存储设备150可以在云平台上实现。仅作为示例，该云平台可以包括私有云、公共云、混合云、社区云、分布云、内部云、多层云等或其任意组合。在一些实施例中，存储设备150可以连接到网络120以与商品处理系统100的一个或以上其他组件通信(例如，处理引擎140、终端130等)。商品处理系统100的一个或以上组件可以经由网络120访问存储在存储设备150中的数据或指令。在一些实施例中，存储设备150可以直接连接至商品处理系统100的一个或以上其他部件或与之通信(例如，处理引擎140、终端130等)。在一些实施例中，存储设备150可以是处理引擎140的一部分。

图2是根据本申请一些实施例所示的商品处理方法的示例性流程图。

步骤210，获取待处理商品的商品信息，所述商品信息至少包括所述待处理商品的图像信息。

所述待处理商品是指准备进行称重、结算等处理的商品。例如，顾客将商品放在电子秤上准备称重，或者将商品放在结算设备上准备称重并结算，此时的商品在本说明书中称为待处理商品。所述待处理商品基础信息可以包括图像信息、红外信息和/或超声波信息。所述图像信息包括多角度图像信息和/或多时刻图像信息。可以通过信息获取装置110获取待处理商品的信息，所述待处理商品的商品信息至少包括图像信息。所述图像信息是指以图像形式对物品的信息表示，可以包括各种常见的图像形式如JPEG图片、TIFF图片等，视频信息也可以被认为是图像信息。

在一些实施例中，可以通过摄像设备获取待处理商品的图像信息。摄像设备是指可以获得静态或动态图像的设备，如摄像头等。信息获取装置110可以包括摄像设备，或者可以与摄像设备进行通信，接收摄像设备获取的图像信息，二者的连接方式可以是无线或者有线连接，本文不作限制。

在一些实施例中，所述获取待处理商品的图像信息包括：获取至少两个不同角度的所述待处理商品的图像信息，或者获取所述待处理商品的不同时刻的至少两幅图像。可以通过安装至少两个处于不同角度的摄像设备，或者通过自动变换一个或多个摄像设备的角度，或者通过自动变换待处理商品的角度，或者其他方式，获取不同角度的图像信息。自动变换角度可以使用任何可用的方式。

例如，电子秤上存在图像获取设备A、B及C，分别位于相对于秤盘位置的左上、右上及右下。由于A、B及C所在的空间方位存在一定的偏差，使得三者可以同一时刻获取同一商品不同角度的图像信息。具体的，假设在t时刻，A可以获取某商品图像P_At；B可以获取某商品图像P_Bt；C可以获取某商品图像P_Ct。获得的三个图像P_At、P_Bt及P_Ct分别为商品在t时刻的左俯视图、右俯视图及右仰视图。另外，而对于其中一个图像获取设备而言，可以获取同一商品在不同时刻的图像信息。具体的，A可以获取某商品在t₁、t₂…t_n时刻对应的图像P_At1、P_At2…P_Atn；B可以获取某商品在t₁、t₂…t_n时刻对应的图像P_Bt1、P_Bt2…P_Btn；C可以获取某商品在t₁、t₂…t_n时刻对应的图像P_Ct1、P_Ct2…P_Ctn。此外，也可以通过称量时的方位变换(例如翻转、旋转、平移等)获取不同角度的图像信息。

所述商品信息还包括红外信息和/或超声波信息。红外信息由红外线传感器获取，可以实现数据的无线传输。所述红外传感器可以包括人体红外感应传感器、被动式红外传感器及红外距离传感器等一种或多种的组合。超声波信息由超声波传感器获取，可以从接收反射波的有无、多少或从发送超声波到接收反射波所需的时间与超声波声速的关系，来检测目标对象的有无或传感器与目标对象之间的距离。在本申请中，所述红外信息及所述超声波信息主要可用于判别待处理商品及其周围干扰物的之间的距离及其他相关关系。

在一些实施例中，可以通过安装加速度传感器，获取商品在所述加速度传感器的感应范围内的运动变化，进而对商品的类别信息及商品稳定条件进行辅助判断。

其中，所述稳定条件是指商品的总体状态不会受到干扰物或其他因素影响，且其所能呈现出的被识别信息是准确可靠的状态。例如，商品置于识别区域中心并且不存在手的附加压力等外界干扰因素的影响，其被识别出的重量信息与原重量属性信息偏差之小可忽略不计，此时可称其为处于稳定条件。经过所述稳定条件判别后，可使得获取的待处理商品的商品信息更为准确，便于提高识别准确度。基于所述待处理商品达到所述稳定条件后的所述待处理商品的商品信息，使用机器学习模型进行识别，确定商品种类。对于稳定条件的进一步说明，请参见本说明书图4部分。

在一些实施例中，所述商品的类别信息可以包括与商品种类识别相关的属性信息，例如，商品所属商品大类(例如，蔬菜、水果等)及商品外观等。所述商品外观可以包括商品的形状、色彩等由商品的图像信息可反映出的信息。

在一些实施例中，还可以获取体积、重量及密度等信息，参见本说明书相关内容的说明，此处不进行赘述。

步骤220，基于所述待处理商品信息，使用机器学习模型进行识别确定商品种类。

在一些实施例中，可以使用机器学习模型进行识别。机器学习模型是预先训练好的模型。将待处理商品的商品信息输入机器学习模型，机器学习模型可以输出一个或多个候选商品种类；进一步地，可以通过接受输入选择信息的方式，可以通过选择评估值最高的商品种类的方式，也可以通过其他方式，确定待处理商品对应的商品种类。机器学习模型可以基于训练数据进行训练，训练数据的样本可以包括商品图像，还可以包括商品的其他特征，可以以样本对应的商品种类作为训练数据的标识。

所述类别信息可以通过设备进行输入，也可以通过第一图像信息进行识别以实现所述待处理商品类别的初步识别。将上述获取的类别信息作为识别模型的基础特征，输入识别模型，作为类别信息特征进一步结合其他商品信息进行识别。在一些实施例中，可以根据类别使用多个机器学习模型进行识别，请参见图3相关描述。

在一些实施例中，机器学习模型对图像信息的图像特征进行提取，并可以结合红外信息及超声波信息进行进一步识别。所述图像特征是对图像信息的一些特性的抽象表示。图像特征可以是颜色特征、纹理特征、形状特征和空间关系特征等，可以是对图像进行卷积和池化后得到的特征，也可以是通过其他算法得到的特征。

在一些实施例中，图像识别可以基于机器学习模型进行。可以对图像提取特征，然后通过面向分类的机器学习模型进行识别，将特征输入至机器学习模型，得到分类结果。分类结果可以是一种或多种分类值，对应商品的种类。也可以是对于待识别图像属于某一种类的评估值。例如，某图像属于土豆的评估值为0.92，属于猕猴桃的评估值为0.89。所使用的分类模型可以包括KNN、SVM或BP神经网络等。

优选地，在一些实施例中，可以直接将图像输入至基于卷积神经网络(CNN)的机器学习模型，得到分类结果。可选地，可以在识别前对图像进行预处理，例如调节明暗度、去噪声等。上述机器学习模型均可以通过训练得到。可以基于样本图片，以样本图片的实际商品种类作为标识，提取特征或直接基于图片对机器学习模型进行相应的训练。

在一些实施例中，所述机器学习模型将待处理商品输入信息通过运算转化为识别结果，可以是将全部待处理商品输入信息输入机器学习模型得到识别结果，也可以是选取部分待处理商品的商品信息输入特定机器学习模型得到特定的识别结果，或者是将待处理商品输入进行处理转化为需要的特征后再输入机器学习模型得到识别结果，得到识别结果后，进行后续步骤。

在一些实施例中，图像识别可以基于其他常见的图像识别算法进行。像识别中常用的方法有统计法(或决策理论法)、句法(或结构)方法、神经网络法、模板匹配法和几何变换法。常用的图像统计模型有贝叶斯(Bayes)模型和马尔柯夫(Markow)随机场(MRF)模型。典型的几何变换方法主要有霍夫变换(HT，Hough Transform)，以及改进的霍夫算法，如快速霍夫变换(FHT)、自适应霍夫变换(AHT)及随机霍夫变换(RHT)。

在本申请中，上述所有识别模型运行中的、识别到的或者输出的相关特征及信息，例如图像特征、类别信息等，都可以作为模型的训练及优化的基础。另外，所述识别模型也不限于机器学习模型，还可以是任何能实现相应功能要求的其他模型，本申请对此不作限制。

在一些实施例中，可以提取所述不同角度的图像信息的第二图像特征；或者，提取所述不同时刻的图像信息的第三图像特征；通过所述第二种类确定模型进行识别，所述第二种类确定模型的输入特征包括所述第一图像特征和/或第三图像特征。通过提取不同角度和/或不同时刻的图像特征，结合上述已作为特征之一的类别信息的特征，借助识别模型进行识别。所述不同角度和时刻的图像的获取请参见本说明书相应内容的描述，此处不再赘述。

在一些实施例中，可以基于不同时刻或角度的图像信息，结合红外信息及超声波信息，通过识别模型，可进一步判断或计算待识别商品的体积信息。在一些实施例中，可以结合待处理商品的重量进行识别，相关内容描述请参见图4部分描述。

步骤230，基于所述商品种类，结合称重信息对所述商品进行标记或结算处理。

所述商品的种类可以包括由商品所属种类的相关信息，还可以包括商品的商标、品牌及其他通用名称，例如，“卷心菜”、“豆瓣酱”及“上海青”等。商品种类还可以包括商品小类信息。所述商品小类信息为卖方后台数据库中待处理商品对应的具体品类所在位置。商品小类信息可以附带包括商品小类预设信息，比如提前设置的商品零售价格、单位重量，根据所述商品小类预设信息，进行后续结算及标记步骤。

在一些实施例中，商品是按照单位重量进行销售，比如猪肉、牛肉等，此时所述待处理商品输入信息包括待处理商品的重量信息，所述商品小类预设信息为商品单位重量的价格，此时待处理商品的支付金额等于重量信息与单重重量的价格的乘积，根据所得的支付金额，卖方可将条码信息录入所述待处理商品或由消费者直接在收银台完成支付流程。

在一些实施例中，商品是按照个数进行销售，比如购买的袋装方便面，瓶装水等，此时所述待处理商品输入信息包括待处理商品的重量信息。所述商品小类预设信息为商品的单位价格和单位重量，可以用重量信息除以单位重量以获知待处理商品的个数，如共计购买多少瓶水。再用获知的待处理商品个数与单位价格的乘积，便可获知待处理商品的支付金额，比如所购买5瓶瓶装水的总价格，根据所得的支付金额，卖方可将条码信息录入所述待处理商品或由消费者直接在收银台完成支付流程。

图3是根据本申请一些实施例所示的包含待处理商品的类别信息时的一种商品处理方法的示例性流程图。

步骤310，获取待处理商品的商品信息，以及所述待处理商品的类别信息。

待处理商品信息的获取过程及商品的类别信息相关概念可以参见本说明书对应内容的相关介绍，此处不做赘述。

在一些实施例中，商品的类别信息可以通过人工输入，也可以通过识别模型直接识别。商品的类别信息的识别可以基于获取的图像信息进行初步识别，还可以通过红外传感器、超声波传感器、加速度传感器等其他信息获取装置获取的商品信息进行辅助识别。例如，在称量生鲜区的虾和/或蟹时，可先基于图像信息初步识别出类别为虾和/或蟹。进一步的，在称量过程中虾有扭动躯体和/或蟹有类似挥动蟹钳及其他姿势变化，可以通过加速度传感器感应到，进一步辅助判别商品类别为活虾和/或活蟹。

步骤320，根据所述类别信息，使用机器学习模型进行识别。

在一些实施例中，所述机器识别模型可以包括分别训练并识别的某一特定类型的模型。例如，图像识别模型单独识别图像信息、重量识别模型单独识别重量信息以及体积识别模型单独识别体积信息等。

在一些实施例中，所述机器识别模型还可以包括同时训练并识别不同类型的类别信息。例如，某种识别模型由于进行结构优化，可同时输入体积信息、重量信息及图像信息等所有相关信息，进行统一识别并综合判断出商品种类。

在一些实施例中，所述机器学习模型可以是进行同一种类和混合种类的识别模型的组合。例如，体积重量密度识别模型可以同时识别所述商品的体积信息、重量信息及密度信息。以及，同步还有图像识别模型进行图像识别处理。二者进行组合，完成商品种类识别。

在一些实施例中，所述机器学习模型可以是监督学习模型或无监督学习模型。可以用于训练监督机器学习模型的示例性算法可以包括梯度提升决策树(GBDT)算法、决策树算法、随机森林算法、逻辑回归算法、支持向量机(SVM)算法、朴素贝叶斯算法、自适应增强算法、K最近邻(KNN)算法、马尔可夫链算法等，或其任意组合。可以用于训练无监督机器学习模型的示例性算法可以包括k均值聚类算法、分层聚类算法、具有噪声的基于密度的聚类方法(DBSCAN)算法、自组织映射算法等，或其任意组合。

步骤330，输出待处理商品的商品种类。

在一些实施例中，可能同时有一些交叉品类存在于不同的场景中，比如西红柿同时存在于在水果和蔬菜中。在此情况下，需要输入或选择商品大类后，将获取的图片或视频投入到识别模型中，避免不同品类间的识别。所述商品大类可以指商品所属种类，例如蔬菜、水果、海鲜及干货等，可与场景相对应。此外，所述场景可以包括有一些门店的水果和蔬菜是分开的场景以及消费者自助的场景，只需点选不同商品大类。在一些实施例中，除了人工根据场景选择商品大类，信息获取装置110可以获取场景特征信息，通过识别模型进行初步识别，起到辅助识别场景的功能，例如图像获取装置获取到“蔬菜区”的相关图像，可将该区域的西红柿自动归类为蔬菜。在一些实施例中，还可以通过对特定场景所在的系统进行参数预设，当交叉品类处于该场景下时，会被自动归为该场景下的商品种类。例如，通过对水果区及蔬菜区两个区域的称量装置进行参数预设，使在“水果区”称量时可将西红柿默认识别为水果，在“蔬菜区”则将西红柿默认识别为蔬菜。所述商品种类的相关描述可参见本说明书对应部分的说明，此处不作赘述。

步骤410，获取并判断待处理商品的商品信息中的一个或多个是否已达到稳定条件。

在一些实施例中，第四种类确定模型获取待处理商品的体积信息及重量信息进行识别。所述第四种类确定模型的输入特征包括所述体积信息、所述重量信息和/或密度信息，所述密度信息来自所述体积信息和所述重量信息，所述密度信息也可以通过所述体积信息和所述重量信息进行计算获得。另外，需获取的待处理商品信息还可以包括所述待处理商品的图像信息、重量信息、红外信息、超声波信息等。上述相关信息的获取参见本说明书的相关部分。

在一些实施例中，可以判断所述待处理商品达到稳定条件，然后基于所述待处理商品达到所述稳定条件后的所述待处理商品的商品信息，使用机器学习模型进行识别，确定商品种类。

判断达到稳定条件，可以根据下列条件的一种或多种，判断达到所述稳定条件：所述待处理商品的所述图像信息；所述待处理商品的重量信息；所述待处理商品的红外信息；所述待处理商品的超声波信息。

在一些实施例中，可以通过所述获取的图像信息识别图像中是否存在干扰物，若存在干扰物则进一步通过不同时刻图像的变化，判别干扰物是否撤去。当图像显示干扰物撤去时，所述图像信息可能属于稳定条件下获取到的图像信息。例如某时刻图像信息表示存在人手干扰，则会将通过记录后续不同时刻下拍摄到的存在手的图像系列，直至图像中不存在人手干扰时，可初步判别图像信息获取于稳定条件下。

在一些实施例中，所述重量信息由重量传感器进行获取。当未达到稳定条件时，由于可能存在外界干扰(例如手附加的压力控制)，感应到的重量可能会存在一定的数值波动。当数值波动范围处于阈值范围内，则可视为达到稳定条件。

在一些实施例中，还可以通过红外信息及超声波信息判断物体是否达到稳定条件。例如，当红外信息及超声波信息体现的待识别商品相对秤盘的方位处于预设区域范围内，且处于相对静止状态时，所述待识别商品可视为已处于稳定条件。所述相对静止可以理解为待处理商品相对称量装置的相对位移小于预设阈值，而物体本身不影响商品识别效果的细微运动变化可忽略不计。例如，活蟹的在称量过程中挥动蟹钳，但动作幅度在可控范围内，不影响商品信息识别，则依然可视为处于稳定条件。

步骤420，确定商品所处的状态为稳定条件时，获取所述稳定条件时的商品的商品信息以及类别信息。

当判定商品处于稳定条件时，意味着潜在的干扰物已撤除和/或商品已被正确放置，此时待处理商品处于便于精确测量的状态。则可以获取此时刻下商品的相关信息，包括重量信息、体积信息等。例如，通过上述图像信息识别到手对商品的干预消除时，重量传感器获取的重量信息的数值变化为一个稳定的数值M，则该是数值M可作为对应的商品重量信息。

步骤430，基于所述待处理商品信息，使用多个机器学习模型进行识别，确定商品种类，相关内容请参见本申请相应内容的描述，此处不再赘述。

应当注意的是，上述有关流程的描述仅仅是为了示例和说明，而不限定本申请的适用范围。对于本领域技术人员来说，在本申请的指导下可以对流程进行各种修正和改变。然而，这些修正和改变仍在本申请的范围之内。

本申请实施例可能带来的有益效果包括但不限于：可以优化商品识别流程，减少人工的介入，提高商品识别精确度及商品识别效率，提升用户体验。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本申请的限定。虽然此处并没有明确说明，本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议，所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。

同时，本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

此外，除非权利要求中明确说明，本申请所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本申请流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本申请实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的服务器或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本申请披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本申请实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本申请对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有±20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本申请一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。

针对本申请引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本申请作为参考。与本申请内容不一致或产生冲突的申请历史文件除外，对本申请权利要求最广范围有限制的文件(当前或之后附加于本申请中的)也除外。需要说明的是，如果本申请附属材料中的描述、定义、和/或术语的使用与本申请所述内容有不一致或冲突的地方，以本申请的描述、定义和/或术语的使用为准。

最后，应当理解的是，本申请中所述实施例仅用以说明本申请实施例的原则。其他的变形也可能属于本申请的范围。因此，作为示例而非限制，本申请实施例的替代配置可视为与本申请的教导一致。相应地，本申请的实施例不仅限于本申请明确介绍和描述的实施例。

如图5所示，所述待处理商品输入信息识别系统可以包括信息获取模块510、信息识别模块520及综合处理模块530。

信息获取模块510用于获取待处理商品信息，所述待处理商品信息至少包括图像信息。信息获取模块510可以包括图像信息获取单元、红外信息获取单元及超声波信息获取单元等。图像信息获取单元、红外信息获取单元及超声波信息获取单元可以对应获取其可识别的区域内的图像信息、红外信息及超声波信息，对应相关内容的描述可参见流程图部分内容，此处不再赘述。

信息识别模块520用于基于所述待处理商品信息，使用机器学习模型进行识别确定商品种类。信息识别模块520可以包括商品类别识别单元、稳定条件判别单元及商品种类确定单元等。商品类别识别单元可以初步识别出待处理商品的基本的类别信息，并将该类别信息作为其中一个特征，用于后续识别过程。稳定条件判别单元可以判断商品是否处于可进行进一步信息获取的稳定状态，以提高所获信息的准确性。商品种类确定单元可以基于商品的类别信息及后续获取并识别其他信息(例如重量、体积及密度等)，确定待处理商品的种类。

综合处理模块530用于基于所述商品种类，结合称重信息对所述商品进行标记或结算处理。综合处理模块530可以包括商品标记单元、商品结算单元等。商品标记单元可用打印出包含该商品信息的标签，粘贴在商品包装表面，供后续结算时使用。而商品结算单元则可直接基于识别到的商品信息在显示界面进行显示，并进一步用于商品的价格结算。

应当理解的是，上述模块仅仅是本说明书中主要涉及到的相关模块的简单举例，并不代表本申请所有相关内容的展示，还存在一些模块及单元未在本模块图中进行展示。例如本模块还可以包括重量信息获取单元及其他相关模块及单元等，此处不一一举例说明。且以上模块及单元并非完全独立存在，还可能是存在相互交叉涉及，例如商品类别识别单元及商品种类确定单元所执行的指令可以加以合并。

应当理解，图5所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、CD或DVD-ROM的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本申请的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。

需要注意的是，以上对于候选项显示、确定系统及其模块的描述，仅为描述方便，并不能把本申请限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本申请的保护范围之内。

Claims

1.一种商品处理的方法，其特征在于，所述方法包括：

获取待处理商品的商品信息，所述商品信息至少包括所述待处理商品的图像信息；

基于所述待处理商品的商品信息，使用机器学习模型确定所述待处理商品的商品种类；

基于所述商品种类，结合称重信息对所述待处理商品进行标记或结算处理。

2.如权利要求1所述的一种商品处理方法，其特征在于，所述商品信息进一步包括：

红外信息和/或超声波信息。

3.如权利要求1所述的一种商品处理方法，其特征在于，所述图像信息包括：多角度图像信息和/或多时刻图像信息；

所述多角度图像信息为：通过至少两个图像获取设备，相对于所述待处理商品处于不同安装角度时，所获取的至少两幅位于不同角度的所述待处理商品的图像；

所述多时刻图像信息为：通过所述图像获取设备，获取的至少两幅位于不同时刻的所述待处理商品的图像。

4.如权利要求1所述的商品处理方法，其特征在于，所述方法还包括：

获取所述待处理商品的类别信息；

基于所述待处理商品的商品信息，结合所述类别信息确定所述待处理商品的商品种类。

5.如权利要求2所述的方法，其特征在于，所述使用机器学习模型进行识别的方法包括：

对所述图像信息提取第一图像特征，

对所述红外信息提取红外特征，和/或基于所述超声波信息提取超声波特征；

通过第一种类确定模型进行识别，所述第一种类确定模型的输入特征包括所述第一图像特征、红外特征和/或超声波特征。

6.如权利要求3所述的方法，其特征在于，所述使用机器学习模型进行识别的方法包括：

提取所述不同角度的图像信息的第二图像特征；

或者，

提取所述不同时刻的图像信息的第三图像特征；

通过所述第二种类确定模型进行识别，所述第二种类确定模型的输入特征包括所述第一图像特征和/或第三图像特征。

7.如权利要求4所述的方法，其特征在于，所述使用机器学习模型进行识别的方法包括：

根据所述类别信息，使用不同的机器学习模型进行识别。

8.如权利要求1所述的方法，其特征在于，所述使用机器学习模型进行识别的方法包括：

获取所述待处理商品的体积信息；

通过第三种类确定模型进行识别，所述第三种类确定模型的输入特征包括所述体积信息。

9.如权利要求1所述的方法，其特征在于，所述使用机器学习模型进行识别的方法包括：

获取待处理商品的体积信息；

获取待处理商品的重量信息；

通过第四种类确定模型进行识别，所述第四种类确定模型的输入特征包括所述体积信息、所述重量信息和/或密度信息；所述密度信息来自所述体积信息和所述重量信息。

10.如权利要求1所述的商品处理方法，其特征在于，所述使用机器学习模型进行识别的方法包括：，

判断所述待处理商品达到稳定条件；

基于所述待处理商品达到所述稳定条件后的所述待处理商品的商品信息，使用机器学习模型进行识别，确定商品种类。

11.如权利要求10所述的方法，其特征在于，根据下列条件的一种或多种，判断达到所述稳定条件：

所述待处理商品的所述图像信息；

所述待处理商品的所述重量信息；

所述待处理商品的所述红外信息；

所述待处理商品的所述超声波信息。

12.一种商品处理的系统，其特征在于，所述系统包括信息获取模块、信息识别模块及综合处理模块：

所述信息获取模块用于获取待处理商品的商品信息，所述商品信息至少包括图像信息；

所述信息识别模块用于基于所述待处理商品的商品信息，使用机器学习模型确定商品种类；

所述综合处理模块用于基于所述商品种类，结合称重信息对所述待处理商品进行标记或结算处理。

13.一种商品处理的装置，包括处理器，其特征在于，所述处理器用于执行如权利要求1-11任意一项所述的方法。

14.一种计算机可读存储介质，所述存储介质存储计算机指令，其特征在于，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1-11任意一项所述的方法。