CN110795992A - 训练数据的获取方法、商品识别方法及对应装置 - Google Patents

训练数据的获取方法、商品识别方法及对应装置 Download PDF

Info

Publication number
CN110795992A
CN110795992A CN201910861181.XA CN201910861181A CN110795992A CN 110795992 A CN110795992 A CN 110795992A CN 201910861181 A CN201910861181 A CN 201910861181A CN 110795992 A CN110795992 A CN 110795992A
Authority
CN
China
Prior art keywords
commodity
picture
target
data set
category
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910861181.XA
Other languages
English (en)
Inventor
支涛
李梦男
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yunji Technology Co Ltd
Original Assignee
Beijing Yunji Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yunji Technology Co Ltd filed Critical Beijing Yunji Technology Co Ltd
Priority to CN201910861181.XA priority Critical patent/CN110795992A/zh
Publication of CN110795992A publication Critical patent/CN110795992A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种训练数据的获取方法、商品识别方法及对应装置，其中，训练数据的获取方法包括：接收商品图片和所述商品图片对应的商品类别，根据所述商品图片和所述商品类别构建商品图片数据集；其中，所述商品图片由货柜内的托盘上设置的图像采集装置采集获得，所述商品类别从订单信息中获得；利用目标检测模型对所述商品图片数据集中的每张商品图片进行目标检测，获得每张商品图片中表示商品所在区域的目标框，得到训练数据集，所述训练数据集包括商品图片、商品图片中的目标框以及对应的商品类别。本申请通过目标检测模型和订单信息实现对商品图片的自动标注，从而解决现有技术中需要人工为商品图片标注的技术问题。

Description

训练数据的获取方法、商品识别方法及对应装置
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种训练数据的获取方法、商品识别方法及对应装置。
背景技术
目前智能货柜识别客户购买商品的技术大体分为三种：重力感应、射频识别(RFID)和视觉识别。重力感应和RFID技术从生产成本、人工成本和运营成本来看，性价比不高，并且，RFID技术对金属和液体等环境比较敏感，使得对于一些材料的商品识别率很低。随着技术的发展和货柜智能化的需求增长，基于深度学习的机器视觉识别方法开始逐渐受到重视。然而基于深度学习的机器视觉识别方法需要较多训练数据，在将商品识别模型应用在货柜商品识别之前，需要人工对商品图像进行标注，得到训练数据集，用于对商品识别模型的训练，耗时耗力，并且，当需要添加新种类商品时还需要重新采集该种类的商品图像并人工标注，训练数据的获得过程比较繁琐。
发明内容
本申请实施例的目的在于提供一种训练数据的获取方法、商品识别方法及对应装置，利用目标检测模型及订单信息为商品图像进行自动标注，从而解决现有技术中需要人工为商品图像标注的技术问题。
第一方面，本申请实施例提供一种用于商品识别的训练数据的获取方法，包括：接收商品图片和所述商品图片对应的商品类别，根据所述商品图片和所述商品类别构建商品图片数据集；其中，所述商品图片由货柜内的托盘上设置的图像采集装置采集获得，所述商品类别从订单信息中获得；利用目标检测模型对所述商品图片数据集中的每张商品图片进行目标检测，获得每张商品图片中表示商品所在区域的目标框，得到训练数据集，所述训练数据集包括商品图片、商品图片中的目标框以及对应的商品类别。
上述方案，利用目标检测模型对商品图片进行目标检测，完成图片目标框的标注工作，以及利用货柜的订单信息进行商品类别的获取，可实现根据订单信息自动扩充训练数据集，可以只需极少量人工标注或者不需要人工标注，极大降低人工成本。而且，在增加商品种类后，可根据订单信息持续补充该商品的数据集，无需特意对该商品的数据进行采集。
在一种可能的实施方式中，所述方法还包括：利用预设数据集对区域生成网络RPN模型进行训练，确定所述RPN模型中的参数，得到所述目标检测模型，所述预设数据集中的每一训练样本包括训练图片、训练图片中标注的目标框以及所述目标框中物体的类别。
在一种可能的实施方式中，所述根据所述商品图片和所述商品类别构建商品图片数据集，包括：对所述商品图片进行样本扩充操作，获得扩充后的商品图片；所述样本扩充操作包括：对所述商品图片进行几何变换和/或图像处理；根据所述扩充后的商品图片和所述商品类别构建所述商品图片数据集。
上述方案，利用样本扩充操作实现大量图片数据集的生成，生成的大量数据集可模拟图像采集装置(如摄像头)的不同安装和拍摄情况，能应对实际货柜中的不同情况，通用性强，同时，利用多手段扩充数据集，能够降低模型训练过拟合的风险。
在一种可能的实施方式中，对所述商品图片进行几何变换，包括：根据图片的水平轴线和/或垂直轴线对所述商品图片进行翻转；和/或，在预设旋转范围内确定多个旋转值，并以图片的中心点为原点，对所述商品图片按照所述多个旋转值分别进行旋转。
对商品图片进行水平和垂直翻转后得到的多张商品图片可模拟摄像头的旋转安装方式，使得对摄像头安装正反没有要求；在对商品图片以不同的旋转角度旋转后得到的多张商品图片可模拟摄像头安装角度有少许偏差的情况，同时，上述操作可实现对商品图片的扩充。
在一种可能的实施方式中，对所述商品图片进行图像处理，包括：分别在预设对比度范围内和预设亮度范围内确定多个对比度调节值与多个亮度调节值，根据所述多个对比度调节值与所述多个亮度调节值对所述商品图片进行对比度调节和亮度调节；和/或，在所述商品图片中加入高斯噪声和/或椒盐噪声。
按照不同的对比度和亮度值的组合对图片进行调节后，获得的多张商品图片可模拟货柜中灯光强度变化，能更好的应对实际货柜场景；在商品图片中加入噪声后，可消除图片的高频特征，降低训练时模型过拟合的发生概率，同时可模拟实际摄像头的拍摄。上述操作同样实现对商品图片的扩充。
在一种可能的实施方式中，在得到训练数据集之后，所述方法还包括：利用所述训练数据集对预设神经网络模型进行训练，得到商品识别模型，所述商品识别模型用于识别商品图片中的商品类别。
第二方面，本申请实施例提供一种商品识别方法，所述方法包括：接收订单信息，所述订单信息包括用户所购买商品的类别；控制货柜内的托盘移动至对应的商品栏；接收托盘上设置的图像采集装置采集获得的托盘区域中目标商品的图片，并利用商品识别模型对所述图片进行识别，得到所述图片中目标商品的类别，其中，所述商品识别模型是利用如第一方面中任一种可能的实施方式所述的方法获得的训练数据进行训练后得到的；若所述目标商品的类别与订单信息中用户所购买商品的类别一致，则控制所述托盘移动，使所述托盘上的目标商品被放入机器人的物品容纳腔中，其中，所述机器人用于将所述目标商品运送至设定地点。
商品识别模型识别出的商品类别可用于辅助判断托盘所接到的目标商品是否正确，能够及时发现由于运维人员将商品放置在错误商品栏导致出货的商品与用户实际购买商品不符的情况。
在一种可能的实施方式中，在得到所述图片中目标商品的类别之后，所述方法还包括：若所述目标商品的类别与订单信息中用户所购买商品的类别不一致，则生成异常通知消息，所述异常通知消息用于表示商品购买出现异常并指示用户重新进行购买。
当托盘上的目标商品与用户所购买商品的类别不相同时，表明购买出现异常，可能出现上货失误等异常情况，在该种情况下，可终止本次购买操作，并生成异常通知消息，通过网络将异常通知消息发送至用户使用的用户终端，指示用户重新进行购买。
第三方面，本申请实施例提供一种用于商品识别的训练数据的获取装置，包括：图片获取模块，用于接收商品图片和所述商品图片对应的商品类别，根据所述商品图片和所述商品类别构建商品图片数据集；其中，所述商品图片由货柜内的托盘上设置的图像采集装置采集获得，所述商品类别从订单信息中获得；数据集构建模块，用于利用目标检测模型对所述商品图片数据集中的每张商品图片进行目标检测，获得每张商品图片中表示商品所在区域的目标框，得到训练数据集，所述训练数据集包括商品图片、商品图片中的目标框以及对应的商品类别。
第四方面，本申请实施例提供一种商品识别装置，包括：订单接收模块，用于接收订单信息，所述订单信息包括用户所购买商品的类别；第一控制模块，用于控制货柜内的托盘移动至对应的商品栏；商品识别模块，用于接收托盘上设置的图像采集装置采集获得的托盘区域中目标商品的图片，并利用商品识别模型对所述图片进行识别，得到所述图片中目标商品的类别，其中，所述商品识别模型是利用如第一方面中任一种可能的实施方式所述的方法获得的训练数据进行训练后得到的；第二控制模块，用于在所述目标商品的类别与订单信息中用户所购买商品的类别一致时，控制所述托盘移动，使所述托盘上的目标商品被放入机器人的物品容纳腔中，其中，所述机器人用于将所述目标商品运送至设定地点。
第五方面，本申请实施例提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如第一方面中任一种可能的实施方式或者执行如第二方面中任一种可能的实施方式所述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的用于商品识别的训练数据的获取方法的流程图；
图2为本申请实施例S101中构建商品图片数据集的流程图；
图3为本申请实施例提供的商品识别方法的流程图；
图4为本申请实施例提供的用于商品识别的训练数据的获取装置的示意图；
图5为本申请实施例提供的商品识别装置的示意图；
图6为本申请实施例提供的电子设备的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在介绍本申请的具体实施例之前，先对本申请的应用场景进行介绍。本申请应用在智能货柜系统中，该智能货柜系统包括智能货柜、服务器以及送货机器人，智能货柜在出货之后将目标商品放入送货机器人的物品容纳腔中，由送货机器人将目标商品运送至指定地点。
具体的，用户可通过用户终端扫码下单，订单信息中包括用户所购买商品的商品类别、商品价格等信息，商品类别包括具体的商品种类和名称。智能货柜在接收到用户的订单信息后，控制货柜内的托盘移动，使其移动至订单信息中商品类别对应的商品栏，商品栏中的目标商品通过商品出货轨道落至托盘上，然后，控制托盘向外移动，此时，在外等待的送货机器人的物品容纳腔打开，托盘将目标商品放入物品容纳腔中，最终，托盘移动至初始位置，送货机器人的物品容纳腔关闭，开始运送。上述过程中，用户终端与智能货柜通过服务器发送和接收订单信息，送货机器人通过服务器接收运送任务。
本申请实施例提供一种商品识别方法，可利用商品识别模型识别托盘区域中目标商品的商品类别。而商品识别模型在实际应用之前，需要较多训练数据进行训练，以优化模型参数，因此，在此之前，本实施例先对商品识别模型训练阶段中训练数据的获取方法进行介绍。本实施例在获取训练数据的过程中，可以使用两种数据输入源：一个是每个商品的正常订单信息，另一个是人工手动为每一种商品标注的目标框和商品类别。该方法主要对根据订单信息获得训练数据集的过程进行说明。
请参照图1，图1为本申请实施例提供的用于商品识别的训练数据的获取方法的流程图，该方法包括：
S101：接收商品图片和商品图片对应的商品类别，根据商品图片和商品类别构建商品图片数据集。
商品图片是托盘在接到商品后由设置于托盘上的图像采集装置(如摄像头)采集获得的，商品类别是从接收的订单信息中获得的。每当用户下单一次，均可得到一张商品图片以及对应的商品类别。
本实施例提供的训练数据的获取方法可直接在智能货柜中执行或者在与智能货柜通信连接的具有数据处理能力的终端设备中执行。若该方法在智能货柜中执行，智能货柜可接收服务器发来的订单信息，并从订单信息中提取获得商品类别，在控制托盘移动至商品栏并接到商品后，接收电性连接的摄像头拍摄的托盘区域内的商品图片。若该方法在终端设备中执行，比如该终端设备为上述服务器，服务器可直接从订单信息中获得商品类别，并接收智能货柜发来的商品图片。
S102：利用目标检测模型对商品图片数据集中的每张商品图片进行目标检测，获得每张商品图片中表示商品所在区域的目标框，得到训练数据集。
训练数据集中的每个训练样本包括商品图片、商品图片中的目标框以及对应的商品类别，其中，商品类别通过步骤S101获得，目标框由目标检测模型对商品图片进行目标检测后获得。
可选的，目标检测模型可以根据区域生成网络(RegionProposal Network，RPN)模型得到。首先初始化RPN模型的参数值，然后可利用网络上的一些公开的数据集训练其模型参数，比如COCO、VOC等大型数据集，该训练集中的每一训练样本包括训练图片、训练图片中标注的目标框以及目标框中物体的类别，训练完成后，得到目标检测模型。训练后的目标检测模型可以投入使用，从而在获得一张商品图片后，可对该商品图片进行目标检测，输出图片中可能存在商品的目标框。
按照上述步骤S101-S102即可获得训练数据集。上述训练数据集是基于摄像头采集的原商品图片获得的，为了得到大量的训练样本以用于商品识别模型的训练，请参照图2，本申请实施例在构建商品图片数据集的过程中，还包括如下步骤：
S201：对商品图片进行样本扩充操作，获得扩充后的商品图片。
其中，样本扩充操作包括：对商品图片进行几何变换和/或图像处理。
本实施例对商品图片进行几何变换包括：
A、翻转
根据商品图片的水平轴线和/或垂直轴线对商品图片进行翻转。分别在水平和垂直方向翻转后获得的多张商品图片可模拟摄像头旋转安装方式，可使得对摄像头安装正反没有要求，同时，原图片数量*2。
B、旋转
在预设旋转范围内确定多个旋转值，并以图片的中心点为原点，对商品图片按照多个旋转值分别进行旋转。具体的，预设旋转范围为(-10°，10°)，通过随机概率抽样，在该旋转范围内确定5个旋转值对原商品图片进行旋转操作，旋转后的多张商品图片可模拟摄像头安装角度有少许偏差的情况，同时，原图片数量*5。
本实施例对商品图片进行图像处理包括：
C、对比度、亮度调节
分别在预设对比度范围内和预设亮度范围内确定多个对比度调节值与多个亮度调节值；根据多个对比度调节值与多个亮度调节值对商品图片进行对比度调节和亮度调节。具体的，商品图片的对比度为α，亮度值为β，α在[8/10，12/10]中随机确定两个数值，β在[0，50]中随机确定三个数值，分别按照不同的对比度和亮度值的组合对商品图片进行调节，调节后的多张商品图片可模拟智能货柜中灯光强度变化，同时，原图片数量*6。
D、添加噪声
在商品图片中加入高斯噪声和/或椒盐噪声。本实施例随机加入高斯噪声和椒盐噪声后可消除图片的高频特征，降低模型训练时过拟合的发生概率，并且，由于实际应用中摄像头采集的图片可能是不清晰的，人为加入噪声后可更好模拟实际摄像头的拍摄，同时，原图片数量*2。
经过以上四个步骤，将原商品图片的数量扩大2+5+6+2＝15倍。当然，上述四个步骤仅是示例，在示例时以对原商品图片的处理过程为例，但实际情况中每一步骤均可以根据前一步骤获得的处理后的商品图片进行递进处理，这样一来，原商品图片的数量可扩大2*5*6*2＝120倍。此外，在实际应用时，上述步骤可以仅执行其中的一个或者多个，本实施例对于样本扩充操作中的步骤数量与顺序不做要求。
S202：根据扩充后的商品图片和商品类别构建商品图片数据集。
在经步骤S102得到训练数据集后，可将该训练数据集用于预设神经网络模型的训练，最终得到商品识别模型。
本实施例提供的训练数据的获取方法利用RPN网络对商品图片进行目标检测，完成图片目标框的标注工作，并利用货柜的订单信息进行商品类别的获取，可实现根据订单信息自动扩充训练数据集，可以只需极少量人工标注或者不需要人工标注，极大降低人工成本。进一步的，该方法在增加商品种类时也十分方便，在货柜增加商品后，可根据订单信息持续补充该商品的数据集，无需特意对该商品的数据进行采集，达到一定规模后自动重新训练商品识别模型。进一步的，本实施例结合样本扩充操作可实现大量图片数据集的生成，生成的大量数据集可模拟摄像头的不同安装和拍摄情况，能应对实际货柜中的不同情况，通用性强，同时，利用多手段扩充数据集，能够降低商品识别模型训练过拟合的风险。
在商品识别模型的应用阶段，请参照图3，本实施例提供的商品识别方法可应用于智能货柜，包括如下步骤：
S301：接收订单信息，订单信息包括用户所购买商品的类别。
S302：控制货柜内的托盘移动至对应的商品栏。
S303：接收托盘上设置的图像采集装置采集获得的托盘区域中目标商品的图片。
S304：利用商品识别模型对图片进行识别，得到图片中目标商品的类别。其中，商品识别模型是根据前述实施例获得的训练数据集对模型进行训练后获得的。
S305：若目标商品的类别与订单信息中用户所购买商品的类别一致，则控制托盘向送货机器人移动。
商品识别模型识别出的商品类别可用于辅助判断托盘所接到的目标商品是否正确，能够及时发现由于运维人员将商品放置在错误商品栏导致出货的商品与用户实际购买商品不符的情况。
当托盘上的目标商品与用户所购买商品的类别相同时，表明智能货柜中商品拿取正确，可控制托盘移动至送货机器人的物品容纳腔中，同时，托盘返回至初始位置，物品容纳腔关闭，于是送货机器人开始将目标商品运送至用户指定的地点。而当托盘上的目标商品与用户所购买商品的类别不相同时，或者，当商品识别模型未从商品图片中检测到商品时，表明购买出现异常，可能出现上货失误或者商品出货轨道卡住等异常情况，在该种情况下，智能货柜可控制托盘移动至初始位置，终止本次购买操作，即不向送货机器人运输商品，同时生成异常通知消息，并通过网络将异常通知消息发送至用户使用的用户终端以及运维人员使用的运维终端，并向用户退回原已支付款项，指示用户重新进行购买。
出现异常的智能货柜将被标记为异常货柜，用户将不能再向该货柜发送订单，可更换至其他智能货柜购买。运维人员在接收到异常通知消息后，可前往该智能货柜的位置，对异常情况进行核实和解决。问题解决后，运维人员可通过运维终端将该智能终端重新标记为正常货柜，然后用户可重新在此货柜中进行商品购买。
目前市面上的无人货柜大多是在货柜顶部或者门框处安装摄像头和传感器，通过对比用户开关柜门时采集的两张商品图片，对用户取出的商品进行识别。但由于拍摄的商品图片中通常包含了整个货柜内的所有商品，背景比较复杂，因此该方案对处理设备的计算能力和硬件性能要求较高，而且也无法很好的保证识别成功率。而本实施例中，每一次仅采集托盘区域内的图像，即只需识别托盘上的单个商品，在RPN模型的目标检测和商品识别模型的商品识别过程中不需要太多的计算量，可以提高运算速度，并且由于背景简单，极易将目标商品从图像中检测出来，因此识别成功率大幅提高。
本实施例提供的训练数据的获取方法与商品识别方法可以是同时执行或者先获取商品识别模型的训练数据再利用训练后的商品识别模型进行商品识别。在两者同时执行时，每当用户下单后，托盘移动至商品栏接到目标商品，由托盘上的摄像头采集托盘区域的商品图片，一方面，利用商品识别模型对商品图片进行商品识别，将识别得到的商品类别与订单信息中的商品类别比较，确定该商品是否拿取正确，另一方面，利用RPN模型对该商品图片进行目标检测，得到商品对应的目标框，结合订单信息中的商品类别，得到一个训练样本。
在本实施例中，当训练样本达到一定量级时，重新训练商品识别模型。或者，每次订单交易完成后，也可利用由本次订单获得的训练样本(或者依据该训练样本扩充后的多个训练样本)对商品识别模型训练，使得商品识别模型能够得到实时性的调整，对于新增种类的商品能够更快识别。另外，本实施例提供的方法由服务器执行时，服务器可以记录系统中的每一笔订单信息，并根据智能货柜系统中每一个智能货柜上传的商品图片共同构建训练数据集，同时由部署在云端的商品识别模型进行商品识别，即便智能货柜系统中某些智能货柜新增商品种类，但由于其他智能货柜已上传该种类商品的商品图片，商品识别模型可以直接对该种类的商品进行识别，实现整个智能货柜系统的商品识别模型的训练及识别一体化。
基于同一发明构思，请参照图4，本申请实施例还提供一种训练数据的获取装置，该装置包括：图片获取模块401，用于接收商品图片和所述商品图片对应的商品类别，根据所述商品图片和所述商品类别构建商品图片数据集；其中，所述商品图片由货柜内的托盘上设置的图像采集装置采集获得，所述商品类别从订单信息中获得；数据集构建模块402，用于利用目标检测模型对所述商品图片数据集中的每张商品图片进行目标检测，获得每张商品图片中表示商品所在区域的目标框，得到训练数据集，所述训练数据集包括商品图片、商品图片中的目标框以及对应的商品类别。
可选的，该装置还包括：第一训练模块，用于利用预设数据集对区域生成网络RPN模型进行训练，确定所述RPN模型中的参数，得到所述目标检测模型，所述预设数据集中的每一训练样本包括训练图片、训练图片中标注的目标框以及所述目标框中物体的类别。
可选的，图片获取模块401具体用于：对所述商品图片进行样本扩充操作，获得扩充后的商品图片；所述样本扩充操作包括：对所述商品图片进行几何变换和/或图像处理；根据所述扩充后的商品图片和所述商品类别构建所述商品图片数据集。
可选的，图片获取模块401具体用于：根据图片的水平轴线和/或垂直轴线对所述商品图片进行翻转；和/或，在预设旋转范围内确定多个旋转值，并以图片的中心点为原点，对所述商品图片按照所述多个旋转值分别进行旋转。
可选的，图片获取模块401具体用于：分别在预设对比度范围内和预设亮度范围内确定多个对比度调节值与多个亮度调节值，根据所述多个对比度调节值与所述多个亮度调节值对所述商品图片进行对比度调节和亮度调节；和/或，在所述商品图片中加入高斯噪声和/或椒盐噪声。
可选的，该装置还包括：第二训练模块，用于利用所述训练数据集对预设神经网络模型进行训练，得到商品识别模型，所述商品识别模型用于识别商品图片中的商品类别。
进一步的，请参照图5，本申请实施例还提供一种商品识别装置，该装置包括：订单接收模块501，用于接收订单信息，所述订单信息包括用户所购买商品的类别；第一控制模块502，用于控制货柜内的托盘移动至对应的商品栏；商品识别模块503，用于接收托盘上设置的图像采集装置采集获得的托盘区域中目标商品的图片，并利用商品识别模型对所述图片进行识别，得到所述图片中目标商品的类别，其中，所述商品识别模型是利用上述实施例提供的训练数据的获取方法获得的训练数据进行训练后得到的；第二控制模块504，用于在所述目标商品的类别与订单信息中用户所购买商品的类别一致时，控制所述托盘移动，使所述托盘上的目标商品被放入机器人的物品容纳腔中，其中，所述机器人用于将所述目标商品运送至设定地点。
可选的，该装置还包括：消息通知模块，用于在所述目标商品的类别与订单信息中用户所购买商品的类别不一致时，生成异常通知消息，所述异常通知消息用于表示商品购买出现异常并指示用户重新进行购买。
上述提供的训练数据的获取装置和商品识别装置均与前一方法实施例的基本原理及产生的技术效果相同，为简要描述，本实施例装置部分未提及之处，可参考上述的方法实施例中的相应内容，在此不做赘述。
本申请实施例还提供一种存储介质，该存储介质上存储有程序，当该程序被处理器运行时执行如本申请上述实施例提供的用于商品识别的训练数据的获取方法或者商品识别方法的步骤。
请参照图6，本实施例提供一种电子设备600，包括处理器601和存储器602，存储器602中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器601加载并执行，以实现上述实施例提供的用于商品识别的训练数据的获取方法或者商品识别方法。电子设备600还可以包括通信总线603，其中，处理器601和存储器602通过通信总线603完成相互间的通信。存储器602可以包括高速随机存取存储器(作为缓存)，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。通信总线603是连接所描述的元素的电路并且在这些元素之间实现传输。例如，处理器601通过通信总线603从其它元素接收到命令，解码接收到的命令，根据解码的命令执行计算或数据处理。
电子设备600可以为上述方法实施例中的智能货柜或者与智能货柜通信连接的具有数据处理能力的终端设备，其中，终端设备包括但不限于台式计算机、个人计算机、图像处理服务器或者移动电子设备等具有数据处理能力的计算设备。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。在本申请实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (11)

1.一种用于商品识别的训练数据的获取方法，其特征在于，包括：
接收商品图片和所述商品图片对应的商品类别，根据所述商品图片和所述商品类别构建商品图片数据集；其中，所述商品图片由货柜内的托盘上设置的图像采集装置采集获得，所述商品类别从订单信息中获得；
利用目标检测模型对所述商品图片数据集中的每张商品图片进行目标检测，获得每张商品图片中表示商品所在区域的目标框，得到训练数据集，所述训练数据集包括商品图片、商品图片中的目标框以及对应的商品类别。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
利用预设数据集对区域生成网络RPN模型进行训练，确定所述RPN模型中的参数，得到所述目标检测模型，所述预设数据集中的每一训练样本包括训练图片、训练图片中标注的目标框以及所述目标框中物体的类别。
3.根据权利要求1所述的方法，其特征在于，所述根据所述商品图片和所述商品类别构建商品图片数据集，包括：
对所述商品图片进行样本扩充操作，获得扩充后的商品图片；所述样本扩充操作包括：对所述商品图片进行几何变换和/或图像处理；
根据所述扩充后的商品图片和所述商品类别构建所述商品图片数据集。
4.根据权利要求3所述的方法，其特征在于，对所述商品图片进行几何变换，包括：
根据图片的水平轴线和/或垂直轴线对所述商品图片进行翻转；和/或，
在预设旋转范围内确定多个旋转值，并以图片的中心点为原点，对所述商品图片按照所述多个旋转值分别进行旋转。
5.根据权利要求3所述的方法，其特征在于，对所述商品图片进行图像处理，包括：
分别在预设对比度范围内和预设亮度范围内确定多个对比度调节值与多个亮度调节值；根据所述多个对比度调节值与所述多个亮度调节值对所述商品图片进行对比度调节和亮度调节；和/或，
在所述商品图片中加入高斯噪声和/或椒盐噪声。
6.根据权利要求1所述的方法，其特征在于，在得到训练数据集之后，所述方法还包括：
利用所述训练数据集对预设神经网络模型进行训练，得到商品识别模型，所述商品识别模型用于识别商品图片中的商品类别。
7.一种商品识别方法，其特征在于，所述方法包括：
接收订单信息，所述订单信息包括用户所购买商品的类别；
控制货柜内的托盘移动至对应的商品栏；
接收托盘上设置的图像采集装置采集获得的托盘区域中目标商品的图片，并利用商品识别模型对所述图片进行识别，得到所述图片中目标商品的类别，其中，所述商品识别模型是利用如权利要求1-6任一项所述的方法获得的训练数据进行训练后得到的；
若所述目标商品的类别与订单信息中用户所购买商品的类别一致，则控制所述托盘移动，使所述托盘上的目标商品被放入机器人的物品容纳腔中，其中，所述机器人用于将所述目标商品运送至设定地点。
8.根据权利要求7所述的方法，其特征在于，在得到所述图片中目标商品的类别之后，所述方法还包括：
若所述目标商品的类别与订单信息中用户所购买商品的类别不一致，则生成异常通知消息，所述异常通知消息用于表示商品购买出现异常并指示用户重新进行购买。
9.一种用于商品识别的训练数据的获取装置，其特征在于，包括：
图片获取模块，用于接收商品图片和所述商品图片对应的商品类别，根据所述商品图片和所述商品类别构建商品图片数据集；其中，所述商品图片由货柜内的托盘上设置的图像采集装置采集获得，所述商品类别从订单信息中获得；
数据集构建模块，用于利用目标检测模型对所述商品图片数据集中的每张商品图片进行目标检测，获得每张商品图片中表示商品所在区域的目标框，得到训练数据集，所述训练数据集包括商品图片、商品图片中的目标框以及对应的商品类别。
10.一种商品识别装置，其特征在于，包括：
订单接收模块，用于接收订单信息，所述订单信息包括用户所购买商品的类别；
第一控制模块，用于控制货柜内的托盘移动至对应的商品栏；
商品识别模块，用于接收托盘上设置的图像采集装置采集获得的托盘区域中目标商品的图片，并利用商品识别模型对所述图片进行识别，得到所述图片中目标商品的类别，其中，所述商品识别模型是利用如权利要求1-6任一项所述的方法获得的训练数据进行训练后得到的；
第二控制模块，用于在所述目标商品的类别与订单信息中用户所购买商品的类别一致时，控制所述托盘移动，使所述托盘上的目标商品被放入机器人的物品容纳腔中，其中，所述机器人用于将所述目标商品运送至设定地点。
11.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-6任一项或如权利要求7-8任一项所述的方法。
CN201910861181.XA 2019-09-11 2019-09-11 训练数据的获取方法、商品识别方法及对应装置 Pending CN110795992A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910861181.XA CN110795992A (zh) 2019-09-11 2019-09-11 训练数据的获取方法、商品识别方法及对应装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910861181.XA CN110795992A (zh) 2019-09-11 2019-09-11 训练数据的获取方法、商品识别方法及对应装置

Publications (1)

Publication Number Publication Date
CN110795992A true CN110795992A (zh) 2020-02-14

Family

ID=69427130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910861181.XA Pending CN110795992A (zh) 2019-09-11 2019-09-11 训练数据的获取方法、商品识别方法及对应装置

Country Status (1)

Country Link
CN (1) CN110795992A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640267A (zh) * 2020-04-16 2020-09-08 浙江口碑网络技术有限公司 一种自助结算方法、装置、存储介质及计算机设备
CN111667012A (zh) * 2020-06-10 2020-09-15 创新奇智(广州)科技有限公司 分类结果修正方法、装置、修正设备及可读存储介质
CN112365324A (zh) * 2020-12-02 2021-02-12 杭州微洱网络科技有限公司 适用于电商平台的商品图片检测方法
CN112613950A (zh) * 2020-12-28 2021-04-06 上海寻梦信息技术有限公司 品类识别模型训练方法、品类识别方法及相关设备
CN112906560A (zh) * 2021-02-11 2021-06-04 河北鸟巢科技有限公司 目标图片和识别系统以及识别方法
CN112906309A (zh) * 2021-03-30 2021-06-04 第四范式（北京）技术有限公司 机器学习模型的分布式训练方法、装置和系统
CN113344108A (zh) * 2021-06-25 2021-09-03 视比特(长沙)机器人科技有限公司 一种商品识别与姿态估计方法及装置
CN113780441A (zh) * 2021-09-16 2021-12-10 广东佩服科技有限公司 一种商品识别模型的构建方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764313A (zh) * 2018-05-17 2018-11-06 西安电子科技大学 基于深度学习的超市商品识别方法
CN108985214A (zh) * 2018-07-09 2018-12-11 上海斐讯数据通信技术有限公司 图像数据的标注方法和装置
CN109522967A (zh) * 2018-11-28 2019-03-26 广州逗号智能零售有限公司 一种商品定位识别方法、装置、设备以及存储介质
CN109685978A (zh) * 2017-10-18 2019-04-26 杭州海康威视数字技术股份有限公司 一种自动上货系统及自动售货机
CN109784385A (zh) * 2018-12-29 2019-05-21 广州海昇计算机科技有限公司 一种商品自动识别方法、系统、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685978A (zh) * 2017-10-18 2019-04-26 杭州海康威视数字技术股份有限公司 一种自动上货系统及自动售货机
CN108764313A (zh) * 2018-05-17 2018-11-06 西安电子科技大学 基于深度学习的超市商品识别方法
CN108985214A (zh) * 2018-07-09 2018-12-11 上海斐讯数据通信技术有限公司 图像数据的标注方法和装置
CN109522967A (zh) * 2018-11-28 2019-03-26 广州逗号智能零售有限公司 一种商品定位识别方法、装置、设备以及存储介质
CN109784385A (zh) * 2018-12-29 2019-05-21 广州海昇计算机科技有限公司 一种商品自动识别方法、系统、装置及存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
SHAOQING REN, KAIMING HE, ROSS GIRSHICK, AND JIAN SUN: "Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
何朔: "基于多任务判别特征学习的信用卡识别" *
兰宜生: "《国际电子商务教程》", 31 March 2007, 首都经济贸易大学出版社 *
刘岩: "卷积神经网络在光学元件损伤检测中的应用" *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640267A (zh) * 2020-04-16 2020-09-08 浙江口碑网络技术有限公司 一种自助结算方法、装置、存储介质及计算机设备
CN111667012A (zh) * 2020-06-10 2020-09-15 创新奇智(广州)科技有限公司 分类结果修正方法、装置、修正设备及可读存储介质
CN112365324A (zh) * 2020-12-02 2021-02-12 杭州微洱网络科技有限公司 适用于电商平台的商品图片检测方法
CN112613950A (zh) * 2020-12-28 2021-04-06 上海寻梦信息技术有限公司 品类识别模型训练方法、品类识别方法及相关设备
CN112613950B (zh) * 2020-12-28 2024-03-29 上海寻梦信息技术有限公司 品类识别模型训练方法、品类识别方法及相关设备
CN112906560A (zh) * 2021-02-11 2021-06-04 河北鸟巢科技有限公司 目标图片和识别系统以及识别方法
CN112906309A (zh) * 2021-03-30 2021-06-04 第四范式（北京）技术有限公司 机器学习模型的分布式训练方法、装置和系统
CN112906309B (zh) * 2021-03-30 2024-04-30 第四范式（北京）技术有限公司 机器学习模型的分布式训练方法、装置和系统
CN113344108A (zh) * 2021-06-25 2021-09-03 视比特(长沙)机器人科技有限公司 一种商品识别与姿态估计方法及装置
CN113780441A (zh) * 2021-09-16 2021-12-10 广东佩服科技有限公司 一种商品识别模型的构建方法

Similar Documents

Publication Publication Date Title
CN110795992A (zh) 训练数据的获取方法、商品识别方法及对应装置
CN108922026B (zh) 一种自动售货机的补货管理方法、装置和用户终端
CN108734162B (zh) 商品图像中目标识别方法、系统、设备及存储介质
US11798250B2 (en) Neural network based physical condition evaluation of electronic devices, and associated systems and methods
US10540551B2 (en) Generation of two-dimensional and three-dimensional images of items for visual recognition in checkout apparatus
CN108647553B (zh) 模型训练用图像的快速扩充方法、系统、设备及存储介质
US9594979B1 (en) Probabilistic registration of interactions, actions or activities from multiple views
CN108846449B (zh) 一种智能设备，商品盘点方法、装置以及设备
US20220051301A1 (en) Evaluating an electronic device using optical character recognition
US20190172041A1 (en) Methods and apparatus for providing an easy return, exchange and purchasing experience in a retail store environment
CN106796677B (zh) 基于视觉提示进行自动化任务
CN108960132B (zh) 一种开放式自动售货机中商品的购买方法及其装置
RU2695056C1 (ru) Система и способ выявления факта потенциального мошенничества со стороны кассира, а также способ формирования выборки изображений товаров для обучения искусственной нейронной сети
CN110826481A (zh) 数据处理方法、商品识别方法、服务器和存储介质
CN113935774A (zh) 图像处理方法、装置、电子设备及计算机存储介质
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
KR102466396B1 (ko) 상품 정보 관리 방법 및 장치
CN114255377A (zh) 一种智能货柜的差异商品检测分类方法
CN114332602A (zh) 一种智能货柜的商品识别方法
CN112364702A (zh) 一种物品核验方法及装置
CN111222377B (zh) 一种商品信息确定方法、装置及电子设备
CN113178032A (zh) 一种视频处理方法、系统及存储介质
CN111160330A (zh) 电子标签识别辅助提升图像识别准确度的训练方法
CN210573826U (zh) 智能商品识别设备和智能结算台
US20230169452A1 (en) System Configuration for Learning and Recognizing Packaging Associated with a Product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Room 201, building 4, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Applicant after: Beijing Yunji Technology Co.,Ltd.

Address before: Room 201, building 4, courtyard 8, Dongbeiwang West Road, Haidian District, Beijing

Applicant before: BEIJING YUNJI TECHNOLOGY Co.,Ltd.

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200214