CN111369317A - 订单生成方法、装置、电子设备及存储介质 - Google Patents

订单生成方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111369317A
CN111369317A CN202010127461.0A CN202010127461A CN111369317A CN 111369317 A CN111369317 A CN 111369317A CN 202010127461 A CN202010127461 A CN 202010127461A CN 111369317 A CN111369317 A CN 111369317A
Authority
CN
China
Prior art keywords
commodity
image
detection
result
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010127461.0A
Other languages
English (en)
Other versions
CN111369317B (zh
Inventor
张发恩
王炬
柯政远
徐辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Innovation Wisdom Shanghai Technology Co ltd
Original Assignee
Innovation Wisdom Shanghai Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Innovation Wisdom Shanghai Technology Co ltd filed Critical Innovation Wisdom Shanghai Technology Co ltd
Priority to CN202010127461.0A priority Critical patent/CN111369317B/zh
Priority to US16/874,951 priority patent/US11861668B2/en
Priority to JP2020085622A priority patent/JP7105826B2/ja
Publication of CN111369317A publication Critical patent/CN111369317A/zh
Application granted granted Critical
Publication of CN111369317B publication Critical patent/CN111369317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders
    • G06Q30/0637—Approvals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/006—Details of the software used for the vending machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Economics (AREA)
  • Multimedia (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)

Abstract

本申请提供了一种订单生成方法、装置、电子设备及存储介质，该订单生成方法包括以下步骤：获取目标货柜在取货操作发生前的初始图像及第一检测结果，所述第一检测结果包括对所述初始图像进行处理得到的具有多个第一商品框的第一检测图像以及与每一所述第一商品框中的商品对应的第一标识信息；获取目标货柜在取货操作完成后的结果图像；根据所述结果图像以及所述初始图像生成出购物前后的RGB差值图像；根据所述RGB差值图像以及所述第一检测结果生成与被取走商品对应的商品订单。本申请实施例通过采用取货前后的图像生成的RGB差值图像来对各个商品是否被取走进行判断，从而生成对应的商品订单，可以提高订单的准确率。

Description

订单生成方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机网络技术领域，具体而言，涉及一种订单生成方法、装置、电子设备及存储介质。
背景技术
在传统的智能货柜自动结算算法中，一般是采用深度神经网络来对由智能货柜中采集到的图像信息进行检测及分类识别处理，从而得到当前货柜中的商品种类和数量。然后，将其与在前序订单图像中识别出来的商品种类和数量进行对比，得出顾客所拿取的商品，实现自动结算的功能。但是，最终订单自动结算结果的正确性取决于该订单图像及其前序订单图像中所有商品的检测及分类的正确性，对检测问题及分类问题不具有足够的包容性，导致准确率较低。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请实施例的目的在于提供一种订单生成方法、装置、电子设备及存储介质，可以提高订单生成的准确率。
第一方面，本申请实施例提供了一种订单生成方法，包括以下步骤：
获取目标货柜在取货操作发生前的初始图像及第一检测结果，所述第一检测结果包括对所述初始图像进行处理得到的具有多个第一商品框的第一检测图像以及与每一所述第一商品框中的商品对应的第一标识信息；
获取目标货柜在取货操作完成后的结果图像；
根据所述结果图像以及所述初始图像生成出购物前后的RGB差值图像；
根据所述RGB差值图像以及所述第一检测结果生成与被取走商品对应的商品订单。
本申请实施例通过采用取货前后的图像生成的RGB差值图像来对各个商品是否被取走进行判断，从而生成对应的商品订单，可以提高订单的准确率。
可选地，在本申请实施例所述的订单生成方法中，所述根据所述RGB差值图像以及所述第一检测结果生成与被取走商品对应的商品订单的步骤包括：
根据所述RGB差值图像从所述第一检测图像的所有第一商品框中筛选出RGB差值小于第一预设值的第一目标商品框并获取对应的第一标识信息；
根据所述第一目标商品框以及对应的第一标识信息生成与被取走商品对应的商品订单。
可选地，在本申请实施例所述的订单生成方法中，所述获取目标货柜在取货操作完成后的结果图像的步骤之后，还包括以下步骤：
对所述结果图像进行检测处理以得到第二检测结果，所述第二检测结果包括对所述结果图像进行处理得到具有多个第二商品框的第二检测图像以及与每一所述第二商品框中的商品对应的第二标识信息；
而所述根据所述RGB差值图像以及所述第一检测结果生成与被取走商品对应的商品订单的步骤包括：
根据所述RGB差值图像从所述第一检测图像的所有第一商品框中筛选出RGB差值小于第一预设值的第一目标商品框并获取对应的第一标识信息；
根据所述RGB差值图像从所述第二检测图像的所有第二商品框中筛选出RGB差值小于第一预设值的第二目标商品框并获取对应的第二标识信息；
根据所述第一目标商品框、所述第一标识信息、所述第二目标商品框及所述第二标识信息生成与被取走商品对应的商品订单。
本申请实施例通过采用分别采用RGB差值图像对第一检测图像以及第二检测图像进行过滤，并结合二者的结果计算出商品订单，可以避免商品位置改变引起是否取走与否的误判，可以提高订单的准确性。
可选地，在本申请实施例所述的订单生成方法中，所述对所述结果图像进行检测以得到第二检测结果的步骤包括：
对所述结果图像进行检测处理以得到具有多个第二商品框的第二检测图像，其中，每一所述第二商品框中具有一件商品；
根据所述RGB差值图像对所述第二检测图像进行过滤处理，以将RGB差值小于第一预设值的第二商品框及对应的商品从所述第二检测图像中删除，以得到第二目标检测图像；
对所述第二目标检测图像进行识别处理，以获取所述目标检测图像中的每一第二商品框内的第二标识信息。
本申请实施例在对结果图像进行检测处理时，先进行过滤，再进行识别操作，可以提计算效率，降低工作量。
可选地，在本申请实施例所述的订单生成方法中，所述方法还包括以下步骤：
保存所述结果图像及所述第二检测结果，并将所述结果图像及所述第二检测结果设置为下次取货操作的初始图像及第一检测结果。
可选地，在本申请实施例所述的订单生成方法中，所述获取目标货柜在取货操作发生前的初始图像及第一检测结果的步骤包括：
获取目标货柜在取货操作发生前的初始图像；
对所述初始图像进行检测处理以得到具有多个第一商品框的第一检测图像，每一所述第一商品框中具有一个商品；
对所述第一检测图像进行识别处理，以获取所述第一检测图像的每一所述第一商品框中的商品的第一标识信息。
第二方面，本申请实施例提供了一种订单生成装置，包括：
第一获取模块，用于获取目标货柜在取货操作发生前的初始图像及第一检测结果，所述第一检测结果包括对所述初始图像进行处理得到的具有多个第一商品框的第一检测图像以及与每一所述第一商品框中的商品对应的第一标识信息；
第二获取模块，用于获取目标货柜在取货操作完成后的结果图像；
第一生成模块，用于根据所述结果图像以及所述初始图像生成出购物前后的RGB差值图像；
第二生成模块，用于根据所述RGB差值图像以及所述第一检测结果生成与被取走商品对应的商品订单。
可选地，在本申请实施例所述的订单生成装置中，所述第二生成模块包括：
第一获取单元，用于根据所述RGB差值图像从所述第一检测图像的所有第一商品框中筛选出RGB差值小于第一预设值的第一目标商品框并获取对应的第一标识信息；
第一生成单元，用于根据所述第一目标商品框以及对应的第一标识信息生成与被取走商品对应的商品订单。
第三方面，本申请实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
第四方面，本申请实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
由上可知，本申请实施例通过获取目标货柜在取货操作发生前的初始图像及第一检测结果，所述第一检测结果包括对所述初始图像进行处理得到的具有多个第一商品框的第一检测图像以及与每一所述第一商品框中的商品对应的第一标识信息；获取目标货柜在取货操作完成后的结果图像；根据所述结果图像以及所述初始图像生成购物前后的RGB差值图像；根据所述RGB差值图像以及所述第一检测结果生成与被取走商品对应的商品订单；从而实现商品订单的自动生成，由于其采用了前后的图像生成RGB差值图像，并基于差值图像来实现商品的取走与否的判断，从而降低了错误率，提高了检测的准确率。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的订单生成方法的一种流程图。
图2为本申请实施例提供的订单生成方法的另一种流程图。
图3为本申请实施例提供的订单生成装置的一种结构示意图。
图4为本申请实施例提供的订单生成装置的另一种结构示意图。
图5为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本本申请一些实施例中的订单生成方法的流程图。该订单生成方法用于无人智能货柜。该方法可以应用于服务器或者终端设备等电子设备中。该订单生成方法，包括以下步骤：
S101、获取目标货柜在取货操作发生前的初始图像及第一检测结果，所述第一检测结果包括对所述初始图像进行处理得到的具有多个第一商品框的第一检测图像以及与每一所述第一商品框中的商品对应的第一标识信息。
S102、获取目标货柜在取货操作完成后的结果图像。
S103、根据所述结果图像以及所述初始图像生成购物前后的RGB差值图像。
S104、根据所述RGB差值图像以及所述第一检测结果生成与被取走商品对应的商品订单。
其中，在该步骤S101中，该目标货柜内置商品仓，该商品仓内放置有多个间隔排布的商品供买家进行挑选。该初始图像为设置在该目标货柜内部的顶壁上的摄像头拍摄得到，该目标货柜内的亮度保持恒定。电子设备在获取到摄像头拍摄的初始图像后，采用预设的模型对该初始图像进行处理，从而得到检测结果。具体为对该初始图像进行区域划分，也即是将每一商品分别划分到一个商品框中，然后分别识别出每一商品框中的商品。
具体地，在一些实施例中，该步骤S101包括以下步骤：S1011、获取目标货柜在取货操作发生前的初始图像；S1012、对所述初始图像进行检测处理以得到具有多个第一商品框的第一检测图像，每一所述第一商品框中具有一个商品；S1013、对所述第一检测图像进行识别处理，以获取所述第一检测图像的每一所述第一商品框中的商品的第一标识信息。
其中，在该步骤S1012中，可以采用预设的检测模型来实施该检测处理操作，从而实现将该初始图像中的每一商品采用第一商品框标出。每一第一商品框中有一个商品。在该步骤S1013中，可以采用预设的识别模型或者分类模型来识别每一第一商品框中的商品，从而获取该商品的第一标识信息。
在该步骤S102中，在买家购物完成后，点击付款操作时，该目标货柜内的摄像头拍摄最终的结果图像。其中，在该结果图像中，被用户选中取走的商品已经不存在。
在该步骤S103中，通过计算购物前后初始图像以及结果图像的各个像素在RGB三个通道上的差值的绝对值大小，可以得出能够反映前后图像差异信息的diff图像，也即是RGB差值图像。diff信息图也即是RGB差值图像反映的是该取货操作发生前后图像的变化情况。当某商品框内RGB差值变化的平均值低于阈值，则可以认为在该商品框内的商品没有发生变化。
在该步骤S104中，通过将商品框内的RGB差值较大也即是超过第一预设值的商品框认定为其中的商品被取走，因此，基于被取走的商品的第一标识信息可以生成商品订单。
具体地，在一些实施例中，该步骤S104包括以下步骤：S1041、根据所述RGB差值图像从所述第一检测图像的所有第一商品框中筛选出RGB差值小于第一预设值的第一目标商品框并获取对应的第一标识信息；S1042、根据所述第一目标商品框以及对应的第一标识信息生成与被取走商品对应的商品订单。其中，该第一预设值的设定需要考虑摄像头的拍摄误差等造成的亮度变化。该第一目标商品框内的商品被买家取走，因此将第一目标商品框内的商品加入到商品订单中进行价格计算。
可以理解地，在一些实施例中，该订单生成方法还包括以下步骤：
S105、保存所述结果图像及所述第二检测结果，并将所述结果图像及所述第二检测结果设置为下次取货操作的初始图像及第一检测结果。在下次取货操作发生时，直接采用该初始图像以及第一检测结果进行计算，可以提高效率。
由上可知，本申请实施例通过获取目标货柜在取货操作发生前的初始图像及第一检测结果，所述第一检测结果包括对所述初始图像进行处理得到的具有多个第一商品框的第一检测图像以及与每一所述第一商品框中的商品对应的第一标识信息；获取目标货柜在取货操作完成后的结果图像；根据所述结果图像以及所述初始图像生成购物前后的RGB差值图像；根据所述RGB差值图像以及所述第一检测结果生成与被取走商品对应的商品订单；从而实现商品订单的自动生成，由于其采用了前后的图像生成RGB差值图像，并基于差值图像来实现商品的取走与否的判断，从而降低了错误率，提高了检测的准确率。
请参照图2，图2是本本申请一些实施例中的订单生成方法的流程图。该订单生成方法用于无人智能货柜。该方法可以应用于服务器或者终端设备等电子设备中。该订单生成方法，包括以下步骤：
S201、获取目标货柜在取货操作发生前的初始图像及第一检测结果，所述第一检测结果包括对所述初始图像进行处理得到的具有多个第一商品框的第一检测图像以及与每一所述第一商品框中的商品对应的第一标识信息。
S202、获取目标货柜在取货操作完成后的结果图像。
S203、根据所述结果图像以及所述初始图像生成购物前后的RGB差值图像。
S204、对所述结果图像进行检测处理以得到第二检测结果，所述第二检测结果包括对所述结果图像进行处理得到具有多个第二商品框的第二检测图像以及与每一所述第二商品框中的商品对应的第二标识信息。
S205、根据所述RGB差值图像、所述第二检测结果以及所述第一检测结果生成与被取走商品对应的商品订单。
其中，在该步骤S201中，该目标货柜内置商品仓，该商品仓内放置有多个间隔排布的商品供买家进行挑选。该初始图像为设置在该目标货柜内部的顶壁上的摄像头拍摄得到，该目标货柜内的亮度保持恒定。电子设备在获取到摄像头拍摄的初始图像后，采用预设的模型对该初始图像进行处理，从而得到检测结果。具体为对该初始图像进行区域划分，也即是将每一商品分别划分到一个商品框中，然后分别识别出每一商品框中的商品。
具体地，在一些实施例中，该步骤S201包括以下步骤：S2011、获取目标货柜在取货操作发生前的初始图像；S2012、对所述初始图像进行检测处理以得到具有多个第一商品框的第一检测图像，每一所述第一商品框中具有一个商品；S2013、对所述第一检测图像进行识别处理，以获取所述第一检测图像的每一所述第一商品框中的商品的第一标识信息。
其中，在该步骤S2012中，可以采用预设的检测模型来实施该检测处理操作，从而实现将该初始图像中的每一商品采用第一商品框标出。每一第一商品框中有一个商品。在该步骤S2013中，可以采用预设的识别模型或者分类模型来识别每一第一商品框中的商品，从而获取该商品的第一标识信息。
在该步骤S202中，在买家购物完成后，点击付款操作时，该目标货柜内的摄像头拍摄最终的结果图像。其中，在该结果图像中，被用户选中取走的商品已经不存在。
在该步骤S203中，通过计算购物前后初始图像以及结果图像的各个像素在RGB三个通道上的差值的绝对值大小，可以得出能够反映前后图像差异信息的diff信息图像，也即是RGB差值图像。diff信息图也即是RGB差值图像反映的是该取货操作发生前后图像的变化区域。当某商品框内RGB差值低于阈值，则可以认为在该商品框内的商品没有发生变化。
在该步骤S204中，通过预设的检测处理模型来对该结果图像进行检测处理，从而采用第二商品框将该结果图像中的每一商品框出。然后对框出的商品进行识别，从而获取其第二标识信息。
具体地，在一些实施例中，该步骤S204包括：S2041、对所述结果图像进行检测处理以得到具有多个第二商品框的第二检测图像，其中，每一所述第二商品框中具有一件商品；S2042、根据所述RGB差值图像对所述第二检测图像进行过滤处理，以将RGB差值小于第一预设值的第二商品框及对应的商品从所述第二检测图像中删除，以得到第二目标检测图像；S2043、对所述第二目标检测图像进行识别处理，以获取所述目标检测图像中的每一第二商品框内的第二标识信息。其中，在该步骤S2042中，通过采用RGB差值小于第一预设值的第二商品框及对应的商品从该图中删除，可以降低后续执行识别处理操作的工作量，从而提高计算速度。其中，在该步骤S2043中，采用预设的识别模型或者说分类模型对该第二目标检测图像中的商品进行识别，以获取对应的第二标识信息。
在该步骤S205中，通过结合该步骤S203中得到第一目标商品框及对应的第一标识信息、步骤S204中得到的第二目标商品框及对应的第二标识信息就可以准确地计算出被取走的商品。从而将取走的商品加入到商品订单中进行价格计算，生成商品订单。
其中，由于买家在取放商品时会导致商品的位置发生改变，从而在采用步骤S203中计算出的第一目标商品框中可能存在并没有被取走只是位置发生变化导致该第一目标商品框对应区域的RGB差值变化较大，从而将该区域的第一目标商品作为被取走的商品，导致订单不准确。因此，在本实施例中增加了修正步骤，步骤S204中得到的第二目标检测图像中的每一第二商品框中的商品即是位置发生变动但未被取走的商品；然后将该位置发生变动但未被取走的商品从该步骤S203中得到的第一目标商品框中的商品中去除，从而得到买家取走的商品，从而可以提高检测准确率，避免商品订单出现错误。
在一些实施例中，该订单生成方法还包括以下步骤：
S206、保存所述结果图像及所述第二检测结果，并将所述结果图像及所述第二检测结果设置为下次取货操作的初始图像及第一检测结果。在下次取货操作发生时，直接采用该初始图像以及第一检测结果进行计算，可以提高效率。
请参照图3，图3是本申请一些实施例中的一种订单生成装置的结构示意图。该订单生成装置包括：第一获取模块301、第二获取模块302、第一生成模块303以及第二生成模块304。
其中，该第一获取模块301用于获取目标货柜在取货操作发生前的初始图像及第一检测结果，所述第一检测结果包括对所述初始图像进行处理得到的具有多个第一商品框的第一检测图像以及与每一所述第一商品框中的商品对应的第一标识信息。该目标货柜内置商品仓，该商品仓内放置有多个间隔排布的商品供买家进行挑选。该初始图像为设置在该目标货柜内部的顶壁上的摄像头拍摄得到，该目标货柜内的亮度保持恒定。电子设备在获取到摄像头拍摄的初始图像后，采用预设的模型对该初始图像进行处理，从而得到检测结果。具体为对该初始图像进行区域划分，也即是将每一商品分别划分到一个商品框中，然后分别识别出每一商品框中的商品。
具体地，在一些实施例中，该第一获取模块301用于：获取目标货柜在取货操作发生前的初始图像；对所述初始图像进行检测处理以得到具有多个第一商品框的第一检测图像，每一所述第一商品框中具有一个商品；对所述第一检测图像进行识别处理，以获取所述第一检测图像的每一所述第一商品框中的商品的第一标识信息。
其中，该第二获取模块302用于获取目标货柜在取货操作完成后的结果图像。在买家购物完成后，点击付款操作时，该目标货柜内的摄像头拍摄最终的结果图像。其中，在该结果图像中，被用户选中取走的商品已经不存在。
其中，该第一生成模块303用于根据所述结果图像以及所述初始图像生成出购物前后的RGB差值图像。通过计算购物前后初始图像以及结果图像的各个像素在RGB三个通道上的差值的绝对值大小，可以得出能够反映前后图像差异信息的diff信息图像，也即是RGB差值图像。diff信息图也即是RGB差值图像反映的是该取货操作发生前后图像的变化区域。当某商品框内RGB差值低于阈值，则可以认为在该商品框内的商品没有发生变化。
其中，该第二生成模块304用于根据所述RGB差值图像以及所述第一检测结果生成与被取走商品对应的商品订单。
在一些实施例中，该第二生成模块304包括：第一获取单元，用于根据所述RGB差值图像从所述第一检测图像的所有第一商品框中筛选出RGB差值小于第一预设值的第一目标商品框并获取对应的第一标识信息；第一生成单元，用于根据所述第一目标商品框以及对应的第一标识信息生成与被取走商品对应的商品订单。其中，该第一预设值的设定需要考虑摄像头的拍摄误差等造成的亮度变化。该第一目标商品框内的商品被买家取走，因此将第一目标商品框内的商品加入到商品订单中进行价格计算。
请参照图4，在一些实施例中，该订单生成装置还包括检测模块305，检测模块305用于对所述结果图像进行检测处理以得到第二检测结果，所述第二检测结果包括对所述结果图像进行处理得到具有多个第二商品框的第二检测图像以及与每一所述第二商品框中的商品对应的第二标识信息。对应地，在该实施例中，该第二生成模块304用于根据所述RGB差值图像从所述第一检测图像的所有第一商品框中筛选出RGB差值小于第一预设值的第一目标商品框并获取对应的第一标识信息；根据所述RGB差值图像从所述第二检测图像的所有第二商品框中筛选出RGB差值小于第一预设值的第二目标商品框并获取对应的第二标识信息；根据所述第一目标商品框、所述第一标识信息、所述第二目标商品框及所述第二标识信息生成与被取走商品对应的商品订单。
请参照图5，图5为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备4，包括：处理器401和存储器402，处理器401和存储器402通过通信总线403和/或其他形式的连接机构(未标出)互连并相互通讯，存储器402存储有处理器401可执行的计算机程序，当计算设备运行时，处理器401执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
在一些实施例中，该电子设备的各个功能可以分布在一系统的不同设备上。检测处理操作和识别处理操作可以分别运行在第一设备和第二设备的两个GPU中。因此，系统可以按照相应的信号流程进行并行处理，从而一方面提升了订单处理的速度，另一方面可以更好的利用闲时的计算资源。
本申请实施例提供一种存储介质，所述计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random AccessMemory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable ProgrammableRead Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种订单生成方法，其特征在于，包括以下步骤：
获取目标货柜在取货操作发生前的初始图像及第一检测结果，所述第一检测结果包括对所述初始图像进行处理得到的具有多个第一商品框的第一检测图像以及与每一所述第一商品框中的商品对应的第一标识信息；
获取目标货柜在取货操作完成后的结果图像；
根据所述结果图像以及所述初始图像生成出购物前后的RGB差值图像；
根据所述RGB差值图像以及所述第一检测结果生成与被取走商品对应的商品订单。
2.根据权利要求1所述的订单生成方法，其特征在于，所述根据所述RGB差值图像以及所述第一检测结果生成与被取走商品对应的商品订单的步骤包括：
根据所述RGB差值图像从所述第一检测图像的所有第一商品框中筛选出RGB差值小于第一预设值的第一目标商品框并获取对应的第一标识信息；
根据所述第一目标商品框以及对应的第一标识信息生成与被取走商品对应的商品订单。
3.根据权利要求1所述的订单生成方法，其特征在于，所述获取目标货柜在取货操作完成后的结果图像的步骤之后，还包括以下步骤：
对所述结果图像进行检测处理以得到第二检测结果，所述第二检测结果包括对所述结果图像进行处理得到具有多个第二商品框的第二检测图像以及与每一所述第二商品框中的商品对应的第二标识信息；
而所述根据所述RGB差值图像以及所述第一检测结果生成与被取走商品对应的商品订单的步骤包括：
根据所述RGB差值图像、所述第二检测结果以及所述第一检测结果生成与被取走商品对应的商品订单。
4.根据权利要求3所述的订单生成方法，其特征在于，所述根据所述RGB差值图像、所述第二检测结果以及所述第一检测结果生成与被取走商品对应的商品订单的步骤包括：
根据所述RGB差值图像从所述第一检测图像的所有第一商品框中筛选出RGB差值小于第一预设值的第一目标商品框并获取对应的第一标识信息；
根据所述RGB差值图像从所述第二检测图像的所有第二商品框中筛选出RGB差值小于第一预设值的第二目标商品框并获取对应的第二标识信息；
根据所述第一目标商品框、所述第一标识信息、所述第二目标商品框及所述第二标识信息生成与被取走商品对应的商品订单。
5.根据权利要求3所述的订单生成方法，其特征在于，所述对所述结果图像进行检测以得到第二检测结果的步骤包括：
对所述结果图像进行检测处理以得到具有多个第二商品框的第二检测图像，其中，每一所述第二商品框中具有一件商品；
根据所述RGB差值图像对所述第二检测图像进行过滤处理，以将RGB差值小于第一预设值的第二商品框及对应的商品从所述第二检测图像中删除，以得到第二目标检测图像；
对所述第二目标检测图像进行识别处理，以获取所述目标检测图像中的每一第二商品框内的第二标识信息。
6.根据权利要求3所述的订单生成方法，其特征在于，所述方法还包括以下步骤：
保存所述结果图像及所述第二检测结果，并将所述结果图像及所述第二检测结果设置为下次取货操作的初始图像及第一检测结果。
7.根据权利要求1所述的订单生成方法，其特征在于，所述获取目标货柜在取货操作发生前的初始图像及第一检测结果的步骤包括：
获取目标货柜在取货操作发生前的初始图像；
对所述初始图像进行检测处理以得到具有多个第一商品框的第一检测图像，每一所述第一商品框中具有一个商品；
对所述第一检测图像进行识别处理，以获取所述第一检测图像的每一所述第一商品框中的商品的第一标识信息。
8.一种订单生成装置，其特征在于，包括：
第一获取模块，用于获取目标货柜在取货操作发生前的初始图像及第一检测结果，所述第一检测结果包括对所述初始图像进行处理得到的具有多个第一商品框的第一检测图像以及与每一所述第一商品框中的商品对应的第一标识信息；
第二获取模块，用于获取目标货柜在取货操作完成后的结果图像；
第一生成模块，用于根据所述结果图像以及所述初始图像生成出购物前后的RGB差值图像；
第二生成模块，用于根据所述RGB差值图像以及所述第一检测结果生成与被取走商品对应的商品订单。
9.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-7任一项所述的方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-7任一项所述的方法。
CN202010127461.0A 2020-02-27 2020-02-27 订单生成方法、装置、电子设备及存储介质 Active CN111369317B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010127461.0A CN111369317B (zh) 2020-02-27 2020-02-27 订单生成方法、装置、电子设备及存储介质
US16/874,951 US11861668B2 (en) 2020-02-27 2020-05-15 Method, device, electronic apparatus and storage medium for generating order
JP2020085622A JP7105826B2 (ja) 2020-02-27 2020-05-15 注文書生成方法及びその装置、商品棚、記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010127461.0A CN111369317B (zh) 2020-02-27 2020-02-27 订单生成方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111369317A true CN111369317A (zh) 2020-07-03
CN111369317B CN111369317B (zh) 2023-08-18

Family

ID=71212043

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010127461.0A Active CN111369317B (zh) 2020-02-27 2020-02-27 订单生成方法、装置、电子设备及存储介质

Country Status (3)

Country Link
US (1) US11861668B2 (zh)
JP (1) JP7105826B2 (zh)
CN (1) CN111369317B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113647817A (zh) * 2021-07-27 2021-11-16 北京镁伽机器人科技有限公司 饮品过滤件装置及饮品制作设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113727029B (zh) * 2021-11-03 2022-03-18 武汉星巡智能科技有限公司 多视角采集图像后合并的智能生成订单方法及智能售货机
CN115100640B (zh) * 2022-08-29 2023-12-12 广东番客连锁品牌管理有限公司 基于人工智能的智慧超市商品销售大数据检测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479321A (zh) * 2010-11-26 2012-05-30 鸿富锦精密工业（深圳）有限公司 差异影像自动识别系统及方法
CN109033985A (zh) * 2018-06-29 2018-12-18 百度在线网络技术（北京）有限公司 商品识别的处理方法、装置、设备、系统及存储介质
WO2019057168A1 (zh) * 2017-09-25 2019-03-28 阿里巴巴集团控股有限公司 一种货物订单处理方法、装置、服务器、购物终端及系统
CN109711238A (zh) * 2018-07-24 2019-05-03 永康市巴九灵科技有限公司 防鼠式智能化橱柜
CN109740459A (zh) * 2018-12-19 2019-05-10 创新奇智(合肥)科技有限公司 一种图像差异对比方法、系统及无人售货装置
CN109903265A (zh) * 2019-01-19 2019-06-18 创新奇智(南京)科技有限公司 一种图像变化区域侦测阀值设定方法、系统及其电子装置
CN110378761A (zh) * 2019-06-21 2019-10-25 珠海威泓急救云科技有限公司 一种自动取物控制系统及其方法
CN110826481A (zh) * 2019-11-01 2020-02-21 北京云迹科技有限公司 数据处理方法、商品识别方法、服务器和存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7516888B1 (en) * 2004-06-21 2009-04-14 Stoplift, Inc. Method and apparatus for auditing transaction activity in retail and other environments using visual recognition
US20110320322A1 (en) * 2010-06-25 2011-12-29 Symbol Technologies, Inc. Inventory monitoring using complementary modes for item identification
US10268983B2 (en) 2013-06-26 2019-04-23 Amazon Technologies, Inc. Detecting item interaction and movement
US10290031B2 (en) * 2013-07-24 2019-05-14 Gregorio Reid Method and system for automated retail checkout using context recognition
US9505554B1 (en) * 2013-09-24 2016-11-29 Amazon Technologies, Inc. Capturing packaging image via scanner
JP2015148955A (ja) 2014-02-06 2015-08-20 東芝テック株式会社 画像処理装置，品薄状態監視システム及び画像処理プログラム
JP7093783B2 (ja) * 2017-02-10 2022-06-30 グラバンゴ コーポレイション 自動化買物環境における動的な顧客チェックアウト体験のためのシステム及び方法
US10474988B2 (en) * 2017-08-07 2019-11-12 Standard Cognition, Corp. Predicting inventory events using foreground/background processing
JP7020860B2 (ja) 2017-10-25 2022-02-16 東芝テック株式会社 商品管理装置及び商品管理プログラム、商品管理システム
CN108596128B (zh) * 2018-04-28 2020-06-26 京东方科技集团股份有限公司 对象识别方法、装置及存储介质
US10789720B1 (en) * 2019-10-25 2020-09-29 7-Eleven, Inc. Multi-camera image tracking on a global plane

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102479321A (zh) * 2010-11-26 2012-05-30 鸿富锦精密工业（深圳）有限公司 差异影像自动识别系统及方法
WO2019057168A1 (zh) * 2017-09-25 2019-03-28 阿里巴巴集团控股有限公司 一种货物订单处理方法、装置、服务器、购物终端及系统
CN109033985A (zh) * 2018-06-29 2018-12-18 百度在线网络技术（北京）有限公司 商品识别的处理方法、装置、设备、系统及存储介质
CN109711238A (zh) * 2018-07-24 2019-05-03 永康市巴九灵科技有限公司 防鼠式智能化橱柜
CN109740459A (zh) * 2018-12-19 2019-05-10 创新奇智(合肥)科技有限公司 一种图像差异对比方法、系统及无人售货装置
CN109903265A (zh) * 2019-01-19 2019-06-18 创新奇智(南京)科技有限公司 一种图像变化区域侦测阀值设定方法、系统及其电子装置
CN110378761A (zh) * 2019-06-21 2019-10-25 珠海威泓急救云科技有限公司 一种自动取物控制系统及其方法
CN110826481A (zh) * 2019-11-01 2020-02-21 北京云迹科技有限公司 数据处理方法、商品识别方法、服务器和存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113647817A (zh) * 2021-07-27 2021-11-16 北京镁伽机器人科技有限公司 饮品过滤件装置及饮品制作设备
CN113647817B (zh) * 2021-07-27 2023-10-03 北京镁伽机器人科技有限公司 饮品过滤件装置及饮品制作设备

Also Published As

Publication number Publication date
US20210272170A1 (en) 2021-09-02
US11861668B2 (en) 2024-01-02
JP7105826B2 (ja) 2022-07-25
CN111369317B (zh) 2023-08-18
JP2021135992A (ja) 2021-09-13

Similar Documents

Publication Publication Date Title
CN108985359B (zh) 一种商品识别方法、无人售货机及计算机可读存储介质
CN109003390B (zh) 一种商品识别方法、无人售货机及计算机可读存储介质
CN111369317B (zh) 订单生成方法、装置、电子设备及存储介质
WO2019165894A1 (zh) 物品识别方法、装置、系统及存储介质
US20210398096A1 (en) Automatic vending method and apparatus, and computer-readable storage medium
US9679354B2 (en) Duplicate check image resolution
CN110570389A (zh) 车辆损伤识别方法及装置
CN109168052B (zh) 服务满意度的确定方法、装置及计算设备
CN108805180B (zh) 目标对象的检测方法及装置
RU2695056C1 (ru) Система и способ выявления факта потенциального мошенничества со стороны кассира, а также способ формирования выборки изображений товаров для обучения искусственной нейронной сети
CN109102324B (zh) 模型训练方法、基于模型的红包物料铺设预测方法及装置
CN111161346A (zh) 将商品在货架中进行分层的方法、装置和电子设备
CN113111801A (zh) 自动售货机的货品校验方法、设备和存储介质
CN115063084A (zh) 一种卷烟零售商户库存盘点方法及系统
CN111160450A (zh) 一种基于神经网络的果蔬称重方法及储存介质、装置
CN110852247A (zh) 异常检测方法、装置、电子设备及计算机可读存储介质
CN114626457A (zh) 一种目标检测方法、装置及电子设备
WO2021233058A1 (zh) 监控货架上的物品的方法、计算机和系统
CN117151595A (zh) 一种商品库存管理方法、设备及存储介质
CN113723467A (zh) 用于缺陷检测的样本收集方法、装置和设备
CN112364702A (zh) 一种物品核验方法及装置
CN114926464B (zh) 在双录场景下的图像质检方法、图像质检装置及系统
CN115620281A (zh) 基于图像识别的三七质量评估方法、服务器和评估系统
CN111667012B (zh) 分类结果修正方法、装置、修正设备及可读存储介质
CN110827261B (zh) 图像质量检测方法及装置、存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant