CN109214806A - 自助结算方法、装置以及存储介质 - Google Patents

自助结算方法、装置以及存储介质 Download PDF

Info

Publication number
CN109214806A
CN109214806A CN201811380178.8A CN201811380178A CN109214806A CN 109214806 A CN109214806 A CN 109214806A CN 201811380178 A CN201811380178 A CN 201811380178A CN 109214806 A CN109214806 A CN 109214806A
Authority
CN
China
Prior art keywords
commodity
settled accounts
accounts
weight
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811380178.8A
Other languages
English (en)
Other versions
CN109214806B (zh
Inventor
石海林
赵何
刘武
梅涛
周伯文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201811380178.8A priority Critical patent/CN109214806B/zh
Publication of CN109214806A publication Critical patent/CN109214806A/zh
Priority to PCT/CN2019/097950 priority patent/WO2020103487A1/zh
Priority to US17/291,187 priority patent/US11861584B2/en
Priority to EP19886745.9A priority patent/EP3859638A4/en
Application granted granted Critical
Publication of CN109214806B publication Critical patent/CN109214806B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/201—Price look-up processing, e.g. updating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/206—Point-of-sale [POS] network systems comprising security or operator identification provisions, e.g. password entry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G07G3/003—Anti-theft control

Abstract

本公开提供了一种自助结算方法、装置以及存储介质，涉及自助购物技术领域，其中方法包括：获得图像采集装置采集的与放置在结算柜台上的待结算商品相对应的监控图像，通过图像识别获得待结算商品信息；获得重量检测装置采集的第一重量，基于待结算商品信息获得的第二重量，根据重量的比对结果判断待结算商品信息与待认定商品是否匹配；如果是，则获得购买商品结算信息，进行结账处理。本公开的方法、装置以及存储介质，通过图像识别技术以及重量检测技术相结合确定待检测商品信息，可以实现快速自助结账，减小了顾客结算的等待时间，提高了顾客的购物体检。

Description

自助结算方法、装置以及存储介质
技术领域
本公开涉及自助购物技术领域，尤其涉及一种自助结算方法、装置以及存储介质。
背景技术
超市、便利店、商场等购物场所通常采用人工结算方式，顾客在超市购物之后，需要到收银处进行结算，由收银员扫描每个物品上的条形码，然后通过计算机计算出总额，顾客交钱付款，需要在结账环节耗时较长，且体验度不高。随着智能零售技术的发展，自动结算设备也逐渐出现在部分购物场所中，但现有的自动结算设备大多采用商品扫码方式或者RFID(Radio Frequency Identification，射频识别)等电子标签方式来确认商品标识。扫码方式需要消费者主动配合，将产品逐一扫码确认，较为繁琐；RFID方式的成本较高，如果每个低利润商品都附加RFID电子标签，成本相对较高并且会造成一定的环境污染，当顾客快速通过RFID结算通道时，可能会因为速度过快以及RFID标签遮挡导致标签被漏检，给超市造成经济损失。因此，需要一种新的关于购物结算的技术方案。
发明内容
有鉴于此，本公开要解决的一个技术问题是提供一种自助结算方法、装置以及存储介质。
根据本公开的一个方面，提供一种自助结算方法，包括：获得图像采集装置采集的与放置在结算柜台上的待结算商品相对应的监控图像；对所述监控图像进行识别，获得待结算商品信息；其中，所述待结算商品信息包括：待结算商品的类别和数量；获得设置在结算柜台上的重量检测装置采集的与所述待结算商品相对应的第一重量，基于所述待结算商品信息获得与所述待结算商品相对应的第二重量；根据预设的匹配判断规则和所述第一重量与所述第二重量的比对结果判断所述待结算商品信息与所述待认定商品是否匹配；如果是，则基于所述待结算商品信息获得购买商品结算信息，根据所述购买商品结算信息进行结账处理；其中，所述购买商品结算信息包括：待结算商品的类别、数量和结算价格。
可选地，所述对所述监控图像进行识别、获得待结算商品信息包括：在所述监控图像中确定与所述待结算商品相对应的第一位置以及与所述结算柜台上的坐标刻度相对应的第二位置；根据所述第一位置和所述第二位置在所述监控图像中截取待结算商品图像和坐标刻度图像；基于所述坐标刻度图像与所述待结算商品图像确定待结算商品的尺寸信息；识别在所述待结算商品图像中的待结算商品所属的商品种类，并获得每种待结算商品所对应的数量；基于所述待结算商品的尺寸信息和所述待结算商品所属的商品种类确定此待结算商品的类别。
可选地，所述在所述监控图像中确定与所述待结算商品相对应的第一位置以及与所述结算柜台上的坐标刻度相对应的第二位置包括：利用目标检测模型在所述监控图像中确定所述第一位置和所述第二位置；其中，所述目标检测模型包括：基于Faster RCNN算法的卷积神经网络模型。
可选地，所述识别在所述待结算商品图像中的待结算商品所属的商品种类包括：通过Softmax函数建立卷积神经网络的全连接层，通过所述卷积神经网络计算所述待结算商品属于各商品种类的置信度；将置信度大于预设的阈值的商品种类作为所述待结算商品的商品种类。
可选地，所述卷积神经网络的各卷基层之间设置有池化层，在最后一个卷积层之后设置有批标准化层。
可选地，所述基于所述待结算商品信息获得与所述待结算商品相对应的第二重量包括：获取与所述待结算商品的类别相对应的商品单位重量；根据所述待结算商品的商品单位重量和数量获得所述第二重量。
可选地，根据预设的匹配判断规则和所述第一重量与所述第二重量的比对结果判断所述待结算商品信息与所述待认定商品是否匹配包括：获得所述第一重量与所述第二重量的差值；判断所述差值的绝对值是否小于预设的差值阈值；如果是，则确定所述待结算商品信息与所述待认定商品匹配。
可选地，所述根据所述购买商品结算信息进行结账处理包括：将所述购买商品结算信息分别发送给第一显示装置、第二显示装置，用以分别向顾客、店员显示所述购买商品结算信息；如果接收到顾客和店员中的任何一方发送的对于所述购买商品结算信息的结算取消或结算错误消息，则暂停此次结账处理。
可选地，所述根据所述购买商品结算信息进行结账处理还包括：接收到顾客终端发送的根据所述购买商品结算信息生成的费用支付信息；如果确定所述费用支付信息正确，则将费用支付完成信息发送给所述第一显示装置、所述第二显示装置，并将所述待结算商品设置为已付费状态，以使所述待结算商品通过安全检测装置的检测；如果确定所述费用支付信息不正确，则将费用支付失败信息发送给所述第一显示装置、所述第二显示装置。
可选地，获取费用支付成功并与所述顾客终端相对应的购买商品结算信息，根据此购买商品结算信息获得商品类别和购物频率；根据所述商品类别、所述购物频率确定推荐商品、购买周期，基于所述购买周期确定推送时间；基于所述推送时间将所述推荐商品推送至所述顾客终端；接收到商品优惠信息，判断所述商品优惠信息是否与所述推荐商品相匹配，如果是，则向所述顾客终端推送所述推荐商品以及所述商品优惠信息。
根据本公开的另一方面，提供一种自助结算装置，包括：图像获得模块，用于获得图像采集装置采集的与放置在结算柜台上的待结算商品相对应的监控图像；图像识别模块，用于对所述监控图像进行识别，获得待结算商品信息；其中，所述待结算商品信息包括：待结算商品的类别和数量；重量获得模块，用于获得设置在结算柜台上的重量检测装置采集的与所述待结算商品相对应的第一重量，基于所述待结算商品信息获得与所述待结算商品相对应的第二重量；匹配判断模块，用于根据预设的匹配判断规则和所述第一重量与所述第二重量的比对结果判断所述待结算商品信息与所述待认定商品是否匹配；结账处理模块，用于如果所述待结算商品信息与所述待认定商品匹配，则基于所述待结算商品信息获得购买商品结算信息，根据所述购买商品结算信息进行结账处理；其中，所述购买商品结算信息包括：待结算商品的类别、数量和结算价格。
可选地，所述图像识别模块，包括：位置确定单元，用于在所述监控图像中确定与所述待结算商品相对应的第一位置以及与所述结算柜台上的坐标刻度相对应的第二位置；图像截取单元，用于根据所述第一位置和所述第二位置在所述监控图像中截取待结算商品图像和坐标刻度图像；尺寸获得模块，用于基于所述坐标刻度图像与所述待结算商品图像确定待结算商品的尺寸信息；识别处理单元，用于识别在所述待结算商品图像中的待结算商品所属的商品种类，并获得每种待结算商品所对应的数量；基于所述待结算商品的尺寸信息和所述待结算商品所属的商品种类确定此待结算商品的类别。
可选地，所述位置确定单元，用于利用目标检测模型在所述监控图像中确定所述第一位置和所述第二位置；其中，所述目标检测模型包括：基于Faster RCNN算法的卷积神经网络模型。
可选地，所述识别处理单元，用于通过Softmax函数建立卷积神经网络的全连接层，通过所述卷积神经网络计算所述待结算商品属于各商品种类的置信度；将置信度大于预设的阈值的商品种类作为所述待结算商品的商品种类。
可选地，所述卷积神经网络的各卷基层之间设置有池化层，在最后一个卷积层之后设置有批标准化层。
可选地，所述重量获得模块，用于获取与所述待结算商品的类别相对应的商品单位重量；根据所述待结算商品的商品单位重量和数量获得所述第二重量。
可选地，所述匹配判断模块，用于获得所述第一重量与所述第二重量的差值；判断所述差值的绝对值是否小于预设的差值阈值；如果是，则确定所述待结算商品信息与所述待认定商品匹配。
可选地，所述结账处理模块，用于将所述购买商品结算信息分别发送给第一显示装置、第二显示装置，用以分别向顾客、店员显示所述购买商品结算信息；如果接收到顾客和店员中的任何一方发送的对于所述购买商品结算信息的结算取消或结算错误消息，则暂停此次结账处理。
可选地，所述结账处理模块，用于接收到顾客终端发送的根据所述购买商品结算信息生成的费用支付信息；如果确定所述费用支付信息正确，则将费用支付完成信息发送给所述第一显示装置、所述第二显示装置，并将所述待结算商品设置为已付费状态，以使所述待结算商品通过安全检测装置的检测；如果确定所述费用支付信息不正确，则将费用支付失败信息发送给所述第一显示装置、所述第二显示装置。
可选地，商品推荐模块，用于获取费用支付成功并与所述顾客终端相对应的购买商品结算信息，根据此购买商品结算信息获得商品类别和购物频率；根据所述商品类别、所述购物频率确定推荐商品、购买周期，基于所述购买周期确定推送时间；基于所述推送时间将所述推荐商品推送至所述顾客终端；接收到商品优惠信息，判断所述商品优惠信息是否与所述推荐商品相匹配，如果是，则向所述顾客终端推送所述推荐商品以及所述商品优惠信息。
根据本公开的又一方面，提供一种自助结算装置，包括：存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如上所述的方法。
根据本公开的再一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行如上所述的方法。
本公开的自助结算方法、装置以及存储介质，通过图像识别技术以及重量检测技术相结合确定待检测商品信息，可以实现快速自助结账，降低单笔交易平均时长，提高了结算效率，减小了顾客结算的等待时间，提高了顾客的购物体检；可以设置监督功能，有效避免了错误结算造成的经济损失；成本相对较低，可以减少收银工作人员，降低了运营成本；通过智能广告技术建立了与顾客的持续联系，不仅增加了客户体验，而且也能提高超市的销售量。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为根据本公开的自助结算方法的一个实施例的流程示意图；
图2为根据本公开的自助结算方法的一个实施例中的对所述监控图像进行识别的流程示意图；
图3为根据本公开的自助结算方法的一个实施例中的判断所述待结算商品信息与所述待认定商品是否匹配的流程示意图；
图4为根据本公开的自助结算方法的一个实施例中的对于支付费用处理的流程示意图；
图5为根据本公开的自助结算方法的一个实施例中的推荐商品的流程示意图；
图6为根据本公开的自助结算装置的一个实施例的模块示意图；
图7为根据本公开的自助结算装置的另一个实施例的模块示意图；
图8为根据本公开的自助结算装置的一个实施例中的图像识别模块的模块示意图；
图9为根据本公开的自助结算装置的又一个实施例的模块示意图。
具体实施方式
下面参照附图对本公开进行更全面的描述，其中说明本公开的示例性实施例。下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。下面结合各个图和实施例对本公开的技术方案进行多方面的描述。
图1为根据本公开的自助结算方法的一个实施例的流程示意图，如图1所示：
步骤101，获得图像采集装置采集的与放置在结算柜台上的待结算商品相对应的监控图像。
图像采集装置可以为摄像头等。预先布置的图像采集装置能够对顾客放置在结算柜台上的待结算商品进行图像采集，待结算商品可以为饮料、零食等。
步骤102，对监控图像进行识别，获得待结算商品信息，待结算商品信息包括：待结算商品的类别和数量等。
可以采用多种图像识别技术对监控图像进行识别，从监控图像中识别出待结算商品的类别和数量，待结算商品的类别例如为2升可口可乐、5升鲁花花生油等。
步骤103，获得设置在结算柜台上的重量检测装置采集的与待结算商品相对应的第一重量，基于待结算商品信息获得与待结算商品相对应的第二重量。
设置在结算柜台上的重量检测装置可以为重量传感器等。可以在商品库中确定与识别出的待结算商品的类别相对应的单位重量，根基单位重量和数量计算顾客选取的待结算商品的第二重量。
步骤104，根据预设的匹配判断规则和第一重量与第二重量的比对结果判断待结算商品信息与待认定商品是否匹配。
步骤105，如果是，则基于待结算商品信息获得购买商品结算信息，根据购买商品结算信息进行结账处理，购买商品结算信息包括：待结算商品的类别、数量和结算价格等。可以在商品库中确定与识别出的待结算商品的类别相对应的单位价格，根据单位价格和数量计算待结算商品的结算价格。
上述实施例中的自助结算方法，可以应用在便利店、超市等购物场所中，尤其适用于顾客消费人次多、一次性购买商品数量较少(一般会少于五件商品)的场景，为顾客提供快速准确的自助结算，降低单笔交易平均时长，减少顾客排队等待的时间，提升顾客满意度。
在一个实施例中，对监控图像进行识别、获得待结算商品信息可以采用多种图像识别方法。图2为根据本公开的自助结算方法的一个实施例中的对监控图像进行识别的流程示意图，如图2所示：
步骤201，在监控图像中确定与待结算商品相对应的第一位置以及与结算柜台上的坐标刻度相对应的第二位置。
步骤202，根据第一位置和第二位置在监控图像中截取待结算商品图像和坐标刻度图像。
在结算柜台上设置有坐标刻度，例如在结算柜台上设置有刻度尺等，为待计算商品的尺寸提供比对参考。当有待结算商品放置到结算柜台上时，图像采集装置采集的监控图像中有待结算商品和坐标刻度。可以利用目标检测模型在监控图像中确定第一位置和第二位置。
目标检测模型包括：基于Faster RCNN(Faster Region Convolutional NeuralNetworks，更快速区域卷积神经网络)算法的卷积神经网络模型等。例如，构建基于FasterRCNN算法的卷积神经网络模型，预先获得已有的监控图像中的包、鞋、衣裤等位置信息、图像、分类信息，进行人工标注，作为训练数据集，对基于Faster RCNN算法的卷积神经网络模型进行检测训练，得到目标检测网络模型。
使用目标检测网络模型的RPN(Region Proposal Network)网络从监控图像中提取存在目标(待结算商品和坐标刻度)的候选区域，使用目标检测网络模型的ROIpooling(Region of Interest Pooling)层从监控图像的卷积特征图中提取特征向量，将每个候选区域的特征向量送入分类器进行分类，判断目标所属的种类，并确定出包含目标的矩形区域的坐标，在监控图像中截取待结算商品图像和坐标刻度图像。
步骤203，基于坐标刻度图像与待结算商品图像确定待结算商品的尺寸信息。
步骤204，识别在待结算商品图像中的待结算商品所属的商品种类，并获得每种待结算商品所对应的数量。
可以通过神经网络模型识别在待结算商品图像中的待结算商品所属的商品种类和数量，基于坐标刻度图像与待结算商品图像确定待结算商品的尺寸信息。例如，通过Softmax函数建立卷积神经网络的全连接层，对坐标刻度图像与待结算商品图像中的特征进行提取，将特征与各类商品的特征进行比对，通过卷积神经网络计算待结算商品图像属于各种商品类的置信度，将置信度大于预设阈值的商品种类作为待结算商品的种类，并统计每种待结算商品所对应的数量。
可以在卷积神经网络的各卷积层之间设置池化层，可以为max pooling(最大值池化)层，能够有效地降低图片的采样率，从而提高识别效率。可以不使用dropout丢弃神经网络单元，也不逐层使用batch normalization(批标准化)层，仅在最后一个卷积层之后设置批标准化层，能够加快识别的收敛速度并避免梯度消失，从而提高识别效率和准确性。
步骤205，基于待结算商品的尺寸信息和待结算商品所属的商品种类确定此待结算商品的类别。
可以通过神经网络模型识别在待结算商品图像中的待结算商品，以及在坐标刻度图像中的坐标刻度，根据坐标刻度与待结算商品尺寸的对应关系，获得待结算商品的真实尺寸。例如，通过神经网络模型识别出待结算商品的商品种类为薯片，基于坐标刻度与此待结算商品尺寸的对应关系可以得到此待结算商品的实际尺寸，根据商品数据库中的商品尺寸信息，确定待结算商品的类别为大包薯片。
在一个实施例中，获取与待结算商品的类别相对应的商品单位重量，根据待结算商品的商品单位重量和数量获得第二重量。例如，识别出待结算商品的类别为大包薯片，数量为两包，根据商品数据库中的商品重量信息，得到大包薯片的单位重量为100克，则确定第二重量为100*2＝200克。
图3为根据本公开的自助结算方法的一个实施例中的判断待结算商品信息与待认定商品是否匹配的流程示意图，如图3所示：
步骤301，获得第一重量与第二重量的差值。
步骤302，判断差值的绝对值是否小于预设的差值阈值。
步骤303，如果是，则确定待结算商品信息与待认定商品匹配。
例如，预设的差值阈值为5克，设置在结算柜台上的重量检测装置采集的第一重量为300克，第二重量为200克，则第一重量与第二重量的差值绝对值为100克，大于差值阈值5克，则确定待结算商品信息与待认定商品不匹配，可以向顾客、店员等发送出错信息。当接收到出错信息时，店员可以对待结算商品进行检查。
在一个实施例中，可以将购买商品结算信息分别发送给第一显示装置、第二显示装置，用以分别向顾客、店员显示购买商品结算信息。如果接收到顾客和店员中的任何一方发送的对于购买商品结算信息的结算取消或结算错误消息，则暂停此次结账处理。可以结算流程从传统的店员扫描一维条码结算转变为“商品检测识别结算+店员辅助验证结算”的方式，避免了逐个扫描商品的繁琐过程，大幅降低结算时间。
图像采集装置可以对结算柜台进行持续检测，每隔预设数量的图像帧(例如3个图像帧)对监控图像进行识别检测算法，获得待结算商品信息，并判断待结算商品信息与待认定商品是否匹配，获得购买商品结算信息，实现结算柜台与在显示装置中显示的购买商品结算信息实时同步的效果。
例如，顾客放置A、B、C、D、E五件商品在结算柜台上，第一显示装置、第二显示装置能够实时显示出五件商品的购买商品结算信息，当从结算柜台取下B、C商品时，第一显示装置、第二显示装置会实时更新为A、D、E三种商品的购买商品结算信息。顾客可以确认第一显示装置上的购买商品结算信息，或暂停此次结账。店员可以确认第二显示装置上的购买商品结算信息，如果发现结算错误则暂停结算与支付，重新进行摆放待结算商品、识别待结算商品等。
图4为根据本公开的自助结算方法的一个实施例中的对于支付费用处理的流程示意图，如图4所示：
步骤401，接收到顾客终端发送的根据购买商品结算信息生成的费用支付信息。
顾客进行付费可以有多种方式，例如刷卡支付等。也可以基于购买商品结算信息生成付费二维码并在第一显示装置上显示，或者将购买商品结算信息发送到顾客终端，顾客终端可以通过扫描付费二维码进行网上支付，或基于购买商品结算信息进行网上支付。顾客终端可以为顾客的手机等。
步骤402，如果确定费用支付信息正确，则将费用支付完成信息发送给第一显示装置、第二显示装置。将待结算商品设置为已付费状态，以使待结算商品通过安全检测装置的检测，开始下一次的自助结算。
例如，如果确定顾客的支付信息正确，进行扣费等处理，并在商品数据库中将待结算商品的状态信息设置为已结算状态，顾客可以带着待结算商品通过安全检测装置的检测。
步骤403，如果确定费用支付信息不正确，则将费用支付失败信息发送给第一显示装置、第二显示装置。如果在预设置的时间内没有识别出待结算商品，则结束本次商品识别，开始下一次自助结算。
图5为根据本公开的自助结算方法的一个实施例中的推荐商品的流程示意图，如图5所示：
步骤501，获取费用支付成功并与顾客终端相对应的购买商品结算信息，根据此购买商品结算信息获得商品类别和购物频率。
步骤502，根据商品类别、购物频率确定推荐商品、购买周期，基于购买周期确定推送时间。
步骤503，基于推送时间将推荐商品推送至顾客终端。
步骤504，接收到商品优惠信息，判断商品优惠信息是否与推荐商品相匹配，如果是，则向顾客终端推送推荐商品以及商品优惠信息。
例如，顾客通过手机支付后，建立手机(例如手机号码)与购买商品结算信息的关联关系。根据历史购买商品结算信息分析此手机对应的顾客购买的商品、频率等信息，确定此顾客的购物类别和购物周期。例如，购物类别为大米，购物周期为20天，则将大米作为推荐商品，20天左右推送一次。在推送时间到来时，将推荐的大米信息推送至顾客的手机。如果接收到购物优惠信息为一种大米的促销信息，则向顾客的手机推送这种大米的信息以及促销信息，可以实现智能广告推荐。
在一个实施例中，如图6所示，本公开提供一种自助结算装置60，包括：图像获得模块61、图像识别模块62、重量获得模块63、匹配判断模块64和结账处理模块65。
图像获得模块61获得图像采集装置采集的与放置在结算柜台上的待结算商品相对应的监控图像。图像识别模块62对监控图像进行识别，获得待结算商品信息；其中，待结算商品信息包括：待结算商品的类别和数量等。重量获得模块63获得设置在结算柜台上的重量检测装置采集的与待结算商品相对应的第一重量，基于待结算商品信息获得与待结算商品相对应的第二重量。
匹配判断模块64根据预设的匹配判断规则和第一重量与第二重量的比对结果判断待结算商品信息与待认定商品是否匹配。如果待结算商品信息与待认定商品匹配，则结账处理模块65基于待结算商品信息获得购买商品结算信息，根据购买商品结算信息进行结账处理；其中，购买商品结算信息包括：待结算商品的类别、数量和结算价格等。
在一个实施例中，如图8所示，图像识别模块62包括：位置确定单元621、图像截取单元622、尺寸获得模块623和识别处理单元624。
位置确定单元621在监控图像中确定与待结算商品相对应的第一位置以及与结算柜台上的坐标刻度相对应的第二位置。图像截取单元622根据第一位置和第二位置在监控图像中截取待结算商品图像和坐标刻度图像。尺寸获得模块623基于坐标刻度图像与待结算商品图像确定待结算商品的尺寸信息。识别处理单元624识别在待结算商品图像中的待结算商品所属的商品种类，并获得每种待结算商品所对应的数量。识别处理单元624基于待结算商品的尺寸信息和待结算商品所属的商品种类确定此待结算商品的类别。
位置确定单元621利用目标检测模型在监控图像中确定第一位置和第二位置；其中，目标检测模型包括：基于Faster RCNN算法的卷积神经网络模型等。识别处理单元624通过Softmax函数建立卷积神经网络的全连接层，通过卷积神经网络计算待结算商品属于各商品种类的置信度。识别处理单元624将置信度大于预设的阈值的商品种类作为待结算商品的商品种类。卷积神经网络的各卷基层之间设置有池化层，在最后一个卷积层之后设置有批标准化层。
在一个实施例中，重量获得模块63获取与待结算商品的类别相对应的商品单位重量，重量获得模块63根据待结算商品的商品单位重量和数量获得第二重量。匹配判断模块64获得第一重量与第二重量的差值，判断差值的绝对值是否小于预设的差值阈值，如果是，则确定待结算商品信息与待认定商品匹配。
结账处理模块65将购买商品结算信息分别发送给第一显示装置、第二显示装置，用以分别向顾客、店员显示购买商品结算信息。如果接收到顾客和店员中的任何一方发送的对于购买商品结算信息的结算取消或结算错误消息，则结账处理模块65暂停此次结账处理。
结账处理模块65接收到顾客终端发送的根据购买商品结算信息生成的费用支付信息，如果确定费用支付信息正确，则将费用支付完成信息发送给第一显示装置、第二显示装置，并将待结算商品设置为已付费状态，以使待结算商品通过安全检测装置的检测。如果确定费用支付信息不正确，则结账处理模块65将费用支付失败信息发送给第一显示装置、第二显示装置。
在一个实施例中，如图7所示，商品推荐模块66获取费用支付成功并与顾客终端相对应的购买商品结算信息，根据此购买商品结算信息获得商品类别和购物频率。商品推荐模块66根据商品类别、购物频率确定推荐商品、购买周期，基于购买周期确定推送时间；基于推送时间将推荐商品推送至顾客终端。商品推荐模块66接收到商品优惠信息，判断商品优惠信息是否与推荐商品相匹配，如果是，则向顾客终端推送推荐商品以及商品优惠信息。
图9为根据本公开的自助结算装置的又一个实施例的模块示意图。如图9所示，该装置可包括存储器91、处理器92、通信接口93以及总线94。存储器91用于存储指令，处理器92耦合到存储器91，处理器92被配置为基于存储器91存储的指令执行实现上述的自助结算方法。
存储器91可以为高速RAM存储器、非易失性存储器(non-volatile memory)等，存储器91也可以是存储器阵列。存储器91还可能被分块，并且块可按一定的规则组合成虚拟卷。处理器92可以为中央处理器CPU，或专用集成电路ASIC(Application SpecificIntegrated Circuit)，或者是被配置成实施本公开的自助结算方法的一个或多个集成电路。
在一个实施例中，本公开提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，指令被处理器执行时实现如上任一个实施例中的自助结算方法。
上述实施例中的自助结算方法、装置以及存储介质，通过图像识别技术以及重量检测技术相结合确定待检测商品信息，可以实现快速自助结账，降低单笔交易平均时长，提高了结算效率，减小了顾客结算的等待时间，提高了顾客的购物体检；可以设置监督功能，有效避免了错误结算造成的经济损失；无需额外的辅助验证结算方式，也无需使用RFID价格标签等工具，成本相对较低；可以减少收银工作人员，降低了运营成本；通过智能广告技术建立了与顾客的持续联系，不仅增加了客户体验，而且也能提高超市的销售量。
可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
本公开的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本公开限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本公开的原理和实际应用，并且使本领域的普通技术人员能够理解本公开从而设计适于特定用途的带有各种修改的各种实施例。

Claims (22)

1.一种自助结算方法，包括：
获得图像采集装置采集的与放置在结算柜台上的待结算商品相对应的监控图像；
对所述监控图像进行识别，获得待结算商品信息；其中，所述待结算商品信息包括：待结算商品的类别和数量；
获得设置在结算柜台上的重量检测装置采集的与所述待结算商品相对应的第一重量，基于所述待结算商品信息获得与所述待结算商品相对应的第二重量；
根据预设的匹配判断规则和所述第一重量与所述第二重量的比对结果判断所述待结算商品信息与所述待认定商品是否匹配；
如果是，则基于所述待结算商品信息获得购买商品结算信息，根据所述购买商品结算信息进行结账处理；其中，所述购买商品结算信息包括：待结算商品的类别、数量和结算价格。
2.如权利要求1所述的方法，所述对所述监控图像进行识别、获得待结算商品信息包括：
在所述监控图像中确定与所述待结算商品相对应的第一位置以及与所述结算柜台上的坐标刻度相对应的第二位置；
根据所述第一位置和所述第二位置在所述监控图像中截取待结算商品图像和坐标刻度图像；
基于所述坐标刻度图像与所述待结算商品图像确定待结算商品的尺寸信息；
识别在所述待结算商品图像中的待结算商品所属的商品种类，并获得每种待结算商品所对应的数量；
基于所述待结算商品的尺寸信息和所述待结算商品所属的商品种类确定此待结算商品的类别。
3.如权利要求2所述的方法，所述在所述监控图像中确定与所述待结算商品相对应的第一位置以及与所述结算柜台上的坐标刻度相对应的第二位置包括：
利用目标检测模型在所述监控图像中确定所述第一位置和所述第二位置；其中，所述目标检测模型包括：基于Faster RCNN算法的卷积神经网络模型。
4.如权利要求2所述的方法，所述识别在所述待结算商品图像中的待结算商品所属的商品种类包括：
通过Softmax函数建立卷积神经网络的全连接层，通过所述卷积神经网络计算所述待结算商品属于各商品种类的置信度；
将置信度大于预设的阈值的商品种类作为所述待结算商品的商品种类。
5.如权利要求4所述的方法，其中，
所述卷积神经网络的各卷基层之间设置有池化层，在最后一个卷积层之后设置有批标准化层。
6.如权利要求1所述的方法，所述基于所述待结算商品信息获得与所述待结算商品相对应的第二重量包括：
获取与所述待结算商品的类别相对应的商品单位重量；
根据所述待结算商品的商品单位重量和数量获得所述第二重量。
7.如权利要求6所述的方法，根据预设的匹配判断规则和所述第一重量与所述第二重量的比对结果判断所述待结算商品信息与所述待认定商品是否匹配包括：
获得所述第一重量与所述第二重量的差值；
判断所述差值的绝对值是否小于预设的差值阈值；
如果是，则确定所述待结算商品信息与所述待认定商品匹配。
8.如权利要求1所述的方法，所述根据所述购买商品结算信息进行结账处理包括：
将所述购买商品结算信息分别发送给第一显示装置、第二显示装置，用以分别向顾客、店员显示所述购买商品结算信息；
如果接收到顾客和店员中的任何一方发送的对于所述购买商品结算信息的结算取消或结算错误消息，则暂停此次结账处理。
9.如权利要求8所述的方法，所述根据所述购买商品结算信息进行结账处理还包括：
接收到顾客终端发送的根据所述购买商品结算信息生成的费用支付信息；
如果确定所述费用支付信息正确，则将费用支付完成信息发送给所述第一显示装置、所述第二显示装置，并将所述待结算商品设置为已付费状态，以使所述待结算商品通过安全检测装置的检测；
如果确定所述费用支付信息不正确，则将费用支付失败信息发送给所述第一显示装置、所述第二显示装置。
10.如权利要求9所述的方法，还包括：
获取费用支付成功并与所述顾客终端相对应的购买商品结算信息，根据此购买商品结算信息获得商品类别和购物频率；
根据所述商品类别、所述购物频率确定推荐商品、购买周期，基于所述购买周期确定推送时间；
基于所述推送时间将所述推荐商品推送至所述顾客终端；
接收到商品优惠信息，判断所述商品优惠信息是否与所述推荐商品相匹配，如果是，则向所述顾客终端推送所述推荐商品以及所述商品优惠信息。
11.一种自助结算装置，包括：
图像获得模块，用于获得图像采集装置采集的与放置在结算柜台上的待结算商品相对应的监控图像；
图像识别模块，用于对所述监控图像进行识别，获得待结算商品信息；其中，所述待结算商品信息包括：待结算商品的类别和数量；
重量获得模块，用于获得设置在结算柜台上的重量检测装置采集的与所述待结算商品相对应的第一重量，基于所述待结算商品信息获得与所述待结算商品相对应的第二重量；
匹配判断模块，用于根据预设的匹配判断规则和所述第一重量与所述第二重量的比对结果判断所述待结算商品信息与所述待认定商品是否匹配；
结账处理模块，用于如果所述待结算商品信息与所述待认定商品匹配，则基于所述待结算商品信息获得购买商品结算信息，根据所述购买商品结算信息进行结账处理；其中，所述购买商品结算信息包括：待结算商品的类别、数量和结算价格。
12.如权利要求11所述的装置，其中，
所述图像识别模块，包括：
位置确定单元，用于在所述监控图像中确定与所述待结算商品相对应的第一位置以及与所述结算柜台上的坐标刻度相对应的第二位置；
图像截取单元，用于根据所述第一位置和所述第二位置在所述监控图像中截取待结算商品图像和坐标刻度图像；
尺寸获得模块，用于基于所述坐标刻度图像与所述待结算商品图像确定待结算商品的尺寸信息；
识别处理单元，用于识别在所述待结算商品图像中的待结算商品所属的商品种类，并获得每种待结算商品所对应的数量；基于所述待结算商品的尺寸信息和所述待结算商品所属的商品种类确定此待结算商品的类别。
13.如权利要求12所述的装置，其中，
所述位置确定单元，用于利用目标检测模型在所述监控图像中确定所述第一位置和所述第二位置；其中，所述目标检测模型包括：基于Faster RCNN算法的卷积神经网络模型。
14.如权利要求12所述的装置，其中，
所述识别处理单元，用于通过Softmax函数建立卷积神经网络的全连接层，通过所述卷积神经网络计算所述待结算商品属于各商品种类的置信度；将置信度大于预设的阈值的商品种类作为所述待结算商品的商品种类。
15.如权利要求14所述的装置，其中，
所述卷积神经网络的各卷基层之间设置有池化层，在最后一个卷积层之后设置有批标准化层。
16.如权利要求11所述的装置，其中，
所述重量获得模块，用于获取与所述待结算商品的类别相对应的商品单位重量；根据所述待结算商品的商品单位重量和数量获得所述第二重量。
17.如权利要求16所述的装置，其中，
所述匹配判断模块，用于获得所述第一重量与所述第二重量的差值；判断所述差值的绝对值是否小于预设的差值阈值；如果是，则确定所述待结算商品信息与所述待认定商品匹配。
18.如权利要求11所述的装置，其中，
所述结账处理模块，用于将所述购买商品结算信息分别发送给第一显示装置、第二显示装置，用以分别向顾客、店员显示所述购买商品结算信息；如果接收到顾客和店员中的任何一方发送的对于所述购买商品结算信息的结算取消或结算错误消息，则暂停此次结账处理。
19.如权利要求18所述的装置，其中，
所述结账处理模块，用于接收到顾客终端发送的根据所述购买商品结算信息生成的费用支付信息；如果确定所述费用支付信息正确，则将费用支付完成信息发送给所述第一显示装置、所述第二显示装置，并将所述待结算商品设置为已付费状态，以使所述待结算商品通过安全检测装置的检测；如果确定所述费用支付信息不正确，则将费用支付失败信息发送给所述第一显示装置、所述第二显示装置。
20.如权利要求19所述的装置，还包括：
商品推荐模块，用于获取费用支付成功并与所述顾客终端相对应的购买商品结算信息，根据此购买商品结算信息获得商品类别和购物频率；根据所述商品类别、所述购物频率确定推荐商品、购买周期，基于所述购买周期确定推送时间；基于所述推送时间将所述推荐商品推送至所述顾客终端；接收到商品优惠信息，判断所述商品优惠信息是否与所述推荐商品相匹配，如果是，则向所述顾客终端推送所述推荐商品以及所述商品优惠信息。
21.一种自助结算装置，包括：
存储器；以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行如权利要求1至10中任一项所述的方法。
22.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述指令被处理器执行如权利要求1至10中任一项所述的方法。
CN201811380178.8A 2018-11-20 2018-11-20 自助结算方法、装置以及存储介质 Active CN109214806B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811380178.8A CN109214806B (zh) 2018-11-20 2018-11-20 自助结算方法、装置以及存储介质
PCT/CN2019/097950 WO2020103487A1 (zh) 2018-11-20 2019-07-26 自助结算方法、装置以及存储介质
US17/291,187 US11861584B2 (en) 2018-11-20 2019-07-26 Self-service settlement method, apparatus and storage medium
EP19886745.9A EP3859638A4 (en) 2018-11-20 2019-07-26 Self-service settlement method and device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811380178.8A CN109214806B (zh) 2018-11-20 2018-11-20 自助结算方法、装置以及存储介质

Publications (2)

Publication Number Publication Date
CN109214806A true CN109214806A (zh) 2019-01-15
CN109214806B CN109214806B (zh) 2022-01-04

Family

ID=64993196

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811380178.8A Active CN109214806B (zh) 2018-11-20 2018-11-20 自助结算方法、装置以及存储介质

Country Status (4)

Country Link
US (1) US11861584B2 (zh)
EP (1) EP3859638A4 (zh)
CN (1) CN109214806B (zh)
WO (1) WO2020103487A1 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109872168A (zh) * 2019-03-15 2019-06-11 南京亿猫信息技术有限公司 一种基于购物工具的防作弊系统
CN109886169A (zh) * 2019-02-01 2019-06-14 腾讯科技（深圳）有限公司 应用于无人货柜的物品识别方法、装置、设备及存储介质
CN109977825A (zh) * 2019-03-15 2019-07-05 百度在线网络技术（北京）有限公司 物品识别方法及装置
CN110136328A (zh) * 2019-04-25 2019-08-16 武汉市哈哈便利科技有限公司 一种基于动态视觉识别的ai智能售货柜
CN110349330A (zh) * 2019-07-10 2019-10-18 四川易景智能终端有限公司 一种基于物联网的智能货架
CN110415464A (zh) * 2019-08-05 2019-11-05 李志高 通过多重力传感器识别商品的方法和装置
CN110956459A (zh) * 2019-11-28 2020-04-03 浙江由由科技有限公司 一种商品处理方法及系统
WO2020103487A1 (zh) * 2018-11-20 2020-05-28 北京京东尚科信息技术有限公司 自助结算方法、装置以及存储介质
CN111222870A (zh) * 2019-01-24 2020-06-02 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN111476564A (zh) * 2020-03-13 2020-07-31 上海新享智云科技有限公司 待购商品的交易结算方法及装置、存储介质、终端
CN111666943A (zh) * 2020-04-20 2020-09-15 国网浙江省电力有限公司 基于图像识别的输电线路螺栓螺母的匹配检测方法及系统
CN111750965A (zh) * 2019-03-27 2020-10-09 杭州海康威视数字技术股份有限公司 商品自助计费方法、装置及系统
CN111797949A (zh) * 2020-05-29 2020-10-20 北京沃东天骏信息技术有限公司 商品结算方法、装置以及存储介质
CN111882785A (zh) * 2020-07-22 2020-11-03 郑州太德网络科技有限公司 一种商超称重结算辅助系统
CN112464697A (zh) * 2019-09-06 2021-03-09 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN112669026A (zh) * 2019-10-16 2021-04-16 南京深视光点科技有限公司 自动化结账系统及其实施方法
CN113297888A (zh) * 2020-09-18 2021-08-24 阿里巴巴集团控股有限公司 一种图像内容检测结果核查方法及装置
CN113383355A (zh) * 2019-02-11 2021-09-10 埃尔森有限公司 用于操作零售商店的sco表面区域的系统和方法
CN114445980A (zh) * 2022-01-28 2022-05-06 成都商汤科技有限公司 商品的结账方法及装置、电子设备和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727678B2 (en) * 2020-10-30 2023-08-15 Tiliter Pty Ltd. Method and apparatus for image recognition in mobile communication device to identify and weigh items
CN114691699B (zh) * 2022-06-02 2022-09-16 上海金仕达软件科技有限公司 一种智能结算方法及系统
CN115965249B (zh) * 2022-12-16 2024-01-23 多彩贵州印象网络传媒股份有限公司 基于人工智能技术的视联网客户智能分析管理系统
CN115795408B (zh) * 2023-02-06 2023-04-25 北京师范大学 基于区块链的智慧社区商品大数据智能拼单和结算方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058624B1 (en) * 2011-12-06 2015-06-16 Amazon Technologies, Inc. Message shopping over an electronic marketplace
CN106663251A (zh) * 2014-07-01 2017-05-10 罗尼·哈伊 计算机控制的无人值守的自动结账商店销售点及相关方法
CN106959149A (zh) * 2017-04-05 2017-07-18 西安电子科技大学 果蔬自动称重与计价智能电子秤
CN107563745A (zh) * 2017-09-19 2018-01-09 成都猫道科技有限公司 果蔬类商品自助称重与结账装置、系统及使用方法
CN107679850A (zh) * 2017-09-15 2018-02-09 苏衍杰 一种商品结算方法、装置及系统
KR101850315B1 (ko) * 2018-01-22 2018-05-31 주식회사 엑사스코프 하이브리드 상품 인식 기술이 적용된 셀프 체크 아웃 기기
CN108537994A (zh) * 2018-03-12 2018-09-14 深兰科技（上海）有限公司 基于视觉识别及重量感应技术的智能商品结算系统及方法
CN108596221A (zh) * 2018-04-10 2018-09-28 江河瑞通（北京）技术有限公司 标尺读数的图像识别方法及设备
CN108734459A (zh) * 2018-08-23 2018-11-02 深圳码隆科技有限公司 一种3d超市商品核验系统
CN108777045A (zh) * 2018-06-07 2018-11-09 北京京东尚科信息技术有限公司 购物结算方法、系统以及购物系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8239268B2 (en) 2006-06-20 2012-08-07 Toshiba Tec Kabushiki Kaisha Self-checkout terminal
CN104885130B (zh) * 2012-12-21 2018-08-14 乔舒亚·米格代尔 对自助结账终端处的欺诈活动的验证
CN103632460A (zh) 2013-11-08 2014-03-12 青岛中科英泰商用系统有限公司 同步向顾客提供交易过程视频的超市自助结算用防损方法
US20210142401A1 (en) * 2016-05-05 2021-05-13 State Farm Mutual Automobile Insurance Company Customizing loan specifics on a per-user basis
WO2019075276A1 (en) * 2017-10-11 2019-04-18 Aquifi, Inc. SYSTEMS AND METHODS FOR IDENTIFYING OBJECT
US20190236360A1 (en) * 2018-01-30 2019-08-01 Mashgin Inc. Feedback loop for image-based recognition
CN108364422A (zh) * 2018-02-24 2018-08-03 广州逗号智能零售有限公司 无人售货方法及装置
CN108681953A (zh) 2018-07-02 2018-10-19 百度在线网络技术（北京）有限公司 商品结算方法、装置、存储介质及电子设备
CN109214806B (zh) * 2018-11-20 2022-01-04 北京京东尚科信息技术有限公司 自助结算方法、装置以及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9058624B1 (en) * 2011-12-06 2015-06-16 Amazon Technologies, Inc. Message shopping over an electronic marketplace
CN106663251A (zh) * 2014-07-01 2017-05-10 罗尼·哈伊 计算机控制的无人值守的自动结账商店销售点及相关方法
CN106959149A (zh) * 2017-04-05 2017-07-18 西安电子科技大学 果蔬自动称重与计价智能电子秤
CN107679850A (zh) * 2017-09-15 2018-02-09 苏衍杰 一种商品结算方法、装置及系统
CN107563745A (zh) * 2017-09-19 2018-01-09 成都猫道科技有限公司 果蔬类商品自助称重与结账装置、系统及使用方法
KR101850315B1 (ko) * 2018-01-22 2018-05-31 주식회사 엑사스코프 하이브리드 상품 인식 기술이 적용된 셀프 체크 아웃 기기
CN108537994A (zh) * 2018-03-12 2018-09-14 深兰科技（上海）有限公司 基于视觉识别及重量感应技术的智能商品结算系统及方法
CN108596221A (zh) * 2018-04-10 2018-09-28 江河瑞通（北京）技术有限公司 标尺读数的图像识别方法及设备
CN108777045A (zh) * 2018-06-07 2018-11-09 北京京东尚科信息技术有限公司 购物结算方法、系统以及购物系统
CN108734459A (zh) * 2018-08-23 2018-11-02 深圳码隆科技有限公司 一种3d超市商品核验系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHONG-QIU ZHAO ET AL.: "PEDESTRIAN DETECTION BASED ON FAST R-CNN AND BATCH NORMALIZATION", 《ICIC 2017: INTELLIGENT COMPUTING THEORIES AND APPLICATION》 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020103487A1 (zh) * 2018-11-20 2020-05-28 北京京东尚科信息技术有限公司 自助结算方法、装置以及存储介质
US11861584B2 (en) 2018-11-20 2024-01-02 Beijing Jingdong Shangke Information Technology Co, Ltd. Self-service settlement method, apparatus and storage medium
CN111222870A (zh) * 2019-01-24 2020-06-02 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN111222870B (zh) * 2019-01-24 2024-02-27 图灵通诺（北京）科技有限公司 结算方法、装置和系统
CN109886169A (zh) * 2019-02-01 2019-06-14 腾讯科技（深圳）有限公司 应用于无人货柜的物品识别方法、装置、设备及存储介质
CN109886169B (zh) * 2019-02-01 2022-11-22 腾讯科技（深圳）有限公司 应用于无人货柜的物品识别方法、装置、设备及存储介质
CN113383355A (zh) * 2019-02-11 2021-09-10 埃尔森有限公司 用于操作零售商店的sco表面区域的系统和方法
CN113383355B (zh) * 2019-02-11 2024-02-20 埃尔森有限公司 用于操作零售商店的sco表面区域的系统和方法
CN109872168A (zh) * 2019-03-15 2019-06-11 南京亿猫信息技术有限公司 一种基于购物工具的防作弊系统
CN109977825A (zh) * 2019-03-15 2019-07-05 百度在线网络技术（北京）有限公司 物品识别方法及装置
CN111750965A (zh) * 2019-03-27 2020-10-09 杭州海康威视数字技术股份有限公司 商品自助计费方法、装置及系统
CN110136328A (zh) * 2019-04-25 2019-08-16 武汉市哈哈便利科技有限公司 一种基于动态视觉识别的ai智能售货柜
CN110349330A (zh) * 2019-07-10 2019-10-18 四川易景智能终端有限公司 一种基于物联网的智能货架
CN110349330B (zh) * 2019-07-10 2021-09-21 潍坊高滨智能科技有限公司 一种基于物联网的智能货架
CN110415464A (zh) * 2019-08-05 2019-11-05 李志高 通过多重力传感器识别商品的方法和装置
CN112464697A (zh) * 2019-09-06 2021-03-09 图灵通诺（北京）科技有限公司 基于视觉和重力感应的商品与顾客的匹配方法和装置
CN112669026A (zh) * 2019-10-16 2021-04-16 南京深视光点科技有限公司 自动化结账系统及其实施方法
CN110956459A (zh) * 2019-11-28 2020-04-03 浙江由由科技有限公司 一种商品处理方法及系统
CN111476564A (zh) * 2020-03-13 2020-07-31 上海新享智云科技有限公司 待购商品的交易结算方法及装置、存储介质、终端
CN111666943A (zh) * 2020-04-20 2020-09-15 国网浙江省电力有限公司 基于图像识别的输电线路螺栓螺母的匹配检测方法及系统
WO2021238671A1 (zh) * 2020-05-29 2021-12-02 北京沃东天骏信息技术有限公司 商品结算方法、装置以及存储介质
CN111797949A (zh) * 2020-05-29 2020-10-20 北京沃东天骏信息技术有限公司 商品结算方法、装置以及存储介质
CN111882785A (zh) * 2020-07-22 2020-11-03 郑州太德网络科技有限公司 一种商超称重结算辅助系统
CN113297888A (zh) * 2020-09-18 2021-08-24 阿里巴巴集团控股有限公司 一种图像内容检测结果核查方法及装置
CN114445980A (zh) * 2022-01-28 2022-05-06 成都商汤科技有限公司 商品的结账方法及装置、电子设备和存储介质
CN114445980B (zh) * 2022-01-28 2023-11-28 成都商汤科技有限公司 商品的结账方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
EP3859638A4 (en) 2022-06-29
US20220076227A1 (en) 2022-03-10
EP3859638A1 (en) 2021-08-04
US11861584B2 (en) 2024-01-02
WO2020103487A1 (zh) 2020-05-28
CN109214806B (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN109214806A (zh) 自助结算方法、装置以及存储介质
CN107103503A (zh) 一种订单信息确定方法和装置
US11151427B2 (en) Method and apparatus for checkout based on image identification technique of convolutional neural network
US20080290182A1 (en) System and method for calculating wait-time for checkout
CN108777045A (zh) 购物结算方法、系统以及购物系统
CN109726759B (zh) 无人售货方法、装置、系统、电子设备及计算机可读介质
CN108320404A (zh) 基于神经网络的商品识别方法、装置、自助收银台
CN107103502A (zh) 一种订单信息确定方法和装置
CN108235771A (zh) 基于云端的自助购物方法和系统、电子设备、程序产品
CN108140282A (zh) 信息处理装置、信息处理方法和存储程序的记录介质
CN108229946A (zh) 一种无人销售结算系统及系统识别商品的方法
CN108140209A (zh) 信息处理装置、信息处理方法和其中存储有程序的记录介质
CN109064630A (zh) 无人自动称重计价货柜系统
CN114119001B (zh) 基于人工智能的商品销售货款收银智能管理分析平台
US20220092597A1 (en) Frictionless and unassisted return processing
WO2015162723A1 (ja) 行動分析装置
JP3837475B2 (ja) 自動化ショッピングシステム
CN115861986A (zh) 基于超市自助结账系统的非标品智能识别及防损方法
CN112785374B (zh) 基于无人零售终端机的信息推荐系统及方法
CN113139768A (zh) 一种基于无人售货机的缺货监测方法
CN108922083A (zh) 智能购物支付数据处理方法和装置
CN117133088B (zh) 一种基于移动终端的智能收银系统
CN110472962A (zh) 一种基于图像识别的无人支付方法以及无人支付货架系统
CN109118682A (zh) 智能计数及结算方法和装置
CN109345250A (zh) 信息传输方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant