CN109559457A - 基于神经网络识别商品的收银方法以及自助收银台 - Google Patents

基于神经网络识别商品的收银方法以及自助收银台 Download PDF

Info

Publication number
CN109559457A
CN109559457A CN201811133576.XA CN201811133576A CN109559457A CN 109559457 A CN109559457 A CN 109559457A CN 201811133576 A CN201811133576 A CN 201811133576A CN 109559457 A CN109559457 A CN 109559457A
Authority
CN
China
Prior art keywords
commodity
detected
merchandise news
image
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811133576.XA
Other languages
English (en)
Other versions
CN109559457B (zh
Inventor
陈子林
王良旗
朱海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology Beijing USTB
Original Assignee
University of Science and Technology Beijing USTB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology Beijing USTB filed Critical University of Science and Technology Beijing USTB
Publication of CN109559457A publication Critical patent/CN109559457A/zh
Application granted granted Critical
Publication of CN109559457B publication Critical patent/CN109559457B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F9/00—Shop, bar, bank or like counters
    • A47F9/02—Paying counters
    • A47F9/04—Check-out counters, e.g. for self-service stores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3276—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being read by the M-device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F9/00—Shop, bar, bank or like counters
    • A47F9/02—Paying counters
    • A47F9/04—Check-out counters, e.g. for self-service stores
    • A47F2009/041—Accessories for check-out counters, e.g. dividers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Abstract

本发明公开了一种基于神经网络识别商品的收银方法，该方法包括：获取放置于不同分格槽内的待检测商品的商品图像，其中，每个分格槽放置相同种类的商品；获得至少一个分格槽内的待检测商品的称量重量；将所述商品图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出所述商品图像中的商品信息；依据所述称量重量和所述商品信息，输出识别结果。该方法中由于神经网络系统对相同类别的商品进行识别，因此可以提高识别的准确性，而且可以将待检测商品的称量重量应用于识别过程中，可以简化识别过程，提高识别效率，并且还可以利用待检测商品的重量进行校验，从而进一步提高识别的准确性。

Description

基于神经网络识别商品的收银方法以及自助收银台
技术领域
本发明涉及一种基于神经网络识别商品的收银方法以及自助收银台，属于图像识别领域。
背景技术
为提高社区的生活便利度，在很多社区周边都建设有无人便利店，在无人便利店中均设有自助结账机。
现有的自助结账机大多数为顾客自动扫码结账，顾客需要对每件商品进行扫码，因此结账效率很慢，尤当便利店中客户较多时，降低了客户对无人便利店的体验感。
现在还有一种基于神经网络识别技术的自助结账机，在使用该结账机时，客户将所有物品放置在收银台上，由商品自动结算装置进行拍照处理产生结账单。然后由于所有物品均集中堆放在收银台上，很容易产生堆积或者叠压，因此导致摄像头不能完全将所有商品均识别出来，所以需要不断重复强化训练神经网络，而重复强化训练神经网络需要耗费大量时间，导致自助结账机投放市场的时间成本大大提高。并且现有的基于神经网络识别技术的自助结账机只能对以计数方式售卖的商品进行结账，所以导致在无人便利店不能售卖以计重方式结账的商品，缩小了无人便利店可售卖商品的种类范围，降低了便利程度。
发明内容
为解决上述技术问题，本发明提供了一种基于神经网络识别商品的收银方法，该方法可以准确地对商品的种类进行识别，缩短了对神经网络的训练时间，降低了自助收银台投放市场的时间成本，从而可以获得更好的经济效益；并且该收银方法还能对以计数方式售卖和以计重方式售卖的商品同时结账，扩大了无人便利店的可售卖商品的种类；而且本发明提供的收银方法还可以同时对多件商品进行结算，缩短了客户的结账时间。
本申请一方面提供的基于神经网络识别商品的收银方法，包括：
获取放置于不同分格槽内的待检测商品的商品图像，其中，每个分格槽放置相同种类的商品；
获得至少一个分格槽内的待检测商品的称量重量；
将所述商品图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出所述商品图像中的商品信息；
依据所述称量重量和所述商品信息，输出识别结果。
可选的，包括：称量获得每一个分格槽内待检测商品的称量重量；
将所述商品图像按照预设方式提取至少两个识别图像；将每个所述识别图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出每个所述识别图像中的商品信息；
依据所述商品信息，计算每个分格槽内的待检测商品的计算重量，并与所述称量重量相比较：
如所述计算重量与获得的所述称量重量一致，则将所述商品信息作为待检测商品信息输出；
如所述计算重量与获得的所述称量重量不一致，则输出反馈提示。
可选的，将所述商品图像按照所述分格槽的重量变化提取至少两个识别图像。
可选的，包括：
获取放置于不同分格槽内的待检测商品的商品图像，其中，所述待检测商品包括第一待检测商品和第二待检测商品；
称量获取所述第二待检测商品的重量；
将所述商品图像按照预设方式提取至少两个识别图像；
将每个所述识别图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出每个所述识别图像中的商品信息；
所述基于神经网络的识别系统根据所述商品信息和所述第二待检测商品的重量，输出账单信息。
可选的，所述称量获取所述第二待检测商品的重量的同时还包括分别称量获取所述第一待检测商品中每种商品的重量；
将所述商品图像按照所述分格槽的重量变化提取至少两个识别图像。
可选的，包括步骤：
S100、获得所述待检测商品的商品图像以及称量所述第一待检测商品中每种商品的重量和第二待检测商品的重量；
其中，所述待检测商品的图像至少为二维图像；
所述待检测商品的图像至少包括角度和/或景深不同第一商品图像至第N商品图像；N≥2；
S200、将所述待检测商品的图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出待检测商品信息；
其中，所述神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；
所述步骤S200包括：
S211、将从所述第一商品图像中按照所述分格槽的重量变化提取的每个第一识别图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将从所述第N商品图像中按照所述分格槽的重量变化提取的每个第N识别图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
S212、判断所述第N商品信息是否包含在所述第一商品信息中，
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出，
如判断结果为否，则输出反馈提示；
S300、根据所述待检测商品信息和所述第二待检测商品的重量，输出账单信息。
可选的，所述获得含有放置于不同分格槽内的待检测商品的图像至少包括不同角度和/或不同景深的第一商品图像至第N商品图像；N＝2～4；
所述第一商品图像为所述待检测商品的正面图像。
可选的，所述步骤S200包括：
所述步骤S211为步骤S221，将从所述第一商品图像中按照所述分格槽的重量变化提取的每个第一识别图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；
所述步骤S212为步骤S222计算所述第一商品信息中的第一待检测商品中每种商品的重量，与实际称量的第一待检测商品中对应商品的重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则输出反馈提示。
可选的，所述神经网络识别系统包括基于区域卷积神经网络的第一神经网络；所述步骤S200包括：
S231、将从所述第一商品图像中按照所述分格槽的重量变化提取的每个第一识别图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将从所述第N商品图像中按照所述分格槽的重量变化提取的每个第N识别图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
S232、判断所述第N商品信息是否包含在所述第一商品信息中；
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则执行后续步骤；
S233、计算所述第一商品信息中的第一待检测商品中每种商品的重量，与实际称量的第一待检测商品中对应商品的重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则输出反馈提示。
可选的，所述步骤S212和步骤S232中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的商品种类是否均存在于所述第一商品信息中。
可选的，所述步骤S212和步骤S232中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中数量是否小于等于所述第一商品信息中的商品数量。
可选的，所述步骤S212和步骤S232中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的每种商品数量是否等于第一商品信息中的对应商品数量。
可选的，所述步骤S212和步骤S232为判断所述第N商品信息是否与所述第一商品信息一致；
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则执行后续步骤。
可选的，所述步骤S212和步骤S232为判断所述第N商品信息是否与所述第一商品信息一致，包括商品种类一致和每种商品的数量一致。
可选的，所述步骤S222和所述步骤S233中预设阈值为0.1g至10kg中的至少一个数值。
可选的，所述待检测商品的图像中待检测商品的数量≥1。
可选的，所述待检测商品的图像中待检测商品的数量为1～1000。
可选的，所述待检测商品的图像中待检测商品的种类≥1。
可选的，所述待检测商品的图像中待检测商品的种类为1～1000。
可选的，所述反馈提示包括堆叠提示、错误报告中的至少一种。
根据本申请的另一方面提供的用于实现权利要求1所述的基于神经网络识别商品的收银方法的自助收银台，包括收银桌面以及基于神经网络的商品识别装置，其中，所述商品识别装置位于所述收银桌面的上方且与所述收银桌面电连接，用于对所述收银桌面进行至少一个角度拍摄；
所述收银桌面具有多个分格槽，所述多个分格槽中至少有一个安装有重量传感器，其中，每个所述分格槽用于放置相同种类的商品；
所述基于神经网络的商品识别装置包括，
摄像单元，用于获取含有待检测商品的图像至少包括角度和/或景深不同第一商品图像至第N商品图像；N≥2；
识别信息单元，用于将从所述第一商品图像中提取的每一个第一识别图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将从所述第N商品图像中提取的每一个第N识别图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
识别判断单元，用于判断所述第N商品信息是否包含在所述第一商品信息中；如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；如判断结果为否，则输出反馈提示；
显示单元，用于输出账单信息和所述反馈提示；
所述摄像单元与所述识别信息单元相连接，所述识别信息单元与所述识别判断单元相连接，所述识别判断单元与所述显示单元相连接。
可选的，所述收银桌面与所述基于神经网络的商品识别装置之间设有控制器，用于根据所述收银桌面感应到的重量，控制所述商品识别装置的开关。
可选的，每个所述分格槽均安装有重量传感器。
本发明的有益效果包括但不限于：
(1)本发明提供的基于神经网络识别商品的收银方法，通过对待检测商品的图像进行提取得到识别图像，神经网络识别系统对每个识别图像进行识别，由于每个识别图像中只含有同类商品，因此很容易判断商品的类别，所以不用重复强化训练神经网络，大大缩短的神经网络的训练时间，降低了自动结账机投放市场的时间成本，从而可以获得更好的经济效益。
(2)本发明提供的基于神经网络识别商品的收银方法，通过将待检测商品分为第一待检测商品和第二待检测商品，对第二待检测商品进行称重获得其重量，实现了对计数商品和计重商品的同时结账，扩大了无人便利店的可售卖商品的种类范围，并且也提高了超市的结帐速度。
(3)本发明提供的基于神经网络识别商品的收银方法，由于神经网络识别系统可以准确地确定商品的类别，因此大大降低了商品结账过程中的出错概率，提高了结账效率。
(4)本发明提供的基于神经网络识别商品的收银方法，通过获取所述第一待检测商品中每种商品的重量以及第二待检测商品的重量，可以在提取识别图像的过程中针对性地进行提取，即只针对重量发生变化的分格槽进行图像提取，加快了提取和识别的速度。
(5)本发明提供的基于神经网络识别商品的收银方法，通过称量获取第一待检测商品中每种商品的重量，可以利用该实际重量作为校对信息，可以对每种第一待检测商品进行校对验证，进一步提高了对第一待检测商品识别的准确性。
(6)本发明所提供的基于神经网络识别商品的自助收银台，可实现用户自主结算，结算效率高，结算结果准确。
附图说明
图1是本发明实施例4中基于神经网络识别商品的收银方法流程示意框图；
图2是本发明实施例5中基于神经网络识别商品的收银方法流程示意框图；
图3是本发明实施例6中基于神经网络识别商品的收银方法流程示意框图；
图4是本发明实施例7中所提供的基于神经网络识别商品的自助收银台的结构示意图；
图5是本发明实施例7中提供的基于神经网络的商品识别装置的结构框图；
图6是本发明实施例8提供的基于神经网络识别商品的收银方法中的收银桌面的结构示意图；
附图标记列表：
1收银桌面； 13分格槽； 14重量传感器；
2商品识别装置； 100摄像单元； 210识别信息单元；
220识别判断单元； 300显示单元。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例1
本申请提供的基于神经网络识别商品的收银方法，包括：
获取放置于不同分格槽内的待检测商品的商品图像，其中，每个分格槽放置相同种类的商品；
获得至少一个分格槽内的待检测商品的称量重量；
将商品图像输入基于神经网络的识别系统，基于神经网络的识别系统输出所述商品图像中的商品信息；
依据称量重量和商品信息，输出识别结果。
本申请提供的基于神经网络识别商品的收银方法，通过获取放置于不同分格槽内的待检测商品的商品图像，每个分格槽放置相同种类的商品，并且获得至少一个分格槽内的待检测商品的称量重量，由于神经网络系统对相同类别的商品进行识别，因此可以提高识别的准确性，而且可以将待检测商品的称量重量应用于识别过程中，可以简化识别过程，提高识别效率，并且还可以利用待检测商品的重量进行校验，从而进一步提高识别的准确性。
实施例2
本实施例提供的基于神经网络识别商品的收银方法，包括：称量获得每一个分格槽内待检测商品的称量重量；
将商品图像按照预设方式提取至少两个识别图像；将每个识别图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出每个识别图像中的商品信息；
依据商品信息，计算每个分格槽内的待检测商品的计算重量，并与称量重量相比较：
如计算重量与获得的称量重量一致，则将商品信息作为待检测商品信息输出；
如计算重量与获得的称量重量不一致，则输出反馈提示。
本实施例中，通过对每个分格槽内的物品进行称重，获得其称重重量，并将改称重重量与商品信息中的计算重量做比较，即可对每个分格槽内的商品进行校验，从而高了识别的准确性。
可选的，将商品图像按照分格槽的重量变化提取至少两个识别图像。
实施例3
本申请提供的基于神经网络识别商品的收银方法，包括：
获得放置于不同分格槽内的待检测商品的商品图像，其中，待检测商品包括第一待检测商品和第二待检测商品；
称量获取第二待检测商品的重量；
将商品图像按照预设方式提取至少两个识别图像；
将每个识别图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出每个识别图像中的待检测商品信息；
神经网络系统根据待检测商品信息和第二待检测商品的重量，输出账单信息。
具体的，本实施例中第一待检测商品可以包括以计数售卖的商品，例如矿泉水、饼干、面包。第二待检测商品可以包括以计重售卖的商品，例如水果、肉类、菜类。
待检测商品信息可以包括：商品品名、数量、单价。在一个示例中，待检测商品为计数售卖商品时，待检测商品信息包括：商品品名、数量和单价。在另一个示例中，待检测商品为计重售卖商品时，待检测商品信息包括：商品品名、单价，或者还可以包括数量。
神经网络系统根据所述待检测商品信息和所述第二待检测商品的重量，输出账单信息。在一个示例中，待检测商品同时包括计数售卖商品和计重售卖商品，根据计数售卖商品的商品信息(商品品名、数量和单价)以及计重售卖商品的商品信息(商品品名、单价)和其重量即可得到账单信息。
本申请提供的基于神经网络识别商品的收银方法，一方面通过获取待检测商品的第一商品图像以及第二待检测商品的重量，实现了对以计数方式售卖和以计重方式售卖的商品同时进行结账的效果，方便了顾客结账的过程，同时缩短了顾客结账的时间。具体来说，神经网络识别系统对以计数方式售卖的商品进行识别，输出包括商品名称、单价、数量的商品信息，同时神经网络识别系统对以计重方式售卖的商品进行识别，输出包括商品名称、单价的商品信息，再结合该类商品的重量，即可得到账单信息。
另一方面，通过获取含有待检测商品的第一商品图像，然后将第一商品图像按照预设的方式进行提取，从而获得至少两个第一识别图像，再将每一个识别图像输入神经网络识别系统，神经网络识别系统对每个识别图像进行设别从而获得每个第一识别图像中的待检测商品的信息。在整个识别过程中，神经网络识别系统只对识别图像中的内容进行识别，而识别图像中只包含单一同类商品，因此神经网络识别系统很容易判断商品的类别，因此不用重复强化训练神经网络，缩短的神经网络的训练时间，降低了自动结账机投放市场的时间成本，从而可以获得更好的经济效益。而且由于神经网络可以准确地确定商品的类别，因此大大降低了商品结账过程中的出错概率，提高了结账效率。
可选的，预设方式为按照分格槽依次提取至少两个第一识别图像；其中，每个分格槽内放置同一种类商品。
可选的，预设方式为按照分格槽同时提取至少两个第一识别图像；其中，每个分格槽内放置同一种类商品。
可选的，称量获取第二待检测商品的重量的同时还包括分别称量获取第一待检测商品中每种商品的重量；将商品图像按照所述分格槽的重量变化提取至少两个识别图像。
具体的，在称量第二待检测商品的重量的同时还称量第一待检测商品中每种商品的重量，即可以得到每个分格槽的重量变化，根据每个分格槽的重量变化提取至少两个识别图像，也就是说当分格槽有重量变化时(有商品放入)才提取该分格槽的识别图像，当分格槽没有重量变化时(没有商品放入)则不会提取该分格槽的识别图像，从而节省的神经网络识别系的识别时间，提高了结账效率。
实施例4
参见图1，本发明提供的基于神经网络识别商品的收银方法，包括：
S100、获得待检测商品的图像以及称量第一待检测商品中每种商品的重量和第二待检测商品的重量；
其中，待检测商品的图像至少为二维图像；
待检测商品的图像至少包括角度和/或景深不同第一商品图像至第N商品图像；N≥2；
S200、将待检测商品的图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出待检测商品信息；
其中，神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；
步骤S200包括：
S211、将从第一商品图像中按照所述分格槽的重量变化提取的每个第一识别图像输入第一神经网络，第一神经网络输出第一商品信息；将从第N商品图像中按照所述分格槽的重量变化提取的每个第N识别图像输入第一神经网络，第一神经网络输出第N商品信息；
S212、判断第N商品信息是否包含在第一商品信息中，
如判断结果为是，则将第一商品信息作为待检测商品信息输出，
如判断结果为否，则输出反馈提示；
S300、根据待检测商品信息和第二待检测商品的重量，输出账单信息。
本发明提供的基于神经网络识别商品的收银方法，通过获取多张待检测商品的图像，将由不同的待检测商品图像得到的商品信息进行比对，满足判断条件时则输出待检测商品信息，不满足判断条件时，则输出反馈提示，即通过获取多个商品信息进行校正从而提高了神经网络识别系统对商品识别的准确性。该方法可以用于处理的商品种类和数量不限，例如可以为含有待检测商品的图像中待检测商品的数量≥1。含有待检测商品的图像中待检测商品的数量为1～1000。含有待检测商品的图像中待检测商品的种类≥1。待检测商品的种类为1～1000。本实施例提供的收银方法可以用于无人值守环境下，自助获取结算商品信息后进行自助购物，当然还可以用于各种超市。
优选的，第一商品图像为待检测商品的正面图像。以此作为主要图像进行识别，能提高识别的准确率。
优选的，获得含有待检测商品的图像至少包括不同角度和/或不同景深的第一商品图像至第N商品图像；N＝2～4。通过获取多角度图像，能提高神经网络的识别准确性。有利于提高后续识别结果的准确性。
实施例5
参见图2，优选的，步骤S200包括：
步骤S211步骤S221，将从第一商品图像中按照所述分格槽的重量变化提取的每个第一识别图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；
步骤S212为步骤S222计算第一商品信息中的第一待检测商品中每种商品的重量，与实际称量的第一待检测商品中对应商品的重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：
如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示。
本实施例提供的收银方法，第一待检测商品中的每种商品均可以利用重量进行校正，因此可以准确的对第一待检测商品中的每种商品进行识别，提高了神经系统识别的准确性。
在本实施例中，获取商品信息的同时，还通过对商品信息中所包含的商品重量进行分析，对所得结果进行校正，从而提高图像识别结果的准确性，尤其对以计数方式售卖的商品(第一待检测商品)利用商品的重量进行校正，提高了图像识别结果的准确性。
实施例6
参见图3，优选的，神经网络识别系统包括基于区域卷积神经网络的第一神经网络；步骤S200包括：
S231、将从第一商品图像中按照所述分格槽的重量变化提取的每个第一识别图像输入第一神经网络，第一神经网络输出第一商品信息；将从第N商品图像中按照所述分格槽的重量变化提取的每个第N识别图像输入第一神经网络，第一神经网络输出第N商品信息；
S232、判断第N商品信息是否包含在第一商品信息中；
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则执行后续步骤；
S233、计算第一商品信息中的第一待检测商品中每种商品的重量，与实际称量的第一待检测商品中对应商品的重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则输出反馈提示。
在本实施例中，通过获取多张待检测商品的图像，将不同待检测商品的图像进行比对，提高了神经网络识别系统对第一待检测商品和第二待检测商品识别的准确性，利用重量作为校正信息，可以对每一种第一待检测商品进行校对验证，进一步提高了对第一待检测商品识别的准确性。
可选的，预设阈值可以为0.1g至10kg中的至少一个数值。
优选的，步骤S212和步骤S232中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的商品种类是否均存在于第一商品信息中。
优选的，步骤S212和步骤S232中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的商品数量是否小于等于所述第一商品信息中的商品数量。
优选的，步骤S212和步骤S232中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的每种商品数量是否等于第一商品信息中的对应商品数量。
优选的，步骤S212为判断第N商品信息是否与第一商品信息一致；
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则执行后续步骤。
优选的，步骤S212为判断第N商品信息是否与第一商品信息一致，包括商品种类一致和每种商品的数量一致。
优选的，反馈结果包括堆叠提示、错误报告中的至少一种。
实施例7
见图4，本发明的另一方面还提供了一种基于神经网络识别商品的自助收银台，包括收银桌面1以及基于神经网络的商品识别装置2，其中，商品识别装置2位于收银桌面1的上方与收银桌面1电连接，用于对收银桌面1进行至少一个角度拍摄；
所述收银桌面1包括多个分格槽13，多个分格槽13中至少有一个安装有重量传感器14，其中，每个分格槽13用于放置相同种类的商品；
参见图5所示，基于神经网络的商品识别装置2包括，
摄像单元100，用于获取含有待检测商品的图像至少包括角度和/或景深不同第一商品图像至第N商品图像；N≥2；
识别信息单元210，用于将从第一商品图像中提取的每一个第一识别图像输入第一神经网络，第一神经网络输出第一商品信息；将从第N商品图像中提取的每一个第N识别图像输入第一神经网络，第一神经网络输出第N商品信息；
识别判断单元220，用于判断第N商品信息是否包含在第一商品信息中；如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示；
显示单元300，用于输出账单信息和反馈提示；
摄像单元100与识别信息单元210相连接，识别信息单元210与识别判断单元220相连接，识别判断单元220与显示单元300相连接。上述各单元的实现可以通过在现有各种器件上设置相应程序实现。
优选的，识别信息单元210和识别判断单元220，用于按权利要求1～20中任一项基于基于神经网络识别商品的收银方法进行商品识别和判断。
可选地，摄像单元100包括两个普通网络摄像头，两个可调整任意角度的固定器，一台可运行图片上传的持续的计算机，一个高精度重量传感器。主要工作流程为：计算机上运行一个图像抓取程序，该程序可以将同一时间的两个摄像头抓取的画面图像上传到远程服务器，远程服务器将识别结果返回。此方案成本极低，工作计算机也只需要最基础配置即可。
可选地，摄像单元100包括2-4个固定镜头高清摄像头，相应数量的可调节角度固定器，一个高精度重量传感器，一台带显存2G以上显卡的计算机。主要工作流程为，算机上运行一个图像抓取程序，该程序可以将同一时间的两个摄像头抓取的画面图像在本地识别。
可选地，基于神经网络的商品识别装置可批量检测(低成本方案)，采用多个普通摄像头，从不同角度获得待检测商品的图像。
多个不同角度的摄像头可以解决商品在同一个2D图片中因为摆放角度和物品高度差异产生的遮挡问题。基本上3个摄像头可以实现无死角获取待识别所需信息，合适的摄像头机位情况下，2个摄像头也可以达到较理想效果。
优选的，可选地，摄像单元100包括第一摄像头和第二摄像头；
第一摄像头和第二摄像头分别从不同角度获取商品图像。
可选的，收银桌面1安装有用于测量待检测商品总重量的第二重量传感器。
第二重量传感器与识别单元电连接，将收银桌面1上商品的总重量输入识别单元。
在商品图像识别过程中，待结算商品常因堆叠或极端拍摄角度，导致物体被遮挡或大部分被遮挡，而无法得到足够的细节用准确识别商品。为了准确判断商品内有无堆叠情况，本发明结合第二重量传感器对图像识别结果进行校正，尤其对第一待检测商品进行校正，获取识别结果中的物品重量与收银桌面内的第二重量传感器实际称重，如果不一致，则反馈商品处于堆叠状态。
可选的，多个分格槽13的收银桌面1与基于神经网络的商品识别装置2之间设有控制器，用于根据收银桌面1感应到的重量，控制商品识别装置2的开关。其中，控制器可以为控制电路，或者也可以为单片机。
可选的，每个分格槽13均安装有重量传感器14。
实施例8
下面以图4中的收银桌面为例，具体说明在本实施例提供的基于神经网络识别商品的收银方法中，神经网络识别系统的识别过程。
获取放置于收银桌面上的待检测商品的第一商品图像P1、第二商品图像P2和第三商品图像P3，其中，第二待检测商品放置于安装有重量传感器的分格槽内。
将第一商品图像P1按照图6所示的分格槽依次提取5个第一识别图像，分别记做Ⅰ-11、Ⅰ-12、Ⅰ-21、Ⅰ-22、Ⅰ-3，将每个第一识别图像输入网络识别系统，网络识别系统对每个第一识别图像进行识别，然后将得到如表1所示的识别结果(包括商品品名、单价、数量、重量)，识别结果整体构成了第一商品信息R1；
表1
将第二商品图像P2和第三商品图像P3按照上述方法进行识别，分别得到第二商品信息R2和第三商品信息R3；
判断第二商品信息R2是否包含在第一商品信息R1中，第三商品信息R3是否包含在第一商品信息R1中；
如果第二商品信息R2和第三商品信息R3均包含在第一商品信息R1中，则将第一商品信息R1作为待检测商品信息输出，如果不满足上述条件，则输出反馈提示。
实施例9
继续以图4中的收银桌面为例，具体说明在本实施例提供的基于神经网络识别商品的收银方法中，神经网络识别系统的识别过程。
获取放置于收银桌面上的待检测商品的第一商品图像P1、第二商品图像P2和第三商品图像P3，其中，第二待检测商品放置于安装有重量传感器的分格槽内。
将第一商品图像P1按照图6所示分格槽的重量是否有变化依次提取第一识别图像，分别记做Ⅰ-12、Ⅰ-22、Ⅰ-3，将每个第一识别图像输入网络识别系统，网络识别系统对每个第一识别图像进行识别，然后将得到如表1所示的识别结果(包括商品品名、单价、数量、重量)，识别结果整体构成了第一商品信息R1；
表1
将第二商品图像P2和第三商品图像P3按照上述方法进行识别，分别得到第二商品信息R2和第三商品信息R3；
判断第二商品信息R2是否包含在第一商品信息R1中，第三商品信息R3是否包含在第一商品信息R1中；
如果第二商品信息R2和第三商品信息R3均包含在第一商品信息R1中，则将第一商品信息R1作为待检测商品信息输出，如果不满足上述条件，则输出反馈提示。
实施例10
顾客在无人便利店中的购物步骤如下：
顾客选择完商品后，将所有商品按照不同的类别分别放置收银桌面上的不同分格槽中，；
载物台感应到重量>0，触发基于神经网络的商品识别装置启动商品识别程序；
对第二待检测商品进行称重，记做G1；
摄像头从不同角度拍摄载物台上的商品，获得商品正上方图片为第一商品图像P1，以及3个不同角度的侧向图片分别记为P2、P3、P4，并将商品图片Base64编码POST到图像识别服务器，分别进行图像识别；
对P1识别结果的R1为第一商品信息(包括所有商品品名、单价、数量)，对P2识别结果的R2为第二商品信息(包括所有商品品名、单价、数量)......对P4识别结果的R4为第四商品信息(包括所有商品品名、单价、数量)；
如果：1)第二商品信息中的每种商品的数量与第一商品信息中的对应商品的数量相等；
2)第三商品信息中的每种商品的数量与第一商品信息中的对应商品的数量相等；
3)第四商品信息中的每种商品的数量与第一商品信息中的对应商品的数量相等；
则判断为第二～第四商品信息均包含在第一商品信息中，则将R1作为待检测商品信息输出，神经网络系统根据R1和G1向订单处理接口请求生成订单；
若1)、2)、3)中任意一个判断条件不满足，则判断为第二～第四商品信息不包含在第一商品信息中，则在操作界面显示堆叠提示，提示顾客挪动商品，使摄像头可拍摄到堆叠在下层被遮挡住的商品；摄像头重新拍摄载物台上的商品，获得新的商品图片，直至第二～第四商品信息均包含在第一商品信息中，向订单处理接口请求生成订单；
订单处理接口收到生成订单请求，发出支付二维码字符串，在操作界面生成支付二维码；
顾客扫描支付二维码；
支付成功后，消息SOCKET发送支付成功的消息，对载物台上的商品进行消磁；
消息SOCKET向安全通道发送人脸识别消息；
顾客携带商品通过包括检测装置的安全通道，如未检测到未消磁标签，大门开启，顾客走出无人购物便利店；如检测到未消磁标签，则发出未支付警告，大门不开启。
实施例11
顾客在无人便利店中的购物步骤如下：
顾客选择完商品后，将所有商品按照不同的类别分别放置收银桌面上的不同分格槽中；
对第二待检测商品进行称重，计做G1；
载物台感应到重量>0，触发基于神经网络的商品识别装置启动商品识别程序；
摄像头拍摄载物台上的商品，获得商品图片，并将商品图片Base64编码POST到图像识别服务器，进行图像识别；
图像识别的结果R1(包括所有商品品名、单价、数量、总重量)中的每种第一待检测商品的重量与相应分格槽内重量传感器所称量的重量比对，得到差分数据；
当每种第一待检测商品的差分数据＜10g时，判断为[实际称重与范围重量一致]，神经网络系统根据R1和G1则向订单处理接口请求生成订单；
当任意一种第一待检测商品的差分数据大于10g时，判断为[实际称重与范围重量不一致]，则在操作界面显示具体哪种第一待检测商品堆叠，提示顾客挪动商品，使摄像头可拍摄到堆叠在下层被遮挡住的商品；摄像头重新拍摄载物台上的商品，获得新的商品图片，直至所有差分数据小于等于预设阈值，向订单处理接口请求生成订单；
订单处理接口收到生成订单请求，发出支付二维码字符串，在操作界面生成支付二维码；
顾客扫描支付二维码；
支付成功后，消息SOCKET发送支付成功的消息，对载物台上的商品进行消磁；
消息SOCKET向安全通道发送人脸识别消息；
顾客携带商品通过包括检测装置的安全通道，如未检测到未消磁标签，大门开启，顾客走出无人购物便利店；如检测到未消磁标签，则发出未支付警告，大门不开启。
实施例12
顾客在无人便利店中的购物步骤如下：
顾客选择完商品后，将所有商品按照不同的类别分别放置收银桌面上的不同分格槽中；
对第二待检测商品进行称重，计做G1；
载物台感应到重量>0，触发基于神经网络的商品识别装置启动商品识别程序；
摄像头从不同角度拍摄载物台上的商品，获得商品正上方图片为第一商品图像P1，以及2个不同角度的侧向图片分别记为P2、P3，并将商品图片Base64编码POST到图像识别服务器，分别按照分格槽内是否有重量变化进行图像识别；
对P1识别结果的R1为第一商品信息(包括所有商品品名、单价、数量、重量)，对P2识别结果的R2为第二商品信息(包括所有商品品名、单价、数量、重量)，对P3识别结果的R3为第三商品信息(包括所有商品品名、单价、数量、重量)；
如果：1)第二商品信息中的每种商品的数量与第一商品信息中的对应商品的数量相等；
2)第三商品信息中的每种商品的数量与第一商品信息中的对应商品的数量相等；
则判断为第二、三商品信息均包含在第一商品信息中，则将R1作为待检测商品信息输出，神经网络系统根据R1和G1向订单处理接口请求生成订单；
若1)、2)中任意一个判断条件不满足，则判断为第二、三商品信息不包含在第一商品信息中，执行后续步骤；
计算第一商品信息R1中的每种第一待检测商品的重量，与相应分格槽内重量传感器所称量的重量比对，得到差分数据；
当每种第一待检测商品的差分数据＜20g时，判断为[实际称重与范围重量一致]，则将R1作为待检测商品信息输出，并向订单处理接口请求生成订单；
当任意一种第一待检测商品的差分数据大于预设阈值时，判断为[实际称重与范围重量不一致]，则在操作界面显示具体哪种第一待检测商品堆叠，提示顾客挪动商品，使摄像头可拍摄到堆叠在下层被遮挡住的商品；摄像头重新拍摄载物台上的商品，获得新的商品图片，直至差分数据小于等于预设阈值，向订单处理接口请求生成订单；
订单处理接口收到生成订单请求，发出支付二维码字符串，在操作界面生成支付二维码；
顾客扫描支付二维码；
支付成功后，消息SOCKET发送支付成功的消息，对载物台上的商品进行消磁；
消息SOCKET向安全通道发送人脸识别消息；
顾客携带商品通过包括检测装置的安全通道，如未检测到未消磁标签，大门开启，顾客走出无人购物便利店；如检测到未消磁标签，则发出未支付警告，大门不开启。
以上所述，仅是本发明的几个实施例，并非对本发明做任何形式的限制，虽然本发明以较佳实施例揭示如上，然而并非用以限制本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (9)

1.一种基于神经网络识别商品的收银方法，其特征在于，包括：
获取放置于不同分格槽内的待检测商品的商品图像，其中，每个分格槽放置相同种类的商品；
获得至少一个分格槽内的待检测商品的称量重量；
将所述商品图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出所述商品图像中的商品信息；
依据所述称量重量和所述商品信息，输出识别结果。
2.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，包括：称量获得每一个分格槽内待检测商品的称量重量；
将所述商品图像按照预设方式提取至少两个识别图像；将每个所述识别图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出每个所述识别图像中的商品信息；
依据所述商品信息，计算每个分格槽内的待检测商品的计算重量，并与所述称量重量相比较：
如所述计算重量与获得的所述称量重量一致，则将所述商品信息作为待检测商品信息输出；
如所述计算重量与获得的所述称量重量不一致，则输出反馈提示；
优选的，将所述商品图像按照所述分格槽的重量变化提取至少两个识别图像。
3.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，包括：
获取放置于不同分格槽内的待检测商品的商品图像，其中，所述待检测商品包括第一待检测商品和第二待检测商品；
称量获取所述第二待检测商品的称量重量；
将所述商品图像按照预设方式提取至少两个识别图像；
将每个所述识别图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出每个所述识别图像中的商品信息；
所述基于神经网络的识别系统根据所述商品信息和所述第二待检测商品的称量重量，输出账单信息；
优选的，所述称量获取所述第二待检测商品的称量重量的同时还包括分别称量获取所述第一待检测商品中每种商品的称量重量；
将所述商品图像按照所述分格槽的重量变化提取至少两个识别图像；
优选的，包括步骤：
S100、获得所述待检测商品的商品图像以及称量所述第一待检测商品中每种商品的称量重量和第二待检测商品的称量重量；
其中，所述待检测商品的图像至少为二维图像；
所述待检测商品的图像至少包括角度和/或景深不同第一商品图像至第N商品图像；N≥2；
S200、将所述待检测商品的图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出待检测商品信息；
其中，所述神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；
所述步骤S200包括：
S211、将从所述第一商品图像中按照所述分格槽的重量变化提取的每个第一识别图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将从所述第N商品图像中按照所述分格槽的重量变化提取的每个第N识别图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
S212、判断所述第N商品信息是否包含在所述第一商品信息中，
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出，
如判断结果为否，则输出反馈提示；
S300、根据所述待检测商品信息和所述第二待检测商品的称量重量，输出账单信息；
优选的，所述获得含有放置于不同分格槽内的待检测商品的图像至少包括不同角度和/或不同景深的第一商品图像至第N商品图像；N＝2～4；
所述第一商品图像为所述待检测商品的正面图像。
4.根据权利要求3所述的基于神经网络识别商品的收银方法，其特征在于，
所述步骤S200包括：
所述步骤S211为步骤S221，将从所述第一商品图像中按照所述分格槽的重量变化提取的每个第一识别图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；
所述步骤S212为步骤S222计算所述第一商品信息中的第一待检测商品中每种商品的计算重量，与实际称量的第一待检测商品中对应商品的称量重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则输出反馈提示；
优选的，所述神经网络识别系统包括基于区域卷积神经网络的第一神经网络；所述步骤S200包括：
S231、将从所述第一商品图像中按照所述分格槽的重量变化提取的每个第一识别图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将从所述第N商品图像中按照所述分格槽的重量变化提取的每个第N识别图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
S232、判断所述第N商品信息是否包含在所述第一商品信息中；
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则执行后续步骤；
S233、计算所述第一商品信息中的第一待检测商品中每种商品的计算重量，与实际称量的第一待检测商品中对应商品的称量重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则输出反馈提示。
5.根据权利要求3或4所述的基于神经网络识别商品的收银方法，其特征在于，所述步骤S212和步骤S232中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的商品种类是否均存在于所述第一商品信息中；
优选的，所述步骤S212和步骤S232中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中数量是否小于等于所述第一商品信息中的商品数量；
优选的，所述步骤S212和步骤S232中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的每种商品数量是否等于第一商品信息中的对应商品数量；
优选的，所述步骤S212和步骤S232为判断所述第N商品信息是否与所述第一商品信息一致；
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则执行后续步骤；
优选的，所述步骤S212和步骤S232为判断所述第N商品信息是否与所述第一商品信息一致，包括商品种类一致和每种商品的数量一致。
6.根据权利要求4所述的基于神经网络识别商品的收银方法，其特征在于，所述步骤S222和所述步骤S233中预设阈值为0.1g至10kg中的至少一个数值。
7.根据权利要求3所述的基于神经网络识别商品的收银方法，其特征在于，所述待检测商品的图像中待检测商品的数量≥1；
优选的，所述待检测商品的图像中待检测商品的数量为1～1000；
优选的，述待检测商品的图像中待检测商品的种类≥1；
优选的，所述待检测商品的图像中待检测商品的种类为1～1000。
8.根据权利要求3或4所述的基于神经网络识别商品的收银方法，其特征在于，所述反馈提示包括堆叠提示、错误报告中的至少一种。
9.一种用于实现权利要求1所述的基于神经网络识别商品的收银方法的自助收银台，其特征在于，包括收银桌面以及基于神经网络的商品识别装置，其中，所述商品识别装置位于所述收银桌面的上方且与所述收银桌面电连接，用于对所述收银桌面进行至少一个角度拍摄；
所述收银桌面具有多个分格槽，所述多个分格槽中至少有一个安装有重量传感器，其中，每个所述分格槽用于放置相同种类的商品；
所述基于神经网络的商品识别装置包括，
摄像单元，用于获取含有待检测商品的图像至少包括角度和/或景深不同第一商品图像至第N商品图像；N≥2；
识别信息单元，用于将从所述第一商品图像中提取的每一个第一识别图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将从所述第N商品图像中提取的每一个第N识别图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
识别判断单元，用于判断所述第N商品信息是否包含在所述第一商品信息中；如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；如判断结果为否，则输出反馈提示；
显示单元，用于输出账单信息和所述反馈提示；
所述摄像单元与所述识别信息单元相连接，所述识别信息单元与所述识别判断单元相连接，所述识别判断单元与所述显示单元相连接；
优选的，所述收银桌面与所述基于神经网络的商品识别装置之间设有控制器，用于根据所述收银桌面感应到的重量，控制所述商品识别装置的开关；
优选的，每个所述分格槽均安装有重量传感器。
CN201811133576.XA 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台 Active CN109559457B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2017108910070 2017-09-27
CN201710891007 2017-09-27

Publications (2)

Publication Number Publication Date
CN109559457A true CN109559457A (zh) 2019-04-02
CN109559457B CN109559457B (zh) 2021-09-21

Family

ID=62775868

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201810050328.2A Pending CN108269369A (zh) 2017-09-27 2018-01-18 结算箱及其结算方法
CN201820085363.3U Expired - Fee Related CN209132890U (zh) 2017-09-27 2018-01-18 结算箱
CN201810135196.3A Expired - Fee Related CN108320404B (zh) 2017-09-27 2018-02-09 基于神经网络的商品识别方法、装置、自助收银台
CN201811134347.XA Active CN109559458B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台
CN201811133556.2A Active CN109559454B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台
CN201811133576.XA Active CN109559457B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台

Family Applications Before (5)

Application Number Title Priority Date Filing Date
CN201810050328.2A Pending CN108269369A (zh) 2017-09-27 2018-01-18 结算箱及其结算方法
CN201820085363.3U Expired - Fee Related CN209132890U (zh) 2017-09-27 2018-01-18 结算箱
CN201810135196.3A Expired - Fee Related CN108320404B (zh) 2017-09-27 2018-02-09 基于神经网络的商品识别方法、装置、自助收银台
CN201811134347.XA Active CN109559458B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台
CN201811133556.2A Active CN109559454B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台

Country Status (2)

Country Link
CN (6) CN108269369A (zh)
WO (1) WO2019062017A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859418A (zh) * 2019-01-23 2019-06-07 王强 一种无人商场的购物结算方法
CN112466068A (zh) * 2020-11-26 2021-03-09 融讯伟业（北京）科技有限公司 基于计算机视觉技术的智能称重装置与智能称重方法
CN113178032A (zh) * 2021-03-03 2021-07-27 北京迈格威科技有限公司 一种视频处理方法、系统及存储介质

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035630A (zh) * 2018-08-21 2018-12-18 深圳码隆科技有限公司 商品信息识别方法和系统
CN108986357A (zh) * 2018-08-21 2018-12-11 深圳码隆科技有限公司 商品信息确定方法、系统和无人售货系统
CN109472205B (zh) * 2018-10-09 2021-07-30 深兰科技（上海）有限公司 商品识别方法、商品识别装置及存储介质
EP3867886A1 (en) 2018-10-17 2021-08-25 Supersmart Ltd. Imaging used to reconcile cart weight discrepancy
CN111220251A (zh) * 2018-11-26 2020-06-02 重庆小雨点小额贷款有限公司 一种养殖产品的数量确定方法、装置、终端及存储介质
CN111222388B (zh) * 2018-12-11 2023-09-19 图灵通诺（北京）科技有限公司 基于视觉识别的结算方法和系统
CN109684950A (zh) * 2018-12-12 2019-04-26 联想(北京)有限公司 一种处理方法及电子设备
CN109360358A (zh) * 2018-12-25 2019-02-19 北京旷视科技有限公司 支付设备、支付系统及自助结账方法
CN109711473A (zh) * 2018-12-29 2019-05-03 北京沃东天骏信息技术有限公司 物品识别方法、设备和系统
CN109741144B (zh) * 2019-01-04 2021-08-10 南京旷云科技有限公司 商品核验方法、装置、主机及设备
CN109840503B (zh) * 2019-01-31 2021-02-26 深兰科技（上海）有限公司 一种确定种类信息的方法及装置
CN109872168A (zh) * 2019-03-15 2019-06-11 南京亿猫信息技术有限公司 一种基于购物工具的防作弊系统
CN109977826B (zh) * 2019-03-15 2021-11-02 百度在线网络技术（北京）有限公司 物体的类别识别方法和装置
CN111368613B (zh) * 2019-05-22 2023-04-25 深圳深知未来智能有限公司 一种智能无人售货柜的快速上新方法
CN110956459A (zh) * 2019-11-28 2020-04-03 浙江由由科技有限公司 一种商品处理方法及系统
CN111126384A (zh) * 2019-12-12 2020-05-08 创新奇智(青岛)科技有限公司 基于特征融合的商品分类系统及分类方法
CN110942050A (zh) * 2019-12-20 2020-03-31 华南理工大学 一种基于图像处理的自动售卖机商品识别系统
US11429800B2 (en) 2020-05-13 2022-08-30 Hong Fu Jin Precision Industry (Wuhan) Co., Ltd. Object recognition system and related device
CN111724546A (zh) * 2020-05-20 2020-09-29 安徽谊品弘科技有限公司 一种生鲜超市智能收银台
CN111860629A (zh) * 2020-06-30 2020-10-30 北京滴普科技有限公司 首饰分类系统、方法、装置以及存储介质
CN112132105A (zh) * 2020-10-09 2020-12-25 深圳市智百威科技发展有限公司 一种基于商品视觉智能识别的收银方法
CN112700312A (zh) * 2021-03-24 2021-04-23 浙江口碑网络技术有限公司 物品对象的结算方法、服务器、客户端及系统
JP2022149539A (ja) * 2021-03-25 2022-10-07 東芝テック株式会社 情報処理装置、プログラム、および行動分析システム
CN113627393B (zh) * 2021-09-09 2024-03-29 河北工业大学 基于双重神经网络的商品识别方法及智能售货系统
CN114267139A (zh) * 2021-12-13 2022-04-01 湖南省金河计算机科技有限公司 一种基于物联网的智能pos机系统及其控制方法和电子设备
CN114399619A (zh) * 2022-01-14 2022-04-26 南京苏胜天信息科技有限公司 一种机器视觉图像识别系统及其处理方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470929A (zh) * 2007-12-28 2009-07-01 东芝泰格有限公司 商品销售数据处理装置及商品销售数据处理方法
CN101552911A (zh) * 2009-04-14 2009-10-07 陈秀祥 远程户外监控装置及自动监测控制方法
CN102013019A (zh) * 2010-12-03 2011-04-13 深圳市乐州光电技术有限公司 信息图像识别系统及方法
CN102326187A (zh) * 2008-12-23 2012-01-18 数据逻辑扫描公司 识别和结算物体的方法和系统
US20130058541A1 (en) * 2011-09-06 2013-03-07 Toshiba Tec Kabushiki Kaisha Image processing apparatus and method
CN104077842A (zh) * 2014-07-02 2014-10-01 浙江大学 基于图像识别的自选餐厅自助付费装置及其使用方法
CN104103135A (zh) * 2014-07-17 2014-10-15 张国铭 一种基于射频识别的物品自动结算纠错系统及方法
CN104240411A (zh) * 2014-07-23 2014-12-24 南京工程学院 一种超市散装商品智能购物装置
CN204706039U (zh) * 2015-05-29 2015-10-14 杭州晟元芯片技术有限公司 一种基于多镜头的条码识别装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5965861A (en) * 1997-02-07 1999-10-12 Ncr Corporation Method and apparatus for enhancing security in a self-service checkout terminal
CN101477729A (zh) * 2008-12-30 2009-07-08 于忠清 自助售饭系统以及该系统的信息处理方法
US8615476B2 (en) * 2009-04-15 2013-12-24 University Of Southern California Protecting military perimeters from approaching human and vehicle using biologically realistic neural network
CN103093208B (zh) * 2013-01-23 2016-04-13 中国科学技术大学 一种果蔬识别的方法及系统
CN104282094A (zh) * 2013-07-02 2015-01-14 张�杰 一种超市自动化收银装置
CN103424404A (zh) * 2013-08-01 2013-12-04 谢绍鹏 物品的品质检测方法与系统
US10242036B2 (en) * 2013-08-14 2019-03-26 Ricoh Co., Ltd. Hybrid detection recognition system
CN103617681A (zh) * 2013-11-11 2014-03-05 青岛中科英泰商用系统有限公司 具有提醒功能和多种防损措施的超市自助结算方法和设备
CN103632463A (zh) * 2013-11-14 2014-03-12 成都博约创信科技有限责任公司 一种基于图像识别技术的结算方法
JP6254895B2 (ja) * 2014-04-18 2017-12-27 東芝テック株式会社 読取装置及び商品販売データ処理装置
CN104077577A (zh) * 2014-07-03 2014-10-01 浙江大学 一种基于卷积神经网络的商标检测方法
JP6451274B2 (ja) * 2014-12-10 2019-01-16 カシオ計算機株式会社 商品処理システム、商品処理方法及びプログラム
US10074041B2 (en) * 2015-04-17 2018-09-11 Nec Corporation Fine-grained image classification by exploring bipartite-graph labels
CN106874296B (zh) * 2015-12-14 2021-06-04 阿里巴巴集团控股有限公司 一种商品的风格识别方法及装置
CN105719188B (zh) * 2016-01-22 2017-12-26 平安科技（深圳）有限公司 基于多张图片一致性实现保险理赔反欺诈的方法及服务器
CN106169135A (zh) * 2016-02-01 2016-11-30 唐超(北京)科技有限公司 自助结账防损校验方法及系统
JP6283806B2 (ja) * 2016-06-01 2018-02-28 サインポスト株式会社 情報処理システム
CN106203533B (zh) * 2016-07-26 2019-09-20 厦门大学 基于混合训练的深度学习人脸验证方法
CN106326852A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种基于深度学习的商品识别方法及装置
CN106384087A (zh) * 2016-09-05 2017-02-08 大连理工大学 一种基于多层网络人体特征的身份识别方法
CN106446937A (zh) * 2016-09-08 2017-02-22 天津大学 用于aer图像传感器的多层卷积识别系统
JP6165950B1 (ja) * 2016-09-20 2017-07-19 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN106340137A (zh) * 2016-11-14 2017-01-18 贵州师范学院 一种基于深度学习的自动称重机及其程序控制方法
CN106529494A (zh) * 2016-11-24 2017-03-22 深圳市永达电子信息股份有限公司 一种基于多摄像头机型的人脸识别方法
CN106886795B (zh) * 2017-02-17 2021-01-15 北京一维弦科技有限责任公司 基于图像中的显著物体的物体识别方法
CN106960214B (zh) * 2017-02-17 2020-11-20 北京一维弦科技有限责任公司 基于图像的物体识别方法
CN106959149A (zh) * 2017-04-05 2017-07-18 西安电子科技大学 果蔬自动称重与计价智能电子秤
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
CN107329925A (zh) * 2017-06-29 2017-11-07 卜涛 一种智能电子秤、应用其的超市计价系统及方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101470929A (zh) * 2007-12-28 2009-07-01 东芝泰格有限公司 商品销售数据处理装置及商品销售数据处理方法
CN102326187A (zh) * 2008-12-23 2012-01-18 数据逻辑扫描公司 识别和结算物体的方法和系统
CN101552911A (zh) * 2009-04-14 2009-10-07 陈秀祥 远程户外监控装置及自动监测控制方法
CN102013019A (zh) * 2010-12-03 2011-04-13 深圳市乐州光电技术有限公司 信息图像识别系统及方法
US20130058541A1 (en) * 2011-09-06 2013-03-07 Toshiba Tec Kabushiki Kaisha Image processing apparatus and method
CN104077842A (zh) * 2014-07-02 2014-10-01 浙江大学 基于图像识别的自选餐厅自助付费装置及其使用方法
CN104103135A (zh) * 2014-07-17 2014-10-15 张国铭 一种基于射频识别的物品自动结算纠错系统及方法
CN104240411A (zh) * 2014-07-23 2014-12-24 南京工程学院 一种超市散装商品智能购物装置
CN204706039U (zh) * 2015-05-29 2015-10-14 杭州晟元芯片技术有限公司 一种基于多镜头的条码识别装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109859418A (zh) * 2019-01-23 2019-06-07 王强 一种无人商场的购物结算方法
CN112466068A (zh) * 2020-11-26 2021-03-09 融讯伟业（北京）科技有限公司 基于计算机视觉技术的智能称重装置与智能称重方法
CN113178032A (zh) * 2021-03-03 2021-07-27 北京迈格威科技有限公司 一种视频处理方法、系统及存储介质

Also Published As

Publication number Publication date
CN108320404B (zh) 2020-04-03
CN109559454A (zh) 2019-04-02
CN109559457B (zh) 2021-09-21
CN109559454B (zh) 2021-09-21
WO2019062017A1 (zh) 2019-04-04
CN109559458B (zh) 2021-09-21
CN109559458A (zh) 2019-04-02
CN108269369A (zh) 2018-07-10
CN209132890U (zh) 2019-07-19
CN108320404A (zh) 2018-07-24

Similar Documents

Publication Publication Date Title
CN109559457A (zh) 基于神经网络识别商品的收银方法以及自助收银台
CN109214806B (zh) 自助结算方法、装置以及存储介质
JP7016187B2 (ja) 商品検知システムおよび商品検知方法
CN108537994A (zh) 基于视觉识别及重量感应技术的智能商品结算系统及方法
CN108269371B (zh) 商品自动结算方法、装置、自助收银台
US8430311B2 (en) Systems and methods for merchandise automatic checkout
US6779722B1 (en) System and method for updating a database of weights at a self-checkout terminal
RU2739542C1 (ru) Система автоматической регистрации для торговой точки
CN107767590A (zh) 物品自动识别商用条码电子秤及物品自动识别方法
CN109559453A (zh) 用于自动结算的人机交互装置及其应用
CN108171879A (zh) 一种自动售货结算的方法、装置及无人售货柜
CN112365255B (zh) 用于超市的无感支付方法和系统
JP7213295B2 (ja) コンピュータービジョンを利用したセルフ取引処理システム
CN114119001B (zh) 基于人工智能的商品销售货款收银智能管理分析平台
CN107798790A (zh) 信息处理装置及控制方法、终端设备
RU2724797C1 (ru) Кассовая система и способ для идентификации блюд на подносе
CN110782599A (zh) 用于自助收款的商品识别方法、自助收款装置及系统
CN109559186A (zh) 一种自动分发购物袋的方法、装置及应用
CN208903369U (zh) 一种基于与rfid智能结算平台之商品结算识别纠错系统
CN117133088A (zh) 一种基于移动终端的智能收银系统
CN112270562A (zh) 一种用于农产品商超的农产品自动调价结算方法及系统
WO2023049250A1 (en) Checkout terminal
Chen et al. Design of Intelligent supermarket cashier service system
CN115936794A (zh) 基于图像识别的农产品交易自动计重方法及系统
CN110472962A (zh) 一种基于图像识别的无人支付方法以及无人支付货架系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant