CN109559454B - 基于神经网络识别商品的收银方法以及自助收银台 - Google Patents

基于神经网络识别商品的收银方法以及自助收银台 Download PDF

Info

Publication number
CN109559454B
CN109559454B CN201811133556.2A CN201811133556A CN109559454B CN 109559454 B CN109559454 B CN 109559454B CN 201811133556 A CN201811133556 A CN 201811133556A CN 109559454 B CN109559454 B CN 109559454B
Authority
CN
China
Prior art keywords
commodity
detected
neural network
information
commodities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811133556.2A
Other languages
English (en)
Other versions
CN109559454A (zh
Inventor
陈子林
王良旗
朱海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Binguo Kewei Beijing Technology Co ltd
Original Assignee
Binguo Kewei Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Binguo Kewei Beijing Technology Co ltd filed Critical Binguo Kewei Beijing Technology Co ltd
Publication of CN109559454A publication Critical patent/CN109559454A/zh
Application granted granted Critical
Publication of CN109559454B publication Critical patent/CN109559454B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F9/00—Shop, bar, bank or like counters
    • A47F9/02—Paying counters
    • A47F9/04—Check-out counters, e.g. for self-service stores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3276—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being read by the M-device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F9/00—Shop, bar, bank or like counters
    • A47F9/02—Paying counters
    • A47F9/04—Check-out counters, e.g. for self-service stores
    • A47F2009/041—Accessories for check-out counters, e.g. dividers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于神经网络识别商品的收银方法，该方法包括：获得待检测商品的图像和重量；将含有待检测商品的图像输入基于神经网络的识别系统，基于神经网络的识别系统输出待检测商品信息；神经网络识别系统根据待检测商品信息和重量信息输出结账信息；顾客结账后解码商品的防盗码。该方法充分利用神经网络对商品进行识别，并对所得多幅图像所得商品信息进行判断，提高了对商品识别的准确性，结账的过程中，顾客只需要将商品放置在收银桌面上，自助收银台自动对商品进行快速结算，结账方法简单、省时、便于操作，尤其适用于生鲜类商品的结账过程。

Description

基于神经网络识别商品的收银方法以及自助收银台
技术领域
本发明涉及一种基于神经网络识别商品的收银方法以及自助收银台，属于图像识别领域。
背景技术
在超市中或者无人便利店中，对生鲜类物品结账的方式为人工结账机和自动结账机。
在使用自动结账机结账时，首先将生鲜类物品放置在称重台上，客户在与称重台电连接的显示屏上选择生鲜种类，然后称重台的输出商品的二维码价单，之后客户再扫描二维码进行结账。
在生鲜类结账过程中，顾客需要在存储了很多种类的生鲜菜单中选择出所需要商品，需要耗费很多时间；而且再称量第二生鲜物品时，往往需要退出现有界面，进入主菜单重新选择，并且而且顾客在选择生鲜菜单中的生鲜类别时经常不能一次性选择正确，需要反复进入不同界面中，因此对生鲜类商品进行自助结账时非常不便利；而且结账过程中还会出现由于商品类别选择不准确，还会导致顾客受到损失。
发明内容
为解决上述技术问题，本发明提供了一种基于神经网络识别商品的收银方法，该方法操作简单，对商品识别的准确性高，缩短了顾客的结账时间。
一种基于神经网络识别商品的收银方法，包括：
包括S100、获得含有待检测商品的图像；
其中，所述含有待检测商品的图像至少为二维图像；
所述含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
S200、将所述含有待检测商品的图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出待检测商品信息并且称量所述待检测商品重量；
其中，所述神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；
所述步骤S200包括：
S211、将所述第一图像输入所述第一神经网络，所述第一神经网络输出含有所述待检测商品的第一商品信息；将所述第N图像输入所述第一神经网络，所述第一神经网络输出含有所述待检测商品的第N商品信息；
S212、判断含有所述待检测商品的第N商品信息是否包含在含有所述待检测商品的的第一商品信息中，
如判断结果为是，则将含有所述待检测商品的第一商品信息作为所述待检测商品信息输出，
如判断结果为否，则输出反馈提示；
S213、称量所述待检测商品重量；
S300、根据所述待检测商品信息和所述待检测商品的重量输出成结账信息；
S400、客户根据所述结账信息完成支付或者客户根据所述反馈提示操作，然后重复上述步骤直到输出结账信息。
可选的，所述获得含有待检测商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；N＝2～4；
所述第一图像为所述待检测商品的正面图像。
可选的，所述步骤S212中判断含有所述待检测商品的第N商品信息是否包含在含有所述待检测商品的第一商品信息中的方法为，判断所述第N商品信息中的商品种类是否与所述第一商品信息中的商品种类相同。
可选的，所述步骤S212中判断含有所述待检测商品的第N商品信息是否包含在含有所述待检测商品的第一商品信息中的方法为，判断所述第N商品信息中的商品数量是否小于等于所述第一商品信息中的商品数量。
可选的，所述步骤S212为判断含有所述待检测商品的第N商品信息是否与含有所述待检测商品的第一商品信息一致；
如判断结果为是，则将含有所述待检测商品的第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则执行后续步骤。
可选的，所述步骤S212为判断含有所述待检测商品的第N商品信息是否与含有所述待检测商品的第一商品信息一致，包括商品种类一致和商品的数量一致。
可选的，所述含有待检测商品的图像中待检测商品的数量≥1。
可选的，所述含有待检测商品的图像中待检测商品的数量为1～1000。
可选的，所述反馈提示包括堆叠提示、错误报告中的至少一种。
根据本发明的又一方面，提供一种基于神经网络识别商品的自助收银台，包括用于放置待检测商品的收银桌面以及基于神经网络的商品识别装置，其中所述商品识别装置位于所述收银桌面的上方，用于对所述收银桌面进行至少一个角度拍摄；
所述收银台上安装有重力传感器，所述重力传感器用于测量所述待检测商品的重量；
所述基于神经网络的商品识别装置包括，
摄像单元，用于获取含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
识别信息单元，用于将所述第一图像输入所述第一神经网络，所述第一神经网络输出含有所述待检测商品的种类和数量的第一商品信息；将所述第N图像输入所述第一神经网络，所述第一神经网络输出含有所述待检测商品的种类和数量的第N商品信息；
识别判断单元，用于判断含有所述待检测商品的种类和数量的第N商品信息是否包含在含有所述待检测商品的种类和数量的第一商品信息中；如判断结果为是，则将含有所述待检测商品的种类和数量的第一商品信息作为所述待检测商品信息输出；如判断结果为否，则输出反馈提示；
显示单元，用于输出所述待检测商品信息和所述反馈提示；
所述摄像单元与所述识别信息单元相连接，所述识别信息单元与所述识别判断单元相连接，所述识别判断单元与所述显示单元相连接。
可选的，所述重力传感器位于所述收银桌面的底面。
可选的，所述重力传感器为薄膜传感器。
可选的，所述收银桌面与所述基于神经网络的商品识别装置之间设有控制器，用于根据所述收银桌面感应到的重量，控制所述商品识别装置的开关。
本发明的有益效果包括但不限于：
1)本发明提供的基于神经网络识别商品的收银方法，充分利用神经网络对商品进行识别，并对所得多幅图像所得商品信息进行判断，提高了对商品识别的准确性。
2)本发明提供的基于神经网络识别商品的收银方法，在对商品进行结账的过程中，顾客只需要将商品放置在收银桌面上，自助收银台自动对商品进行快速结算，结账方法简单、省时、便于操作。
3)本发明提供的基于神经网络识别商品的收银方法，由于神经网络识别系统的识别准确度高，减少了顾客的经济损失。
4)本发明所提供的基于神经网络识别商品的自助收银台，可实现用户自主结算，结算效率高，结算结果准确。
附图说明
图1是本发明实施例1中基于神经网络识别商品的收银方法流程示意框图；
图2是本发明实施例3中所提供的基于神经网络识别商品的自助收银台的结构示意图；
图3是本发明实施例3中提供的基于神经网络的商品识别装置的结构框图；
附图标记列表：
1 收银桌面； 11 重力传感器； 2 商品识别装置；
100 摄像单元； 210 识别信息单元； 220 识别判断单元；
300 显示单元。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例1
参见图1，本发明提供的基于神经网络识别商品的收银方法，包括：
获得含有待检测商品的图像和重量；
其中，含有待检测商品的图像至少为二维图像；
含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
将含有待检测商品的图像输入基于神经网络的识别系统，基于神经网络的识别系统输出待检测商品信息；
其中，神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；
基于神经网络识别商品的收银方法包括步骤：
S211、将第一图像输入第一神经网络，第一神经网络输出含有待检测商品的第一商品信息；将第N图像输入第一神经网络，第一神经网络输出含有待检测商品的第N商品信息；
S212、判断含有待检测商品的第N商品信息是否包含在含有待检测商品的第一商品信息中，
如判断结果为是，则将含有待检测商品的第一商品信息作为待检测商品信息输出，
如判断结果为否，则输出反馈提示；
根据待检测商品信息和待检测商品重量输出结账信息或者客户根据步骤S212中所述反馈提示进行操作，然后重复上述步骤直到输出结账信息；
结账成功后对所述待检测商品的防盗码解码。
具体的，待检测商品信息包括待检测商品的种类，或者还包括待检测商品的数量。
本发明提供的基于神经网络识别商品的收银方法可以用于无人值守环境下，自助获取结算商品信息后进行自助购物，当然还可以用于各种超市。该方法充分利用神经网络对商品进行识别，并对所得多幅图像所得商品信息进行判断，提高了对商品识别的准确性。在结账过程中，顾客只需要将商品放置在收银桌面上，自助收银台自动对商品进行快速结算，结账方法简单、省时、便于操作。尤其对于生鲜类的商品，神经网络系统可以准确识别出生鲜商品的种类，然后利用收银桌面上的重力传感器对其进行称重，进而神经网络系统对商品的类别信息和重量信息进行整合，则可以生成商品的结账信息，顾客根据该结账信息就可以进行付款了。在整个过程中，顾客只需要将生鲜商品放置在收银桌面上即可，其余的操作过程均有神经网络系统进行处理，因此顾客无需对选择菜单上的商品进行重复选择，所以本申请提供的收银方法简单、省时、便于操作。该方法可以用于处理的商品数量不限，例如可以为含有待检测商品的图像中待检测商品的数量≥1。含有待检测商品的图像中待检测商品的数量为1～1000。
可选的，获得含有待检测商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；N＝2～4；
第一图像为待检测商品的正面图像。
可选的，步骤S212中判断含有待检测商品的第N商品信息是否包含在含有待检测商品的第一商品信息中的方法为，判断第N商品信息中的商品种类是否于第一商品信息中的商品种类相同。
可选的，步骤S212中判断含有待检测商品的第N商品信息是否包含在含有待检测商品的第一商品信息中的方法为，判断第N商品信息中数量是否小于等于第一商品信息中的商品数量。
实施例2
在上述实施例的基础上，本实施例提供的基于神经网络识别商品的收银方法中，步骤S212为判断含有待检测商品的第N商品信息是否与含有待检测商品的第一商品信息一致；如判断结果为是，则将含有待检测商品的第一商品信息作为所述待检测商品信息输出；如判断结果为否，则执行后续步骤。
优选的，步骤S212为判断含有待检测商品的第N商品信息是否与含有待检测商品的第一商品信息一致，包括商品种类一致和商品的数量一致。
可选的，反馈提示包括堆叠提示、错误报告中的至少一种。当神经网络识别系统反馈结果为堆叠提示时，客户只需将商品重新摆放，神经网络识别系统自动进行识别，直到输出待测商品信息生成结账信息为止。
实施例3
见图2，本发明的另一方面还提供了一种基于神经网络识别商品的自助收银台，包括用于放置待检测商品的收银桌面1以及基于神经网络的商品识别装置2，其中商品识别装置2中的摄像单元100位于收银桌面1的上方，用于对收银桌面进行至少一个角度拍摄；
收银台上安装有重力传感器11，重力传感11用于测量待检测商品的重量；
参见图3所示，基于神经网络的商品识别装置2包括，
摄像单元100，用于获取含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
识别信息单元210，用于将第一图像输入第一神经网络，第一神经网络输出第一商品信息；将第N图像输入第一神经网络，第一神经网络输出第N商品信息；
识别判断单元220，用于判断第N商品信息是否包含在第一商品信息中；如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示；
显示单元300，用于输出待检测商品信息和反馈提示；
摄像单元100与识别信息单元210相连接，识别信息单元210与识别判断单元220相连接，识别判断单元220与显示单元300相连接。上述各单元的实现可以通过在现有各种器件上设置相应程序实现。
可选的，商品识别装置2中的摄像单元100位于收银桌面1的正上方，或者也可以位于斜上方。
优选的，识别信息单元210和识别判断单元220，用于基于神经网络识别商品的收银方法进行商品识别和判断。
可选地，摄像单元100包括两个普通网络摄像头，两个可调整任意角度的固定器，一台可运行图片上传的持续的计算机，一个高精度重量传感器。主要工作流程为：计算机上运行一个图像抓取程序，该程序可以将同一时间的两个摄像头抓取的画面图像上传到远程服务器，远程服务器将识别结果返回。此方案成本极低，工作计算机也只需要最基础配置即可。
可选地，摄像单元100包括2-4个固定镜头高清摄像头，相应数量的可调节角度固定器，一个高精度重量传感器，一台带显存2G以上显卡的计算机。主要工作流程为，算机上运行一个图像抓取程序，该程序可以将同一时间的两个摄像头抓取的画面图像在本地识别。
可选地，基于神经网络的商品识别装置可批量检测(低成本方案)，采用多个普通摄像头，从不同角度获得待检测商品的图像。
多个不同角度的摄像头可以解决商品在同一个2D图片中因为摆放角度和物品高度差异产生的遮挡问题。基本上3个摄像头可以实现无死角获取待识别所需信息，合适的摄像头机位情况下，2个摄像头也可以达到较理想效果。
优选的，可选地，摄像单元100包括第一摄像头和第二摄像头；
第一摄像头和第二摄像头分别从不同角度获取商品图像。
可选的，重力传感器11位于收银桌面的底面。
可选的，重力传感器11为薄膜传感器。
可选的，收银桌面1与基于神经网络的商品识别装置2之间设有控制器，用于根据收银桌面1感应到的重量，控制商品识别装置2的开合。其中，控制器可以为控制电路，或者也可以为单片机。
实施例4
顾客在无人便利店购买生鲜商品时，购物步骤如下：
顾客选择完生鲜商品后，将同一类生鲜商品放置收银桌面上；
载物台对生鲜商品称重，并触发基于神经网络的商品识别装置启动商品识别程序；
摄像头从不同角度拍摄载物台上的商品，获得商品正上方图片为第一图像P1，以及3个不同角度的侧向图片分别记为P2、P3、P4，并将商品图片Base64编码POST到图像识别服务器，分别进行图像识别；
对P1识别结果的R1为第一商品信息(包括所有商品品名、单价)，对P2识别结果的R2为第二商品信息(包括所有商品品名、单价)......对P4识别结果的R4为第四商品信息(包括所有商品品名、单价)；
如果：1)第二商品信息中的商品的种类(品名)与第一商品信息中的商品的种类(品名)相同；
2)第三商品信息中的商品的种类(品名)与第一商品信息中的商品的数量(品名)相同；
3)第四商品信息中的商品的种类(品名)与第一商品信息中的商品的种类相等(品名)相同；
则判断为第二～第四商品信息均包含在第一商品信息中，则将R1作为待检测商品信息输出，神经网络识别系统根据待检测商品信息和待检测商品的重量向订单处理接口请求生成订单；
若1)、2)、3)中任意一个判断条件不满足，则判断为第二～第四商品信息不包含在第一商品信息中，则在操作界面显示错误提示，提示顾客变换商品的拍摄角度；摄像头重新拍摄载物台上的商品，获得新的商品图片，直至第二～第四商品信息均包含在第一商品信息中，向订单处理接口请求生成订单；
订单处理接口收到生成订单请求，发出支付二维码字符串，在操作界面生成支付二维码；
顾客扫描支付二维码；
支付成功后，消息SOCKET发送支付成功的消息，对载物台上的商品进行消磁；
消息SOCKET向安全通道发送人脸识别消息；
顾客携带商品通过包括检测装置的安全通道，如未检测到未消磁标签，大门开启，顾客走出无人购物便利店；如检测到未消磁标签，则发出未支付警告，大门不开启。
实施例5
顾客在无人便利店购买生鲜商品时，购物步骤如下：
顾客选择完生鲜商品后，将同一类生鲜商品放置收银桌面上；
载物台对生鲜商品称重，并触发基于神经网络的商品识别装置启动商品识别程序；
摄像头从不同角度拍摄载物台上的商品，获得商品正上方图片为第一图像P1，以及3个不同角度的侧向图片分别记为P2、P3、P4，并将商品图片Base64编码POST到图像识别服务器，分别进行图像识别；
对P1识别结果的R1为第一商品信息(包括所有商品品名、单价、数量)，对P2识别结果的R2为第二商品信息(包括所有商品品名、单价、数量)对P4识别结果的R4为第四商品信息(包括所有商品品名、单价、数量)；
如果：1)第二商品信息中的商品的种类(品名)和数量与第一商品信息中的商品的种类(品名)和数量相同；
2)第三商品信息中的商品的种类(品名)和数量与第一商品信息中的商品的数量(品名)和数量相同；
3)第四商品信息中的商品的种类(品名)和数量与第一商品信息中的商品的种类相等(品名)和数量相同；
则判断为第二～第四商品信息与第一商品信息一致，则将R1作为待检测商品信息输出，神经网络识别系统根据待检测商品信息和待检测商品的重量向订单处理接口请求生成订单；
若1)、2)、3)中任意一个判断条件不满足，则判断为第二～第四商品信息与第一商品信息不一致，则在操作界面显示错误提示，提示顾客变换商品的拍摄角度；摄像头重新拍摄载物台上的商品，获得新的商品图片，直至第二～第四商品信息与第一商品信息一致，向订单处理接口请求生成订单；
订单处理接口收到生成订单请求，发出支付二维码字符串，在操作界面生成支付二维码；
顾客扫描支付二维码；
支付成功后，消息SOCKET发送支付成功的消息，对载物台上的商品进行消磁；
消息SOCKET向安全通道发送人脸识别消息；
顾客携带商品通过包括检测装置的安全通道，如未检测到未消磁标签，大门开启，顾客走出无人购物便利店；如检测到未消磁标签，则发出未支付警告，大门不开启。
以上所述，仅是本发明的几个实施例，并非对本发明做任何形式的限制，虽然本发明以较佳实施例揭示如上，然而并非用以限制本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (11)

1.一种基于神经网络识别商品的收银方法，其特征在于，包括：
获得含有待检测商品的图像和重量；
其中，所述含有待检测商品的图像至少为二维图像；
所述含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2，所述第一图像为所述待检测商品的正面图像；
将所述含有待检测商品的图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出待检测商品信息；
其中，所述基于神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；
所述基于神经网络识别商品的收银方法包括步骤：
S211、将所述第一图像输入所述第一神经网络，所述第一神经网络输出含有所述待检测商品的第一商品信息；将所述第N图像输入所述第一神经网络，所述第一神经网络输出含有所述待检测商品的第N商品信息；
S212、判断含有所述待检测商品的第N商品信息是否包含在含有所述待检测商品的第一商品信息中，包括：判断所述第N商品信息中的商品种类是否与所述第一商品信息中的商品种类相同；
如判断结果为是，则将含有所述待检测商品的第一商品信息作为所述待检测商品信息输出，
如判断结果为否，则输出反馈提示；所述反馈提示包括堆叠提示；当所述基于神经网络的识别系统反馈结果为堆叠提示时，客户只需将商品重新摆放，所述基于神经网络的识别系统自动进行识别；
根据所述待检测商品信息和所述待检测商品重量输出结账信息或者客户根据步骤S212中所述反馈提示进行操作，然后重复上述步骤直到输出结账信息；
结账成功后对所述待检测商品的防盗码解码。
2.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述获得含有待检测商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；N=2~4。
3.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述步骤S212中判断含有所述待检测商品的第N商品信息是否包含在含有所述待检测商品的第一商品信息中的方法为，判断所述第N商品信息中的商品数量是否小于等于所述第一商品信息中的商品数量。
4.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述步骤S212为判断含有所述待检测商品的第N商品信息是否与含有所述待检测商品的第一商品信息一致；
如判断结果为是，则将含有所述待检测商品的第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则执行后续步骤。
5.根据权利要求4所述的基于神经网络识别商品的收银方法，其特征在于，
所述步骤S212为判断含有所述待检测商品的第N商品信息是否与含有所述待检测商品的第一商品信息一致，包括商品种类一致和商品的数量一致。
6.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述含有待检测商品的图像中待检测商品的数量≥1。
7.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述含有待检测商品的图像中待检测商品的数量为1~1000。
8.一种基于神经网络识别商品的自助收银台，其特征在于，包括用于放置待检测商品的收银桌面以及基于神经网络的商品识别装置，其中所述商品识别装置位于所述收银桌面的上方，用于对所述收银桌面进行至少一个角度拍摄；
所述收银台上安装有重力传感器，所述重力传感器用于测量所述待检测商品的重量；
所述基于神经网络的商品识别装置包括，
摄像单元，用于获取含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
识别信息单元，用于将所述第一图像输入第一神经网络，所述第一神经网络输出含有所述待检测商品的种类和数量的第一商品信息；将所述第N图像输入所述第一神经网络，所述第一神经网络输出含有所述待检测商品的种类和数量的第N商品信息；
识别判断单元，用于判断含有所述待检测商品的种类和数量的第N商品信息是否包含在含有所述待检测商品的种类和数量的第一商品信息中；如判断结果为是，则将含有所述待检测商品的种类和数量的第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示；所述反馈提示包括堆叠提示；当所述基于神经网络的识别系统反馈结果为堆叠提示时，客户只需将商品重新摆放，所述基于神经网络的识别系统自动进行识别；
显示单元，用于输出所述待检测商品信息和所述反馈提示；
所述摄像单元与所述识别信息单元相连接，所述识别信息单元与所述识别判断单元相连接，所述识别判断单元与所述显示单元相连接。
9.根据权利要求8所述的基于神经网络识别商品的自助收银台，其特征在于，所述重力传感器位于所述收银桌面的底面。
10.根据权利要求9所述的基于神经网络识别商品的自助收银台，其特征在于，所述重力传感器为薄膜传感器。
11.根据权利要求8所述的基于神经网络识别商品的自助收银台，其特征在于，所述收银桌面与所述基于神经网络的商品识别装置之间设有控制器，用于根据所述收银桌面感应到的重量，控制所述商品识别装置的开关。
CN201811133556.2A 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台 Expired - Fee Related CN109559454B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710891007 2017-09-27
CN2017108910070 2017-09-27

Publications (2)

Publication Number Publication Date
CN109559454A CN109559454A (zh) 2019-04-02
CN109559454B true CN109559454B (zh) 2021-09-21

Family

ID=62775868

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201820085363.3U Expired - Fee Related CN209132890U (zh) 2017-09-27 2018-01-18 结算箱
CN201810050328.2A Pending CN108269369A (zh) 2017-09-27 2018-01-18 结算箱及其结算方法
CN201810135196.3A Expired - Fee Related CN108320404B (zh) 2017-09-27 2018-02-09 基于神经网络的商品识别方法、装置、自助收银台
CN201811133576.XA Expired - Fee Related CN109559457B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台
CN201811134347.XA Expired - Fee Related CN109559458B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台
CN201811133556.2A Expired - Fee Related CN109559454B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台

Family Applications Before (5)

Application Number Title Priority Date Filing Date
CN201820085363.3U Expired - Fee Related CN209132890U (zh) 2017-09-27 2018-01-18 结算箱
CN201810050328.2A Pending CN108269369A (zh) 2017-09-27 2018-01-18 结算箱及其结算方法
CN201810135196.3A Expired - Fee Related CN108320404B (zh) 2017-09-27 2018-02-09 基于神经网络的商品识别方法、装置、自助收银台
CN201811133576.XA Expired - Fee Related CN109559457B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台
CN201811134347.XA Expired - Fee Related CN109559458B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台

Country Status (2)

Country Link
CN (6) CN209132890U (zh)
WO (1) WO2019062017A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035630A (zh) * 2018-08-21 2018-12-18 深圳码隆科技有限公司 商品信息识别方法和系统
CN108986357A (zh) * 2018-08-21 2018-12-11 深圳码隆科技有限公司 商品信息确定方法、系统和无人售货系统
CN109472205B (zh) * 2018-10-09 2021-07-30 深兰科技（上海）有限公司 商品识别方法、商品识别装置及存储介质
EP3867886A1 (en) 2018-10-17 2021-08-25 Supersmart Ltd. Imaging used to reconcile cart weight discrepancy
CN111220251A (zh) * 2018-11-26 2020-06-02 重庆小雨点小额贷款有限公司 一种养殖产品的数量确定方法、装置、终端及存储介质
CN111222388B (zh) * 2018-12-11 2023-09-19 图灵通诺（北京）科技有限公司 基于视觉识别的结算方法和系统
CN109684950A (zh) * 2018-12-12 2019-04-26 联想(北京)有限公司 一种处理方法及电子设备
CN109360358A (zh) * 2018-12-25 2019-02-19 北京旷视科技有限公司 支付设备、支付系统及自助结账方法
CN109711473A (zh) * 2018-12-29 2019-05-03 北京沃东天骏信息技术有限公司 物品识别方法、设备和系统
CN109741144B (zh) * 2019-01-04 2021-08-10 南京旷云科技有限公司 商品核验方法、装置、主机及设备
CN109859418A (zh) * 2019-01-23 2019-06-07 王强 一种无人商场的购物结算方法
CN109840503B (zh) * 2019-01-31 2021-02-26 深兰科技（上海）有限公司 一种确定种类信息的方法及装置
CN109872168A (zh) * 2019-03-15 2019-06-11 南京亿猫信息技术有限公司 一种基于购物工具的防作弊系统
CN109977826B (zh) * 2019-03-15 2021-11-02 百度在线网络技术（北京）有限公司 物体的类别识别方法和装置
CN111368613B (zh) * 2019-05-22 2023-04-25 深圳深知未来智能有限公司 一种智能无人售货柜的快速上新方法
WO2021032472A1 (en) * 2019-08-20 2021-02-25 Aquaticode Ltd. Methods and systems for predicting smoltification in fish through non-invasive means
CN110956459A (zh) * 2019-11-28 2020-04-03 浙江由由科技有限公司 一种商品处理方法及系统
CN111126384A (zh) * 2019-12-12 2020-05-08 创新奇智(青岛)科技有限公司 基于特征融合的商品分类系统及分类方法
CN110942050A (zh) * 2019-12-20 2020-03-31 华南理工大学 一种基于图像处理的自动售卖机商品识别系统
US11429800B2 (en) 2020-05-13 2022-08-30 Hong Fu Jin Precision Industry (Wuhan) Co., Ltd. Object recognition system and related device
CN111724546A (zh) * 2020-05-20 2020-09-29 安徽谊品弘科技有限公司 一种生鲜超市智能收银台
CN111860629A (zh) * 2020-06-30 2020-10-30 北京滴普科技有限公司 首饰分类系统、方法、装置以及存储介质
CN112132105A (zh) * 2020-10-09 2020-12-25 深圳市智百威科技发展有限公司 一种基于商品视觉智能识别的收银方法
CN114550385A (zh) * 2020-11-26 2022-05-27 融讯伟业（北京）科技有限公司 基于计算机视觉技术的智能称重装置与智能称重方法
CN113178032A (zh) * 2021-03-03 2021-07-27 北京迈格威科技有限公司 一种视频处理方法、系统及存储介质
CN112700312A (zh) * 2021-03-24 2021-04-23 浙江口碑网络技术有限公司 物品对象的结算方法、服务器、客户端及系统
JP2022149539A (ja) * 2021-03-25 2022-10-07 東芝テック株式会社 情報処理装置、プログラム、および行動分析システム
CN113627393B (zh) * 2021-09-09 2024-03-29 河北工业大学 基于双重神经网络的商品识别方法及智能售货系统
CN114267139A (zh) * 2021-12-13 2022-04-01 湖南省金河计算机科技有限公司 一种基于物联网的智能pos机系统及其控制方法和电子设备
CN114399619A (zh) * 2022-01-14 2022-04-26 南京苏胜天信息科技有限公司 一种机器视觉图像识别系统及其处理方法
US20240193573A1 (en) * 2022-12-07 2024-06-13 Fujitsu Limited Storage medium and information processing device

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5965861A (en) * 1997-02-07 1999-10-12 Ncr Corporation Method and apparatus for enhancing security in a self-service checkout terminal
JP2009163331A (ja) * 2007-12-28 2009-07-23 Toshiba Tec Corp 商品販売データ処理装置及びコンピュータプログラム
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
CN101477729A (zh) * 2008-12-30 2009-07-08 于忠清 自助售饭系统以及该系统的信息处理方法
CN101552911B (zh) * 2009-04-14 2012-09-26 重庆市海普软件产业有限公司 远程户外监控装置及自动监测控制方法
US8615476B2 (en) * 2009-04-15 2013-12-24 University Of Southern California Protecting military perimeters from approaching human and vehicle using biologically realistic neural network
CN102013019A (zh) * 2010-12-03 2011-04-13 深圳市乐州光电技术有限公司 信息图像识别系统及方法
JP5554796B2 (ja) * 2011-09-06 2014-07-23 東芝テック株式会社 情報処理装置およびプログラム
CN103093208B (zh) * 2013-01-23 2016-04-13 中国科学技术大学 一种果蔬识别的方法及系统
CN104282094A (zh) * 2013-07-02 2015-01-14 张�杰 一种超市自动化收银装置
CN103424404A (zh) * 2013-08-01 2013-12-04 谢绍鹏 物品的品质检测方法与系统
US10242036B2 (en) * 2013-08-14 2019-03-26 Ricoh Co., Ltd. Hybrid detection recognition system
CN103617681A (zh) * 2013-11-11 2014-03-05 青岛中科英泰商用系统有限公司 具有提醒功能和多种防损措施的超市自助结算方法和设备
CN103632463A (zh) * 2013-11-14 2014-03-12 成都博约创信科技有限责任公司 一种基于图像识别技术的结算方法
JP6254895B2 (ja) * 2014-04-18 2017-12-27 東芝テック株式会社 読取装置及び商品販売データ処理装置
CN104077842B (zh) * 2014-07-02 2017-02-15 浙江大学 基于图像识别的自选餐厅自助付费装置及其使用方法
CN104077577A (zh) * 2014-07-03 2014-10-01 浙江大学 一种基于卷积神经网络的商标检测方法
CN104103135A (zh) * 2014-07-17 2014-10-15 张国铭 一种基于射频识别的物品自动结算纠错系统及方法
CN104240411A (zh) * 2014-07-23 2014-12-24 南京工程学院 一种超市散装商品智能购物装置
JP6451274B2 (ja) * 2014-12-10 2019-01-16 カシオ計算機株式会社 商品処理システム、商品処理方法及びプログラム
US10074041B2 (en) * 2015-04-17 2018-09-11 Nec Corporation Fine-grained image classification by exploring bipartite-graph labels
CN204706039U (zh) * 2015-05-29 2015-10-14 杭州晟元芯片技术有限公司 一种基于多镜头的条码识别装置
CN106874296B (zh) * 2015-12-14 2021-06-04 阿里巴巴集团控股有限公司 一种商品的风格识别方法及装置
CN105719188B (zh) * 2016-01-22 2017-12-26 平安科技（深圳）有限公司 基于多张图片一致性实现保险理赔反欺诈的方法及服务器
CN106169135A (zh) * 2016-02-01 2016-11-30 唐超(北京)科技有限公司 自助结账防损校验方法及系统
JP6283806B2 (ja) * 2016-06-01 2018-02-28 サインポスト株式会社 情報処理システム
CN106203533B (zh) * 2016-07-26 2019-09-20 厦门大学 基于混合训练的深度学习人脸验证方法
CN106326852A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种基于深度学习的商品识别方法及装置
CN106384087A (zh) * 2016-09-05 2017-02-08 大连理工大学 一种基于多层网络人体特征的身份识别方法
CN106446937A (zh) * 2016-09-08 2017-02-22 天津大学 用于aer图像传感器的多层卷积识别系统
JP6165950B1 (ja) * 2016-09-20 2017-07-19 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN106340137A (zh) * 2016-11-14 2017-01-18 贵州师范学院 一种基于深度学习的自动称重机及其程序控制方法
CN106529494A (zh) * 2016-11-24 2017-03-22 深圳市永达电子信息股份有限公司 一种基于多摄像头机型的人脸识别方法
CN106886795B (zh) * 2017-02-17 2021-01-15 北京一维弦科技有限责任公司 基于图像中的显著物体的物体识别方法
CN106960214B (zh) * 2017-02-17 2020-11-20 北京一维弦科技有限责任公司 基于图像的物体识别方法
CN106959149A (zh) * 2017-04-05 2017-07-18 西安电子科技大学 果蔬自动称重与计价智能电子秤
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
CN107329925A (zh) * 2017-06-29 2017-11-07 卜涛 一种智能电子秤、应用其的超市计价系统及方法

Also Published As

Publication number Publication date
CN109559457A (zh) 2019-04-02
CN209132890U (zh) 2019-07-19
CN108320404A (zh) 2018-07-24
CN109559454A (zh) 2019-04-02
CN109559458A (zh) 2019-04-02
CN108269369A (zh) 2018-07-10
CN108320404B (zh) 2020-04-03
CN109559458B (zh) 2021-09-21
WO2019062017A1 (zh) 2019-04-04
CN109559457B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN109559454B (zh) 基于神经网络识别商品的收银方法以及自助收银台
CN108269371B (zh) 商品自动结算方法、装置、自助收银台
US11501614B2 (en) Skip-scanning identification method, apparatus, and self-service checkout terminal and system
US5426282A (en) System for self-checkout of bulk produce items
JP6999404B2 (ja) 物品認識装置及び物品認識方法
WO2019019525A1 (zh) 基于卷积神经网络的图像识别技术的结算方法和装置
WO2019062812A1 (zh) 用于自动结算的人机交互装置及其应用
US11908288B2 (en) Imaging used to reconcile cart weight discrepancy
CN108960132B (zh) 一种开放式自动售货机中商品的购买方法及其装置
CN108140209A (zh) 信息处理装置、信息处理方法和其中存储有程序的记录介质
CN108140282A (zh) 信息处理装置、信息处理方法和存储程序的记录介质
JP2018124988A (ja) リモート計量装置
US20120000978A1 (en) Self-service checkout pay station located remote from a produce weighing scale and methods of operating such a self-service checkout pay station
US8302862B2 (en) Code reading apparatus and code reading method
EP3901841A1 (en) Settlement method, apparatus, and system
WO2019165895A1 (zh) 自动售货方法和系统以及自动售货装置和自动贩售机
EP3226216A1 (en) Weighing device
CN109064636A (zh) 一种基于图像识别的自助售货柜系统的购物方法
US20190108503A1 (en) Reading apparatus, reading method, and computer readable medium
CN113554812B (zh) 自动售货柜及控制系统、控制方法
CN109166257B (zh) 一种购物车商品核验方法及其装置
US20180308084A1 (en) Commodity information reading device and commodity information reading method
JP6375926B2 (ja) 商品認識装置及び商品登録装置
CN110782599A (zh) 用于自助收款的商品识别方法、自助收款装置及系统
CN114358881A (zh) 自助结算方法、装置和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210921