CN109559458B - 基于神经网络识别商品的收银方法以及自助收银台 - Google Patents

基于神经网络识别商品的收银方法以及自助收银台 Download PDF

Info

Publication number
CN109559458B
CN109559458B CN201811134347.XA CN201811134347A CN109559458B CN 109559458 B CN109559458 B CN 109559458B CN 201811134347 A CN201811134347 A CN 201811134347A CN 109559458 B CN109559458 B CN 109559458B
Authority
CN
China
Prior art keywords
commodity
neural network
information
detected
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811134347.XA
Other languages
English (en)
Other versions
CN109559458A (zh
Inventor
陈子林
王良旗
朱海峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Binguo Kewei Beijing Technology Co ltd
Original Assignee
Binguo Kewei Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Binguo Kewei Beijing Technology Co ltd filed Critical Binguo Kewei Beijing Technology Co ltd
Publication of CN109559458A publication Critical patent/CN109559458A/zh
Application granted granted Critical
Publication of CN109559458B publication Critical patent/CN109559458B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F9/00—Shop, bar, bank or like counters
    • A47F9/02—Paying counters
    • A47F9/04—Check-out counters, e.g. for self-service stores
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/30—Payment architectures, schemes or protocols characterised by the use of specific devices or networks
    • G06Q20/32—Payment architectures, schemes or protocols characterised by the use of specific devices or networks using wireless devices
    • G06Q20/327—Short range or proximity payments by means of M-devices
    • G06Q20/3276—Short range or proximity payments by means of M-devices using a pictured code, e.g. barcode or QR-code, being read by the M-device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0018—Constructional details, e.g. of drawer, printing means, input means
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0072—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the weight of the article of which the code is read, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/01—Details for indicating
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
    • A47F9/00—Shop, bar, bank or like counters
    • A47F9/02—Paying counters
    • A47F9/04—Check-out counters, e.g. for self-service stores
    • A47F2009/041—Accessories for check-out counters, e.g. dividers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于神经网络识别商品的收银方法，该方法包括：获取含有待检测商品的第一商品图像，然后将第一商品图像按照预设的方式进行提取，从而获得至少两个第一识别图像，再将每一个识别图像输入神经网络识别系统，神经网络识别系统对每一个识别图像进行识别从而获得每个第一识别图像中的待检测商品的信息。该方法通过对不同种类的商品分别进行识别，降低了神经网络识别系统的识别难易程度，因此无需长时间对神经网络进行重复强化训练，降低了自动结账机投放市场的时间成本，从而可以获得更好的经济效益；并且由于神经网络识别系统可以准确地确定商品的类别，因此大大降低了商品结账过程中的出错概率，提高了结账效率。

Description

基于神经网络识别商品的收银方法以及自助收银台
技术领域
本发明涉及一种基于神经网络识别商品的收银方法以及自助收银台，属于图像识别领域。
背景技术
为提高社区的生活便利度，在很多社区周边都建设有无人便利店，在无人便利店中均设有自助结账机。
现有的自助结账机大多数为顾客自动扫码结账，顾客需要对每件商品进行扫码，因此结账效率很慢，尤当便利店中客户较多时，降低了客户对无人便利店的体验感。
现在还有一种基于神经网络识别技术的自助结账机，在使用该结账机时，客户将所有物品放置在收银台上，由商品自动结算装置进行拍照处理产生结账单。然后由于所有物品均集中堆放在收银台上，很容易产生堆积或者叠压，因此导致摄像头不能完全将所有商品均识别出来，所以需要不断重复强化训练神经网络，而重复强化训练神经网络需要大量的时间，导致自助结账机投放市场的时间成本大大提高。
发明内容
为解决上述技术问题，本发明提供了一种基于神经网络识别商品的收银方法，该方法可以准确地对商品的种类进行识别，缩短了对神经网络的训练时间，降低了自助收银台投放市场的时间成本，从而可以获得更好的经济效益；并且该收银台可以同时对多件商品进行结算，缩短了客户的结账时间。
本申请一方面提供的基于神经网络识别商品的收银方法，包括：
获得待检测商品的第一商品图像；
将所述第一商品图像按照预设方式提取至少两个第一识别图像；
将所述每个第一识别图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出每个所述第一识别图像中的待检测商品信息。
可选的，所述预设方式为按照分格槽依次提取至少两个第一识别图像；其中，每个所述分格槽内放置同一种类商品。
可选的，所述预设方式为按照分格槽同时提取至少两个第一识别图像；其中，每个所述分格槽内放置同一种类商品。
可选的，包括步骤：
S100、获得含有放置于不同分格槽内的待检测商品的图像，其中每个分格槽内放置的商品为同一种类物品；
其中，所述待检测商品的图像至少为二维图像；
所述待检测商品的图像至少包括角度和/或景深不同第一商品图像至第N商品图像；N≥2；
S200、将所述待检测商品的图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出待检测商品信息；
其中，所述神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；
所述步骤S200包括：
S211、将从所述第一商品图像中提取的每个第一识别图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将从所述第N商品图像中提取的每个第N识别图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
S212、判断所述第N商品信息是否包含在所述第一商品信息中，
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出，
如判断结果为否，则输出反馈提示；
S300、客户根据所述待检测商品信息完成支付或者客户根据所述反馈提示操作，然后重复上述步骤直到输出所述待检测商品信息。
可选的，所述获得含有放置于不同分格槽内的待检测商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；N＝2～4；
所述第一图像为所述待检测商品的正面图像。
可选的，所述步骤S200包括：
所述步骤S211中还包括称量所述放置于不同分格槽内的待检测商品重量，得到实际称量的商品总重量；
所述步骤S212替换为步骤S222计算所述第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则输出反馈提示。
可选的，所述神经网络识别系统包括基于区域卷积神经网络的第一神经网络；所述步骤S200包括：
S231、将从所述第一商品图像中提取的每个第一识别图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将从所述第N商品图像中提取的每个第N识别图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
S232、判断所述第N商品信息是否包含在所述第一商品信息中；
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则执行后续步骤；
S233、计算所述第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则输出反馈提示。
可选的，所述步骤S212和步骤S232中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的商品种类是否均存在于所述第一商品信息中。
可选的，所述步骤S212和步骤S232中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的商品数量是否小于等于所述第一商品信息中的商品数量。
可选的，所述步骤S212和步骤S232中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的每种商品数量是否等于第一商品信息中的对应商品数量。
可选的，所述步骤S212和步骤S232为判断所述第N商品信息是否与所述第一商品信息一致；
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则执行后续步骤。
可选的，所述步骤S212和步骤S232为判断所述第N商品信息是否与所述第一商品信息一致，包括商品种类一致和每种商品的数量一致。
可选的，所述步骤S222和所述步骤S233中预设阈值为0.1g至10kg中的至少一个数值。
可选的，所述步骤S222和所述步骤S233中预设阈值为所述第一商品信息中重量最小的商品重量。
可选的，所述步骤S222和所述步骤S233中预设阈值为所述第一商品信息中重量最小的商品重量的10％至80％中的至少一个数值。
可选的，所述待检测商品的图像中待检测商品的数量≥1。
可选的，所述待检测商品的图像中待检测商品的数量为1～1000。
可选的，所述待检测商品的图像中待检测商品的种类≥1。
可选的，所述待检测商品的图像中待检测商品的种类为1～1000。
可选的，所述反馈结果包括堆叠提示、错误报告中的至少一种。
根据本申请的另一方面提供的基于神经网络识别商品的自助收银台，包括具有多个分格槽的收银桌面以及基于神经网络的商品识别装置，其中所述商品识别装置位于所述收银桌面的上方，用于对所述收银桌面进行至少一个角度拍摄；
所述多个分格槽的收银桌面用于分类不同种类的待检测商品，不同种类的待检测商品放置于不同的分格槽内；
所述基于神经网络的商品识别装置包括，
摄像单元，用于获取含有待检测商品的图像至少包括角度和/或景深不同第一商品图像至第N商品图像；N≥2；
识别信息单元，用于将从所述第一商品图像中提取的每个第一识别图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将从所述第N商品图像中提取的每个第N识别图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
识别判断单元，用于判断所述第N商品信息是否包含在所述第一商品信息中；如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；如判断结果为否，则输出反馈提示；
显示单元，用于输出所述待检测商品信息和所述反馈提示；
所述摄像单元与所述识别信息单元相连接，所述识别信息单元与所述识别判断单元相连接，所述识别判断单元与所述显示单元相连接。
可选的，所述多个分格槽的收银桌面与所述基于神经网络的商品识别装置之间设有控制器，用于根据所述收银桌面感应到的重量，控制所述商品识别装置的开关。
本发明的有益效果包括但不限于：
(1)本发明提供的基于神经网络识别商品的收银方法，通过对待检测商品的图像进行提取得到识别图像，神经网络识别系统对每个识别图像进行识别，由于每个识别图像中只含有同类商品，因此很容易判断商品的类别，所以不用重复强化训练神经网络，大大缩短的神经网络的训练时间，降低了自动结账机投放市场的时间成本，从而可以获得更好的经济效益。
(2)本发明提供的基于神经网络识别商品的收银方法，由于神经网络识别系统可以准确地确定商品的类别，因此大大降低了商品结账过程中的出错概率，提高了结账效率。
(3)本发明所提供的基于神经网络识别商品的自助收银台，可实现用户自主结算，结算效率高，结算结果准确。
附图说明
图1是本发明实施例2中基于神经网络识别商品的收银方法流程示意框图；
图2是本发明实施例3中基于神经网络识别商品的收银方法流程示意框图；
图3是本发明实施例4中基于神经网络识别商品的收银方法流程示意框图；
图4是本发明实施例5中所提供的基于神经网络识别商品的自助收银台的结构示意图；
图5是本发明实施例5中提供的基于神经网络的商品识别装置的结构框图；
图6是本发明实施例6提供的基于神经网络识别商品的收银方法中的收银桌面分格槽的顺序示意图；
附图标记列表：
1 收银桌面； 11 分格槽； 2 商品识别装置；
100 摄像单元； 210 识别信息单元； 220 识别判断单元；
300 显示单元。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本发明保护的范围。
实施例1
本申请提供的基于神经网络识别商品的收银方法，包括：
获得待检测商品的第一商品图像；
将第一商品图像按照预设方式提取至少两个第一识别图像；
将每个第一识别图像输入基于神经网络的识别系统，基于神经网络的识别系统输出每个第一识别图像中的待检测商品信息。
本申请提供的基于神经网络识别商品的收银方法，通过获取含有待检测商品的第一商品图像，然后将第一商品图像按照预设的方式进行提取，从而获得至少两个第一识别图像，再将每一个识别图像输入神经网络识别系统，神经网络识别系统对每一个识别图像进行设别从而获得每个第一识别图像中的待检测商品的信息。在整个识别过程中，神经网络识别系统只对识别图像中的内容进行识别，而识别图像中只包含单一同类商品，因此神经网络识别系统很容易判断商品的类别，因此不用重复强化训练神经网络，大大缩短的神经网络的训练时间，降低了自动结账机投放市场的时间成本，从而可以获得更好的经济效益。而且由于神经网络可以准确地确定商品的类别，因此大大降低了商品结账过程中的出错概率，提高了结账效率。
可选的，预设方式为按照分格槽依次提取至少两个第一识别图像；其中，每个分格槽内放置同一种类商品。
可选的，预设方式为按照分格槽同时提取至少两个第一识别图像；其中，每个分格槽内放置同一种类商品。
实施例2
参见图1，本发明提供的基于神经网络识别商品的收银方法，包括：
S100、获得含有放置于不同分格槽内的待检测商品的图像，其中每个分格槽内放置的商品为同一种类物品；
其中，待检测商品的图像至少为二维图像；
待检测商品的图像至少包括角度和/或景深不同第一商品图像至第N商品图像；N≥2；
S200、将待检测商品的图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出待检测商品信息；
其中，神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；
步骤S200包括：
S211、将从第一商品图像中提取的每个第一识别图像输入第一神经网络，第一神经网络输出第一商品信息；将从第N商品图像中提取的每个第N识别图像输入第一神经网络，第一神经网络输出第N商品信息；
S212、判断第N商品信息是否包含在第一商品信息中，
如判断结果为是，则将第一商品信息作为待检测商品信息输出，
如判断结果为否，则输出反馈提示；
S300、客户根据待检测商品信息完成支付或者客户根据馈提示操作，然后重复上述步骤直到输出待检测商品信息。
具体的，所述待检测商品信息包括待检测商品的种类和数量，或者还包括待检测商品的重量；所述待检测商品的数量包括每种待检测商品的数量，或者还包括待检测商品的总数量。
本发明提供的基于神经网络识别商品的收银方法可以用于无人值守环境下，自助获取结算商品信息后进行自助购物，当然还可以用于各种超市。该方法通过在设置具有多个分格槽的收银桌面，实现了对不同种类商品的区分，神经网络对位于不同分格槽内的商品分别进行识别，提高了神经网络识别系统的准确性，而且缩短了神经网络的训练时间。并且该方法通过获取多张待检测商品的图像，将由不同的待检测商品图像得到的商品信息进行比对，满足判断条件时则输出待检测商品信息，不满足判断条件时，则输出反馈提示，即通过获取多个商品信息进行校正从而提高了神经网络识别系统对商品识别的准确性。该方法可以用于处理的商品种类和数量不限，例如可以为含有待检测商品的图像中待检测商品的数量≥1。含有待检测商品的图像中待检测商品的数量为1～1000。含有待检测商品的图像中待检测商品的种类≥1。待检测商品的种类为1～1000。
优选的，第一图像为待检测商品的正面图像。以此作为主要图像进行识别，能提高识别的准确率。
优选的，获得含有待检测商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；N＝2～4。通过获取多角度图像，能提高神经网络的识别准确性。有利于提高后续识别结果的准确性。
实施例3
参见图2，优选的，步骤S200包括：
步骤S211中还包括称量放置于不同分格槽内的待检测商品重量，得到实际称量的商品总重量；步骤S212为步骤S222计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示。获取商品信息的同时，还通过对商品信息中所包含的商品重量进行分析，对所得结果进行校正，从而提高图像识别结果的准确性。
实施例4
参见图3，优选的，神经网络识别系统包括基于区域卷积神经网络的第一神经网络；步骤S200包括：
S231、将从第一商品图像中提取的每个第一识别图像输入第一神经网络，第一神经网络输出第一商品信息；将从第N商品图像中提取的每个第N识别图像输入第一神经网络，第一神经网络输出第N商品信息；
S232、判断第N商品信息是否包含在第一商品信息中；
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则执行后续步骤；
S233、计算第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断差分数据是否小于等于预设阈值：
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则输出反馈提示。
通过连用重量和商品信息作为校正参数，能更好对所得结果进行纠正，提高商品的识别准确度。此处的预设阈值可以为0.1g至10kg中的至少一个数值。预设阈值还可以为第一商品信息中重量最小的商品重量。预设阈值还可以为第一商品信息中重量最小的商品重量的10％至80％中的至少一个数值。
优选的，步骤S212和步骤S232中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的商品种类是否均存在于第一商品信息中。
优选的，步骤S212和步骤S232中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的商品数量是否小于等于第一商品信息中的商品数量。
优选的，步骤S212和步骤S232中判断第N商品信息是否包含在第一商品信息中的方法为，判断第N商品信息中的每种商品数量是否等于第一商品信息中的对应商品数量。
优选的，步骤S212和步骤S232为判断第N商品信息是否与第一商品信息一致；
如判断结果为是，则将第一商品信息作为待检测商品信息输出；
如判断结果为否，则执行后续步骤。
优选的，步骤S212和步骤S232为判断第N商品信息是否与第一商品信息一致，包括商品种类一致和每种商品的数量一致。
优选的，反馈结果包括堆叠提示、错误报告中的至少一种。
实施例5
见图4，本发明的另一方面还提供了一种基于神经网络识别商品的自助收银台，包括具有多个分格槽11的收银桌面1以及基于神经网络的商品识别装置2，其中商品识别装置2位于收银桌面1的上方，用于对收银桌面1进行至少一个角度拍摄；
多个分格槽11的收银桌面1用于分类不同种类的待检测商品，不同种类的待检测商品放置于不同的分格槽11内；
参见图5所示，基于神经网络的商品识别装置2包括，
摄像单元100，用于获取含有待检测商品的图像至少包括角度和/或景深不同第一图像至第N图像；N≥2；
识别信息单元210，用于将从第一商品图像中提取的每一个第一识别图像输入第一神经网络，第一神经网络输出第一商品信息；将从第N商品图像中提取的每一个第N识别图像输入第一神经网络，第一神经网络输出第N商品信息；
识别判断单元220，用于判断第N商品信息是否包含在第一商品信息中；如判断结果为是，则将第一商品信息作为待检测商品信息输出；如判断结果为否，则输出反馈提示；
显示单元300，用于输出待检测商品信息和反馈提示；
摄像单元100与识别信息单元210相连接，识别信息单元210与识别判断单元220相连接，识别判断单元220与显示单元300相连接。上述各单元的实现可以通过在现有各种器件上设置相应程序实现。
优选的，识别信息单元210和识别判断单元220，用于按上述中任一种基于神经网络识别商品的收银方法进行商品识别和判断。
可选地，摄像单元100包括两个普通网络摄像头，两个可调整任意角度的固定器，一台可运行图片上传的持续的计算机，一个高精度重量传感器。主要工作流程为：计算机上运行一个图像抓取程序，该程序可以将同一时间的两个摄像头抓取的画面图像上传到远程服务器，远程服务器将识别结果返回。此方案成本极低，工作计算机也只需要最基础配置即可。
可选地，摄像单元100包括2-4个固定镜头高清摄像头，相应数量的可调节角度固定器，一个高精度重量传感器，一台带显存2G以上显卡的计算机。主要工作流程为，算机上运行一个图像抓取程序，该程序可以将同一时间的两个摄像头抓取的画面图像在本地识别。
可选地，基于神经网络的商品识别装置可批量检测(低成本方案)，采用多个普通摄像头，从不同角度获得待检测商品的图像。
多个不同角度的摄像头可以解决商品在同一个2D图片中因为摆放角度和物品高度差异产生的遮挡问题。基本上3个摄像头可以实现无死角获取待识别所需信息，合适的摄像头机位情况下，2个摄像头也可以达到较理想效果。
优选的，可选地，摄像单元100包括第一摄像头和第二摄像头；
第一摄像头和第二摄像头分别从不同角度获取商品图像。
可选地，基于神经网络的商品识别装置包括载物台，载物台含有重量传感器，用于测量载物台上商品总重量；
重量传感器与识别单元电连接，将载物台上商品的总重量输入识别单元。
在商品图像识别过程中，待结算商品常因堆叠或极端拍摄角度，导致物体被遮挡或大部分被遮挡，而无法得到足够的细节用准确识别商品。为了准确判断商品内有无堆叠情况，本发明结合重量传感器对图像识别结果进行校正，获取识别结果中的物品重量与识别装置内的重量传感器实际称重，如果不一致，则反馈商品处于堆叠状态。
可选的，多个分格槽的收银桌面与基于神经网络的商品识别装置之间设有控制器，用于根据收银桌面感应到的重量，控制所述商品识别装置的开关。其中，控制器可以为控制电路，或者也可以为单片机。
实施例6
下面以图4中的具有9个分格槽的收银桌面为例，具体说明在本申请提供的基于神经网络识别商品的收银方法中，神经网络识别系统的识别过程。
获取放置于收银桌面上的待检测商品的第一商品图像P1、第二商品图像P2和第三商品图像P3，其中，不同种类的商品放置于不同的分格槽内。
将第一商品图像P1按照图6所示的分格槽依次提取9个第一识别图像，分别记做Ⅰ-11、Ⅰ-12、Ⅰ-13、Ⅰ-21、Ⅰ-22、Ⅰ-23、Ⅰ-31、Ⅰ-32、Ⅰ-33，将每个第一识别图像输入网络识别系统，网络识别系统对每一个第一识别图像进行识别，然后将得到如表1所示的识别结果(包括商品品名、单价、数量、重量)，识别结果整体构成了第一商品信息R1；
表1
Figure GDA0002854096710000121
将第二商品图像P2和第三商品图像P3按照上述方法进行识别，分别得到第二商品信息R2和第三商品信息R3；
判断第二商品信息R2是否包含在第一商品信息R1中，第三商品信息R3是否包含在第一商品信息R1中；
如果第二商品信息R2和第三商品信息R3均包含在第一商品信息R1中，则将第一商品信息R1作为待检测商品信息输出，如果不满足上述条件，则输出反馈提示。
实施例7
顾客在无人便利店中的购物步骤如下：
顾客选择完商品后，将所有商品按照不同的类别分别放置收银桌面上的不同分格槽中，；
载物台感应到重量>0，触发基于神经网络的商品识别装置启动商品识别程序；
摄像头从不同角度拍摄载物台上的商品，获得商品正上方图片为第一图像P1，以及3个不同角度的侧向图片分别记为P2、P3、P4，并将商品图片Base64编码POST到图像识别服务器，分别进行图像识别；
对P1识别结果的R1为第一商品信息(包括所有商品品名、单价、数量)，对P2识别结果的R2为第二商品信息(包括所有商品品名、单价、数量)......对P4识别结果的R4为第四商品信息(包括所有商品品名、单价、数量)；
如果：1)第二商品信息中的每种商品的数量与第一商品信息中的每种商品的数量相等；
2)第三商品信息中的每种商品的数量与第一商品信息中的每种商品的数量相等；
3)第四商品信息中的每种商品的数量与第一商品信息中的每种商品的数量相等；
则判断为第二～第四商品信息均包含在第一商品信息中，则将R1作为待检测商品信息输出，向订单处理接口请求生成订单；
若1)、2)、3)中任意一个判断条件不满足，则判断为第二～第四商品信息不包含在第一商品信息中，则在操作界面显示堆叠提示，提示顾客挪动商品，使摄像头可拍摄到堆叠在下层被遮挡住的商品；摄像头重新拍摄载物台上的商品，获得新的商品图片，直至第二～第四商品信息均包含在第一商品信息中，向订单处理接口请求生成订单；
订单处理接口收到生成订单请求，发出支付二维码字符串，在操作界面生成支付二维码；
顾客扫描支付二维码；
支付成功后，消息SOCKET发送支付成功的消息，对载物台上的商品进行消磁；
消息SOCKET向安全通道发送人脸识别消息；
顾客携带商品通过包括检测装置的安全通道，如未检测到未消磁标签，大门开启，顾客走出无人购物便利店；如检测到未消磁标签，则发出未支付警告，大门不开启。
实施例8
顾客在无人便利店中的购物步骤如下：
顾客选择完商品后，将所有商品按照不同的类别分别放置收银桌面上的不同分格槽中，；
载物台感应到重量>0，触发基于神经网络的商品识别装置启动商品识别程序；
摄像头拍摄载物台上的商品，获得商品图片，并将商品图片Base64编码POST到图像识别服务器，进行图像识别；
图像识别的结果(包括所有商品品名、单价、数量、总重量)的信息与载物台实际称量得到的总重量比对，得到差分数据；
当差分数据＜10g时，判断为[实际称重与范围重量一致]，则向订单处理接口请求生成订单；
当差分数据大于预设阈值时，判断为[实际称重与范围重量不一致]，则在操作界面显示堆叠提示，提示顾客挪动商品，使摄像头可拍摄到堆叠在下层被遮挡住的商品；摄像头重新拍摄载物台上的商品，获得新的商品图片，直至差分数据小于等于预设阈值，向订单处理接口请求生成订单；
订单处理接口收到生成订单请求，发出支付二维码字符串，在操作界面生成支付二维码；
顾客扫描支付二维码；
支付成功后，消息SOCKET发送支付成功的消息，对载物台上的商品进行消磁；
消息SOCKET向安全通道发送人脸识别消息；
顾客携带商品通过包括检测装置的安全通道，如未检测到未消磁标签，大门开启，顾客走出无人购物便利店；如检测到未消磁标签，则发出未支付警告，大门不开启。
实施例9
顾客在无人便利店中的购物步骤如下：
顾客选择完商品后，将所有商品按照不同的类别分别放置收银桌面上的不同分格槽中；
载物台感应到重量>0，触发基于神经网络的商品识别装置启动商品识别程序；
摄像头从不同角度拍摄载物台上的商品，获得商品正上方图片为第一图像P1，以及2个不同角度的侧向图片分别记为P2、P3，并将商品图片Base64编码POST到图像识别服务器，分别进行图像识别；
对P1识别结果的R1为第一商品信息(包括所有商品品名、单价、数量、重量)，对P2识别结果的R2为第二商品信息(包括所有商品品名、单价、数量、重量)，对P3识别结果的R3为第三商品信息(包括所有商品品名、单价、数量、重量)；
如果：1)第二商品信息中的商品种类均存在于第一商品信息中；
2)第三商品信息中的商品种类均存在于第一商品信息中；
则判断为第二、三商品信息均包含在第一商品信息中，则将R1作为待检测商品信息输出，并向订单处理接口请求生成订单；
若1)、2)中任意一个判断条件不满足，则判断为第二、三商品信息不包含在第一商品信息中，执行后续步骤；
计算第一商品信息R1中的商品的总重量，与载物台实际称量得到的总重量比对，得到差分数据；
当差分数据＜20g时，判断为[实际称重与范围重量一致]，则将R1作为待检测商品信息输出，并向订单处理接口请求生成订单；
当差分数据大于预设阈值时，判断为[实际称重与范围重量不一致]，则在操作界面显示堆叠提示，提示顾客挪动商品，使摄像头可拍摄到堆叠在下层被遮挡住的商品；摄像头重新拍摄载物台上的商品，获得新的商品图片，直至差分数据小于等于预设阈值，向订单处理接口请求生成订单；
订单处理接口收到生成订单请求，发出支付二维码字符串，在操作界面生成支付二维码；
顾客扫描支付二维码；
支付成功后，消息SOCKET发送支付成功的消息，对载物台上的商品进行消磁；
消息SOCKET向安全通道发送人脸识别消息；
顾客携带商品通过包括检测装置的安全通道，如未检测到未消磁标签，大门开启，顾客走出无人购物便利店；如检测到未消磁标签，则发出未支付警告，大门不开启。
以上所述，仅是本发明的几个实施例，并非对本发明做任何形式的限制，虽然本发明以较佳实施例揭示如上，然而并非用以限制本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案的范围内，利用上述揭示的技术内容做出些许的变动或修饰均等同于等效实施案例，均属于技术方案范围内。

Claims (19)

1.一种基于神经网络识别商品的收银方法，其特征在于，包括：
获得待检测商品的第一商品图像；
将所述第一商品图像按照预设方式提取至少两个第一识别图像；
将所述每个第一识别图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出每个所述第一识别图像中的待检测商品信息；
包括步骤：
S100、获得含有放置于不同分格槽内的待检测商品的图像，其中每个分格槽内放置的商品为同一种类物品；
其中，所述待检测商品的图像至少为二维图像；
所述待检测商品的图像至少包括角度和/或景深不同第一商品图像至第N商品图像；N≥2；
S200、将所述待检测商品的图像输入基于神经网络的识别系统，所述基于神经网络的识别系统输出待检测商品信息；
其中，所述神经网络的识别系统包括基于区域卷积神经网络的第一神经网络；
S300、客户根据所述待检测商品信息完成支付或者客户根据反馈提示操作，然后重复上述步骤直到输出所述待检测商品信息；
所述步骤S200还包括：
S231、将从所述第一商品图像中提取的每个第一识别图像输入所述第一神经网络，所述第一神经网络输出第一商品信息；将从所述第N商品图像中提取的每个第N识别图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
S232、判断所述第N商品信息是否包含在所述第一商品信息中；
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则执行后续步骤；
S233、计算所述第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则输出反馈提示。
2.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述预设方式为按照分格槽依次提取至少两个第一识别图像；
其中，每个所述分格槽内放置同一种类商品。
3.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述预设方式为按照分格槽同时提取至少两个第一识别图像；
其中，每个所述分格槽内放置同一种类商品。
4.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述待检测商品的图像至少包括不同角度和/或不同景深的第一图像至第N图像；N=2~4；
所述第一图像为所述待检测商品的正面图像。
5.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，步骤S232中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的商品种类是否均存在于所述第一商品信息中。
6.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，步骤S232中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的商品数量是否小于等于所述第一商品信息中的商品数量。
7.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，步骤S232中判断所述第N商品信息是否包含在所述第一商品信息中的方法为，判断所述第N商品信息中的每种商品数量是否等于第一商品信息中的对应商品数量。
8.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，步骤S232为判断所述第N商品信息是否与所述第一商品信息一致；
如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；
如判断结果为否，则执行后续步骤。
9.根据权利要求8所述的基于神经网络识别商品的收银方法，其特征在于，
步骤S232为判断所述第N商品信息是否与所述第一商品信息一致，包括商品种类一致和每种商品的数量一致。
10.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述步骤S233中预设阈值为0.1g至10kg中的至少一个数值。
11.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述步骤S233中预设阈值为所述第一商品信息中重量最小的商品重量。
12.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述步骤S233中预设阈值为所述第一商品信息中重量最小的商品重量的10%至80%中的至少一个数值。
13.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述待检测商品的图像中待检测商品的数量≥1。
14.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述待检测商品的图像中待检测商品的数量为1~1000。
15.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述待检测商品的图像中待检测商品的种类≥1。
16.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述待检测商品的图像中待检测商品的种类为1~1000。
17.根据权利要求1所述的基于神经网络识别商品的收银方法，其特征在于，所述反馈提示包括堆叠提示、错误报告中的至少一种。
18.一种基于神经网络识别商品的自助收银台，其特征在于，包括具有多个分格槽的收银桌面以及基于神经网络的商品识别装置，其中所述商品识别装置位于所述收银桌面的上方，用于对所述收银桌面进行至少一个角度拍摄；
所述多个分格槽的收银桌面用于分类不同种类的待检测商品，不同种类的待检测商品放置于不同的分格槽内；
所述基于神经网络的商品识别装置包括，
摄像单元，用于获取含有待检测商品的图像至少包括角度和/或景深不同第一商品图像至第N商品图像；N≥2；
识别信息单元，用于将从所述第一商品图像中提取的每个第一识别图像输入第一神经网络，所述第一神经网络输出第一商品信息；将从所述第N商品图像中提取的每个第N识别图像输入所述第一神经网络，所述第一神经网络输出第N商品信息；
识别判断单元，用于判断所述第N商品信息是否包含在所述第一商品信息中；如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；如判断结果为否，则计算所述第一商品信息中商品总重量，与实际称量的商品总重量对比得到差分数据，判断所述差分数据是否小于等于预设阈值：如判断结果为是，则将所述第一商品信息作为所述待检测商品信息输出；如判断结果为否，则输出反馈提示；
显示单元，用于输出所述待检测商品信息和所述反馈提示；
所述摄像单元与所述识别信息单元相连接，所述识别信息单元与所述识别判断单元相连接，所述识别判断单元与所述显示单元相连接。
19.根据权利要求18所述的基于神经网络识别商品的自助收银台，其特征在于，所述多个分格槽的收银桌面与所述基于神经网络的商品识别装置之间设有控制器，用于根据所述收银桌面感应到的重量，控制所述商品识别装置的开关。
CN201811134347.XA 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台 Active CN109559458B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710891007 2017-09-27
CN2017108910070 2017-09-27

Publications (2)

Publication Number Publication Date
CN109559458A CN109559458A (zh) 2019-04-02
CN109559458B true CN109559458B (zh) 2021-09-21

Family

ID=62775868

Family Applications (6)

Application Number Title Priority Date Filing Date
CN201820085363.3U Expired - Fee Related CN209132890U (zh) 2017-09-27 2018-01-18 结算箱
CN201810050328.2A Pending CN108269369A (zh) 2017-09-27 2018-01-18 结算箱及其结算方法
CN201810135196.3A Expired - Fee Related CN108320404B (zh) 2017-09-27 2018-02-09 基于神经网络的商品识别方法、装置、自助收银台
CN201811134347.XA Active CN109559458B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台
CN201811133556.2A Active CN109559454B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台
CN201811133576.XA Active CN109559457B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN201820085363.3U Expired - Fee Related CN209132890U (zh) 2017-09-27 2018-01-18 结算箱
CN201810050328.2A Pending CN108269369A (zh) 2017-09-27 2018-01-18 结算箱及其结算方法
CN201810135196.3A Expired - Fee Related CN108320404B (zh) 2017-09-27 2018-02-09 基于神经网络的商品识别方法、装置、自助收银台

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201811133556.2A Active CN109559454B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台
CN201811133576.XA Active CN109559457B (zh) 2017-09-27 2018-09-27 基于神经网络识别商品的收银方法以及自助收银台

Country Status (2)

Country Link
CN (6) CN209132890U (zh)
WO (1) WO2019062017A1 (zh)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109035630A (zh) * 2018-08-21 2018-12-18 深圳码隆科技有限公司 商品信息识别方法和系统
CN108986357A (zh) * 2018-08-21 2018-12-11 深圳码隆科技有限公司 商品信息确定方法、系统和无人售货系统
CN109472205B (zh) * 2018-10-09 2021-07-30 深兰科技（上海）有限公司 商品识别方法、商品识别装置及存储介质
EP3867886A1 (en) 2018-10-17 2021-08-25 Supersmart Ltd. Imaging used to reconcile cart weight discrepancy
CN111220251A (zh) * 2018-11-26 2020-06-02 重庆小雨点小额贷款有限公司 一种养殖产品的数量确定方法、装置、终端及存储介质
CN111222388B (zh) * 2018-12-11 2023-09-19 图灵通诺（北京）科技有限公司 基于视觉识别的结算方法和系统
CN109684950A (zh) * 2018-12-12 2019-04-26 联想(北京)有限公司 一种处理方法及电子设备
CN109360358A (zh) * 2018-12-25 2019-02-19 北京旷视科技有限公司 支付设备、支付系统及自助结账方法
CN109711473A (zh) * 2018-12-29 2019-05-03 北京沃东天骏信息技术有限公司 物品识别方法、设备和系统
CN109741144B (zh) * 2019-01-04 2021-08-10 南京旷云科技有限公司 商品核验方法、装置、主机及设备
CN109859418A (zh) * 2019-01-23 2019-06-07 王强 一种无人商场的购物结算方法
CN109840503B (zh) * 2019-01-31 2021-02-26 深兰科技（上海）有限公司 一种确定种类信息的方法及装置
CN109977826B (zh) * 2019-03-15 2021-11-02 百度在线网络技术（北京）有限公司 物体的类别识别方法和装置
CN109872168A (zh) * 2019-03-15 2019-06-11 南京亿猫信息技术有限公司 一种基于购物工具的防作弊系统
CN111368613B (zh) * 2019-05-22 2023-04-25 深圳深知未来智能有限公司 一种智能无人售货柜的快速上新方法
CN110956459A (zh) * 2019-11-28 2020-04-03 浙江由由科技有限公司 一种商品处理方法及系统
CN111126384A (zh) * 2019-12-12 2020-05-08 创新奇智(青岛)科技有限公司 基于特征融合的商品分类系统及分类方法
CN110942050A (zh) * 2019-12-20 2020-03-31 华南理工大学 一种基于图像处理的自动售卖机商品识别系统
WO2021226893A1 (zh) * 2020-05-13 2021-11-18 鸿富锦精密工业(武汉)有限公司 物件辨识系统及相关装置
CN111724546A (zh) * 2020-05-20 2020-09-29 安徽谊品弘科技有限公司 一种生鲜超市智能收银台
CN111860629A (zh) * 2020-06-30 2020-10-30 北京滴普科技有限公司 首饰分类系统、方法、装置以及存储介质
CN112132105A (zh) * 2020-10-09 2020-12-25 深圳市智百威科技发展有限公司 一种基于商品视觉智能识别的收银方法
CN112466068B (zh) * 2020-11-26 2021-07-09 融讯伟业（北京）科技有限公司 基于计算机视觉技术的智能称重装置与智能称重方法
CN113178032A (zh) * 2021-03-03 2021-07-27 北京迈格威科技有限公司 一种视频处理方法、系统及存储介质
CN112700312A (zh) * 2021-03-24 2021-04-23 浙江口碑网络技术有限公司 物品对象的结算方法、服务器、客户端及系统
JP2022149539A (ja) * 2021-03-25 2022-10-07 東芝テック株式会社 情報処理装置、プログラム、および行動分析システム
CN113627393B (zh) * 2021-09-09 2024-03-29 河北工业大学 基于双重神经网络的商品识别方法及智能售货系统
CN114267139A (zh) * 2021-12-13 2022-04-01 湖南省金河计算机科技有限公司 一种基于物联网的智能pos机系统及其控制方法和电子设备
CN114399619A (zh) * 2022-01-14 2022-04-26 南京苏胜天信息科技有限公司 一种机器视觉图像识别系统及其处理方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101552911A (zh) * 2009-04-14 2009-10-07 陈秀祥 远程户外监控装置及自动监测控制方法
CN102013019A (zh) * 2010-12-03 2011-04-13 深圳市乐州光电技术有限公司 信息图像识别系统及方法
CN103617681A (zh) * 2013-11-11 2014-03-05 青岛中科英泰商用系统有限公司 具有提醒功能和多种防损措施的超市自助结算方法和设备
CN204706039U (zh) * 2015-05-29 2015-10-14 杭州晟元芯片技术有限公司 一种基于多镜头的条码识别装置
CN106169135A (zh) * 2016-02-01 2016-11-30 唐超(北京)科技有限公司 自助结账防损校验方法及系统

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5965861A (en) * 1997-02-07 1999-10-12 Ncr Corporation Method and apparatus for enhancing security in a self-service checkout terminal
JP2009163331A (ja) * 2007-12-28 2009-07-23 Toshiba Tec Corp 商品販売データ処理装置及びコンピュータプログラム
US8571298B2 (en) * 2008-12-23 2013-10-29 Datalogic ADC, Inc. Method and apparatus for identifying and tallying objects
CN101477729A (zh) * 2008-12-30 2009-07-08 于忠清 自助售饭系统以及该系统的信息处理方法
US8615476B2 (en) * 2009-04-15 2013-12-24 University Of Southern California Protecting military perimeters from approaching human and vehicle using biologically realistic neural network
JP5554796B2 (ja) * 2011-09-06 2014-07-23 東芝テック株式会社 情報処理装置およびプログラム
CN103093208B (zh) * 2013-01-23 2016-04-13 中国科学技术大学 一种果蔬识别的方法及系统
CN104282094A (zh) * 2013-07-02 2015-01-14 张�杰 一种超市自动化收银装置
CN103424404A (zh) * 2013-08-01 2013-12-04 谢绍鹏 物品的品质检测方法与系统
US10242036B2 (en) * 2013-08-14 2019-03-26 Ricoh Co., Ltd. Hybrid detection recognition system
CN103632463A (zh) * 2013-11-14 2014-03-12 成都博约创信科技有限责任公司 一种基于图像识别技术的结算方法
JP6254895B2 (ja) * 2014-04-18 2017-12-27 東芝テック株式会社 読取装置及び商品販売データ処理装置
CN104077842B (zh) * 2014-07-02 2017-02-15 浙江大学 基于图像识别的自选餐厅自助付费装置及其使用方法
CN104077577A (zh) * 2014-07-03 2014-10-01 浙江大学 一种基于卷积神经网络的商标检测方法
CN104103135A (zh) * 2014-07-17 2014-10-15 张国铭 一种基于射频识别的物品自动结算纠错系统及方法
CN104240411A (zh) * 2014-07-23 2014-12-24 南京工程学院 一种超市散装商品智能购物装置
JP6451274B2 (ja) * 2014-12-10 2019-01-16 カシオ計算機株式会社 商品処理システム、商品処理方法及びプログラム
US10074041B2 (en) * 2015-04-17 2018-09-11 Nec Corporation Fine-grained image classification by exploring bipartite-graph labels
CN106874296B (zh) * 2015-12-14 2021-06-04 阿里巴巴集团控股有限公司 一种商品的风格识别方法及装置
CN105719188B (zh) * 2016-01-22 2017-12-26 平安科技（深圳）有限公司 基于多张图片一致性实现保险理赔反欺诈的方法及服务器
JP6283806B2 (ja) * 2016-06-01 2018-02-28 サインポスト株式会社 情報処理システム
CN106203533B (zh) * 2016-07-26 2019-09-20 厦门大学 基于混合训练的深度学习人脸验证方法
CN106326852A (zh) * 2016-08-18 2017-01-11 无锡天脉聚源传媒科技有限公司 一种基于深度学习的商品识别方法及装置
CN106384087A (zh) * 2016-09-05 2017-02-08 大连理工大学 一种基于多层网络人体特征的身份识别方法
CN106446937A (zh) * 2016-09-08 2017-02-22 天津大学 用于aer图像传感器的多层卷积识别系统
JP6165950B1 (ja) * 2016-09-20 2017-07-19 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN106340137A (zh) * 2016-11-14 2017-01-18 贵州师范学院 一种基于深度学习的自动称重机及其程序控制方法
CN106529494A (zh) * 2016-11-24 2017-03-22 深圳市永达电子信息股份有限公司 一种基于多摄像头机型的人脸识别方法
CN106960214B (zh) * 2017-02-17 2020-11-20 北京一维弦科技有限责任公司 基于图像的物体识别方法
CN106886795B (zh) * 2017-02-17 2021-01-15 北京一维弦科技有限责任公司 基于图像中的显著物体的物体识别方法
CN106959149A (zh) * 2017-04-05 2017-07-18 西安电子科技大学 果蔬自动称重与计价智能电子秤
CN107122730A (zh) * 2017-04-24 2017-09-01 乐金伟 自选餐厅自动计价方法
CN107329925A (zh) * 2017-06-29 2017-11-07 卜涛 一种智能电子秤、应用其的超市计价系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101552911A (zh) * 2009-04-14 2009-10-07 陈秀祥 远程户外监控装置及自动监测控制方法
CN102013019A (zh) * 2010-12-03 2011-04-13 深圳市乐州光电技术有限公司 信息图像识别系统及方法
CN103617681A (zh) * 2013-11-11 2014-03-05 青岛中科英泰商用系统有限公司 具有提醒功能和多种防损措施的超市自助结算方法和设备
CN204706039U (zh) * 2015-05-29 2015-10-14 杭州晟元芯片技术有限公司 一种基于多镜头的条码识别装置
CN106169135A (zh) * 2016-02-01 2016-11-30 唐超(北京)科技有限公司 自助结账防损校验方法及系统

Also Published As

Publication number Publication date
CN108269369A (zh) 2018-07-10
CN109559454B (zh) 2021-09-21
WO2019062017A1 (zh) 2019-04-04
CN109559454A (zh) 2019-04-02
CN108320404B (zh) 2020-04-03
CN209132890U (zh) 2019-07-19
CN109559457A (zh) 2019-04-02
CN109559458A (zh) 2019-04-02
CN109559457B (zh) 2021-09-21
CN108320404A (zh) 2018-07-24

Similar Documents

Publication Publication Date Title
CN109559458B (zh) 基于神经网络识别商品的收银方法以及自助收银台
US11501523B2 (en) Goods sensing system and method for goods sensing based on image monitoring
CN108269371B (zh) 商品自动结算方法、装置、自助收银台
US11151427B2 (en) Method and apparatus for checkout based on image identification technique of convolutional neural network
US11638490B2 (en) Method and device for identifying product purchased by user and intelligent shelf system
CN109409175B (zh) 结算方法、装置和系统
WO2019062812A1 (zh) 用于自动结算的人机交互装置及其应用
CN109508974B (zh) 一种基于特征融合的购物结账系统和方法
EP3809325A1 (en) Visual and gravity-sensing-based method and apparatus for matching commodities to customers
CN111222870B (zh) 结算方法、装置和系统
CN111340126A (zh) 物品识别方法、装置、计算机设备和存储介质
EP3901841A1 (en) Settlement method, apparatus, and system
WO2019127618A1 (zh) 结算方法、装置和系统
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
JP2021128798A (ja) 情報処理装置、システム、画像処理方法及びプログラム
CN113393424A (zh) 基于人工智能图像处理的缺陷检测系统、方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant