CN118095335A - 检测物品数量的装置和方法以及电子设备 - Google Patents

检测物品数量的装置和方法以及电子设备 Download PDF

Info

Publication number
CN118095335A
CN118095335A CN202211487552.0A CN202211487552A CN118095335A CN 118095335 A CN118095335 A CN 118095335A CN 202211487552 A CN202211487552 A CN 202211487552A CN 118095335 A CN118095335 A CN 118095335A
Authority
CN
China
Prior art keywords
articles
detecting
items
shopping container
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211487552.0A
Other languages
English (en)
Inventor
祝贤坦
谭志明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to CN202211487552.0A priority Critical patent/CN118095335A/zh
Priority to EP23210905.8A priority patent/EP4375906A1/en
Priority to JP2023197341A priority patent/JP2024076997A/ja
Priority to US18/517,220 priority patent/US20240177578A1/en
Publication of CN118095335A publication Critical patent/CN118095335A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G3/00—Alarm indicators, e.g. bells
    • G07G3/006—False operation
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06M—COUNTING MECHANISMS; COUNTING OF OBJECTS NOT OTHERWISE PROVIDED FOR
    • G06M1/00—Design features of general application
    • G06M1/27—Design features of general application for representing the result of count in the form of electric signals, e.g. by sensing markings on the counter drum
    • G06M1/272—Design features of general application for representing the result of count in the form of electric signals, e.g. by sensing markings on the counter drum using photoelectric means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/206—Point-of-sale [POS] network systems comprising security or operator identification provisions, e.g. password entry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Accounting & Taxation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Security & Cryptography (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

本申请实施例提供一种检测物品数量的装置和方法以及电子设备。所述检测物品数量的装置包括：第一检测装置，其检测图像中的购物容器；分类装置，其利用分类器，对所述购物容器内物品的图像进行分类，并确定与分类结果对应的物品数量；以及数量设定装置，其在所述分类装置确定的所述物品数量大于第一阈值时，将所述分类装置确定的所述物品数量作为所述购物容器内物品的数量的预测值。本申请使用与对图像进行分类的结果对应的物品数量与阈值的关系，确定购物容器内的物品数量，由此，能够以较低的成本准确地检测购物容器中的物品数量。

Description

检测物品数量的装置和方法以及电子设备
技术领域
本申请实施例涉及图像检测技术领域。
背景技术
顾客在专用的收银台自助结账非常简单方便，并且能够减少店员的数量，降低运营成本。
为了避免自助结账过程中出现商品数量计算错误的情况，一些用于确认商品数量的技术应运而生。例如，在一些技术中，检测设备可以读取设置在商品中的射频识别(RadioFrequency Identification，RFID)标签的信息来检测商品的数量和价格等信息；又例如，在另一些技术中，使用计算机视觉处理装置来确定购物篮是空的还是装满了商品，并评估商品数量计算错误的可能性。
应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述，不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。
发明内容
上述用于确认商品数量的技术存在一些局限性。例如，基于射频识别标签中的信息检测商品数量，需要为每件商品都安装射频识别标签，成本较高且耗费人工；使用计算机视觉处理装置的技术，仅能判断购物篮是空的还是装满，并不能准确地检测出购物篮中商品的数量。
针对上述技术问题的至少之一，本申请实施例提供一种检测物品数量的装置和方法以及电子设备，期待能够以较低的成本准确地检测购物容器中的物品数量。
根据本申请实施例的一个方面，提供一种检测物品数量的装置，所述检测物品数量的装置包括：
第一检测装置，其检测图像中的购物容器；
分类装置，其利用分类器，对所述购物容器内物品的图像进行分类，并确定与分类结果对应的物品数量；以及
数量设定装置，其在所述分类装置确定的所述物品数量大于第一阈值时，将所述分类装置确定的所述物品数量作为所述购物容器内物品的数量的预测值。
根据本申请实施例的另一个方面，提供一种检测物品数量的方法，所述检测物品数量的方法包括：
检测图像中的购物容器；
利用分类器，对所述购物容器内物品的图像进行分类，并确定与分类结果对应的物品数量；以及
在所述确定的所述物品数量大于第一阈值时，将所述确定的所述物品数量作为所述购物容器内物品的数量的预测值。
根据本申请实施例的另一个方面，提供一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置为执行所述计算机程序而实现如前所述的检测物品数量的方法。
本申请实施例的有益效果之一在于：使用与对图像进行分类的结果对应的物品数量与阈值的关系，确定购物容器内的物品数量，由此，能够以较低的成本准确地检测购物容器中的物品数量。
参照后文的说明和附图，详细公开了本申请实施例的特定实施方式，指明了本申请实施例的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。
附图说明
所包括的附图用来提供对本申请实施例的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施方式。在附图中：
图1是本申请实施例的检测物品数量的装置的一个示意图；
图2是本申请的检测物品数量的装置的使用场景的一个示意图；
图3是阈值和预测值对应关系的一个示意图；
图4是本申请的检测物品数量的装置100针对不同图像进行处理的示意图；
图5是检测物品数量的方法的一个示意图；
图6是本申请实施例的电子设备的示意图。
具体实施方式
参照附图，通过下面的说明书，本申请实施例的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本申请的特定实施方式，其表明了其中可以采用本申请实施例的原则的部分实施方式，应了解的是，本申请不限于所描述的实施方式，相反，本申请实施例包括落入所附权利要求的范围内的全部修改、变型以及等同物。
在本申请实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
在本申请实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“所述”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据……”，术语“基于”应理解为“至少部分基于……”，除非上下文另外明确指出。
针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
第一方面的实施例
本申请实施例提供一种检测物品数量的装置。
图1是本申请实施例的检测物品数量的装置的一个示意图。如图1所示，检测物品数量的装置100包括：第一检测装置1，分类装置2和数量设定装置3。
在本申请的实施例中，第一检测装置1检测图像中的购物容器；在第一检测装置1检测到图像中具有购物容器的情况下，分类装置2利用分类器，对购物容器内物品的图像进行分类，并确定与分类结果对应的物品数量；在分类装置2确定的物品数量大于第一阈值时，数量设定装置3将分类装置2确定的物品数量作为该购物容器内物品的数量的预测值。
根据本申请第一方面的实施例，使用与对图像进行分类的结果对应的物品数量与阈值的关系，确定购物容器内的物品数量，由此，能够以较低的成本准确地检测购物容器中的物品数量。
在至少一个实施例中，检测物品数量的装置100可以被应用于商店等场所。图2是本申请的检测物品数量的装置的使用场景的一个示意图。
如图2所示，购物容器可以是盛装物品的容器，例如购物篮或购物车等。图2中的购物容器201为购物车。
在至少一个实施例中，购物容器内物品的图像例如可以是摄像机对购物容器内的物品进行拍摄得到的图像，该摄像机可以被设置于购物容器，或者被设置于购物容器的外部，例如被设置于商店的收银台等位置。摄像机可以从购物容器的上方对购物容器内的物品进行拍摄，得到该图像。
例如，如图2所示，摄像机203被设置于收银台202的附近，能够从购物容器201的上方拍摄购物容器201中的物品的图像，从而得到购物容器内物品的图像204。
检测物品数量的装置100可以基于摄像机203获取到购物容器内物品的图像204，从而检测出购物容器201中的物品的数量。
在至少一个实施例中，第一检测装置1可以对摄像机203拍摄的图像进行检测，从而检测图像中是否具有购物容器。第一检测装置1可以基于常用目标检测器来检测图像中的购物容器。
在至少一个实施例中，当第一检测装置1检测到图像中存在购物容器时，该图像可以被作为购物容器内物品的图像204，或者，该图像中购物容器所处的区域可以被截取出来作为购物容器内物品的图像204。
在至少一个实施例中，分类装置2可以利用分类器对图像204进行分类，得到与分类结果对应的物品数量。
分类装置2进行分类的结果可以与图像204中购物容器内物品的数量对应。分类的结果可以包括至少两种类别，每一种类别对应于物品数量的一个区间。分类装置2可以根据分类得到的类别，确定对应的物品数量。下面的表1是类别、物品数量的区间以及对应的物品数量的一个举例。
表1：
在表1所示的例子中，类别可以具有15个，各类别可以具有类别编号class_num，类别编号class_num的取值范围为0～14。各类别对应的物品数量的区间为num_range，例如，类别编号class_num为4时，对应的物品数量是9个或10个。在各区间中，取一个数量，作为与该类别对应的物品数量converted_num，即，分类装置2将物品数量converted_num确定为与该类别对应的物品数量。例如，分类装置2对图像204进行分类，得到的类别编号class_num为10，对应的物品数量的区间是21～23，将该区间内的数量22确定为类别编号class_num＝10对应的物品数量converted_num。
需要说明的是，表1所示的例子仅是举例，类别、物品数量的区间以及对应的物品数量可以有其它的对应关系。
在至少一个实施例中，分类装置2所使用的分类器例如可以具有残差网络(Residual Network，Resnet)50的网络结构。此外，本申请不限于此，分类装置2还可以使用其他类型的分类器。
在至少一个实施例中，分类装置2所使用的分类器可以是利用训练样本图像进行训练得到。例如，训练样本图像中购物容器内的物品数量所处的区间num_range可以被标记出，这样，训练完成得到的分类器可以准确地检测出图像中购物容器内的物品数量，并输出对应的类别编号class_num。由于训练样本图像中购物容器内的物品数量所处的区间num_range是一个客观的数值区间，因此，对训练样本进行标记时的误差较小，训练完成后得到的分类器的分类准确性较高。
在至少一个实施例中，数量设定装置3对分类装置2确定出的与分类结果对应的物品数量converted_num进行比较，并根据比较结果来设定该购物容器内物品的数量的预测值predict_num。
例如，在分类装置2确定的物品数量converted_num大于第一阈值的情况下，数量设定装置3将分类装置2确定的物品数量converted_num作为该购物容器内物品的数量的预测值predict_num。第一阈值例如是10，即，在分类装置2分类的结果为类别编号class_num为5～14时，数量设定装置3将分类装置2确定的物品数量converted_num作为购物容器内物品的数量的预测值predict_num。此外，本申请不限于此，第一阈值也可以是其它的数值。
又例如，在分类装置2确定的物品数量converted_num小于或等于第一阈值的情况下，数量设定装置3可以将下述的第二检测装置4检测到的购物容器内物品的数量detect_num作为该购物容器内物品的数量的预测值predict_num。
如图1所示，检测物品数量的装置100还可以包括：第二检测装置4。第二检测装置4能够根据购物容器内物品的图像204检测出购物容器内物品的数量。
在至少一个实施例中，第二检测装置4可以使用检测模型对图像204进行检测，从而得到购物容器内物品的数量detect_num。第二检测装置4使用的该检测模型可以基于目标检测算法，该目标检测算法可以是深度学习算法，例如是YOLO(You Only Look Once)算法。此外，也可以是其它算法。
在至少一个例子中，可以使用作为训练样本的图像对检测模型进行训练，从而得到训练好的检测模型，第二检测装置4使用训练好的模型对图像204进行检测。
在至少一个实施例中，第二检测装置4对于物品检测的交并比(Intersectionover Union，IOU)可以大于0.5，即，IoU>0.5。其中，交并比是指：第二检测装置4检测出的物品的边框与该物品的实际边框的交集(Intersection)，与第二检测装置4检测出的物品的边框与该物品的实际边框的并集(Union)的比值。第二检测装置4进行物品检测的准确性(precision)可以是0.8，召回率(recall)可以是0.8。
如图1所示，检测物品数量的装置100还可以包括：判断装置5。
判断装置5能够判断数量设定装置3得到的购物容器内物品的数量的预测值predict_num与扫描值scanning_num的差值Error，即，Error＝predict_num–scanning_num。
扫描值scanning_num是扫描设备对购物容器内的物品进行扫描得到的物品的数量。例如，如图2所示，扫描设备205可以被设置于收银台202或收银台202的附近，扫描设备205可以扫描物品上的条码、二维码或磁场等，来获取物品数量信息和/或价格信息等。
在至少一个实施例中，判断装置5还可以将差值Error与第二阈值Th进行比较，当差值Error与大于或等于第二阈值Th时，生成报警信息。
例如，顾客在收银台202结账时，可以将购物容器内的物品取出并逐一放在扫描设备205上进行扫描，从而进行结账；扫描完毕后，扫描设备205得到的物品的数量为扫描值scanning_num，而数量设定装置3基于购物容器内物品的图像得到物品数量的预测值predic_num，判断装置5计算预测值predict_num与扫描值scanning_num的差值Error，在该差值Error大于或等于第二阈值Th时，生成报警信息；工作人员在收到该报警信息时，可以对该购物容器内的物品数量进行人工核验等处理；由此，能够避免出现购物容器内的物品被遗漏扫描的情况。
在至少一个实施例中，判断装置5使用的第二阈值Th可以依据预测值detect_num所处的区间而设定。例如，预测值predict_num越大，则第二阈值Th越大。
图3是第二阈值和预测值对应关系的一个示意图。如图3所示，不同的第二阈值Th可以对应于不同预测值predict_num的区间，即，第二阈值Th相对于预测值detect_num可以呈台阶状改变。例如，预测值predict_num的区间是(0，8]，第二阈值Th为1；预测值predict_num的区间是(8，15]，第二阈值Th为3；预测值predict_num的区间是(15，26]，第二阈值Th为9；预测值predict_num大于26，第二阈值Th为20。
图4是本申请的检测物品数量的装置100针对不同图像进行处理的示意图。
如图4的(A)所示：
对于购物容器内物品的图像410，分类装置2确定的购物容器内的物品数量converted_num为6，小于第一阈值10；
第二检测装置4对图像410进行检测，得到购物容器内的物品数量的检测值detect_num为4；
数量设定装置3将购物容器内物品的数量的预测值predict_num设定为检测值detect_num，即，predict_num＝4；
在预测值predict_num为4时，对应的第二阈值Th为1；
如果扫描值scanning_num为4，那么预测值predict_num与扫描值scanning_num的差值Error为0，小于第二阈值Th，所以，判断装置5不生成报警信息。
如图4的(B)所示：
对于购物容器内物品的图像420，分类装置2确定的购物容器内的物品数量converted_num为12，大于第一阈值10，因此，数量设定装置3将购物容器内物品的数量的预测值predict_num设定分类装置2确定的物品数量converted_num，即，predict_num＝12；
在预测值predict_num为12时，对应的第二阈值Th为5；
如果扫描值scanning_num为6，那么预测值predict_num与扫描值scanning_num的差值Error为6，大于第二阈值Th，所以，判断装置5生成报警信息。
值得注意的是，以上仅对与本申请相关的各部件或模块进行了说明，但本申请不限于此。检测物品数量的装置100还可以包括其他部件或者模块，关于这些部件或者模块的具体内容，可以参考相关技术。
为了简单起见，图1中仅示例性示出了各个部件或模块之间的连接关系或信号走向，但是本领域技术人员应该清楚的是，可以采用总线连接等各种相关技术。上述各个部件或模块可以通过例如处理器、存储器等硬件设施来实现；本申请实施例并不对此进行限制。
以上各个实施例仅对本申请实施例进行了示例性说明，但本申请不限于此，还可以在以上各个实施例的基础上进行适当的变型。例如，可以单独使用上述各个实施例，也可以将以上各个实施例中的一种或多种结合起来。
第二方面的实施例
本申请实施例提供一种检测物品数量的方法，对应于第一方面的实施例的检测物品数量的装置。第二方面的实施例与第一方面的实施例相同内容不再赘述。
图5是检测物品数量的方法的一个示意图。如图5所示，该方法包括：
操作501、检测图像中的购物容器；
操作502、利用分类器，对所述购物容器内物品的图像进行分类，并确定与分类结果对应的物品数量；
操作503、在所述确定的所述物品数量大于第一阈值时，将所述确定的所述物品数量作为所述购物容器内物品的数量的预测值。
在操作502中，分类结果的不同类别对应于不同的物品数量。
根据操作501、502、503，能够以较低的成本准确地检测购物容器中的物品数量。
如图5所示，检测物品数量的方法还可以包括：
操作504、在所述确定的所述物品数量小于或等于所述第一阈值的情况下，将根据所述购物容器内物品的图像检测出的所述购物容器内物品的数量作为所述预测值。
如图5所示，检测物品数量的方法还可以包括：
操作505、判断所述预测值与扫描值的差值。
在操作505中，扫描值scanning_num是扫描设备对所述购物容器内的物品进行扫描得到的物品的数量。
如图5所示，检测物品数量的方法还可以包括：
操作506、将差值Error与第二阈值Th进行比较，当差值大于或等于第二阈值时，生成报警信息。
操作506使用的第二阈值Th依据预测值predict_num的区间而设定。例如，预测值predict_num越大，则第二阈值Th越大。
以上仅对与本申请相关的各步骤或过程进行了说明，但本申请不限于此。检测物品数量的方法还可以包括其他步骤或者过程，关于这些步骤或者过程的具体内容，可以参考现有技术。此外，以上仅以检测物品数量的方法所使用的模型的一些结构为例对本申请实施例进行了示例性说明，但本申请不限于这些结构，还可以对这些结构进行适当的变型，这些变型的实施方式均应包含在本申请实施例的范围之内。
以上各个实施例仅对本申请实施例进行了示例性说明，但本申请不限于此，还可以在以上各个实施例的基础上进行适当的变型。例如，可以单独使用上述各个实施例，也可以将以上各个实施例中的一种或多种结合起来。
由上述实施例可知，根据本申请的检测物品数量的方法，使用与对图像进行分类的结果对应的物品数量与阈值的关系，确定购物容器内的物品数量，由此，能够以较低的成本准确地检测购物容器中的物品数量。
第三方面的实施例
本申请实施例提供一种电子设备，包括有如第一方面的实施例所述的检测物品数量的装置100，其内容被合并于此。该电子设备例如可以是计算机、服务器、工作站、膝上型计算机、智能手机，等等；但本申请实施例不限于此。
图6是本申请实施例的电子设备的示意图。如图6所示，电子设备600可以包括：处理器(例如中央处理器CPU)610和存储器620；存储器620耦合到中央处理器610。其中该存储器620可存储各种数据；此外还存储信息处理的程序621，并且在处理器610的控制下执行该程序621。
在一些实施例中，检测物品数量的装置100的功能被集成到处理器610中实现。其中，处理器610被配置为实现如第二方面的实施例所述的检测物品数量的方法。
在一些实施例中，检测物品数量的装置100与处理器610分开配置，例如可以将检测物品数量的装置配置为与处理器610连接的芯片，通过处理器610的控制来实现检测物品数量的装置的功能。
例如，处理器610被配置为进行如下的控制：检测图像中的购物容器；利用分类器，对所述购物容器内物品的图像进行分类，并确定与分类结果对应的物品数量；以及在所述确定的所述物品数量大于第一阈值时，将所述确定的所述物品数量作为所述购物容器内物品的数量的预测值。
在至少一些实施例中，所述检测物品数量的方法还包括：在所述确定的所述物品数量小于或等于所述第一阈值的情况下，将根据所述购物容器内物品的图像检测出的所述购物容器内物品的数量作为所述预测值。
在至少一些实施例中，所述检测物品数量的方法还包括：判断所述预测值与扫描值的差值，其中，所述扫描值是扫描设备对所述购物容器内的物品进行扫描得到的物品的数量。
在至少一些实施例中，所述检测物品数量的方法还包括：
将所述差值与第二阈值进行比较，当所述差值大于或等于所述第二阈值时，生成报警信息。
在至少一些实施例中，所述第二阈值依据所述预测值所处的区间而设定。
在至少一些实施例中，所述预测值越大，则所述第二阈值越大。
在至少一些实施例中，所述分类结果的不同类别对应于不同的物品数量。
此外，如图6所示，电子设备600还可以包括：输入输出(I/O)设备630和显示器640等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，电子设备600也并不是必须要包括图6中所示的所有部件；此外，电子设备600还可以包括图6中没有示出的部件，可以参考相关技术。
本申请实施例还提供一种计算机可读程序，其中当在电子设备中执行所述程序时，所述程序使得计算机在所述电子设备中执行如第二方面的实施例所述的检测物品数量的方法。
本申请实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在电子设备中执行如第二方面的实施例所述的检测物品数量的方法。
本申请以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本申请涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本申请还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、DVD、flash存储器等。
结合本申请实施例描述的方法/装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图中所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(FPGA)将这些软件模块固化而实现。
软件模块可以位于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动磁盘、CD-ROM或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若设备(如移动终端)采用的是较大容量的MEGA-SIM卡或者大容量的闪存装置，则该软件模块可存储在该MEGA-SIM卡或者大容量的闪存装置中。
针对附图中描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，可以实现为用于执行本申请所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，还可以实现为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、与DSP通信结合的一个或多个微处理器或者任何其它这种配置。
以上结合具体的实施方式对本申请进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本申请保护范围的限制。本领域技术人员可以根据本申请原理对本申请做出各种变型和修改，这些变型和修改也在本申请的范围内。
本申请还提供如下的附记：
1.一种检测物品数量的方法，包括：
检测图像中的购物容器；
利用分类器，对所述购物容器内物品的图像进行分类，并确定与分类结果对应的物品数量；以及
在所述确定的所述物品数量大于第一阈值时，将所述确定的所述物品数量作为所述购物容器内物品的数量的预测值。
2.根据权利要求1所述的方法，其中，所述方法还包括：
在所述确定的所述物品数量小于或等于所述第一阈值的情况下，将根据所述购物容器内物品的图像检测出的所述购物容器内物品的数量作为所述预测值。
3.根据权利要求1所述的检测物品数量的方法，其中，所述检测物品数量的方法还包括：
判断所述预测值与扫描值的差值，
其中，所述扫描值是扫描设备对所述购物容器内的物品进行扫描得到的物品的数量。
4.根据权利要求3所述的检测物品数量的方法，其中，所述检测物品数量的方法还包括：
将所述差值与第二阈值进行比较，当所述差值大于或等于所述第二阈值时，生成报警信息。
5.根据权利要求4所述的检测物品数量的方法，其中，
所述第二阈值依据所述预测值所处的区间而设定。
6.根据权利要求5所述的检测物品数量的方法，其中，
所述预测值越大，则所述阈值越大。
7.根据权利要求1所述的检测物品数量的方法，其中，
所述分类结果的不同类别对应于不同的物品数量。
8.一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得耦合到该存储介质的处理器执行如下的方法：
检测图像中的购物容器；
利用分类器，对所述购物容器内物品的图像进行分类，并确定与分类结果对应的物品数量；以及
在所述确定的所述物品数量大于第一阈值时，将所述确定的所述物品数量作为所述购物容器内物品的数量的预测值。
9.根据附记8所述的存储介质，其中，所述检测物品数量的方法还包括：
在所述确定的所述物品数量小于或等于所述第一阈值的情况下，将根据所述购物容器内物品的图像检测出的所述购物容器内物品的数量作为所述预测值。
10.根据附记1所述的存储介质，其中，
所述检测物品数量的方法还包括：
判断所述预测值与扫描值的差值，
其中，所述扫描值是扫描设备对所述购物容器内的物品进行扫描得到的物品的数量。
11.根据附记10所述的存储介质，其中，所述检测物品数量的方法还包括：
将所述差值与第二阈值进行比较，当所述差值大于或等于所述第二阈值时，生成报警信息。
12.根据权利要求11所述的检测物品数量的方法，其中，
所述第二阈值依据所述预测值所处的区间而设定。
13.根据附记12所述的存储介质，其中，
所述预测值越大，则所述阈值越大。
14.根据附记8所述的存储介质，其中，
根据图像中所述购物容器底部被物品覆盖的程度，所述分类结果被区分为至少两种类别。

Claims (10)

1.一种检测物品数量的装置，其特征在于，所述检测物品数量的装置包括：
第一检测装置，其检测图像中的购物容器；
分类装置，其利用分类器，对所述购物容器内物品的图像进行分类，并确定与分类结果对应的物品数量；以及
数量设定装置，其在所述分类装置确定的所述物品数量大于第一阈值时，将所述分类装置确定的所述物品数量作为所述购物容器内物品的数量的预测值。
2.根据权利要求1所述的装置，其中，所述装置还包括：
第二检测装置，其根据所述购物容器内物品的图像检测出所述购物容器内物品的数量，
其中，在所述分类装置确定的所述物品数量小于或等于所述第一阈值的情况下，所述数量设定装置将所述第二检测装置检测出的物品的数量作为所述预测值。
3.根据权利要求1所述的检测物品数量的装置，其中，所述检测物品数量的装置还包括：
判断装置，其判断所述预测值与扫描值的差值，
其中，所述扫描值是扫描设备对所述购物容器内的物品进行扫描得到的物品的数量。
4.根据权利要求3所述的检测物品数量的装置，其中，
所述判断装置还将所述差值与第二阈值进行比较，当所述差值大于或等于所述第二阈值时，生成报警信息。
5.根据权利要求4所述的检测物品数量的装置，其中，
所述第二阈值依据所述预测值所处的区间而设定。
6.根据权利要求5所述的检测物品数量的装置，其中，
所述预测值越大，则所述阈值越大。
7.根据权利要求1所述的检测物品数量的装置，其中，
所述分类结果的不同类别对应于不同的物品数量。
8.一种电子设备，包括权利要求1至7中任意一项所述的检测物品数量的装置。
9.一种检测物品数量的方法，其特征在于，所述检测物品数量的方法包括：
检测图像中的购物容器；
利用分类器，对所述购物容器内物品的图像进行分类，并确定与分类结果对应的物品数量；以及
在所述确定的所述物品数量大于第一阈值时，将所述确定的所述物品数量作为所述购物容器内物品的数量的预测值。
10.根据权利要求9所述的方法，其中，所述方法还包括：
在所述确定的所述物品数量小于或等于所述第一阈值的情况下，将根据所述购物容器内物品的图像检测出的所述购物容器内物品的数量作为所述预测值。
CN202211487552.0A 2022-11-25 2022-11-25 检测物品数量的装置和方法以及电子设备 Pending CN118095335A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202211487552.0A CN118095335A (zh) 2022-11-25 2022-11-25 检测物品数量的装置和方法以及电子设备
EP23210905.8A EP4375906A1 (en) 2022-11-25 2023-11-20 Apparatus and method for detecting number of articles and electronic device
JP2023197341A JP2024076997A (ja) 2022-11-25 2023-11-21 物品数量を検出する装置と方法及び電子機器
US18/517,220 US20240177578A1 (en) 2022-11-25 2023-11-22 Apparatus and method for detecting number of articles and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211487552.0A CN118095335A (zh) 2022-11-25 2022-11-25 检测物品数量的装置和方法以及电子设备

Publications (1)

Publication Number Publication Date
CN118095335A true CN118095335A (zh) 2024-05-28

Family

ID=88874763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211487552.0A Pending CN118095335A (zh) 2022-11-25 2022-11-25 检测物品数量的装置和方法以及电子设备

Country Status (4)

Country Link
US (1) US20240177578A1 (zh)
EP (1) EP4375906A1 (zh)
JP (1) JP2024076997A (zh)
CN (1) CN118095335A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6786784B2 (ja) * 2015-09-30 2020-11-18 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
US11208134B2 (en) * 2020-03-11 2021-12-28 Gatekeeper Systems, Inc. Monitoring system capable of classifying items added to a shopping cart
WO2023220677A1 (en) * 2022-05-11 2023-11-16 Deepnorth Inc. Self-checkout verification systems and methods
JP2024008245A (ja) * 2022-07-07 2024-01-19 富士通株式会社 情報処理プログラム、情報処理方法、および情報処理装置

Also Published As

Publication number Publication date
EP4375906A1 (en) 2024-05-29
JP2024076997A (ja) 2024-06-06
US20240177578A1 (en) 2024-05-30

Similar Documents

Publication Publication Date Title
CN109300263B (zh) 基于卷积神经网络的图像识别技术的结算方法和装置
US10650232B2 (en) Produce and non-produce verification using hybrid scanner
CN107767590A (zh) 物品自动识别商用条码电子秤及物品自动识别方法
CN107610379A (zh) 一种购物识别方法及购物车识别装置
US10372998B2 (en) Object recognition for bottom of basket detection
US9299229B2 (en) Detecting primitive events at checkout
US20170083884A1 (en) System and method for automatic identification of products
CN109741551B (zh) 一种商品识别结算方法、装置及系统
US20220067568A1 (en) Computer vision transaction monitoring
JP5865316B2 (ja) 商品登録装置およびプログラム
US20180068534A1 (en) Information processing apparatus that identifies an item based on a captured image thereof
CN114463853B (zh) 一种商品漏扫码行为的识别方法、装置、存储介质和电子设备
US20210019722A1 (en) Commodity identification device and commodity identification method
JP7519633B2 (ja) 絞込処理システム
CN112278636B (zh) 一种垃圾分类回收方法、装置、系统及存储介质
RU2724797C1 (ru) Кассовая система и способ для идентификации блюд на подносе
WO2019092782A1 (ja) 情報処理装置、制御方法、及びプログラム
CN112364702A (zh) 一种物品核验方法及装置
CN118095335A (zh) 检测物品数量的装置和方法以及电子设备
CN118097528A (zh) 检测物品数量的装置和方法以及电子设备
CN112154488A (zh) 信息处理装置、控制方法和程序
US20240029017A1 (en) Information processing device, information processing method, and recording medium
CN111222377B (zh) 一种商品信息确定方法、装置及电子设备
JP6908491B2 (ja) 商品情報読取装置およびプログラム
JP7339630B1 (ja) 情報処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination