CN113256917A - 用于标识从物品库存中选择的物品的方法和设备 - Google Patents
用于标识从物品库存中选择的物品的方法和设备 Download PDFInfo
- Publication number
- CN113256917A CN113256917A CN202110187847.5A CN202110187847A CN113256917A CN 113256917 A CN113256917 A CN 113256917A CN 202110187847 A CN202110187847 A CN 202110187847A CN 113256917 A CN113256917 A CN 113256917A
- Authority
- CN
- China
- Prior art keywords
- user
- item
- items
- inventory
- identified
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000004590 computer program Methods 0.000 claims abstract description 8
- 230000000007 visual effect Effects 0.000 claims description 39
- 238000012545 processing Methods 0.000 claims description 20
- 230000005855 radiation Effects 0.000 claims description 12
- 238000005303 weighing Methods 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 4
- 230000003993 interaction Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 235000007688 Lycopersicon esculentum Nutrition 0.000 description 12
- 240000003768 Solanum lycopersicum Species 0.000 description 12
- 238000012800 visualization Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 235000013311 vegetables Nutrition 0.000 description 3
- 241000234295 Musa Species 0.000 description 2
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 235000012055 fruits and vegetables Nutrition 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003054 catalyst Substances 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 235000021022 fresh fruits Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
- G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
- G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
-
- A—HUMAN NECESSITIES
- A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
- A47F—SPECIAL FURNITURE, FITTINGS, OR ACCESSORIES FOR SHOPS, STOREHOUSES, BARS, RESTAURANTS OR THE LIKE; PAYING COUNTERS
- A47F9/00—Shop, bar, bank or like counters
- A47F9/02—Paying counters
- A47F9/04—Check-out counters, e.g. for self-service stores
- A47F9/046—Arrangement of recording means in or on check-out counters
- A47F9/047—Arrangement of recording means in or on check-out counters for recording self-service articles without cashier or assistant
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01G—WEIGHING
- G01G19/00—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups
- G01G19/40—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight
- G01G19/413—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means
- G01G19/414—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only
- G01G19/4144—Weighing apparatus or methods adapted for special purposes not provided for in the preceding groups with provisions for indicating, recording, or computing price or other quantities dependent on the weight using electromechanical or electronic computing means using electronic computing means only for controlling weight of goods in commercial establishments, e.g. supermarket, P.O.S. systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/201—Price look-up processing, e.g. updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/01—Details for indicating
Landscapes
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Mathematical Physics (AREA)
- General Business, Economics & Management (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Multimedia (AREA)
- Cash Registers Or Receiving Machines (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及一种用于标识从物品库存中选择的物品的方法、设备和计算机程序。
Description
技术领域
本发明涉及一种用于标识从物品库存中选择的物品的方法、设备和计算机程序。
背景技术
例如，物品的标识对于在零售业中给物品分配价格是很重要的。一个特殊的问题在于确定散装产品、例如在超市中销售的新鲜水果和蔬菜的价格。在自助服务环境中，顾客可以从库存中选择水果和蔬菜。所选物品的价格根据所选物品的重量来确定。
为此，顾客可以将选定的水果和蔬菜呈现给店员。店员可被培训以标识所选物品，店员可以将物品放在秤上，输入与该物品相关联的产品查询(PLU)号，并基于对所选物品的标识及其重量计算所选物品的价格。但这种方式对超市工作人员来说，耗时较长。
因此，近年来出现了自助结账系统、例如自助结账秤，其中，称重和产品标识是由顾客进行的。为此，可以提供键盘，该键盘包括各个按钮，所述按钮上设有各个物品的代表物，例如符号或名称。通过按下相应的按钮来进行物品的标识。然而，这种方法难以适用于变化的库存，并且对于具有大量物品种类的库存来说是不切实际的。这个问题可以通过将符号或名称可视化为显示器、例如触摸屏上的图标来解决。这使得能够适应不断变化的库存。对于大库存，仅库存中的物品的子集可同时在显示器上可表示。然而，可以通过菜单结构进行导航，从而实现所需物品的可视化。另外，秤可设有输入单元，该输入单元允许输入相应物品的产品查询号。这两种方法的缺点是，它们对客户来说都很耗时。此外，没有经验的顾客可能无法操作这种自助结账系统。
作为另一种方法，US5,426,282公开了未编码产品的视频图像被摄像装置捕获并显示在视频监视器上，该监视器可由商店人员查看。与视频监视器相关联的键盘允许商店人员输入与视频监视器上显示的产品相对应的产品代码。然而，这种方法又需要商店人员的协助，因此成本很高。
为了克服这些问题，建议在自助结账系统中使用图像识别系统。然而，最先进的图像识别系统一般不能确定地标识超市中出售的物品。考虑到这一点，EP 1 523 737 B1公开了一种销售点自助结账系统，其中，对由视频摄像装置捕获的物品的图像的分析被用于确定候选物品并将这些物品显示在显示器上。然后，用户可以选择所显示的物品中的一个。如果系统没有正确标识物品，顾客可通过键盘输入PLU，这对于没有经验的用户来说是费时且困难的。
为了提高产品标识的正确概率，WO 2019/119047 A1公开了一种零售结账终端生鲜产品标识系统，以用于生鲜产品的视觉标识，其中，该系统通过使用机器学习进行训练。在无法以一定的准确度确定物品的情况下，系统可在屏幕上呈现出物品的子选择，供用户选择。然而，用户的选择仅限于所呈现的子选择物品。
发明内容
鉴于现有技术中存在的这些问题，本发明的目的在于提出一种用于标识从物品库存中选择的物品的方法、设备和计算机程序，使得即使从大库存中选择物品时也能快速标识所述物品。
根据本发明的第一方面，该目的通过一种用于标识从物品库存中选择的物品的方法来实现，所述方法包括：
-用户从库存中选择物品，
-自动识别系统应用于用户选择的物品，所述自动识别系统用于基于与用户选择的物品相关联的至少一个识别特征来确定库存的相应被识别物品的适当子集，并输出代表被识别物品的识别信息，
-在显示器上以第一显示模式显示由识别信息代表的被识别物品的可视形象并且同时以第二显示模式显示库存的非识别物品的第一集合的可视形象，第一显示模式和第二显示模式在视觉上能区分开，
-由用户在可视化的物品中标识用户选择的物品，以用于进一步自动处理代表用户选择的物品的标识信息。
根据本发明的第一方面，提供了物品库存。库存中的每件物品都可以依据一组标识特征来唯一地标识。这些特征可包括使得能够粗略分类的特征，例如仅区分为水果或蔬菜。然而，优选的是，物品的标识可以更细，例如标识具体的种类，如乔纳金苹果等。
根据本发明的方法包括用户从库存中选择物品。该选择可以包括选择单个物品或选择多个物品。
库存的每个物品可与至少一个识别特征相关联。这种识别特征的示例可以包括物品的尺寸、形状、颜色等。库存的两个不同物品可以共享一些识别特征。例如，不同物品可以具有相同的颜色(例如，物品香蕉和物品有机香蕉共享它们是黄色的特征)。
根据本发明的方法还包括将自动识别系统应用于用户选择的物品。自动识别系统适于检测与用户选择的物品相关联的至少一个识别特征。基于检测到的识别特征，自动识别系统确定被识别物品的子集R。该子集R可以只包括一物品，或者可以包括多种不同的物品。为此，自动识别系统可以包括包含识别特征的每个有效组合(F1，F2，...，FK)到至少一个物品的映射的数据库。一般来说，识别特征的有效组合被映射到多于一个物品。例如，组合(红色，圆形)可以映射到“苹果”和“西红柿”。
被识别物品由识别信息r代表，以用于进一步的电子处理。识别信息可以是数字信息。
每个被识别物品都可以与一概率值(识别概率)相关联，该概率值指示出被识别物品与用户选择的物品对应的概率。一个完美的自动识别系统将只确定一个被识别物品，其关联的概率为1。然而，现实的自动识别系统会确定多个被识别物品，并且每个被识别物品的相关概率都小于1。
库存中的所有不在被识别物品中的物品都表示为非识别物品。对于每个非识别物品，该非识别物品与用户选择的物品对应的概率可以小于特定的阈值概率。
所述方法还包括在显示器上以第一显示模式显示由识别信息代表的被识别物品的可视形象并且同时以第二显示模式显示库存的非识别物品的第一集合的可视形象，第一显示模式和第二显示模式在视觉上能区分开。非识别物品的第一集合可以是库存的所有非识别物品的集合，也可以是其适当的子集。根据本发明，因此，库存的每个物品可以以两种可视觉区分的显示模式显示在显示器上。可视化可经由物品的符号代表物进行，例如经由象形图或图标。例如，在该物品是苹果的情况下，可视化可经由苹果的符号代表物或经由字符串“苹果”进行。
显示模式可以以下列方式区分：一个显示模式可以是彩色的图标，而另一个显示模式可以是黑白的图标。附加地或替代地，两种显示模式之一可以包括围绕图标的框架。附加地或替代地，其中一个显示模式可以包括图标的闪烁。一般来说，第一显示模式可以是突出表示，而第二显示模式可以是背景表示。
显示器可包括图形用户接口，例如触摸屏。
所述方法还包括在可视化的物品中标识用户选择的物品。用户可以经由输入到用户接口的输入来标识物品。例如，他可以触摸触摸屏上的相应图标。用户可以在被识别物品中或在非识别物品中标识用户选择的物品。被标识的用户选择的物品由标识信息表示。标识信息可以是数字数据。标识信息可由电子数据处理装置自动处理。
常规的方法包括仅显示被识别物品的可视形象，但根据本发明的方法包括同时显示被识别物品的可视形象和非被识别物品的第一集合的可视形象。因此，即使当用户选择的物品不在被识别物品中时，它也可以在非被识别物品的第一集合的物品中。因此，与现有技术相比，用户选择的物品可以是用户可标识的，而无需进一步的导航步骤。两种可视觉区分的显示模式使得能够从视觉上区分被识别物品与非识别物品。特别是，用户的注意力可以被吸引到以第一显示模式显示的被识别物品。这可以加快标识过程。
所述方法可包括基于人工智能、特别是机器学习的自动识别系统的训练。
原则上，非识别物品的第一集合可以包括来自库存的所有不是被识别物品的物品。然而，特别是对于大的库存，可能不能在显示器上同时显示库存的所有物品的可视形象。在这种情况下，优选将显示器分为第一区域和第二区域，并将库存中的物品分组为相互不相干的物品集合A1、...、An，使得仅一个集合中的物品同时在显示器的第二区域中被可视化。可能优选的是选择不相干的集合，使得每个集合中的物品共享一些属性。例如，集合A1可以包括所有水果，集合A2可以包括所有蔬菜，等等。然后，可能优选的是在第一区域的第一显示模式中显示被识别物品的可视形象。包括识别概率最高的被识别物品的集合Ak可以在第二区域中显示。Ak中作为非识别物品的那些元素可以以第二显示模式显示。优选地，Ak的物品的可视形象的空间排列总是相同的。这提高了可用性。此外，优选的是，以第一显示模式可视化Ak中的被识别物品。被识别物品的第一显示模式在第一区域和第二区域中可以是相同的，也可以是可视觉区分的。
在本发明的一个实施例中，识别特征的检测可以基于辐射与物品的相互作用。因此，自动识别系统可以是图像识别系统。辐射可以是在光学范围内，也可以是在红外范围内。
如上所述，基于与用户选择的物品相关联的至少一个识别特征来确定库存的相应被识别物品的子集R。因此，优选的是，所述方法包括检测所选物品是否在识别系统无法检测物品的必要识别特征的状况下呈现给识别系统。这种状况可以是物品相对于自动识别系统的不利的布置。在识别特征的检测是基于辐射与物品的相互作用的情况下，所述状况可能是由于辐射路径中存在物体而发生的。例如，用户的手可能被放置在辐射路径中，或者物品可能被包装物(例如袋子)遮挡。
可能进一步优选的是，所述方法包括输出指示出无法检测的状况的信息。该输出可以是视觉的或声学的。例如，如果用户的手在辐射路径中，则系统可以输出视觉或声音警报，使用户能够了解他的手在辐射路径中。这可能会引起适应性的用户行为，并加快所述方法的速度。一旦无法检测的状况被去除(例如手从辐射路径中移除)，所述方法可以直接继续进行显示识别物品的可视形象和非识别物品的可视形象。
在本发明的一个实施例中，该方法可以包括实时直播(live-streaming)将用户选择的物品呈现给识别系统的状况。这可以包括在显示器上直播将用户选择的物品呈现给识别系统的状况的视频。以这种方式，用户可以从视频中了解该物品的必要识别特征无法被系统检测。例如，用户可以从视频中了解到用户选择的物品被他的手遮挡了。此外，用户可以观察到，在他的手从辐射路径移开之后，用户选择的物品是完全可见的。这向用户提供了关于他的行为的附加反馈，并且可以加快所述方法的速度。
所述方法还可以包括输出指示出识别系统检测到识别特征的无效组合的状况的信息。如上文所解释的那样，识别系统可以包括包含将识别特征的每个有效组合映射到库存的一个或多于一个物品的数据库。然而，也可能存在识别特征的无效组合。例如，可能存在与第一识别特征相关联的第一物品，并且可能存在与不同于第一识别特征的第二识别特征相关联的第二物品，但库存中可能没有与第一识别特征和第二识别特征都相关联的物品。因此，如果第一物品和第二物品同时呈现给自动识别系统，则可能没有识别出物品。
所述方法还可包括响应于用户请求，显示所述物品库存中的与非识别物品的第一集合不同的非识别物品的第二集合的可视形象。如上所述，可能无法在显示器上同时显示库存的所有物品的可视形象。因此，可能会出现这种情况，即用户选择的物品不在被识别物品的可视形象和非识别物品的第一集合的可视形象之中。在这种情况下，用户可以请求在显示器上可视化不同于非识别物品的第一集合的非识别物品的第二集合。该用户请求可以经由输入单元提供给系统。
一旦用户选择的物品被标识，根据本发明的方法包括进一步自动处理代表用户选择的物品的标识信息。所述进一步自动处理可以是电子数据处理。所述进一步自动处理可包括根据标识信息生成销售数据。销售数据可以包括通过称重秤获得的物品称重数据和/或从数据库获得的价格信息。销售数据的生成可以包括计算用户选择的物品的销售价格。所述方法还可以包括在显示器上显示销售数据或使用打印机打印销售数据。
本发明的第二方面是一种用于标识从物品库存中选择的物品的设备，所述设备包括：
-用于识别用户选择的物品的自动识别系统，所述自动识别系统用于基于与用户选择的物品相关联的至少一个识别特征来确定库存的相应被识别的物品的适当子集，并输出代表被识别的物品的识别信息，
-显示装置，所述显示装置用于从自动识别系统接收识别信息，并以第一显示模式显示由识别信息代表的被识别物品的可视形象，同时以第二显示模式显示库存的非识别物品的第一集合的可视形象，第一显示模式和第二显示模式在视觉上能区分开，
-用户输入装置，其用于接收用于从可视化的物品中标识用户选择的物品的用户输入，
-用于进一步自动处理代表用户选择的物品的标识信息的处理装置。
自动识别系统可以是包括CPU的常规自动识别系统。替代地，它可以是CPU和GPU或其它加速硬件的组合。它可以使用网络中的处理能力，如基于云或基于边缘的方法。子集(R)可以使用电子数据处理来确定。
自动识别系统可包括摄像装置和/或多光谱传感器。摄像装置和/或多光谱传感器可以允许基于辐射与物品的相互作用来检测识别特征。因此，自动识别系统可以是图像识别系统。该自动识别系统可以包括多个摄像装置和/或多个多光谱传感器。所述多个摄像装置和/或多光谱传感器可以布置成能够检测不同空间方向的辐射。
所述设备还可以包括用于测量用户选择的物品的重量的称重秤和/或用于存储价格信息的数据库。这样，可以获得包括物品称重数据和/或价格信息的销售数据。所述设备可以是销售点自助结账环境的一部分。
在一个实施例中，所述设备可以包括称重秤和用于自动图像识别的摄像装置，其中，秤的负载板包括位于摄像装置的视场中的用于自动调整摄像装置的白平衡和/或色温的修补域(patch field)。称重秤可以包括用于接收物品的碗，碗布置在负载板上。在此，修补域可以通过负载板在未被碗覆盖的区域中的白色来实现。例如，负载板可以在其周边区域中包含白色。该白色区域可作为摄像装置的修补域。附加地或替代地，碗可以是黑色的，以避免物品的可能被识别为幽灵物体(ghost article)的阴影。以这种方式，可以减少环境光对识别结果的影响。
本发明的第三方面是一种用于标识从物品库存中选择的物品的计算机程序，所述计算机程序包括指令，所述指令当由计算机执行时使计算机执行以下步骤：
-从自动识别系统获取与用户选择的物品相关联的识别数据，
-基于与用户选择的物品相关联的至少一个识别特征，确定库存的相应被识别的物品的适当子集，以创建代表被识别的物品的识别信息，
-在显示器上以第一显示模式显示识别信息代表的被识别物品的可视形象并且同时以第二显示模式显示库存的非识别物品的第一集合的可视形象，第一显示模式和第二显示模式在视觉上能区分开，
-响应于从可视化的物品中标识用户选择的物品的用户输入，进一步自动处理代表用户选择的物品的标识信息。
附图说明
在下面的描述中，将参照附图更详细地解释本发明，其中，
图1a示出了根据本发明的包括称重秤的设备的示意性透视图，
图1b示出了图1a的设备的侧视图，
图2示出了根据本发明的方法的流程图，
图3示出了展示显示视图的图1a和1b的设备。
具体实施方式
图1a和1b示出了根据本发明的设备1的透视图和侧视图，所述设备包括具有用于接收用户选择的物品的碗3和称重传感器2的称重秤。所述设备1包括具有摄像装置4的自动识别系统。因此，图示示例的自动识别系统包括图像识别系统，但本发明不限于此。摄像装置4拍摄放置在碗3中的用户选择的物品的照片，并生成图像数据。该图像数据经由电子数据处理与库存物品的存储在数据库中的图像数据进行比较。为此，自动识别系统可以包括CPU和/或加速硬件。特别是，检查用户选择的物品的识别特征是否与库存物品的识别特征相匹配。通过这种方式，确定被识别物品的子集。
称重秤还可以包括负载板6，所述负载板6包括摄像装置4视野内的修补域7，以用于自动调整摄像装置4的白平衡和/或色温。为此，负载板6可以在其周边边界的区域中包含白色。附加地或替代地，碗3可以是黑色的，以避免物品的可能被识别为幽灵物品的阴影。这样，可以减少环境光对识别结果的影响。
此外，所述设备还包括显示屏5。显示屏5可以包括触摸屏。显示屏5使得能够以第一显示模式显示被识别物品的可视形象，并同时以第二显示模式显示库存的非识别物品的第一集合的可视形象，该第二显示模式在视觉上可与第一显示模式区分开。
设备1还包括处理装置、例如CPU，以用于进一步自动处理代表用户选择的物品的标识信息。例如，包括称重秤的设备1可以使得能够基于从称重秤接收的称重数据和从数据库接收的价格信息进行价格计算。
在下文中，将参照图2的流程图来解释根据本发明的方法的一个实施例。图3中描绘了根据本发明的方法的显示视图。
该方法从S1开始，其中，用户从库存中选择物品。所述库存可以包括在超市中放置在篮子中的散装产品。例如，用户可以从一篮西红柿中选择三个西红柿(用户选择的物品100)，并可以将它们放在设备1的碗3中(见图3)。
然后，在S2，自动识别系统应用于用户选择的物品100。在本示例中，摄像装置4(在图3中不可见)记录用户选择的物品100的图像。在图3所示的实施例中，摄像装置4还记录用户选择的物品100的实时视频，该实时视频在显示器5的第一区域10中实时直播(S3)。实时直播11持续进行，直到用户选择的物品100被用户标识(S8，见下文)。
接下来，验证用户选择的物品100的必要识别特征是否无法检测(S4)。例如，用户可能会不小心将手放在用户选择的物品100与摄像装置4之间，从而使用户选择的物品100被遮挡。然后，设备1可以输出指示无法检测性状况的信息。在一个示例中，该输出可以是警报符号的形式，该警报符号指示用户的手放在用户选择的物品100与摄像机4之间的事实。通过这种方式，用户可以理解为什么自动识别系统不能确定相应的被识别物品的子集。因此，用户更有可能将手移开。然后，自动识别系统可以直接进行确定被识别物品的子集。
当所有必要的识别特征都能被自动识别系统检测时，自动识别系统将输出代表被识别物品的识别信息r(S5)。
然后，在S6，以第一显示模式显示被识别物品的可视形象，同时以第二显示模式在显示器5上显示非识别物品的第一集合的可视形象。图3中示出了显示器5上的一种可能的可视形象。
如图3所示，被识别物品被显示为显示器5的第一区域10中的图标。每个物品都与一定的识别概率相关联，该识别概率也显示在显示器5上。在本例中，系统1无法区分不同种类的西红柿，因此只显示“西红柿”这一类别。通过触摸显示屏5的第一区域10中的西红柿项，可以在显示屏5上直观地弹出库存的不同种类的西红柿。
在显示器5的第二区域20中，以图标的形式显示库存的物品的可视形象。所述图标以四行三列的矩阵排列。在本例中，将库存物品划分为不相干的子集，所述子集的大小使得能够在显示器5的第二区域20中同时可视化一个子集中的所有物品。优选地，显示器上与一个子集的物品相对应的图标的空间排列总是相同的。在图3所示的示例中，西红柿具有最高的识别概率。因此，包含西红柿的子集被显示在显示器5的第二区域20中。被识别物品中有三个种类的西红柿，因此，它们的相应图标(排列在图3的第一行图标中)通过明亮的背景(在图3中不可见)和框架在显示器5上突出显示。显示的子集中所有不被识别物品是非识别物品(排列在图3的第二行至第四行中)。它们以灰色背景显示(图3中不可见)。即，识别的物品以第一显示模式显示(在显示器5的第一区域10中可视化，并在显示器5的第二区域20中突出显示)，而非识别物品以第二显示模式显示(在第二区域20中以灰色背景显示)，第二显示模式在视觉上可与第一显示模式区分开。该可视化使得能够方便地了解哪些物品被自动识别系统识别。
在用户选择的物品100没有在显示器上可视化的情况下(S7)，用户可以通过按下显示器5右下角显示的前进/后退按钮23来输入用户请求(S71)。然后，显示器上将显示非识别物品的第二集合的可视形象(S72)。用户可以通过按下相应的前进/后退按钮在非识别物品的子集内进行浏览，直到在显示器5上呈现出用户选择的物品100的可视形象。
然后，用户标识用户选择的物品100(在S8)。在显示器5是触摸屏的情况下，可以通过触摸显示器5上代表用户选择的物品100的图标来实现。
接下来，在S9，从数据库接收称重数据和/或价格信息。这使得能够在S10生成销售数据。例如，系统可基于用户选择的物品是西红柿、它们的重量和它们的单位重量的价格的信息计算出三个西红柿的价格。
该销售数据、例如价格可以显示在显示器(S11)上。附加地或替代地，也可通过打印机将该销售数据打印出来。
Claims (15)
1.一种用于标识从物品库存中选择的物品的方法，所述方法包括：
-用户从库存中选择物品(100)(S1)，
-自动识别系统应用于用户选择的物品(100)(S2)，所述自动识别系统用于基于与用户选择的物品相关联的至少一个识别特征来确定库存的相应被识别物品的适当子集(R)，并输出代表被识别物品的识别信息(r)(S5)，
-在显示器(5)上以第一显示模式显示由识别信息代表的被识别物品的可视形象并且同时以第二显示模式显示库存的非识别物品的第一集合的可视形象，第一显示模式和第二显示模式在视觉上能区分开(S6)，
-由用户在可视化的物品中标识用户选择的物品，以用于进一步自动处理代表用户选择的物品的标识信息(S8)。
2.根据权利要求1所述的方法，其中，识别特征的检测是基于辐射与物品的相互作用。
3.根据权利要求1或2所述的方法，其中，所述方法包括：检测用户选择的物品(100)是否在识别系统无法检测到用户选择的物品(100)的必要的识别特征的状况下被呈现给识别系统(S4)。
4.根据权利要求3所述的方法，其中，所述方法包括输出指示出无法检测的状况的信息(S41)。
5.根据前述权利要求中任一项所述的方法，其中，所述方法包括实时直播将用户选择的物品(100)呈现给识别系统(S3)的状况。
6.根据前述权利要求中任一项所述的方法，其中，所述方法包括输出指示出识别系统检测到识别特征的无效组合的状况的信息。
7.根据前述权利要求中任一项所述的方法，其中，所述方法包括：响应于用户请求，显示所述物品库存中的与非识别物品的第一集合不同的非识别物品的第二集合的可视形象(S7，S71，S72)。
8.根据前述权利要求中任一项所述的方法，其中，所述进一步自动处理包括根据所述标识信息来生成销售数据(S10)。
9.根据权利要求8所述的方法，其中，所述销售数据包括物品的通过称重秤获得的称重数据和/或从数据库获得的价格信息。
10.一种用于标识从物品库存中选择的物品的设备，所述设备包括：
-用于识别用户选择的物品(100)的自动识别系统，所述自动识别系统用于基于与用户选择的物品(100)相关联的至少一个识别特征来确定库存的相应被识别物品的适当子集(R)，并输出代表被识别物品的识别信息(r)，
-显示装置(5)，所述显示装置(5)用于从自动识别系统接收识别信息(r)，并以第一显示模式显示由识别信息(r)代表的被识别物品的可视形象，同时以第二显示模式显示库存的非识别物品的第一集合的可视形象，第一显示模式和第二显示模式在视觉上能区分开，
-用户输入装置，其用于接收用于从可视化的物品中标识用户选择的物品(100)的用户输入，
-用于进一步自动处理代表用户选择的物品(100)的标识信息的处理装置。
11.根据权利要求10所述的设备，其中，自动识别系统包括摄像装置(4)和/或多光谱传感器。
12.根据权利要求10或11所述的设备，其中，所述设备还包括用于测量用户选择的物品的重量的称重秤和/或用于存储价格信息的数据库。
13.根据权利要求10-12中任一项所述的设备，其中，所述设备包括称重秤和用于自动图像识别的摄像装置(4)，其中，秤的负载板(6)包括位于摄像装置(4)的视场中的用于自动调整摄像装置(4)的白平衡和/或色温的修补域(7)。
14.一种用于标识从物品库存中选择的物品的计算机程序，所述计算机程序包括指令，所述指令当由计算机执行时使计算机执行以下步骤：
-从自动识别系统获取与用户选择的物品(100)相关联的识别数据，
-基于与用户选择的物品(100)相关联的至少一个识别特征，确定库存的相应被识别物品的适当子集(R)，以创建代表被识别物品的识别信息(r)，
-在显示器上以第一显示模式显示识别信息代表的被识别物品的可视形象并且同时以第二显示模式显示库存的非识别物品的第一集合的可视形象，第一显示模式和第二显示模式在视觉上能区分开，
-响应于从可视化的物品中标识用户选择的物品(100)的用户输入，进一步自动处理代表用户选择的物品(100)的标识信息。
15.一种计算机可读数据载体，其上存储有权利要求14所述的计算机程序。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20156344.2 | 2020-02-10 | ||
| EP20156344.2A EP3862962A1 (en) | 2020-02-10 | 2020-02-10 | Method and appartus for identifying an item selected from a stock of items |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113256917A true CN113256917A (zh) | 2021-08-13 |
Family
ID=69570517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110187847.5A Pending CN113256917A (zh) | 2020-02-10 | 2021-02-09 | 用于标识从物品库存中选择的物品的方法和设备 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20210248579A1 (zh) |
| EP (1) | EP3862962A1 (zh) |
| CN (1) | CN113256917A (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11017641B2 (en) * | 2018-12-21 | 2021-05-25 | Sbot Technologies Inc. | Visual recognition and sensor fusion weight detection system and method |
| CN112162671B (zh) * | 2020-10-13 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 直播数据处理方法、装置、电子设备及存储介质 |
| US11599748B2 (en) * | 2020-12-18 | 2023-03-07 | Tiliter Pty Ltd. | Methods and apparatus for recognizing produce category, organic type, and bag type in an image using a concurrent neural network model |
| US11928662B2 (en) * | 2021-09-30 | 2024-03-12 | Toshiba Global Commerce Solutions Holdings Corporation | End user training for computer vision system |
| US20230297990A1 (en) * | 2022-03-18 | 2023-09-21 | Toshiba Global Commerce Solutions Holdings Corporation | Bi-optic object classification system |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1791894A (zh) * | 2003-06-26 | 2006-06-21 | 国际商业机器公司 | 用于肯定地识别物品的装置、方法和系统 |
| CN105825597A (zh) * | 2015-01-26 | 2016-08-03 | 东芝泰格有限公司 | 物品识别装置、销售数据处理装置 |
| US20170024416A1 (en) * | 2015-07-22 | 2017-01-26 | Toshiba Tec Kabushiki Kaisha | Image recognition system and an image-based search method |
| US20170277968A1 (en) * | 2014-08-27 | 2017-09-28 | Nec Corporation | Information processing device and recognition support method |
| EP3474181A1 (en) * | 2017-10-20 | 2019-04-24 | Checkout Technologies srl | Device for automatic recognition of products |
| US20190188435A1 (en) * | 2011-08-30 | 2019-06-20 | Digimarc Corporation | Methods and arrangements for identifying objects |
| WO2019119047A1 (en) * | 2017-12-21 | 2019-06-27 | Tiliter Pty Ltd | A retail checkout terminal fresh produce identification system |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5426282A (en) | 1993-08-05 | 1995-06-20 | Humble; David R. | System for self-checkout of bulk produce items |
| EP1720137A1 (en) | 2002-05-17 | 2006-11-08 | Fujitsu Transaction Solutions, Inc. | Self-checkout method and apparatus |
| US11481751B1 (en) * | 2018-08-28 | 2022-10-25 | Focal Systems, Inc. | Automatic deep learning computer vision based retail store checkout system |
-
2020
- 2020-02-10 EP EP20156344.2A patent/EP3862962A1/en not_active Withdrawn
-
2021
- 2021-02-05 US US17/169,031 patent/US20210248579A1/en not_active Abandoned
- 2021-02-09 CN CN202110187847.5A patent/CN113256917A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1791894A (zh) * | 2003-06-26 | 2006-06-21 | 国际商业机器公司 | 用于肯定地识别物品的装置、方法和系统 |
| US20190188435A1 (en) * | 2011-08-30 | 2019-06-20 | Digimarc Corporation | Methods and arrangements for identifying objects |
| US20170277968A1 (en) * | 2014-08-27 | 2017-09-28 | Nec Corporation | Information processing device and recognition support method |
| CN105825597A (zh) * | 2015-01-26 | 2016-08-03 | 东芝泰格有限公司 | 物品识别装置、销售数据处理装置 |
| US20170024416A1 (en) * | 2015-07-22 | 2017-01-26 | Toshiba Tec Kabushiki Kaisha | Image recognition system and an image-based search method |
| EP3474181A1 (en) * | 2017-10-20 | 2019-04-24 | Checkout Technologies srl | Device for automatic recognition of products |
| WO2019119047A1 (en) * | 2017-12-21 | 2019-06-27 | Tiliter Pty Ltd | A retail checkout terminal fresh produce identification system |
Also Published As
| Publication number | Publication date |
|---|---|
| US20210248579A1 (en) | 2021-08-12 |
| EP3862962A1 (en) | 2021-08-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113256917A (zh) | 用于标识从物品库存中选择的物品的方法和设备 | |
| JP6709862B6 (ja) | 畳み込みニューラルネットワーク画像認識技術による会計方法及び設備 | |
| US20230389725A1 (en) | Image display device, image display system, image display method, and program | |
| JP6549558B2 (ja) | 売上登録装置、プログラム及び売上登録方法 | |
| US8927882B2 (en) | Commodity search device that identifies a commodity based on the average unit weight of a number of commodities resting on a scale falling within a predetermined weight deviation of a referece unit weight stored in a database | |
| US7416119B1 (en) | Methods and apparatus for automatically determining and deducting weight of containers for products | |
| JP7300699B2 (ja) | 教師データ生成方法、教師データ生成プログラム、教師データ生成装置、及び商品識別装置 | |
| WO2019152266A1 (en) | Systems and methods for verifyingmachine-readable label associated with merchandise | |
| US20180039841A1 (en) | Object Recognition for Bottom of Basket Detection | |
| JP7374453B2 (ja) | 学習済みモデル生成方法、学習済みモデル生成装置、商品判別方法、商品判別装置、商品判別システム及び計量装置 | |
| JP2017182653A (ja) | 商品モニタリング装置、商品モニタリングシステムおよび商品モニタリング方法 | |
| US20190108503A1 (en) | Reading apparatus, reading method, and computer readable medium | |
| WO2019064925A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP2013089090A (ja) | 情報処理装置及びプログラム | |
| JP6375924B2 (ja) | 商品登録装置、商品特定方法及びプログラム | |
| JP2024023957A (ja) | 処理装置、処理方法及びプログラム | |
| EP4028971A1 (en) | Scale and method for the automatic recognition of a product | |
| CA3097029A1 (en) | Self-service kiosk for determining glove size | |
| CN112154488B (zh) | 信息处理装置、控制方法和程序 | |
| JP5797703B2 (ja) | 情報処理装置、店舗システム及びプログラム | |
| US11928662B2 (en) | End user training for computer vision system | |
| JP2018136621A (ja) | 情報処理装置およびプログラム | |
| US10631668B2 (en) | Inspection system, information collection apparatus, inspection method, information collection method, and non-transitory storage medium | |
| JP6947283B2 (ja) | 店舗装置、店舗システム、画像取得方法、およびプログラム | |
| JP2021096635A (ja) | 画像処理装置、画像処理方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |