CN116157764A - 基于姿势检测和分析的条形码扫描 - Google Patents

Abstract

本文公开了用于基于姿势检测和分析来解码条形码的系统。系统可以接收环境的图像流。系统可以基于处理图像流的图像来确定图像流的姿势区域。系统可以由用户基于分析姿势区域来检测姿势。系统可以基于用户执行姿势时的位置来确定图像流的条形码区域。系统可以基于分析条形码区域来识别环境中的条形码。系统可以基于条形码的格式来对条形码解码。

Description

基于姿势检测和分析的条形码扫描

背景技术

条形码可以与各种类型的对象相关联，以提供或允许使用条形码扫描仪获得关于对象的信息。在某些情况下，用户可以使用手动条形码扫描仪来扫描条形码。由用户的手或手臂握持或附接至用户的手或手臂的手动条形码扫描仪通常需要使用用户的一只或两只手来执行扫描(例如，以触发扫描和/或操纵手动条形码扫描仪和/或对象的位置)。通常，当用户要扫描对象上的条形码时，用户正从事涉及该对象的其他活动。因此，需要解放用户的手的准确的条形码扫描仪系统，以允许用户更轻而易举或容易地执行其他活动，而无需在扫描之间放下或拿起条形码扫描仪。

发明内容

在一些实施方式中，一种方法包括：接收描绘环境的图像流；使用图像处理模型来监测图像流以检测环境中的姿势集；使用图像处理模型来确定图像流的第一部分描绘姿势集中的第一姿势；使用图像处理模型来确定第一姿势与指示图像流的条形码区域相关联；使用图像处理模型来分析图像流的条形码区域以识别条形码；使用图像处理模型来确定图像流的第二部分描绘姿势集中的与解码条形码相关联的第二姿势；基于确定图像流的第二部分描绘第二姿势来对条形码解码；以及执行与和条形码相关联的对象相关联的动作。

在一些实施方式中，设备包括一个或多个存储器；以及通信地耦合至一个或多个存储器的一个或多个处理器，被配置成：接收描绘环境的图像流；使用图像处理模型来监测图像流以检测环境中的姿势集；使用图像处理模型来确定图像流的第一部分描绘姿势集中的第一姿势；使用图像处理模型来确定第一姿势与指示图像流的条形码区域相关联；使用图像处理模型来分析图像流的条形码区域以识别环境中的条形码；使用图像处理模型来确定图像流的第二部分描绘姿势集中的、与解码条形码相关联的第二姿势；以及基于描绘第二姿势的图像流来对条形码解码。

在一些实施方式中，存储指令的有形机器可读介质包括一个或多个指令，在由设备的一个或多个处理器执行时该一个或多个指令使该设备用于：接收环境的图像流；基于处理图像流的图像来确定图像流的姿势区域；由用户基于分析姿势区域来检测姿势；基于用户在执行姿势时的位置来确定图像流的条形码区域；基于分析条形码区域来识别环境中的条形码；以及基于条形码的格式来对条形码解码。

附图说明

附图(其中相同的附图标记在全部单独的视图中指示相同的或功能类似的要素)连同下面的详细描述被包括于此并形成说明书的一部分，并用来进一步图示本文公开的概念的实施方式，以及解释那些实施方式的各种原理和优势。

图1是本文描述的示例实施方式的图示。

图2是本文描述的另一示例实施方式的图示。

图3是本文描述的另一示例实施方式的图示。

图4是可以在其中实现本文描述的系统和/或方法的示例环境的图示。

图5是图4的一个或多个设备的示例组件的图示。

图6是与基于姿势检测和分析的条形码扫描相关的示例过程的流程图。

本领域技术人员将理解，附图中的要素出于简化和清楚而示出，并且不一定按尺度绘制。例如，附图中的要素中的一些要素的尺寸可相对于其它要素被夸大以帮助提升对本文描述的实施方式的理解。

已在附图中通过常规符号在适当位置对装置和方法要素进行了表示，所述表示仅示出与理解本文描述的实施方式有关的那些特定细节，以免因得益于本文的描述对本领域技术人员显而易见的细节而混淆本公开。

具体实施方式

以下对示例实施方式的详细描述参考附图。不同附图中的相同附图标记可标识相同或相似的要素。

条形码通常用于提供和/或获得与特定对象(例如，产品、库存、样本、供给、消耗品等)相关联的信息。例如，条形码扫描仪可用于对附接至对象的条形码进行解码，以允许(例如，与企业或组织相关联的)系统获得与对象相关联的信息。一些条形码扫描仪可包括手动控制的设备，这些手动控制的设备被配置成由用户握持和/或附接至用户，并由用户(例如，使用按钮或其他输入设备)触发以扫描条形码。其他条形码扫描仪可包括可以持续地监测环境并且当条形码被放置在条形码扫描仪的视场内时可以自动地扫描所检测的条形码的自动设备。尽管此类自动条形码扫描仪可以促进用户的免提使用，但是当多个条形码同时在视场内时，自动条形码扫描仪可能无法区分在特定时间或对特定对象要扫描哪些条形码。换句话说，因为自动条形码扫描仪被配置成(例如，一旦条形码被检测到就)扫描所检测的条形码中的任何条形码或所有条形码，与对象相关联的某些期望信息可能无法看清。因此，当要扫描环境内的一组条形码中的特定条形码时，用户需要手动地扫描条形码，通常需要使用用户的一只手或两只手和/或手臂来执行扫描(例如，以操纵条形码扫描仪和/或对象的位置和/或定向)。之前用于手动扫描条形码的技术抑制了用户执行与扫描条形码和/或对象相关联的一个或多个活动和/或操作(例如，对对象分类、使用对象、移动对象、控制与对象相关联的另一机器或设备等)的能力。

本文描述的一些实施方式提供使用姿势检测来允许条形码被扫描和/或解码的系统。例如，如本文所述，用户可以执行一个或多个可识别的和/或指定的姿势以指示要扫描条形码、指示要扫描的特定条形码和/或触发条形码扫描。在一些实施方式中，系统可包括和/或利用图像处理模型来检测和/或识别图像流内的姿势。图像流可包括由相机捕获的、描绘环境内的用户的图像连同要使用一个或多个姿势扫描的条形码。相机可以与可穿戴用户设备(例如，智能眼镜或增强现实眼镜、智能手表、或其他类型的可穿戴设备)相关联。因此，如本文所述的系统使用户能够扫描环境内的各个条形码，而不需要用户握持手动条形码扫描仪，从而提高了用户执行一个或多个其他活动(例如，涉及用户的手的活动)的能力，因为用户不被要求在扫描之间拿起和/或放下手动条形码扫描仪或在握持手动条形码扫描仪的同时执行其他活动。此外，如本文所述的系统减少了(例如，因为条形码不旨在被扫描或不应该被扫描)不必要地扫描条形码和处理和/或传递与不必要地被扫描的条形码相关联的数据的自动条形码扫描仪原本可能会浪费的计算资源(例如，处理资源、存储器资源和/或通信资源)的消耗。

图1是与基于姿势检测的条形码扫描相关联的示例实施方式100的图示。如图1中所示，示例实施方式100包括条形码数据管理系统和包括相机的用户设备。在示例实施方式100中，用户设备被示出为包括由用户穿戴的、与执行一个或多个姿势以扫描条形码相关联的智能眼镜，如本文所述。其他示例类型的用户设备可以类似地如本文所述用于检测和/或分析姿势(例如，智能手机、随身相机/扫描仪、智能手表等)。

图1的示例中的条形码数据管理系统可以是与管理与对象和/或经解码的条形码相关联的信息相关联的后端系统。例如，条形码数据管理系统可包括管理以下各项的平台：与对象相关联的库存(例如，用于定位、分拣、分类等)、与对象相关联的交易(例如，用于购买、销售、租赁、和/或其他类型的交易处理)、与对象相关联的运输操作(例如，用于启动装运、按特定路线装运等)、对象的标记(例如，用于生成与对象相关联的标记)等。尽管示例实施方式100的以下描述可以指执行与基于姿势检测和/或姿势分析扫描条形码相关联的一个或多个动作或操作的用户设备姿势姿势，但是后端管理系统也可以类似地被配置成执行这些动作或操作中的一个或多个动作或操作。

如图1中并且由附图标记110所示，用户设备获得和/或处理相机的图像流。图像流可以是包括描绘在用户执行与对象相关联的一个或多个活动时(例如，从用户的视角)的用户的环境的一系列图像的实时图像流。例如，图像流可以由与执行与对象相关联的一个或多个操作的用户相关联的用户设备的相机捕获。此外，如本文所述，用户设备处理图像流以监测用户和/或对象的环境。更具体地，如本文所述，用户设备可以(例如，实时地)处理图像流以识别用户设备的姿势和/或可以基于该姿势解码的条形码。在示例实施方式100中，图像流包括帧A和帧B，帧A和帧B可以是当用户执行与扫描和对象相关联的一个或多个条形码相关联的一个或多个姿势时在不同时间捕获的图像流的各个图像。

如本文所述，用户设备(和/或条形码数据管理系统)可以利用一个或多个图像处理模型来处理图像流。在一些实施方式中，用户设备可以使用(例如，在用户设备和/或条形码数据管理系统上本地地安装的)机器学习模型来检测和/或分析姿势在由相机捕获的图像中描绘的用户的一个或多个姿势和/或一个或多个条形码。例如，图像处理模型可包括和/或利用计算机视觉技术来帮助将图像数据分类为包括或不包括本文所述的一个或多个姿势和/或一个或多个条形码。在一些情况下，图像处理模型可包括用于实现计算机视觉技术的神经网络(例如，卷积神经网络、递归神经网络等)。计算机视觉技术可包括使用图像识别技术(例如，开端(Inception)框架、ResNet框架、视觉几何组(VGG)框架等)来检测一个或多个条形码，使用对象检测技术(例如，单发检测器(SSD)框架、你只用看一次(YOLO)框架等)来检测正执行姿势的用户的手(或其他身体部位)，使用运动中对象技术(例如，光流框架等)来分析姿势，等等。

如本文所述的图像处理模型可以使用与基于一个或多个图像参数的历史值来检测和分析一个或多个姿势和/或检测和/或分析一个或多个条形码相关联的历史数据(例如，通过条形码数据管理平台和/或通过与条形码管理平台相关联的一个或多个其他平台)来训练。此类图像参数可包括姿势参数(例如，与用户的手或其他身体部位的位置或位置变化相关联)、条形码参数(例如，与诸如各种条形码的形状、大小、类型等的外观相关联)等。如本文所述，使用历史数据和图像流作为图像处理模型的输入，用户设备可以检测姿势和/或条形码以允许基于姿势来扫描条形码。在一些实施方式中，用户设备(和/或条形码数据管理系统)可以通过如本文所述(例如，基于用户输入和/或来自用户的反馈)将历史数据更新为包括与图像处理模型是否准确地或不准确地检测、分析和/或解码条形码相关联的有效的或无效的结果来重新训练图像处理模型。

以此种方式，图像流可以被监测以允许用户的(例如，特定姿势集中的)一个或多个姿势被检测和/或分析，并且允许基于该一个或多个姿势检测条形码中的一个或多个条形码和/或对条形码中的一个或多个条形码解码。

如图1中、并且由附图标记120所示，用户设备检测图像流中的指示姿势。例如，指示姿势可以与用户指示(例如，通过指向)环境内要被扫描的条形码(例如，示出为指向要被扫描的特定条形码的手)相关联。在图1中，如图像流的帧A中所示，用户可以执行指示姿势来标识特定条形码要被扫描。指示姿势可以通过将手放置在指示配置来执行。在示例实施方式100中，用户通过伸出用户的手的食指和/或拇指并闭合用户的手的其余手指来将手放置在指示配置。然而，其他手配置也可以类似地用于指示或指出条形码。

在一些实施方式中，(例如，使用图像处理模型的)用户设备可以被配置成针对与扫描条形码相关联的一个或多个姿势来监测图像流。可以基于检测到在图像流的姿势区域中描绘对象(例如，用户的手或其他身体部位)检测到姿势。姿势区域可以在通过执行图像处理模型的三维(3D)处理技术检测和/或识别的图像流的前景内。此类3D处理技术可以包括基于在环境中描绘的所标识的对象的像素值的一个或多个深度感知技术(例如，基于相对对象大小、插入分析、线性透视分析、空中透视分析、照明分析、移动分析等的单目深度感知技术)。图像流的姿势区域和/或前景可以是对应于与用户相距各种距离的环境的空间的图像流的3D空间。以此种方式，图像处理模型可以监测图像流以检测由用户在3D环境中执行的姿势(例如，指示姿势)。

如本文所述，当用户“执行姿势”时，用户可以将手放置在特定配置中、将手放置在(例如，相对于条形码位置和/或相机视场的)特定位置中、和/或以特定方式移动手和/或手指。因此，如本文所述，可以结合检测到用户执行姿势来分析一个或多个帧。如示例实施方式100的帧A中所示，与用户执行的指示姿势相关联的特定条形码是(例如，基于附接至对象1)与对象1相关联的条形码1。帧A可以是与包括描绘用户在相机的视场内和/或在条形码的视线内移动手的图像的图像流的分区相关联的图像。使用图像处理模型，用户设备可以基于识别帧A描绘了以与指示姿势相关联的配置的手和/或基于识别该分区描绘了用户移动手并以指示配置来配置手来检测指示姿势。

以此种方式，用户设备可以检测指示姿势，以允许用户设备识别条形码和/或监测与扫描条形码和/或对条形码解码相关联的触发姿势。

如图1中、并且由附图标记130所示，用户设备识别与指示姿势相关联(例如，由指示姿势指示)的区域内的条形码。例如，使用图像处理模型的用户设备可以基于在执行姿势时用户的手的位置来确定条形码区域。更具体地，如图1的帧A和/或帧B中所示，，用户设备可以确定与包括当置于指示配置中时用户的食指末端的图像流区域相对应的条形码区域。在这种情况下，图像处理模型可以识别用户食指的像素位置(例如，描绘用户的食指指尖的部分的像素的位置)，并将图像流的条形码区域识别为包括像素位置的像素区域。像素区域可以是预先配置(例如，作为默认设置)的和/或基于条形码和用户的手之间的确定或估计的距离(例如，如本文所述，使用与分析用户的手和条形码区域相关联的3D处理技术来确定)而可变的特定大小和/或形状。

在一些实施方式中，相机的视线可以类似地对应于用户的视线，因为相机安装在用户佩戴的智能眼镜或其他类型的头戴式扫描仪上。在这样的示例中，用户可以执行指示姿势以指示要被扫描的条形码而不物理地触摸条形码。因此，用户可以执行姿势以扫描用户手臂触及范围之外的条形码。在这种情况下，条形码区域可以被确定为在图像的背景区域(例如，描绘用户的背景环境(例如，具有比用户的手臂长度更大范围的环境)的图像部分)中。可以基于本文描述的一个或多个3D处理技术来确定和/或识别背景区域。

如本文所述，图像处理模型可以利用一种或多种图像识别技术来识别与指示姿势相关联的条形码区域内的条形码。例如，可以训练图像处理模型以识别和/或检测描绘3D环境的图像内的一种或多种类型的二维(2D)条形码(例如，平行线条形码、快速响应(QR)码等)。在一些实施方式中，图像处理模型可以处理图像以对帧A的条形码区域进行裁剪、提取、增强等以识别条形码的一个或多个部分(例如，条形码的周边)。在一些实施方式中，基于识别条形码，用户设备可以通过在用户设备的用户界面(例如，显示器)上增强与条形码相关联的覆盖(例如，经由智能眼镜的镜片增强条形码上的条形码标识符(例如，透明颜色或高光)的增强现实显示)来指示条形码和/或验证条形码正被用户选择用于扫描。在这种情况下，用户设备可包括被配置成呈现与检测到的条形码和/或对象相关联的信息的增强现实眼镜。例如，用户设备可以(例如，使用图像处理的字符和/或对象检测技术)在相机的视场内呈现检测到的条形码的轮廓。因此，用户设备可以被配置成允许用户核实和/或验证特定条形码将被扫描和/或解码。

以此种方式，用户设备可以识别图像流的条形码区域内的条形码，以允许用户设备监测触发姿势和/或执行对条形码的扫描，以允许条形码被解码。

如图1中、并且由附图标记140所示，用户设备检测图像流中的触发姿势。例如，触发姿势可以与引起对条形码的扫描的用户相关联，以允许条形码被解码。与检测指示姿势类似，用户设备可以使用图像处理模型基于对图像流的帧B的分析来检测触发姿势。在示例实施方式100中，由用户执行的触发姿势可以与扫描条形码1相关联，条形码1(例如，基于附接至对象1)与对象1相关联。帧B可以是与包括描绘用户在相机的视场内和/或在条形码的视线内相对于指示姿势调整手的图像的图像流的分区相关联的图像。使用图像处理模型，用户设备可以基于识别帧B描绘了处于与触发姿势相关联的配置的手和/或基于识别该分区描绘了用户将手转换至触发配置来检测触发姿势。

在图1中，如图像流的帧B中所示，用户可以执行触发姿势以引起对条形码的扫描。触发姿势可以通过将以触发配置放置手来执行。在示例100中，用户通过从指示配置闭合食指(例如，模拟触发的拉动)来以触发配置放置手。因此，触发配置的执行可包括和/或基于用户将手从指示配置(例如，其中用户的食指位于伸出位置)转换到触发配置(例如，其中用户的食指位于闭合位置)。然而，其他手配置也可以类似地用于使条形码被扫描。

以此种方式，用户设备可以检测触发姿势，并且相应地，确定用户设备要扫描条形码和/或对条形码解码。在一些实施方式中，如上所述，用户设备可以基于检测到触发姿势来识别条形码区域内的条形码。

如图1中、并且由附图标记150所示，用户设备扫描条形码区域中的条形码和/或对条形码区域中的条形码解码。在一些实施方式中，在扫描条形码时，用户设备可以从图像流中获得、处理和/或存储条形码的条形码图像，以允许经由条形码图像对条形码解码。例如，使用条形码扫描模型(或与用于扫描条形码的一种或多种图像处理技术相关联的应用)，可以通过(例如，使用用于描述条形码的帧B的像素值)从图像流中复制和/或提取条形码和/或格式化(例如，增强、过滤、去噪、配置等)条形码来从图像流“扫描”条形码图像，以允许条形码被解码。在一些实施方式中，可以训练条形码扫描模型以(例如，基于与从各种角度的环境中描绘的条形码图像相关联的历史数据)检测3D环境内的条形码的平面配置。在这种情况下，条形码扫描模型可以将所提取的条形码的图像重新配置和/或更改为允许用户设备对条形码解码的格式。

根据一些实施方式，用户设备可以使激光扫描仪扫描条形码(例如，用户设备的激光扫描仪，诸如智能眼镜上的激光发射器和/或光传感器)。在这种情况下，用户设备可以使激光扫描仪通过向条形码发射光来扫描条形码，并基于与测量从条形码反射的光的光传感器相关联的扫描信息来对条形码解码。

用户设备可以使用任何合适的解码技术来对条形码解码，这可以基于条形码的类型(例如，平行线条形码、QR码等)。在对条形码解码时，可以生成可以用于获得、识别和/或确定与对象相关联的信息和/或与用户设备的配置和用户设备执行扫描的事实相关联的信息的条形码数据。例如，条形码数据可包括和/或表示：与对象相对于用户设备的环境的状态相关联的识别信息(例如，指示对象是否可用、被接收、和/或要被运输的信息)，与用户设备相关联的相对于环境的位置信息(例如，建筑物位置信息、地理坐标等)、交易信息(例如，定时信息、与用户相关联的用户信息、与对象相关联的值信息等)，和/或与用户相关联的用户信息(例如，用户的标识符、用户的位置、用户的角色等)(例如，基于用户登录到用户设备或与用户设备相关联)。

如本文所述，条形码区域可用于识别要被扫描的、环境中的特定(或单个)条形码。例如，尽管与对象2相关联的条形码2可以在相机的视场内，并且因此在帧A和帧B内，但是由于条形码2在条形码区域之外，用户设备基于触发姿势可以仅扫描条形码1。根据一些实施方式，用户可以使用一个或多个姿势来指示要扫描和/或解码的多个条形码。例如，用户可以执行与条形码区域的边界相关联的条形码边界姿势，并且相应地，执行多条形码触发姿势以指示边界内的任何或所有条形码都将被扫描(例如，同时地或顺序地)。

以此种方式，用户设备可以执行扫描条形码和/或对条形码解码，以允许用户设备和/或条形码数据管理系统管理与条形码和/或对象相关联的信息。

如图1中、并且由附图标记160所示，用户设备获得和/或提供与与条形码相关联的经解码的条形码和/或对象相关联的信息。例如，用户设备可以与对条形码解码相关联和/或基于对条形码解码提供状态信息、位置信息、交易信息和/或用户信息。附加地或替代地，用户设备可以向条形码数据管理系统提供条形码数据，以允许条形码数据管理系统确定和/或获得状态信息、位置信息、交易信息和/或用户信息。

以此种方式，用户设备可以执行与对象和/或条形码相关联的一个或多个动作，以使与条形码和/或对象相关联的信息能够被管理。

如上所述，图1作为示例提供。其他示例可与关于图1所描述的不同。图1中所示的设备的数量和布置作为示例提供。在实践中，与图1中所示的设备相比，可存在附加的设备、更少的设备、不同的设备或不同地布置的设备。此外，图1中所示的两个或更多个设备可以在单个设备中实现，或者图1中所示的单个设备可以实现为多个分布式设备。附加地或替代地，图1中所示的一组设备(例如，一个或多个设备)可以执行被描述为由图1中所示的另一组设备执行的一个或多个功能。

图2是可以由图像处理模型(诸如结合示例实施方式100描述的图像处理模型)执行的示例过程200的流程图。根据一些实施方式，图像处理模型可以由图1的用户设备和/或条形码数据管理系统配置、训练和/或利用。如图2中所示，图像处理模型可以从被配置成用于基于用户的一个或多个姿势来扫描一个或多个检测到的条形码的用户设备(例如，示出为智能眼镜和/或随身相机)接收图像流。

如图2中、并且在框210中所示，图像处理模块可以确定是否已检测到扫描姿势。例如，图像处理模块可以处理图像流的图像，以识别指示姿势、触发姿势、和/或一个或多个姿势组合。如果图像处理模型没有检测到姿势，则图像处理模型可以继续监测图像流。在框210处，如果图像处理模型检测到扫描姿势，则在框220处，图像处理模型确定姿势的区域(例如，图1的示例实施方式的条形码区域)。在框230处，图像处理模型(例如，使用图像识别模型、对象检测模型、条形码扫描模型等)分析姿势的区域。

在图2的框240处，图像处理模型可以确定在该区域中是否检测到条形码。在一些实施方式中，图像处理模型可以使用被配置成确定区域包括可被扫描的条形码的可能性的评分系统。评分系统可以基于图像是否包括指示条形码存在的某些形状、线条、文本等来确定可能性。基于评分系统确定指示区域可能不包括条形码的得分，在框250处，图像处理模型可以确定是否(例如，在图像流的后续帧中)重新分析区域以识别条形码。例如，图像处理模型可以基于检测到的姿势，基于图像处理模型是否分析了图像流的一个或多个其他帧以识别条形码和/或是否已经分析了与姿势相关联的图像流的一定数量的帧以检测条形码，来确定是否重试识别条形码。在这种情况下，在框250处，如果图像处理模型没有基于检测到的姿势分析图像流的阈值数量的帧以识别条形码，则图像处理模型可以返回至框220以确定图像流的另一帧中的姿势区域。如果图像处理模型已经分析了阈值数量的帧，则图像处理模型可以返回至框210，以检测另一姿势或不同姿势。在一些实施方式中，在这种情况下，图像处理模型可以使用户设备警告用户没有检测到与检测到的扫描姿势相关联的条形码。

在框240处，如果图像处理模型没有检测到(可以被扫描的)条形码，则在框260处，图像处理模型可以执行一个或多个操作以扫描条形码并且对条形码解码和/或提供与条形码相关联的条形码数据。例如，图像处理模型可以处理图像以提取条形码、格式化条形码、或重新配置和/或更改条形码以允许条形码被解码。

以此种方式，图像处理模型可以被配置成监测图像流以检测和/或识别一个或多个姿势以允许图像流中描绘的条形码被扫描。

如上所述，图2作为示例提供。其他示例可与结合图2描述的不同。

图3是图示出如本文所述结合检测和/或分析用户的姿势来对条形码解码和/或处理条形码的训练和使用机器学习模型的示例300的图示。本文描述的机器学习模型训练和使用可以使用机器学习系统来执行。机器学习系统可以包括算设备、服务器、云计算环境等(诸如本文别处更详细描述的用户设备和/或条形码数据管理系统)，或者可以包括在计算设备、服务器、云计算环境等中。

如附图标记305所示，可以使用(例如，与一组图像流相关联的)观察集来训练机器学习模型。可以从历史数据(诸如在本文所述的一个或多个过程期间收集的数据)获得观察集。在一些实施方式中，机器学习系统可以从用户设备接收观察集(例如，作为输入)(例如，以重新训练机器学习模型)，如本文别处所描述。

如附图标记310所示，观察集包括特征集。特征集可包括变量集，并且变量可以被称为特征。特定观察可包括与变量集相对应的变量值(或特征值)集。在一些实施方式中，机器学习系统可以基于从用户设备(例如，由用户用于使得使用一个或多个姿势扫描条形码和/或对条形码解码的用户设备，如本文所述)和/或另一类似用户设备(例如，由用户或其他用户操作的)接收的输入来确定观察集的变量和/或特定观察的变量值。例如，机器学习系统可以通过从结构化数据中提取特征集、通过执行自然语言处理以从非结构化数据中提取特征集、从操作员接收输入等来识别特征集(例如，一个或多个特征和/或特征值)。

作为示例，观察集的特征集可包括与条形码相关联的第一特征(例如，观察集中的条形码的类型的图像)、与指示姿势相关联的第二特征(例如，观察集的指示姿势的图像)、与触发姿势相关联的第三特征(例如，观察集的触发姿势的图像)，等等。如图所示，对于第一观察，第一特征可以具有条形码类型1的值(例如，与描绘第一类型的条形码的图像相关联的图像数据)，第二特征可以具有姿势图像1.1的值(例如，与描绘第一指示姿势的图像相关联的图像数据)，第三特征可以具有姿势图像1.2的值(比如，与描绘第一触发姿势的图像相关联的图像数据)，等等。这些特征和特征值作为示例提供，并且在其他示例中可以不同。例如，特征集可包括以下特征中的一个或多个特征：其他类型的姿势、图像是否包括多个条形码、与图像相关联的参数(例如，分辨率、大小、纵横比等)、与姿势执行相关联的定时、与捕获观察的图像或图像流相关联的用户设备或相机等。

如附图标记315所示，观察集可与目标变量相关联。目标变量可以表示具有数值的变量，可以表示具有落在值范围内的数值或具有一些离散的可能值的变量，可以表示可从多个选项中的一个选择的变量(例如，多个类别、分类、标签等中的一者)，可以表示具有布尔值的变量等。目标变量可以与目标变量值相关联，并且目标变量值可以特定于观察。在示例300中，目标变量是解码扫描指示符，其具有对于第一观察的“是”的值，以及对于第二观察的“否”的值，指示在第一观察中扫描了条形码，而在第二观察中未扫描条形码。在一些实施方式中，目标变量可以与表示要与识别条形码和/或触发条形码扫描的指示姿势和/或触发姿势相关联地扫描观察的条形码的可能性的得分相关联，如本文所述。例如，评分系统可以基于关于被准确检测和分析的指示姿势和/或触发姿势确定的置信水平和/或基于关于与扫描相关联地被准确标识和/或解码的条形码确定的置信水平来配置。因此，“是”可以与评分系统计算出满足阈值可能性的得分相关联，而“否”可以与评分系统计算出不满足阈值可能性的得分相关联。

目标变量可以表示机器学习模型正被训练以预测的值，并且特征集可以表示被输入到经训练的机器学习模型以预测目标变量的值的变量。观察集可以包括目标变量值，使得机器学习模型可以被训练以识别特征集中导致目标变量值的模式。被训练以预测目标变量值的机器学习模型可以被称为受监督学习模型。

在一些实施方式中，可以对不包括目标变量的观察集训练机器学习模型。这可以称为无监督学习模型。在这种情况下，机器学习模型可以在没有标记或监督的情况下从观察集学习模式，并且可以例如通过使用聚类和/或关联来识别观察集内的相关项目组来提供指示这种模式的输出。

如附图标记320所示，机器学习系统可以使用观察集和使用一个或多个机器学习算法(诸如回归算法、决策树算法、神经网络算法、k-最近邻算法、支持向量机算法等)来训练机器学习模型。在训练之后，机器学习系统可以将机器学习模型存储为经训练的机器学习模型325，以用于分析新观察。

如附图标记330所示，机器学习系统可以诸如通过接收新观察并将新观察输入到经训练的计算机学习模型325来将经训练的机器学习模型325应用于新观察。如图所示，作为示例，新观察可包括与条形码相关联的第一特征、与指示姿势相关联的第二特征、与触发姿势相关联的第三特征等。机器学习系统可以将经训练的机器学习模型325应用于新观察以生成输出(例如，结果)。输出的类型可以取决于机器学习模型的类型和/或正在执行的机器学习任务的类型。例如，诸如在采用监督学习时，输出可包括目标变量的预测值。附加地或替代地，诸如在采用无监督学习时，输出可包括识别新观察所属的聚类的信息、指示新观察与一个或多个其他观察之间的相似度的信息等。

作为示例，经训练的机器学习模型325可以(例如，基于满足阈值得分)对为新观察解码的条形码的目标变量预测为“是”的值，如附图标记335所示。基于该预测，机器学习系统可以提供第一推荐，可以提供用于确定第一推荐的输出，可以执行第一自动动作，可以(例如，通过指示另一设备执行该自动动作)使第一自动动作被执行等。例如，第一推荐可包括向用户推荐执行扫描、推荐用户验证条形码等。例如，第一自动动作可包括自动扫描条形码、经由条形码扫描自动提供与对条形码解码相关联的条形码数据，提供和与条形码相关联的对象相关联的信息(例如，标识与对象和/或用户设备相关联的状态、位置、交易、用户等的信息)等。

作为另一示例，如果机器学习系统要对经解码的条形码的目标变量预测“否”的值(例如，基于未满足阈值得分)，则机器学习系统可以提供第二(例如，不同的)推荐(例如，指示条形码不能被扫描等)和/或可以执行或使得执行第二(例如，不同的)自动动作(例如，忽略检测到的条形码、重新训练模型等)。

在一些实施方式中，经训练的机器学习模型325可以将新观察分类(例如，聚类)在聚类中，如附图标记340所示。聚类内的观察可具有阈值相似度。作为示例，如果机器学习系统将新观察分类在第一聚类(例如，指示条形码在观察中的聚类)中，则机器学习系统可以提供第一推荐，诸如上述第一推荐。附加地或替代地，机器学习系统可以基于将新观察分类到第一聚类中来执行第一自动动作和/或可以(例如，通过指示另一设备执行自动动作)使第一自动动作被执行，诸如上述第一自动动作。

作为另一示例，如果机器学习系统要将新观察分类到第二聚类(例如，包括指示姿势或触发姿势中的至少一个姿势和条形码的聚类)中，则机器学习系统可以提供第二(例如，不同的)推荐(例如，突出显示与姿势相关联的条形码)和/或可以执行或使得执行第二(例如，不同的)自动动作，诸如扫描条形码和/或对条形码解码。

在一些实施方式中，与新观察相关联的推荐和/或自动动作可以基于具有特定标签的目标变量值(例如，分类、归类等)，可以基于目标变量值是否满足一个或多个阈值(例如，目标变量值是大于阈值、小于阈值、等于阈值、还是落在阈值范围内等)，可以基于新观察被分类到其中的聚类等。

以此种方式，机器学习系统可以应用严谨和自动化的过程来检测和/或分析与识别和/或扫描条形码相关联的一个或多个姿势。，机器学习系统使得能够辨识和/或识别数十、数百、数千或数百万个观察的数十、数百、数千或数百万个特征和/或特征值，从而相对于要求为扫描使用条形码特征检测到的任何或所有条形码的条形码扫描仪分配计算资源提高准确性和一致性，并减少与识别哪个条形码要被扫描相关联的延迟，提供与对所扫描的条形码解码相关联的条形码数据等。

如上所述，图3作为示例提供。其他示例可与结合图3所描述的不同。

图4是可以在其中实现本文描述的系统和/或方法的示例环境400的图示。如图4中所示，环境400可包括条形码数据管理系统401，该条形码数据管理系统401可以包括云计算系统402的一个或多个元件和/或可以在云计算系统402内执行。如下文更详细描述的，云计算系统402可包括一个或多个元件403-413。如图4中进一步所示，环境400可以包括网络420和/或用户设备430。环境400的设备和/或元件可以经由有线连接和/或无线连接互连。

云计算系统402包括计算硬件403、资源管理组件404、主机操作系统(OS)405和/或一个或多个虚拟计算系统406。资源管理组件404可以执行计算硬件403的虚拟化(例如，抽象)以创建一个或多个虚拟计算系统406。使用虚拟化，资源管理组件404使得单个计算设备(例如，计算机、服务器等)能够诸如通过从单个计算设备的计算硬件403创建多个隔离的虚拟计算系统406像多个计算设备一样操作。以此种方式，与使用单独的计算设备相比，计算硬件403可以更高效地操作，具有更低的功耗、更高的可靠性、更高的可用性、更高的利用率、更好的灵活性和更低的成本。

计算硬件403包括来自一个或多个计算设备的硬件和相应资源。例如，计算硬件403可包括来自单个计算设备(例如，单个服务器)或来自多个计算设备(如，多个服务器)的硬件，诸如一个或多个数据中心中的多个计算设备。如图所示，计算硬件403可包括一个或多个处理器407、一个或多个存储器408、一个或多个存储组件409和/或一个或多个联网组件410。本文别处描述了处理器、存储器、存储组件和联网组件(例如，通信组件)的示例。

资源管理组件404包括能够虚拟化计算硬件403以启动、停止和/或管理一个或多个虚拟计算系统406的虚拟化应用(例如，在诸如计算硬件403之类的硬件上执行)。例如，资源管理组件404可包括管理程序(例如，裸机或类型1管理程序、托管或类型2管理程序等)或虚拟机监视器，诸如当虚拟计算系统406是虚拟机411时。附加地或替代地，资源管理组件404可包括容器管理器，诸如当虚拟计算系统406是容器412时。在一些实施方式中，资源管理组件404在主机操作系统405内执行和/或与主机操作系统405协调执行。

虚拟计算系统406包括虚拟环境，该虚拟环境使用计算硬件403实现基于云的、对本文所述的操作和/或过程的执行。如图所示，虚拟计算系统406可包括虚拟机411、容器412、包括虚拟机和容器的混合环境413等。虚拟计算系统406可以使用文件系统来执行一个或多个应用，该文件系统包括二进制文件、软件库和/或在访客操作系统(例如，在虚拟计算系统404内)或主机操作系统405上执行应用所需的其他资源。

尽管条形码数据管理系统401可包括云计算系统402的一个或多个元件403-413，可以在云计算系统402内执行，和/或可以托管在云计算系统402内，但是在一些实施方式中，条形码数据管理系统401可以不是基于云的(例如，可以在云计算系统外实现)或者可以是部分基于云的。例如，条形码数据管理系统401可包括不是云计算系统402的一部分的一个或多个设备，诸如图1的条形码数据管理系统，其可以包括独立服务器或另一类型的计算设备。条形码数据管理系统401可以执行本文别处更详细描述的一个或多个操作和/或过程。

网络420包括一个或多个有线和/或无线网络。例如，网络420可包括蜂窝网络、公共陆地移动网络(PLMN)、局域网(LAN)、广域网(WAN)、专用网络、因特网等，和/或这些或其他类型的网络的组合。网络420使得能够在环境400的设备之间进行通信。

用户设备430包括能够基于如本文别处所述的姿势检测和/或分析来接收、生成、存储、处理和/或提供与条形码扫描相关联的信息的一个或多个设备。用户设备430可包括通信设备和/或计算设备。例如，用户设备430可包括无线通信设备、用户装备(UE)、移动电话(例如，智能电话或手机等)、平板电脑、手持计算机、可穿戴通信设备(例如，智能手表或智能眼镜等)、物联网(IoT)设备或类似类型的设备。用户设备430可以与如本文别处所述的环境400的一个或多个其他设备通信。

图4中所示的设备和网络的数量和布置作为示例提供。在实践中，与图4中所示的设备和/或网络相比，可存在附加的设备和/或网络，更少的设备和/或网络、不同的设备和/或网络，或不同地布置的设备和/或网络。此外，图4中所示的两个或更多个设备可以在单个设备中实现，或者图4中所示的单个设备可以实现为多个分布式设备。附加地或替代地，环境400的一组设备(例如，一个或多个设备)可以执行被描述为由环境400的另一组设备执行的一个或多个功能。

图5是可以对应于条形码数据管理系统401和/或用户设备430的设备500的示例组件的图示。在一些实施方式中，条形码数据管理系统401和/或用户设备430可包括一个或多个设备500和/或设备500的一个或多个组件。如图5中所示，设备500可包括总线510、处理器520、存储器530、存储组件540、输入组件550、输出组件560和通信组件570。

总线510包括启用设备500的组件之间的有线和/或无线通信的组件。处理器520包括中央处理单元、图形处理单元、微处理器、控制器、微控制器、数字信号处理器、现场可编程门阵列、专用集成电路和/或另一类型的处理组件。处理器520在硬件、固件或硬件和软件的组合中实现。在一些实施方式中，处理器520包括能够被编程以执行功能的一个或多个处理器。存储器530包括随机存取存储器、只读存储器和/或另一类型的存储器(例如，闪存、磁存储器和/或光存储器)。

存储组件540存储与设备500的操作相关的信息和/或软件。例如，存储组件540可包括硬盘驱动器、磁盘驱动器、光盘驱动器、固态盘驱动器、光盘、数字多功能盘和/或另一类型的非暂态计算机可读介质。输入组件550使设备500能够接收输入，诸如用户输入和/或感测输入。例如，输入组件550可包括触摸屏、键盘、小键盘、鼠标、按钮、麦克风、开关、传感器、全球定位系统组件、加速度计、陀螺仪、致动器等。输出组件560使得设备500能够诸如经由显示器、扬声器和/或一个或多个发光二极管提供输出。通信组件570使得设备500能够诸如经由有线连接和/或无线连接与其他设备通信。例如，通信组件570可包括接收器、发射器、收发器、调制解调器、网络接口卡、天线等。

设备500可执行本文所述的一个或多个过程。例如，非暂态计算机可读介质(例如，存储器530和/或存储组件540)可以存储指令集(例如，一个或多个指令、代码、软件代码、程序代码等)以由处理器520执行。处理器520可执行指令集以执行本文所述的一个或多个过程。在一些实施方式中，由一个或多个处理器520执行指令集使得一个或多个处理器520和/或设备500执行本文所述的一个或多个过程。在一些实施方式中，可以使用硬连线电路系统来代替指令或与指令结合以执行本文所述的一个或多个过程。因此，本文描述的实施方式不限于硬件电路系统和软件的任何特定组合。

图5中所示的组件的数量和布置作为示例提供。与图5中所示的组件相比，设备500可包括附加的组件、更少的组件、不同的组件或不同地布置的组件。附加地或替代地，设备500的一组组件(例如，一个或多个组件)可以执行被描述为由设备500的另一组组件执行的一个或多个功能。

图6是与基于姿势检测和分析的条形码扫描相关联的示例过程600的流程图。在一些实施方式中，图6的一个或多个过程块可以由用户设备(例如，用户设备430)执行。在一些实施方式中，图6的一个或多个过程块可以由与用户设备分离或包括用户设备的另一设备或一组设备(诸如条形码数据管理系统401等)执行。附加地或替代地，图6的一个或多个处理块可以由设备500的一个或多个组件(诸如处理器520、存储器530、存储组件540、输入组件550、输出组件560、通信组件570等)执行。

如图6中所示，过程600可包括接收描绘环境的图像流(框610)。例如，如上所述，用户设备可以接收描绘环境的图像流。

如图6中进一步所示，过程600可包括使用图像处理模型监测图像流以检测环境中的姿势集(框620)。例如，如上所述，用户设备可以使用图像处理模型监测图像流以检测环境中的姿势集。

如图6中进一步所示，过程600可包括使用图像处理模型确定图像流的第一分区描绘姿势集中的第一姿势(框630)。例如，如上所述，用户设备可以使用图像处理模型确定图像流的第一分区描绘姿势集中的第一姿势。

如图6中进一步所示，过程600可包括使用图像处理模型确定第一姿势与指示图像流的条形码区域相关联(框640)。例如，如上所述，用户设备可以使用图像处理模型确定第一姿势与指示图像流的条形码区域相关联。

如图6中所示，过程600可包括使用图像处理模型分析图像流的条形码区域以识别条形码(框650)。例如，如上所述，用户设备可以使用图像处理模型分析图像流的条形码区域以识别条形码。

在一些实施方式中，分析条形码区域包括：识别执行第一姿势的用户成员的位置；确定条形码区域对应于描绘在该用户成员的位置的阈值距离内的环境区域，并且基于条形码描绘在阈值距离内来识别条形码区域内的条形码。附加地或替代地，基于图像处理模型来识别条形码，该图像处理模型被配置成：基于与条形码相关联的其他条形码的平面配置来识别图像流描绘条形码，以及基于确定条形码与平面配置中的一者相关联地描绘来处理条形码区域。

如图6中进一步所示，过程600可包括使用图像处理模型确定图像流的第二分区描绘姿势集中的与对条形码解码相关联的第二姿势(框660)。例如，如上所述，用户设备可以使用图像处理模型确定图像流的第二分区描绘姿势集中的与对条形码解码相关联的第二姿势。

在一些实施方式中，第二姿势与对应于用户将用户成员从第一姿势的姿势位置转换到第二姿势的姿势位置的姿势移动相关联。

如图6中进一步所示，过程600可包括基于确定图像流的第二分区描绘了第二姿势来对条形码解码(框670)。例如，如上所述，用户设备可以基于确定图像流的第二分区描绘了第二姿势来对条形码解码。

在一些实施方式中，对条形码解码包括：使激光扫描仪扫描条形码，以及处理从激光扫描仪接收的扫描信息(例如，条形码数据)以对条形码解码。附加地或替代地，解码条形码包括：使用图像处理模型处理条形码区域以从图像流中提取条形码的图像；使用条形码扫描模型格式化用于解码的图像，以形成格式化图像；以及使用条形码扫描模型基于经格式化的图像来对条形码解码。

如图6中进一步所示，过程600可包括执行与和条形码相关联的对象相关联的动作(框680)。例如，如上所述，用户设备可以执行与和条形码相关联的对象相关联的动作。在一些实施方式中，执行动作包括以下各项中的至少一项：提供与对象相关联的相对于环境的状态信息，提供与对象相关联的相对于环境的位置信息，提供与对象相关联的相对于环境的交易信息，以及提供与处理对象的用户相关联的用户信息。

尽管图6示出了过程600的示例框，但在一些实施方式中，与图6中所描绘的框相比，过程600可包括附加的框、更少的框、不同的框或不同地布置的框。附加地或替代地，过程600的框中的两个或更多个框可以并行执行。

在上述公开中，已经描述了具体实施例。然而，本领域普通技术人员将理解，可以做出各种修改和改变而不脱离如以下权利要求书所阐述的本发明的范围。因此，说明书和附图被认为是说明性的而非限制性的意义，并且所有此类修改都旨在被包括在本公开的范围内。附加地，所描述的实施例/示例/实现方式不应该被解释为相互排斥的，而应被理解为潜在地可组合的，如果此类组合以任何方式是允许的。换句话说，前述示例或实施方式中的任一者中所公开的任何特征可以被包括在其他前述示例或实施方式中的任一者中。

如本文所使用的，术语“组件”旨在广义地解释为硬件、固件和/或硬件和软件的组合。如本文所使用的，术语“有形机器可读介质”、“非暂态机器可读介质”和“机器可读存储设备”中的每一者都被明确地定义为机器可读指令(例如，例如软件和/或固件的形式的程序代码)可以被存储在其上的存储介质(例如，硬盘驱动器的盘片、数字多功能盘、光盘、闪存、只读存储器、随机存取存储器等)。指令可以被存储达任何合适的持续时间，诸如永久地、达长时间段(例如，当与指令相关联的程序正在执行时)或达短时间段(例如，当指令被缓存时、在缓冲过程期间等)。进一步，如本文所使用的，术语“有形机器可读介质”、“非暂态机器可读介质”和“机器可读存储设备”中的每一者被明确地定义为排除传播信号。也就是说，如本文的任何权利要求中所使用的，“有形机器可读介质”、“非暂态机器可读介质””和“机器可读存储设备”等不应被解释为被实现为传播信号。

如本文所使用的，根据上下文，满足阈值可以指大于阈值、多于阈值、高于阈值、大于或等于阈值、小于阈值、少于阈值、低于阈值、小于或等于阈值、等于阈值等的值，具体取决于上下文。

这些益处、优势、问题解决方案以及可能使任何益处、优势或解决方案发生或变得更为突出的任何(多个)要素不被解释成任何或所有权利要求的关键的、必需的或必要的特征或要素。本要求保护的发明仅由所附权利要求书限定，包括在本申请处于待审状态期间做出的任何修改以及授权公告的那些权利要求的所有等效物。

此外，如本文所使用的，诸如第一和第二、顶部和底部等之类的关系术语可以单独地用来将一个实体或动作与另一个实体或动作区别开，而不一定要求或暗示这些实体或动作之间具有任何实际的这种关系或顺序。术语“包括”、“包括有”、“具有”、“具备”、“包含”、“包含有”、“涵盖”、“涵盖有”或它们的任何其他变型旨在覆盖非排他性包括，使得包括、具有、包含、涵盖一要素列表的过程、方法、物品或装置不仅包括那些要素还可包括未明确列出的或对此类过程、方法、物品或装置固有的其他要素。以“包括一”、“具有一”、“包含一”、“涵盖一”开头的要素，在没有更多约束条件的情形下，不排除在包括、具有、包含、涵盖该要素的过程、方法、物品或装置中有另外的相同要素存在。

术语“一”和“一个”被定义为一个或更多个，除非本文中另有明确声明。此外，如本文所使用的，冠词“该”旨在包括结合冠词“该”引用的一项或多项，并且可以与“该一个或多个”互换地使用。此外，如本文所使用的，数据“集”旨在包括一项或多项(例如，相关项、不相关项、相关项和不相关项的组合等)，并且可以与“一个或多个”互换地使用。当仅旨在一项时，使用短语“仅一个”或类似语言。此外，如本文所使用的，术语“具有(has)”、“具有(have)”、“具有(having)”等旨在是开放式的术语。此外，除非另有明确声明，否则术语“基于”旨在表示“至少部分基于”。此外，除非另有明确说明(例如，如果结合“或者”或“其中仅一者”使用)，否则数据“或”在系列中使用时旨在是包括性的，并且可以与“和/或”互换地使用。术语“基本”、“大致”、“近似”、“约”或这些术语的任何其他版本被定义为如本领域技术人员理解的那样接近，并且在一个非限制性实施例中，这些术语被定义为在10％以内，在另一实施例中在5％以内，在另一实施例中在1％以内，而在另一实施例中在0.5％以内。本文中使用的术语“耦合的”被定义为连接的，尽管不一定是直接连接的也不一定是机械连接的。以某种方式“配置”的设备或结构至少以该种方式进行配置，但也可以以未列出的方式进行配置。

将显而易见的是，本文描述的系统和/或方法可以在不同形式的硬件、固件或硬件和软件的组合中实现。用于实施这些系统和/或方法的实际专用控制硬件或软件代码不限制实施方式。因此，系统和/或方法的操作和行为在本文中被描述而不参考特定的软件代码——应当理解，软件和硬件可以被设计为基于本文的描述来实现系统和/或方法。

即使在权利要求书中叙述和/或说明书中公开了特征的特定组合，这些组合也不是为了限制各种实施方式的公开。事实上，这些特征中的许多特征可以以未在权利要求中具体叙述和/或在说明书中公开的方式组合。尽管下面列出的每个从属权利要求可直接依赖于仅一个权利要求，但是各种实施方式的公开包括每个从属权利要求与权利要求书中的每个其他权利要求的组合。

本公开的摘要被提供以允许读者快速地确定本技术公开的性质。提交该摘要，并且理解该摘要将不用于解释或限制权利要求书的范围或含义。另外，在上述描述中，可以看出出于使本公开整体化的目的，各种特征在各种实施例中被编组到一起。这种公开方法不应被解释为反映要求保护的实施例与各项权利要求中明确记载的相比需要更多的特征的意图。相反，如以下权利要求所反映，发明主题可能在于少于单个公开的实施例的全部特征。因此，以下权利要求由此被结合到具体实施方式中，其中各个权利要求作为单独要求保护的主题代表其自身。

Claims (20)

1.一种方法，包括：

由设备接收描绘环境的图像流；

由所述设备并使用图像处理模型监测所述图像流，以检测所述环境中的姿势集；

由所述设备并使用所述图像处理模型确定所述图像流的第一分区描绘所述姿势集中的第一姿势；

由所述设备并使用所述图像处理模型确定所述第一姿势与指示所述图像流的条形码区域相关联；

由所述设备并使用所述图像处理模型分析所述图像流的所述条形码区域，以识别条形码；

由所述设备并使用所述图像处理模型确定所述图像流的第二分区描绘所述姿势集中的与解码所述条形码相关联的第二姿势；

由所述设备基于确定所述图像流的所述第二分区描绘所述第二姿势来对所述条形码解码；以及

由所述设备执行与和所述条形码相关联的对象相关联的动作。

2.如权利要求1所述的方法，其特征在于，分析所述条形码区域包括：

识别执行所述第一姿势的用户成员的位置；

确定所述条形码区域对应于描绘在所述用户成员的所述位置的阈值距离内的所述环境的区域；以及

基于所述条形码描绘在所述阈值距离内来识别所述条形码区域内的所述条形码。

3.如权利要求1所述的方法，其特征在于，基于所述图像处理模型识别所述条形码，所述图像处理模型被配置成：

基于与所述条形码相关联的其他条形码的平面配置来识别所述图像流描绘所述条形码；以及

基于确定与所述平面配置中的一个平面配置相关联地描绘所述条形码来处理所述条形码区域。

4.如权利要求1所述的方法，其特征在于，所述第二姿势与对应于用户将用户成员从所述第一姿势的姿势位置转换到所述第二姿势的姿势位置的姿势移动相关联。

5.如权利要求1所述的方法，其特征在于，对所述条形码解码包括：

使激光扫描仪扫描所述条形码；以及

处理从所述激光扫描仪接收的扫描信息，以对所述条形码解码。

6.如权利要求1所述的方法，其特征在于，对所述条形码解码包括：

使用所述图像处理模型处理所述条形码区域，以从所述图像流提取所述条形码的图像；

使用条形码扫描模型格式化用于解码的所述图像，以形成经格式化的图像；以及

使用所述条形码扫描模型基于所述经格式化的图像来对所述条形码解码。

7.如权利要求1所述的方法，其特征在于，执行所述动作包括以下各项中的至少一项：

提供与所述对象相关联的相对于所述环境的状态信息，

提供与所述对象相关联的相对于所述环境的位置信息，

提供与所述对象相关联的相对于所述环境的交易信息，以及

提供与处理所述对象的用户相关联的用户信息。

8.一种设备，包括：

一个或多个存储器；以及

一个或多个处理器，通信地耦合至所述一个或多个存储器，所述一个或多个处理器被配置成：

接收描绘环境的图像流；

使用图像处理模型监测所述图像流，以检测所述环境中的姿势集；

使用所述图像处理模型确定所述图像流的第一分区描绘所述姿势集中的第一姿势；

使用所述图像处理模型确定所述第一姿势与指示所述图像流的条形码区域相关联；

使用所述图像处理模型分析所述图像流的所述条形码区域，以识别所述环境中的条形码；

使用所述图像处理模型确定所述图像流的第二分区描绘所述姿势集中的与解码所述条形码相关联的第二姿势；以及

基于描绘所述第二姿势的所述图像流来对所述条形码解码。

9.如权利要求8所述的设备，其特征在于，所述一个或多个处理器在分析所述条形码区域时被配置用于：

基于执行所述第一姿势的用户成员的位置来确定所述条形码区域；

确定所述条形码区域对应于描绘在所述用户成员的所述位置的阈值距离内的所述环境的区域；以及

基于所述条形码在所述阈值距离内来识别所述条形码区域内的所述条形码。

10.如权利要求8所述的设备，其特征在于，所述条形码基于所述图像处理模型被标识，所述图像处理模型被配置成用于：

基于所述条形码的格式来识别所述图像流描绘所述条形码；以及

基于所述条形码的所述格式来处理所述条形码区域，以验证所述条形码区域描绘所述条形码，

其中基于被处理的所述条形码区域对所述条形码解码，以验证所述条形码区域描绘所述条形码。

11.如权利要求8所述的设备，

其特征在于，所述图像处理模型被配置成：

检测所述图像流的前景中的所述姿势集，以及

识别所述图像流的背景中的所述条形码。

12.如权利要求8所述的设备，其特征在于，在确定所述第二分区描绘所述第二姿势之前，所述一个或多个处理器被配置成：

经由与所述环境相关联的用户接口的显示器，增强与所述条形码相关联的条形码标识符。

13.如权利要求8所述的设备，

其特征在于，在解码所述条形码时所述一个或多个处理器被配置成：

使用所述图像处理模型处理所述条形码区域，以从所述图像流提取所述条形码的图像；以及

使用条形码扫描模型基于所述条形码的所述图像来对所述条形码解码。

14.如权利要求8所述的设备，其特征在于，所述一个或多个处理器被进一步配置成：

基于对所述条形码解码，执行与对象相关联的动作，

其中所述对象与所述条形码相关联，并且

其中在执行所述动作时所述一个或多个处理器被配置成以下各项中的至少一项：

提供与所述对象相关联的相对于所述环境的状态信息，

提供与所述对象相关联的相对于所述环境的位置信息，

提供与所述对象相关联的相对于所述环境的交易信息，以及

提供与处理所述对象的用户相关联的用户信息。

15.一种有形机器可读介质存储指令，所述指令包括：

一个或多个指令，在由设备的一个或多个处理器执行时所述一个或多个指令使所述设备：

接收环境的图像流；

基于处理所述图像流的图像来确定所述图像流的姿势区域；

由用户基于分析所述姿势区域来检测姿势；

基于所述用户执行所述姿势时的位置来确定所述图像流的条形码区域；

基于分析所述条形码区域来识别所述环境中的条形码；以及

基于所述条形码的格式来对所述条形码解码。

16.如权利要求15所述的有形机器可读介质，其特征在于，基于所述图像流的前景中描绘所述用户的用户成员的所述图像来确定所述姿势区域。

17.如权利要求15所述的有形机器可读介质，其特征在于，基于所述条形码区域相对于所述姿势区域在所述图像流的背景中来确定所述条形码区域。

18.如权利要求15所述的有形机器可读介质，其特征在于，所述姿势区域和所述条形码区域对应于所述图像流的三维空间，并且其中所述条形码的所述格式对应于所述条形码区域内的所述条形码的二维描绘。

19.如权利要求15所述的有形机器可读介质，

其特征在于，使所述一个或多个处理器对所述条形码解码的所述一个或多个指令使所述一个或多个处理器进行以下各项中的至少一项：

使用以下各项中的至少一项来对所述条形码解码：

所述条形码的激光扫描；以及

利用图像处理技术使用来自所述图像流的图像对所述条形码解码的条形码扫描模型。

20.如权利要求15所述的有形机器可读介质，其特征在于，在由所述一个或多个处理器执行时，所述一个或多个指令进一步使所述一个或多个处理器进行以下各项中的至少一项：

提供与所述条形码相关联的对象相关联的状态信息，

提供与所述对象相关联的位置信息，

提供与所述对象相关联的交易信息，以及

提供与所述用户和所述对象相关联的用户信息。

Images