CN110264522B

CN110264522B - 物品操作者的检测方法、装置、设备和存储介质

Info

Publication number: CN110264522B
Application number: CN201910552196.8A
Authority: CN
Inventors: 罗宇轩; 亢乐; 包英泽
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2019-06-24
Filing date: 2019-06-24
Publication date: 2021-07-13
Anticipated expiration: 2039-06-24
Also published as: CN110264522A

Abstract

本发明实施例提出一种物品操作者的检测方法、装置、设备和存储介质，其中的方法包括：获取目标图像，目标图像中包括目标物品的放置位置以及至少一个目标人物；对目标物品的放置位置进行编码，以确定物品位置编码信息；对各目标人物的占位特征进行编码，以确定各目标人物的人物占位编码信息；将物品位置编码信息和各人物占位编码信息输入操作者检测模型，以从目标人物中检测出目标物品的操作者。本发明实施例的方法可以从多个目标人物中检测出目标物品的操作者，可以降低对目标人物三维位置的检测精度的依赖性，提高检测出实际操作者的准确率。

Description

物品操作者的检测方法、装置、设备和存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种物品操作者的检测方法、装置、设备和存储介质。

背景技术

在一些无人货架、无人图书馆、无人展览馆等行为区，需要知道对某一物品执行操作的操作者具体是谁。例如：从进入无人货架所在区域的多个人物中，检测出取走目标商品的操作者。目前的检测方法多是基于多个摄像头对人手三维位置的精确检测，位置检测精度要求较高，程序复杂，对操作者的检测准确率低。

发明内容

本发明实施例提供一种物品操作者的检测方法、装置、设备和存储介质，以解决现有技术中的一个或多个技术问题。

第一方面，本发明实施例提供了一种物品操作者的检测方法，包括：

获取目标图像，所述目标图像中包括目标物品的放置位置以及至少一个目标人物；

对所述目标物品的放置位置进行编码，以确定物品位置编码信息；

对各所述目标人物的占位特征进行编码，以确定各所述目标人物的人物占位编码信息；

将所述物品位置编码信息和各所述人物占位编码信息输入操作者检测模型，以从所述目标人物中检测出所述目标物品的操作者。

在一种实施方式中，所述占位特征包括占位区和人体关键点，所述人物占位编码信息包括占位区编码信息和人体关键点编码信息；对各所述目标人物的占位特征进行编码，以确定各所述目标人物的人物占位编码信息，包括：

对所述目标人物的占位区进行编码，以确定所述目标人物的占位区编码信息；

对所述目标人物的人体关键点进行编码，以确定所述目标人物的人体关键点编码信息。

在一种实施方式中，对所述目标物品的放置位置进行编码，包括：

采用选定颜色对所述目标物品的放置位置进行编码。

在一种实施方式中，对各所述目标人物的占位特征进行编码，以确定各所述目标人物的人物占位编码信息，包括：

采用不同颜色对不同目标人物的占位特征进行编码，以确定各所述目标人物的人物占位编码信息，其中，对各所述目标人物的占位特征进行编码与对所述目标物品的放置位置进行编码所采用的颜色不同。

采用选定通道对所述目标物品的放置位置进行编码。

采用不同通道对不同目标人物的占位特征进行编码，以确定各所述目标人物的人物占位编码信息，其中，对各所述目标人物的占位特征进行编码与对所述目标物品的放置位置进行编码所采用的通道不同。

第二方面，本发明实施例提供一种物品操作者的检测装置，包括：

获取模块，用于获取目标图像，所述目标图像中包括目标物品的放置位置以及至少一个目标人物；

物品位置编码信息确定模块，用于对所述目标物品的放置位置进行编码，以确定物品位置编码信息；

人物占位编码信息确定模块，用于对各所述目标人物的占位特征进行编码，以确定各所述目标人物的人物占位编码信息；

检测模块，用于将所述物品位置编码信息和各所述人物占位编码信息输入操作者检测模型，以从所述目标人物中检测出所述目标物品的操作者。

在一种实施方式中，所述占位特征包括占位区和人体关键点，所述人物占位编码信息包括占位区编码信息和人体关键点编码信息；所述人物占位编码信息确定模块包括：

第一编码子模块，用于对所述目标人物的占位区进行编码，以确定所述目标人物的占位区编码信息；

第二编码子模块，用于对所述目标人物的人体关键点进行编码，以确定所述目标人物的人体关键点编码信息。

在一种实施方式中，所述物品位置编码信息确定模块还用于：

采用选定颜色对所述目标物品的放置位置进行编码。

在一种实施方式中，所述人物占位编码信息确定模块还用于：

采用选定通道对所述目标物品的放置位置进行编码。

第三方面，本发明实施例提供了一种物品操作者的检测设备，所述设备的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，所述设备的结构中包括处理器和存储器，所述存储器用于存储支持所述设备执行上述物品操作者的检测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述设备还可以包括通信接口，用于与其他设备或通信网络通信。

第四方面，本发明实施例提供了一种计算机可读存储介质，用于存储物品操作者的检测设备所用的计算机软件指令，其包括用于执行上述物品操作者的检测方法所涉及的程序。

本实施例的物品操作者的检测方法，通过用不同的人物占位编码信息表示不同的目标人物，并将物品位置编码信息以及不同目标人物的人物占位编码信息输入操作者检测模型，以从多个目标人物中检测出目标物品的操作者，可以降低对目标人物三维位置的检测精度的依赖性，提高检测出实际操作者的准确率。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1示出根据本发明实施例的物品操作者的检测方法的流程图。

图2示出根据本发明实施例的一种实施方式的物品操作者的检测方法的流程图。

图3示出根据本发明实施例的一种物品操作者的检测方法的编码信息示意图。

图4示出根据本发明实施例的另一种实施方式的物品操作者的检测方法的流程图。

图5示出根据本发明实施例的一种物品操作者的检测方法的编码信息示意图。

图6示出根据本发明实施例的物品操作者的检测装置的结构框图。

图7示出根据本发明实施例的一种实施方式中的物品操作者的检测装置的结构框图。

图8示出根据本发明实施例的物品操作者的检测设备的结构框图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

图1示出根据本发明实施例的物品操作者的检测方法的流程图。如图1所示，本发明实施例的物品操作者的检测方法可以包括：

步骤S101、获取目标图像，所述目标图像中包括目标物品的放置位置以及至少一个目标人物。

本实施例中，目标人物可以为进入行为区的行为者。其中，行为区可以包括商场、超市、游乐中心等常用于付费行为的区域。行为区也可以包括图书馆、博物馆、展会等常用于非付费行为的区域。目标物品可以为放置在行为区置物架上的物品，进而，目标物品的位置可以为目标物品在置物架上的位置。可以在行为区设置多个图像采集设备，用于采集目标图像。在一个示例中，目标图像为红绿蓝三通道(Red-Green-Blue，RGB)图像。

目标图像中可以包括多个目标人物以及目标物品的放置位置，需要从多个目标人物中检测出对操作目标物品的操作者。其中，操作目标物品可以包括从目标物品的放置位置取走目标物品的行为。

步骤S102、对所述目标物品的放置位置进行编码，以确定物品位置编码信息。

目标物品的物品位置编码信息可以作为操作者检测模型的一个输入，用于检测目标物品的操作者。

步骤S103、对各所述目标人物的占位特征进行编码，以确定各所述目标人物的人物占位编码信息。

每个目标人物的人物占位编码信息可以作为操作者检测模型的输入，用于从多个目标人物中检测目标物品的操作者。

在一种实施方式中，所述占位特征包括占位区和人体关键点，所述人物占位编码信息包括占位区编码信息和人体关键点编码信息，在步骤S103中可以包括：对所述目标人物的占位区进行编码，以确定所述目标人物的占位区编码信息；对所述目标人物的人体关键点进行编码，以确定所述目标人物的人体关键点编码信息。

例如：可以用不同的矩形框表示不同目标人物的占位区。目标人物具有多个与目标物品的操作行为相关的人体关键部位，如头部、胳膊上的各关键点、手部。可以在某一目标人物的矩形框中用不同的圆点分别表示该目标人物的人体关键点。进一步地，对目标人物的占位区和人体关键点分别进行编码，可以得到该目标人物的占位区编码信息和人体关键点编码信息。

步骤S104、将所述物品位置编码信息和各所述人物占位编码信息输入操作者检测模型，以从所述目标人物中检测出所述目标物品的操作者。

本实施例中，可以采集大量的目标图像作为样本图像，并为样本图像进行人工标注，得到样本图像中的物品操作者的标注结果。在一个示例中，样本图像中包括物品A、人物B1、人物B2、人物B3，物品A被人物C取走，则标注结果为人物C为物品A的操作者。可以对样本图像的物品A的放置位置进行编码，得到该物品A的物品位置编码信息；对人物B1、人物B2、人物B3的占位特征分别进行编码，得到人物B1的人物占位编码信息、人物B2的人物占位编码信息、人物B3的人物占位编码信息；将物品A的放置位置、多人物B1的人物占位编码信息、人物B2的人物占位编码信息、人物B3的人物占位编码信息输入操作者检测模型，并用人物C为物品A的操作者的标注结果训练操作者检测模型。采用类型的方法，基于大量的样本图像训练操作者检测模型，得到训练好的操作者检测模型。

将基于目标图像得到的目标物品的物品位置编码信息、各目标人物的人物占位编码信息输入训练好的操作者检测模型，可以从各目标人物中检测出目标物品的操作者。

在一个示例中，用于输入操作者检测模型的数据除了包括目标物品的物品位置编码信息、各目标人物的人物占位编码信息，还可以包括目标图像和深度图，用于提高检测的准确率。其中，深度图可以用来表征目标图像中每个像素点与该目标图像的图像采集设备的距离。

在一种实施方式中，如图2所示，在步骤S102中可以包括：步骤S201、采用选定颜色对所述目标物品的放置位置进行编码。进一步地，在步骤S103中可以包括：步骤S202、采用不同颜色对不同目标人物的占位特征进行编码，以确定各所述目标人物的人物占位编码信息，其中，对各所述目标人物的占位特征进行编码与对所述目标物品的放置位置进行编码所采用的颜色不同。

在一个示例中，如图3所示，在目标图像中，用不同的颜色分别表示目标物品的放置位置、第一目标人物的人物占位编码信息、第二目标人物的人物占位编码信息。需要说明的是，在图3中虽然用图片的形式展示目标物品的放置位置、第一目标人物的人物占位编码信息、第二目标人物的人物占位编码信息，但在检测过程中，可以将目标物品的放置位置、第一目标人物的人物占位编码信息、第二目标人物的人物占位编码信息分别用向量表示。例如：第一向量表示目标物品的放置位置以及第一种颜色；第二向量表示第一目标人物的人物占位编码信息以及第二种颜色；第三向量表示第二目标人物的人物占位编码信息以及第三种颜色。

在一个示例中，人物占位编码信息包括占位区编码信息和人体关键点编码信息，同一目标人物的占位区编码信息和人体关键点编码信息可以用相同的颜色表示。

在一种实施方式中，如图4所示，在步骤S102中可以包括：步骤S401、采用选定通道对所述目标物品的放置位置进行编码。进一步地，在步骤S103中可以包括：步骤S402、采用不同通道对不同目标人物的占位特征进行编码，以确定各所述目标人物的人物占位编码信息，其中，对各所述目标人物的占位特征进行编码与对所述目标物品的放置位置进行编码所采用的通道不同。

在一个示例中，目标图像为RGB图像，即目标图像中包括红绿蓝三个通道。可以用额外的第四通道表示目标物品的放置位置(货道位置)，第五通道表示第一目标人物(顾客1)的人物占位编码信息，第六通道表示第二目标人物(顾客2)的人物占位编码信息，如图5所示。需要说明的是，在图5中虽然用不同图片的展示不同的通道信息，但在检测过程中，可以将通道信息用向量表示。例如：第四向量表示第四通道信息；第五向量表示第五通道信息；第六向量表示第六通道信息。

在一个示例中，人物占位编码信息包括占位区编码信息和人体关键点编码信息，同一目标人物的占位区编码信息和人体关键点编码信息可以用相同的通道表示。例如：用以表示第一目标人物的第五通道信息中既包括第一目标人物的占位区编码信息，也包括第一目标人物的人体关键点编码信息；用以表示第二目标人物的第六通道信息中既包括第二目标人物的占位区编码信息，也包括第二目标人物的人体关键点编码信息。

图6示出根据本发明实施例的物品操作者的检测装置的结果框图。如图6所示，该装置可以包括：

获取模块601，用于获取目标图像，所述目标图像中包括目标物品的放置位置以及至少一个目标人物；

物品位置编码信息确定模块602，用于对所述目标物品的放置位置进行编码，以确定物品位置编码信息；

人物占位编码信息确定模块603，用于对各所述目标人物的占位特征进行编码，以确定各所述目标人物的人物占位编码信息；

检测模块604，用于将所述物品位置编码信息和各所述人物占位编码信息输入操作者检测模型，以从所述目标人物中检测出所述目标物品的操作者。

在一种实施方式中，所述占位特征包括占位区和人体关键点，所述人物占位编码信息包括占位区编码信息和人体关键点编码信息；如图7所示，人物占位编码信息确定模块603可以包括：

第一编码子模块701，用于对所述目标人物的占位区进行编码，以确定所述目标人物的占位区编码信息；

第二编码子模块702，用于对所述目标人物的人体关键点进行编码，以确定所述目标人物的人体关键点编码信息。

在一种实施方式中，物品位置编码信息确定模块602还用于：

采用选定颜色对所述目标物品的放置位置进行编码。

在一种实施方式中，人物占位编码信息确定模块603还用于：

在一种实施方式中，物品位置编码信息确定模块602还用于：

采用选定通道对所述目标物品的放置位置进行编码。

在一种实施方式中，所述人物占位编码信息确定模块603还用于：

本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

图8示出根据本发明实施例的物品操作者的检测设备的结构框图。如图8所示，该设备可以包括：存储器801和处理器802，存储器801内存储有可在处理器802上运行的计算机程序。所述处理器802执行所述计算机程序时实现上述实施例中的物品操作者的检测方法。所述存储器801和处理器802的数量可以为一个或多个。

该设备还可以包括：

通信接口803，用于与外界设备进行通信，进行数据交互传输。

存储器801可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

如果存储器801、处理器802和通信接口803独立实现，则存储器801、处理器802和通信接口803可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线、外部设备互连(PCI，PeripheralComponentInterconnect)总线或扩展工业标准体系结构(EISA，Extended IndustryStandardArchitecture)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器801、处理器802及通信接口803集成在一块芯片上，则存储器801、处理器802及通信接口803可以通过内部接口完成相互间的通信。

本发明实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现上述实施例中任一所述的方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。所述存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims

1.一种物品操作者的检测方法，其特征在于，包括：

对所述目标人物的占位特征进行编码，以确定所述目标人物的人物占位编码信息；所述占位特征包括占位区和人体关键点；

将所述物品位置编码信息和所述人物占位编码信息输入操作者检测模型，以从所述目标人物中检测出所述目标物品的操作者。

2.根据权利要求1所述的检测方法，其特征在于，所述人物占位编码信息包括占位区编码信息和人体关键点编码信息；对所述目标人物的占位特征进行编码，以确定所述目标人物的人物占位编码信息，包括：

3.根据权利要求1或2所述的检测方法，其特征在于，对所述目标物品的放置位置进行编码，包括：

采用选定颜色表示所述目标物品的放置位置，对所述目标物品的放置位置进行编码。

4.根据权利要求3所述的检测方法，其特征在于，对所述目标人物的占位特征进行编码，以确定所述目标人物的人物占位编码信息，包括：

对不同目标人物的占位特征进行编码，以采用不同颜色确定各所述目标人物的人物占位编码信息，其中，对各所述目标人物的占位特征进行编码与对所述目标物品的放置位置进行编码所采用的颜色不同。

5.根据权利要求1或2所述的检测方法，其特征在于，对所述目标物品的放置位置进行编码，包括：

采用选定通道对所述目标物品的放置位置进行编码。

6.根据权利要求3所述的检测方法，其特征在于，对所述目标人物的占位特征进行编码，以确定所述目标人物的人物占位编码信息，包括：

7.一种物品操作者的检测装置，其特征在于，包括：

人物占位编码信息确定模块，用于对所述目标人物的占位特征进行编码，以确定所述目标人物的人物占位编码信息；所述占位特征包括占位区和人体关键点；

检测模块，用于将所述物品位置编码信息和所述人物占位编码信息输入操作者检测模型，以从所述目标人物中检测出所述目标物品的操作者。

8.根据权利要求7所述的检测装置，其特征在于，所述人物占位编码信息包括占位区编码信息和人体关键点编码信息；所述人物占位编码信息确定模块包括：

9.根据权利要求7或8所述的检测装置，其特征在于，所述物品位置编码信息确定模块还用于：

10.根据权利要求9所述的检测装置，其特征在于，所述人物占位编码信息确定模块还用于：

11.根据权利要求7或8所述的检测装置，其特征在于，所述物品位置编码信息确定模块还用于：

采用选定通道对所述目标物品的放置位置进行编码。

12.根据权利要求11所述的检测装置，其特征在于，所述人物占位编码信息确定模块还用于：

13.一种物品操作者的检测设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至6中任一项所述的方法。

14.一种计算机可读存储介质，其存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项所述的方法。