CN114360057A - 数据处理方法及相关装置 - Google Patents

Abstract

本申请实施例公开了一种数据处理方法及相关装置，应用于电子设备，包括：对图像传感器上传的图像数据进行预处理，得到目标图像，其中，所述目标图像包括顾客信息和商品信息，所述图像传感器安装于商品货架上；根据场景地图以及预设的识别策略对所述目标图像进行识别，得到包括顾客和商品对应关系的识别结果；对所述包括顾客和商品对应关系的识别结果进行存储。本申请实施例有利于快速、准确地获取顾客和商品的对应关系，从而得到顾客对商品的关注度信息和交互信息。

Description

数据处理方法及相关装置

技术领域

本申请涉及移动终端技术领域，具体涉及一种数据处理方法及相关装置。

背景技术

随着科技的迅速发展，人工智能、机器学习等技术的应用越来越广泛，通过不同优化和迭代神经网络模型等算法，可以精准的识别出各类场景中的人与物，尤其是在大型超市、购物中心、家具市场、快递仓库等场景下，通过在多个位置布局摄像头，可以记录下人与物之间的互动场面，通过人工智能、机器学习等技术进行人与物的识别，获取人与物之间的交互信息，可见，在大流量、大数据场景下，进行人与物，尤其是顾客和商品的识别，得到精细的顾客与商品之间的互动关系，结合精细化运营，做出精准决策，是亟须解决的技术问题。

发明内容

本申请实施例提供了一种数据处理方法及相关装置，可以快速、准确地获取大场景下人与物、顾客和商品之间的互动关系，从而有利于得到顾客对商品的关注度和交互信息。

第一方面，本申请实施例提供一种数据处理方法，其特征在于，应用于电子设备，所述方法包括：

对图像传感器上传的图像数据进行预处理，得到目标图像，其中，所述目标图像包括顾客信息和商品信息，所述图像传感器安装于商品货架上；

根据场景地图以及预设的识别策略对所述目标图像进行识别，得到包括顾客和商品对应关系的识别结果；

对所述包括顾客和商品对应关系的识别结果进行存储。

第二方面，本申请实施例提供一种数据处理装置，应用于电子设备，所述数据处理装置包括处理单元和通信单元，其中，

所述处理单元，用于对通过所述通信单元获取到的由图像传感器上传的图像数据进行预处理，得到目标图像，其中，所述目标图像包括顾客信息和商品信息，所述图像传感器安装于商品货架上；以及用于根据场景地图以及预设的识别策略对所述目标图像进行识别，得到包括顾客和商品对应关系的识别结果；以及用于对所述包括顾客和商品对应关系的识别结果进行存储。

第三方面，本申请实施例提供一种电子设备，包括控制器、存储器、通信接口以及一个或多个程序，其中，上述一个或多个程序被存储在上述存储器中，并且被配置由上述控制器执行，上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。

第四方面，本申请实施例提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，其中，上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

第五方面，本申请实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

可以看出，本申请实施例中，电子设备首先对图像传感器上传的图像数据进行预处理，得到目标图像，其中，所述目标图像包括顾客信息和商品信息，所述图像传感器安装于商品货架上，其次，根据场景地图以及预设的识别策略对所述目标图像进行识别，得到包括顾客和商品对应关系的识别结果，最后，对所述包括顾客和商品对应关系的识别结果进行存储。由于目标图像为图像传感器上传的图像数据经过预处理后得到的，因此数据量极大的减小，且目标图像中包括顾客信息和商品信息，因此只需要结合场景地图来对目标图像进行识别处理，便可获取到包括顾客和商品对应关系的识别结果，从而，可以得到在大数据、大流量等场景下的客流情况以及顾客和商品的关联性，有利于得到更精细的人与物、顾客与商品之间的互动关系，实现大场景的精细化运营和决策。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种数据处理方法的处理流程图；

图2是本申请实施例提供的一种场景地图的参考示意图；

图3是本申请实施例提供的一种电子设备的结构示意图；

图4是本申请实施例提供的一种数据处理装置的功能单元组成框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

电子设备可以包括终端、服务器和边缘计算器等处理设备，本申请实施例不做限定。终端包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备(例如智能手表、智能手环、计步器等)、计算设备或连接到无线调制解调器的其他处理的精度。用户设备(UserEquipment，UE)，移动台(Mobile Station，MS)，终端设备(terminal device)等等。为方便描述，上面提到的设备统称为电子设备。

下面对本申请实施例进行详细介绍。

本申请提供了一种数据处理方法，主要应用于大型超市、购物中心、家具市场、快递仓库等需要进行客流分析与商品识别的大数据场景，通过对客流进行分析，并结合商品识别，实现在大数据、大流量、高实时场景下获取顾客与商品之间的关系，以及将客流识别与商品识别进行关联性分析，实现了人与物的结合，同时提高了数据处理效率，有利于帮助大数据场景的精细化运营和精准决策。

在进行数据处理时，以客流分析为基础，结合商品识别，可以得到包括顾客和商品对应关系的识别结果，具体实现方式为在放置有多种品类的货架上放置多个图像传感器，图像传感器通常为摄像头，通过摄像头检测追踪场景内的行人信息，检测行人是否在人流区，如果行人在人流区则需要进一步识别行人是否为员工，如果不是员工则说明行人为顾客，此时可以获取顾客的属性信息，并通过场景地图中预设的触碰区以及顾客的位置确定顾客是否在靠近货架，如果顾客靠近货架了则需要确定顾客是否伸手触碰商品或者拿起商品，若顾客拿起的商品还需要识别顾客拿起商品的商品信息，将根据这些信息生成识别结果进行存储，便可得到大数据场景下的人与物的互动关系，实现了客流与商品的结合，有利于帮助大场景的运营者拓展或改善业务，实现对大场景的精细化运营与精准决策。

请参阅图1，图1是本申请实施例提供了一种数据处理方法的流程示意图，应用于电子设备。如图所示，本数据处理方法包括：

S101，对图像传感器上传的图像数据进行预处理，得到目标图像，其中，所述目标图像包括顾客信息和商品信息，所述图像传感器安装于商品货架上。

其中，图像数据包括图片数据和视频数据，商品货架上安装有多个图像传感器，每个图像传感器安装在货架的不同位置上，实时采集图像数据。图像传感器会将采集到的图像数据上传给电子设备，电子设备包括移动终端、运动服务器、边缘计算器等处理设备，如果是图片会依次上传或分发上来，如果是视频则会推流上来。

其中，电子设备会对图像数据进行预处理，得到目标图像，预处理的方式包括：若上传的图像数据是图片，则会对图片进行裁剪和压缩，得到目标图像；若上传的图像数据是视频，则会按照预设规则从视频中进行截图，得到多张图像，再对这多张图像进行裁剪和压缩，得到目标图像。按照预设规则从视频中进行截图，例如可以是随机从视频中获取预设数量的图像，或者，根据视频时长均匀截取预设数量的图像，此处不做任何限定。

其中，目标图像包括多张图像，且这多张图像具有时序性，目标图像中包括放置在货架上的商品的商品信息，以及靠近货架的顾客的顾客信息，对图像传感器上传的图像数据进行预处理后得到的目标图像，相较于图像数据的数据量更小，减小了数据处理量和计算量，同时也减少了内存占用量和数据存储量，对目标图像进行数据处理分析，有利于提高数据处理的效率。

S102，根据场景地图以及预设的识别策略对所述目标图像进行识别，得到包括顾客和商品对应关系的识别结果。

其中，识别结果包括顾客和商品的对应关系，主要包括顾客关注货架、顾客触碰商品、顾客拿起商品等三种对应关系，此处不对顾客和商品的对应关系作任何限定，本申请中还可包括其他顾客和商品的对应关系。场景地图中预设有人流区、货架区、触碰区等区域，顾客关注货架主要发生在人流区，顾客触碰商品、顾客拿起商品主要发生在触碰区，因此需要结合场景地图以及预设的识别策略对目标图像进行识别，便可得到包括顾客和商品对应关系的识别结果。

在一种可能的示例中，所述场景地图中预设有人流区、货架区和触碰区，所述触碰区为围绕所述货架区且距离所述商品货架边缘小于预设阈值的区域。

其中，如图2所示，为本申请实施例提供的一种场景地图的二维参考示意图，场景地图还可以为三维图像。从图2中可以看出，场景地图中包括人流区201、货架区202和触碰区203，人流区201是顾客、员工等人物会去往的区域，货架区202是摆放商品货架的区域，多个货架对应多个货架区202，不同货架区放置有不同的商品，图2中示出了6个货架，分别为货架A、货架B、货架C、货架D、货架E和货架F，因此对应有6个货架区。触碰区203围绕货架区设置，且距离货架的边缘小于预设阈值，预设阈值小于人的手臂长度，例如50厘米，如此，触碰区为围绕货架且距离货架边缘小于50厘米的环状区域，可以理解为，人流区包括货架区，货架区为顾客触碰或拿起商品时所在的区域。需要说明的是，场景地图中还可包括除人流区201、货架区202和触碰区203之外的其他区域，例如收银区、休息区、厕所区、餐饮区等，此处不做任何限定。

可见，本示例中，提出了触碰区，可以通过识别顾客是否进入了触碰区来确定顾客是否触碰或拿起商品，通过只对触碰区中的图像数据进行分析和识别处理，节省了计算资源，可以更好的支持大流量大数据的场景。

在一种可能的示例中，所述根据场景地图以及预设的识别策略对所述目标图像进行识别，包括：识别所述目标图像中是否存在人物；若是，识别所述人物是否在人流区；若是，识别所述人物是否为员工；若否，则确定所述人物为顾客，并获取所述顾客的属性信息。

其中，在根据场景地图以及预设的识别策略对所述目标图像进行识别时，先识别所述目标图像中是否存在人物，若是，会生成人物位置框以及得到人物位置框中四个顶点的坐标信息，此时，进一步识别该人物是否在人流区，若是，再进一步识别该人物是否为员工，具体的识别方法可以是识别该人物穿的服装是否为员工服，或者是否佩戴有员工标识，例如员工专用帽、工牌、名牌等，或者通过人脸识别来识别是否为员工。如果该人物不是员工，则确认为是顾客，获取顾客的属性信息，例如顾客的年龄、性别、服装、背包等属性信息，识别结果中不仅包括顾客和商品的对应关系，还包括顾客的属性信息，如果该人物是员工，则不会在执行后续的识别处理流程，只返回人流区的人物为员工的识别信息。

可见，本示例中，通过检测目标图像中是否出现人物，识别出现的人物是否为员工，进而识别出顾客，从而可以获取到顾客信息，有利于进一步确定顾客和商品对应关系，且通过将顾客信息存储到识别结果中，有利于了解顾客。

在一种可能的示例中，所述识别所述人物是否在人流区，包括：获取所述人物在所述目标图像中的人物位置框；识别所述人物位置框的四个顶点中是否有任意顶点落入所述人流区，或者，识别所述人物位置框的中点是否落入所述人流区，或者，识别所述人物位置框底边的中点是否落入所述人流区；若是，则确定所述人物在所述人流区。

其中，在识别人物是否在人流区时，可以对目标图像依次进行分析，获取人物在目标图像中的人物位置框，人物位置框为根据人物在目标图像中的位置确定的完全包括人物的矩形，或者四边形，如此，只需要对位置框进行分析即可快速确定人物是否在人流区。具体的实现方式包括：获取人物位置框的四个顶点，若四个顶点中是否有任意一个顶点落入人流区，则可以确定人物在人流区，或者，获取人物位置框的中点，即中心位置点，若中点落入人流区，则可以确定人物在人流区，或者，获取人物位置框底边的中点，若底边的中点落入人流区，则说明人物的脚落入了人流区，因此可以确定人物在人流区。

可见，本示例中，在识别人物是否在人流区时，先获取了人物在目标图像中的人物位置框，根据人物位置框来确定人物是否落入人流区，减少了数据处理量，以及运算的复杂度，有利于快速识别出人物是否落入人流区。

在一种可能的示例中，所述得到包括顾客和商品对应关系的识别结果，包括：检测所述人物位置框和所述触碰区是否存在重合区域；若否，获取所述顾客的头部位置框；根据所述头部位置框识别所述顾客的人脸朝向；若所述人脸朝向为货架方向，则生成所述顾客关注货架的识别结果。

其中，在检测到目标图像中存在人物，且该人物为顾客，该顾客位于人流区后，需要进一步进行识别分析，得到顾客和商品的对应关系，具体是检测人物位置框和触碰区是否存在重合区域，如果不存在，则表明用户没有触碰或拿起商品，此时进一步获取顾客的人脸朝向，如果检测到人脸朝向为货架方向，则生成顾客关注货架的识别结果，该识别结果中还可包括顾客属性信息，货架信息。如果检测到人脸朝向不为货架方向，则可不生成任何识别结果。

其中，获取顾客的人脸朝向，具体的方式是进行人物头部检测，得到头部位置框，计算出头部位置框的中点，再获取一个在人脸朝向的方向上，也在头部位置框中的点，两点得到一条射线，判断该射线是否与货架区域相交，如果相交则说明顾客关注货架，不过不相交则说明顾客不关注货架，还可进一步确定顾客关注的是货架A还是货架B。

可见，本示例中，如果检测到人物位置框和触碰区不存在重合区域，则只需要确定顾客是否关注货架，此时可以通过识别获取顾客的人脸朝向，通过检测人脸朝向是否为货架的方向，来确定用户是否关注货架，从而生成包括顾客和商品对应关系的识别结果，该识别结果用于指示顾客关注货架。

在一种可能的示例中，所述得到包括顾客和商品对应关系的识别结果，包括：检测所述人物位置框和所述触碰区是否存在重合区域；若是，则识别所述顾客的动作，确定所述顾客是否触碰货架上的商品；若是，获取所述人物位置框和所述触碰区的重合区域的截图；识别所述重合区域的截图，检测是否有商品信息；若无，生成所述顾客触碰商品的识别结果；若是，生成所述顾客拿起商品的识别结果。

其中，在检测到目标图像中存在人物，且该人物为顾客，该顾客位于人流区后，需要进一步进行识别分析，得到顾客和商品的对应关系，具体是检测人物位置框和触碰区是否存在重合区域，如果存在，则识别人物的动作，因为如果顾客已经进入了围绕货架的触碰区，顾客在此区域内，伸手便可触碰或拿起商品。在检测人物位置框和触碰区是否存在重合区域时，可以检测人物位置框的四个顶点是否有任意顶点落入触碰区，或者人物位置框底边的中点是否落入触碰区，来进行判定。

其中，识别人物的动作，确定人物是否触碰货架上的商品，可以通过识别人物是否抬手，识别是否出现手臂等方式，如果确定人物触碰的货架上的商品，还需要进一步确定人物是否有拿起商品，此时，获取人物位置框和触碰区域重合区域的截图，识别截图中是否出现了商品信息，如果没有，则可以生成顾客触碰商品的识别结果，如有有则生成顾客拿起商品的识别结果。

可见，本示例中，在检测到目标图像中的人物位置框和触碰区存在重合区域时，需要进一步识别用户到底是仅触碰了商品还是已经拿起了商品，引入触碰区的目的是减少识别计算步骤，尽可能多做有效计算，节省计算资源，且在识别过程中截取了重合区域中的截图，对截图进行进一步的识别处理，极大地减少了数据处理量，有利于快速得到识别结果。

在一种可能的示例中，所述生成所述顾客拿起商品的识别结果，包括：确定所述顾客所在区域对应的货架；获取所述对应的货架绑定的商品信息；根据所述对应的货架绑定的商品信以及在所述重合区域内检测到的商品信息，进行相似度搜索，确定所述顾客拿起的商品；生成包括所述顾客拿起的商品的商品信息的识别结果。

其中，在生成顾客拿起商品的识别结果时，还需要确定顾客所在区域的货架绑定的商品信息，根据货架绑定的商品信息可以快速定位货架上放置了哪些商品，从而快速确定顾客拿起的商品，通过将商品和货架上存放商品的图像进行一一比对或者相似度搜索，或者提取商品特征，例如商品的颜色、大小、形状尺寸等特征，将这些特征和货架上存放商品的图像进行一一比对或者相似度搜索，即可确定顾客拿起的商品，此时生成的顾客拿起商品的识别结果，不仅包括顾客的属性信息，还包括顾客拿起的商品的商品信息，商品信息可以是具体的商品名称和图像，也可以是商品的品类信息。

可见，本示例中，在检测到目标图像中的人物位置框和触碰去区存在重合区域时，需要进一步识别用户到底是仅触碰了商品还是已经拿起了商品，在识别过程中截取了重合区域中的截图，当确定顾客拿起商品时，仅需要定位货架绑定的商品信息以及重合区域的截图，便可快速识别出顾客拿起的商品以及获取商品信息，极大地减少了数据处理量，提高了数据处理效率。

S102，对所述包括顾客和商品对应关系的识别结果进行存储。

其中，在获取到包括顾客和商品对应关系的识别结果后，对此次的识别结果进行结构化存储，得到了顾客与物的关联性分析信息记录，将该识别结果存储到数据库中，数据库可以是时序数据库，也可以是关系型数据库，或者，非关系型数据库，还可以是内存型数据库。

可以看出，本申请实施例中，电子设备首先对图像传感器上传的图像数据进行预处理，得到目标图像，其中，所述目标图像包括顾客信息和商品信息，所述图像传感器安装于商品货架上，其次，根据场景地图以及预设的识别策略对所述目标图像进行识别，得到包括顾客和商品对应关系的识别结果，最后，对所述包括顾客和商品对应关系的识别结果进行存储。由于目标图像为图像传感器上传的图像数据经过预处理后得到的，因此数据量极大的减小，且目标图像中包括顾客信息和商品信息，因此只需要结合场景地图来对目标图像进行识别处理，便可获取到包括顾客和商品对应关系的识别结果，从而，可以得到在大数据、大流量等场景下的客流情况以及顾客和商品的关联性，有利于得到更精细的人与物、顾客与商品之间的互动关系，实现大场景的精细化运营和决策。

在一个可能的示例中，以大型超市场景为例，场景地图的来源可以是用户直接上传该大型超市的地图，或者从用户客户端中获取到的该大型超市的地图。用户可以通过客户端绘制出场景地图，自定义场景地区中的各个区域，其中，客户端中运行有图像绘制模块，图像绘制模块加载有大型超市的底图和业务信息，用户只需要对地图进行区域绘制，绘制的方式是点选连线绘制多边形，并锚定多边形的类型，类型包括货架区、人流区、触碰区等，从而生成包括区域信息的场景地图。

其中，图像绘制模块根据用户输入的点，先绘制出多边形，生成场景地图，由于场景地图的尺寸可能和用于顾客和商品识别的目标图像的尺寸不一样，为了得到目标图像中的各个区域在目标图像中的真实坐标，需要等比例复原，因此，场景地图中点的计算遵守笛卡尔坐标系的第一象限，进行了归一化处理，场景地图中各区域的坐标是经过归一化处理后得到的。归一化处理后场景地图中的每个点的坐标都在(0,1)的区间内，如果要还原目标图像中各个区域的坐标，只需要获得目标图像的尺寸并分别乘以归一化后的坐标，就可以得到各个区域在目标图像中的真实坐标。场景地图中包括多个区域，分为业务区和分析区，业务区包括货架区、收银区、休息区等区域，分析区包括人流区、触碰区等区域。

其中，可以对场景地图进行区域增加、删除、修改等操作，还可以标记出每个区域的业务含义以及ID信息，从而有利于识别出顾客是在人流区还是触碰区。此外，还需要预先绑定触碰区中的货架与商品信息，从而在后续进行商品识别时，可以提供相似度搜索的信息来源，最后，电子设备会将从客户端中获取到的绘制好的场景地图进行存储。

可见，本示例中，场景地图可以是由用户直接上传的，也可以是由用户通过客户端绘制出来的，由于对场景地图进行了等比例的归一化处理，使得场景地图中的所有位置点的坐标都在0-1的数值范围内，结合归一化处理后的场景地图和目标图像的尺寸，有利于快速获得不同尺寸的目标图像中各区域在图像中的真实坐标。

与所述图1所示的实施例一致的，请参阅图3，图3是本申请实施例提供的一种电子设备300的结构示意图，该电子设备300运行有一个或多个应用程序和操作系统，如图所示，该电子设备300包括处理器310、存储器320、通信接口320以及一个或多个程序321，其中，所述一个或多个程序321被存储在所述存储器320中，并且被配置由所述处理器310执行，所述一个或多个程序321包括用于执行以下步骤的指令；

对图像传感器上传的图像数据进行预处理，得到目标图像，其中，所述目标图像包括顾客信息和商品信息，所述图像传感器安装于商品货架上；

根据场景地图以及预设的识别策略对所述目标图像进行识别，得到包括顾客和商品对应关系的识别结果；

对所述包括顾客和商品对应关系的识别结果进行存储。

可以看出，本申请实施例中，电子设备首先对图像传感器上传的图像数据进行预处理，得到目标图像，其中，所述目标图像包括顾客信息和商品信息，所述图像传感器安装于商品货架上，其次，根据场景地图以及预设的识别策略对所述目标图像进行识别，得到包括顾客和商品对应关系的识别结果，最后，对所述包括顾客和商品对应关系的识别结果进行存储。由于目标图像为图像传感器上传的图像数据经过预处理后得到的，因此数据量极大的减小，且目标图像中包括顾客信息和商品信息，因此只需要结合场景地图来对目标图像进行识别处理，便可获取到包括顾客和商品对应关系的识别结果，从而，可以得到在大数据、大流量等场景下的客流情况以及顾客和商品的关联性，有利于得到更精细的人与物、顾客与商品之间的互动关系，实现大场景的精细化运营和决策。

在一个可能的示例中，所述场景地图中预设有人流区、货架区和触碰区，所述触碰区为围绕所述货架区且距离所述商品货架边缘小于预设阈值的区域。

在一个可能的示例中，在所述根据场景地图以及预设的识别策略对所述目标图像进行识别方面，所述程序中的指令具体用于执行以下操作：识别所述目标图像中是否存在人物；若是，识别所述人物是否在人流区；若是，识别所述人物是否为员工；若否，则确定所述人物为顾客，并获取所述顾客的属性信息。

在一个可能的示例中，在所述识别所述人物是否在人流区方面，所述程序中的指令具体用于执行以下操作：获取所述人物在所述目标图像中的人物位置框；识别所述人物位置框的四个顶点中是否有任意顶点落入所述人流区，或者，识别所述人物位置框的中点是否落入所述人流区，或者，识别所述人物位置框底边的中点是否落入所述人流区；若是，则确定所述人物在所述人流区。

在一个可能的示例中，在所述得到包括顾客和商品对应关系的识别结果方面，所述程序中的指令具体用于执行以下操作：检测所述人物位置框和所述触碰区是否存在重合区域；若否，获取所述顾客的头部位置框；根据所述头部位置框识别所述顾客的人脸朝向；若所述人脸朝向为货架方向，则生成所述顾客关注货架的识别结果。

在一个可能的示例中，在所述得到包括顾客和商品对应关系的识别结果方面，所述程序中的指令具体用于执行以下操作：检测所述人物位置框和所述触碰区是否存在重合区域；若是，则识别所述顾客的动作，确定所述顾客是否触碰货架上的商品；若是，获取所述人物位置框和所述触碰区的重合区域的截图；识别所述重合区域的截图，检测是否有商品信息；若无，生成所述顾客触碰商品的识别结果；若是，生成所述顾客拿起商品的识别结果。

在一个可能的示例中，在所述生成所述顾客拿起商品的识别结果方面，所述程序中的指令具体用于执行以下操作：确定所述顾客所在区域对应的货架；获取所述对应的货架绑定的商品信息；根据所述对应的货架绑定的商品信以及在所述重合区域内检测到的商品信息，进行相似度搜索，确定所述顾客拿起的商品；生成包括所述顾客拿起的商品的商品信息的识别结果。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个控制单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图4是本申请实施例中所涉及的装置400的功能单元组成框图。该数据处理装置400应用于电子设备，数据处理装置400包括处理单元401和通信单元402，其中：

所述处理单元401，用于对通过所述通信单元402获取到的由图像传感器上传的图像数据进行预处理，得到目标图像，其中，所述目标图像包括顾客信息和商品信息，所述图像传感器安装于商品货架上；以及用于根据场景地图以及预设的识别策略对所述目标图像进行识别，得到包括顾客和商品对应关系的识别结果；以及用于对所述包括顾客和商品对应关系的识别结果进行存储。

可以看出，本申请实施例中，电子设备首先对图像传感器上传的图像数据进行预处理，得到目标图像，其中，所述目标图像包括顾客信息和商品信息，所述图像传感器安装于商品货架上，其次，根据场景地图以及预设的识别策略对所述目标图像进行识别，得到包括顾客和商品对应关系的识别结果，最后，对所述包括顾客和商品对应关系的识别结果进行存储。由于目标图像为图像传感器上传的图像数据经过预处理后得到的，因此数据量极大的减小，且目标图像中包括顾客信息和商品信息，因此只需要结合场景地图来对目标图像进行识别处理，便可获取到包括顾客和商品对应关系的识别结果，从而，可以得到在大数据、大流量等场景下的客流情况以及顾客和商品的关联性，有利于得到更精细的人与物、顾客与商品之间的互动关系，实现大场景的精细化运营和决策。

在一个可能的示例中，所述场景地图中预设有人流区、货架区和触碰区，所述触碰区为围绕所述货架区且距离所述商品货架边缘小于预设阈值的区域。

在一个可能的示例中，在所述根据场景地图以及预设的识别策略对所述目标图像进行识别方面，所述处理单元401具体用于：识别所述目标图像中是否存在人物；以及用于若是，识别所述人物是否在人流区；以及用于若是，识别所述人物是否为员工；以及用于若否，则确定所述人物为顾客，并获取所述顾客的属性信息。

在一个可能的示例中，在所述识别所述人物是否在人流区方面，所述处理单元401具体用于：获取所述人物在所述目标图像中的人物位置框；以及用于识别所述人物位置框的四个顶点中是否有任意顶点落入所述人流区，或者，识别所述人物位置框的中点是否落入所述人流区，或者，识别所述人物位置框底边的中点是否落入所述人流区；以及用于若是，则确定所述人物在所述人流区。

在一个可能的示例中，在所述得到包括顾客和商品对应关系的识别结果方面，所述处理单元401具体用于：检测所述人物位置框和所述触碰区是否存在重合区域；以及用于若否，获取所述顾客的头部位置框；以及用于根据所述头部位置框识别所述顾客的人脸朝向；以及用于若所述人脸朝向为货架方向，则生成所述顾客关注货架的识别结果。

在一个可能的示例中，在所述得到包括顾客和商品对应关系的识别结果方面，所述处理单元401具体用于：检测所述人物位置框和所述触碰区是否存在重合区域；以及用于若是，则识别所述顾客的动作，确定所述顾客是否触碰货架上的商品；以及用于若是，获取所述人物位置框和所述触碰区的重合区域的截图；以及用于识别所述重合区域的截图，检测是否有商品信息；以及用于若无，生成所述顾客触碰商品的识别结果；以及用于若是，生成所述顾客拿起商品的识别结果。

在一个可能的示例中，在所述生成所述顾客拿起商品的识别结果方面，所述处理单元401具体用于：确定所述顾客所在区域对应的货架；以及用于获取所述对应的货架绑定的商品信息；以及用于根据所述对应的货架绑定的商品信以及在所述重合区域内检测到的商品信息，进行相似度搜索，确定所述顾客拿起的商品；以及用于生成包括所述顾客拿起的商品的商品信息的识别结果。

其中，所述电子设备还可包括存储单元402，处理单元401和通信单元402可以是控制器或处理器，存储单元402可以是存储器。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤，上述计算机包括移动终端。

本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包，上述计算机包括移动终端。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个控制单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取器(英文：Random Access Memory，简称：RAM)、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种数据处理方法，其特征在于，包括：

对图像传感器上传的图像数据进行预处理，得到目标图像，其中，所述目标图像包括顾客信息和商品信息，所述图像传感器安装于商品货架上；

根据场景地图以及预设的识别策略对所述目标图像进行识别，得到包括顾客和商品对应关系的识别结果；

对所述包括顾客和商品对应关系的识别结果进行存储。

2.根据权利要求1所述的方法，其特征在于，所述场景地图中预设有人流区、货架区和触碰区，所述触碰区为围绕所述货架区且距离所述商品货架边缘小于预设阈值的区域。

3.根据权利要求1或2所述的方法，其特征在于，所述根据场景地图以及预设的识别策略对所述目标图像进行识别，包括：

识别所述目标图像中是否存在人物；

若是，识别所述人物是否在人流区；

若是，识别所述人物是否为员工；

若否，则确定所述人物为顾客，并获取所述顾客的属性信息。

4.根据权利要求3所述的方法，其特征在于，所述识别所述人物是否在人流区，包括：

获取所述人物在所述目标图像中的人物位置框；

识别所述人物位置框的四个顶点中是否有任意顶点落入所述人流区，或者，识别所述人物位置框的中点是否落入所述人流区，或者，识别所述人物位置框底边的中点是否落入所述人流区；

若是，则确定所述人物在所述人流区。

5.根据权利要求4所述的方法，其特征在于，所述得到包括顾客和商品对应关系的识别结果，包括：

检测所述人物位置框和所述触碰区是否存在重合区域；

若否，获取所述顾客的头部位置框；

根据所述头部位置框识别所述顾客的人脸朝向；

若所述人脸朝向为货架方向，则生成所述顾客关注货架的识别结果。

6.根据权利要求4所述的方法，其特征在于，所述得到包括顾客和商品对应关系的识别结果，包括：

检测所述人物位置框和所述触碰区是否存在重合区域；

若是，则识别所述顾客的动作，确定所述顾客是否触碰货架上的商品；

若是，获取所述人物位置框和所述触碰区的重合区域的截图；

识别所述重合区域的截图，检测是否有商品信息；

若无，生成所述顾客触碰商品的识别结果；

若是，生成所述顾客拿起商品的识别结果。

7.根据权利要求6所述的方法，其特征在于，所述生成所述顾客拿起商品的识别结果，包括：

确定所述顾客所在区域对应的货架；

获取所述对应的货架绑定的商品信息；

根据所述对应的货架绑定的商品信以及在所述重合区域内检测到的商品信息，进行相似度搜索，确定所述顾客拿起的商品；

生成包括所述顾客拿起的商品的商品信息的识别结果。

8.一种数据处理装置，其特征在于，应用于电子设备，所述数据处理装置包括处理单元和通信单元，其中，

所述处理单元，用于对通过所述通信单元获取到的由图像传感器上传的图像数据进行预处理，得到目标图像，其中，所述目标图像包括顾客信息和商品信息，所述图像传感器安装于商品货架上；以及用于根据场景地图以及预设的识别策略对所述目标图像进行识别，得到包括顾客和商品对应关系的识别结果；以及用于对所述包括顾客和商品对应关系的识别结果进行存储。

9.一种电子设备，其特征在于，包括处理器、存储器、通信接口，以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如权利要求1-7任一项所述的方法中的步骤的指令。

10.一种计算机可读存储介质，其特征在于，存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行如权利要求1-7任一项所述的方法。

Images