CN109241877B - 一种轨迹识别系统、方法、装置及其计算机存储介质 - Google Patents

Abstract

本发明提供了一种轨迹识别系统、方法、装置及其计算机存储介质，涉及图像识别技术领域。所述轨迹识别系统包括多个智能货架和轨迹识别服务器，每个智能货架上设置有货架摄像装置，轨迹识别服务器用于执行所述轨迹识别方法确定目标对象的行动轨迹，轨迹识别方法首先获取所述货架摄像装置采集的人体图像，基于所述人体图像进行行人再识别，再基于行人再识别的结果确定所述人体图像对应目标对象的行动轨迹。该轨迹识别系统及方法基于货架摄像装置采集的人体图像进行行人再识别，提高了获得的目标对象行动轨迹的精确度。

Description

一种轨迹识别系统、方法、装置及其计算机存储介质

技术领域

本发明涉及图像识别技术领域，具体而言，涉及一种轨迹识别系统、方法装置及其计算机存储介质。

背景技术

随着无人零售潮流的兴起，越来越多的公司开始进行无人超市等新零售项目的尝试和实际运用，而在人工成本不断上涨、攀高的当下，无人超市陆续在国内多个城市诞生，不再需要人员驻店，无需人工结账，直接节约下了一大笔人工成本，同时无人超市结账不用排队、24小时售货等各种便利特性也吸引了众多消费者。如何在无人超市中对顾客的行进轨迹进行精准、快速的识别，从而对顾客的兴趣点进行分析，进而优化无人超市的货物设置策略。

现有的图像识别技术可以通过监控摄像头对顾客的行为图像进行采集，但是多个监控摄像头之间几乎都会存在死角，造成用户行动轨迹采集的遗漏，无法精确地采集到顾客的行动轨迹。

发明内容

有鉴于此，本发明实施例的目的在于提供一种轨迹识别系统、方法装置及其计算机存储介质，以解决现有技术无人超市中多个设置在天花板上的监控摄像头由于被货架遮挡或由于设置方位问题几乎都会存在死角，造成用户行动轨迹采集的遗漏，无法精确地采集到顾客的行动轨迹问题。

第一方面，本发明实施例提供了一种轨迹识别系统，所述轨迹识别系统包括：多个智能货架，每个智能货架上设置有货架摄像装置；轨迹识别服务器，与每个货架摄像装置连接，用于基于每个货架摄像装置采集的人体图像进行行人再识别，并基于所述行人再识别的结果确定所述人体图像对应目标对象的行动轨迹。

综合第一方面，所述货架摄像装置设置在所述智能货架的支撑杆上，所述支撑杆位于所述智能货架外侧、对所述智能货架起支撑作用并与地面垂直。

综合第一方面，所述货架摄像装置内置于所述支撑杆的内部空腔，所述支撑杆上设置有开孔，所述货架摄像装置的镜头通过所述开孔采集所述人体图像。

综合第一方面，所述货架摄像装置的镜头与所述支撑杆的外表面处于同一平面。

综合第一方面，所述开孔处设置有透光盖板，且所述透光盖板与所述支撑杆外表面的颜色相同。

综合第一方面，所述货架摄像装置设置在设置于所述智能货架上平行于地面的货架层板下方。

综合第一方面，所述货架摄像装置的安装高度与地面距离为1.5米至1.7米，所述货架摄像装置的垂直方向视角覆盖角度FOV在60度至70度范围内。

综合第一方面，所述货架摄像装置的水平方向FOV大于或等于2*arctan[(W/2n)*(1/x)]，其中，W为所述智能货架的宽度，n为所述智能货架上设置的货架摄像装置的数量，x为所述货架摄像装置的最小图像采集距离。

综合第一方面，所述多个智能货架拼接成排，每个智能货架未安装所述货架摄像装置的侧面为拼接面。

综合第一方面，相邻两排智能货架相对的支撑杆之间的间距在0.8米至1.2米范围内。

综合第一方面，所述轨迹识别系统还包括：多个高位摄像装置，设置在所述智能货架被设置房间的墙面或房间天花板上，每个高位摄像装置与所述轨迹识别服务器通信连接。所述轨迹识别服务器，用于：基于每个货架摄像装置采集的人体图像进行行人再识别，具体为：根据每个货架摄像装置采集的人体图像以及所述多个高位摄像装置采集的人体图像进行行人再识别，并基于所述行人再识别的结果确定所述人体图像对应目标对象的行动轨迹。

第二方面，本发明实施例提供了一种轨迹识别方法，应用于轨迹识别系统，所述应用于轨迹识别方法包括：获取所述货架摄像装置采集的人体图像；基于所述人体图像进行行人再识别；基于行人再识别的结果确定所述人体图像对应目标对象的行动轨迹。

综合第二方面，在所述基于所述人体图像进行行人再识别之前，所述轨迹识别方法还包括：获取设置在墙面或房间天花板上的高位摄像装置采集的人体图像；基于所述高位摄像装置采集的人体图像进行行人再识别以获得第一识别结果；确定所述第一识别结果的准确度低于预设阈值；所述基于所述人体图像进行行人再识别，包括：根据所述高位摄像装置和所述货架摄像装置采集的人体图像进行行人再识别以获得第二识别结果，将所述第二识别结果作为行人再识别结果，完成行人再识别。

综合第二方面，在所述基于所述人体图像进行行人再识别之前，所述轨迹识别方法还包括：获取设置在墙面或房间天花板上的高位摄像装置采集的人体图像；所述基于所述人体图像进行行人再识别，包括：根据所述高位摄像装置和所述货架摄像装置采集的人体图像进行行人再识别以获得行人再识别结果，完成行人再识别。

综合第二方面，所述轨迹识别方法还包括：基于所述人体图像，采用眼动跟踪算法确定所述目标对象的眼动轨迹；根据所述眼动轨迹确定所述目标对象的关注商品。

综合第二方面，在所述根据所述眼动轨迹确定所述目标对象关注商品之后，所述轨迹识别方法还包括：根据所述关注商品向所述目标对象推送相关商品信息。

综合第二方面，在所述根据所述眼动轨迹确定所述目标对象关注商品之后，所述轨迹识别方法还包括：根据多个目标对象的关注商品调整每个智能货架上的商品供应策略。

第三方面，本发明实施例还提供了一种轨迹识别装置，所述轨迹识别装置包括：获取模块，用于获取货架摄像装置采集的人体图像；识别模块，用于基于所述人体图像进行行人再识别；轨迹确定模块，用于基于行人再识别的结果确定所述人体图像对应目标对象的行动轨迹。

第四方面，本发明实施例还提供了一种计算机可读取存储介质，所述计算机可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一方面所述方法中的步骤。

本发明提供的有益效果是：

本发明提供了一种轨迹识别系统、方法、装置及其存储介质，通过在每个智能货架上设置货架摄像装置来采集人体图像，从而避免在轨迹识别服务器仅仅基于监控摄像头等高位摄像装置采集的人体图像无法完成行人再识别获得对应目标对象的行动轨迹时，基于货架摄像装置采集的人体图像进行行人再识别，获得更加精确的所述目标对象行动轨迹。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明第一实施例提供的一种轨迹识别系统的模块示意图；

图2为本发明第一实施例提供的一种智能货架的结构示意图；

图3为本发明第一实施例提供的一种货架摄像装置的安装示意图；

图4为本发明第一实施例提供的一种货架摄像装置的垂直方向FOV示意图；

图5为本发明第一实施例提供的一种货架摄像装置的水平方向FOV示意图；

图6为本发明第一实施例提供的一种水平方向FOV计算示意图；

图7为本发明第二实施例提供的一种轨迹识别方法的流程示意图；

图8为本发明第三实施例提供的一种轨迹识别装置的模块示意图。

图标：10-轨迹识别系统；11-智能货架；112-货架摄像装置；12-轨迹识别服务器；20-轨迹识别装置；21-获取模块；22-识别模块；23-轨迹确定模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

首先对本发明实施例可能涉及的行人再识别技术进行解释，行人再识别(ReID)是近年来计算机视觉的一个研究重点，给定一个监控行人图像，跨设备检索该行人的图像。由于不同摄像设备之间存在差异，行人外观易受穿着、尺度、遮挡、姿态和视角等影响，行人再识别是一个既具研究价值同时又极富挑战性的课题。近年来，人脸识别技术的成熟使得机器在辨别人脸的能力上大举超过人类，在构建“智慧城市”、“平安城市”等方面也得到了广泛应用。然而在实际应用的场景中，摄像头并非在任何情况下都可以拍摄到清晰人脸。不仅如此，在实际的场景中，一个摄像头往往无法覆盖所有区域，而多摄像头之间一般也没有重叠。因此，用全身信息来对人员进行锁定和查找就变得十分必要——通过将整体行人特征作为人脸之外的重要补充，实现对行人的跨摄像头跟踪。行人再识别(Person Re-Identification，简称ReID)，从字面意思理解就是对行人进行重新识别，是对不同的、没有视野重叠覆盖的(non-overlapping)摄像机拍摄的行人图像建立对应关系的处理过程。当摄像头拍摄范围之间不存在重叠时，由于没有了连续信息，检索难度也随之增大非常多。因此，行人再识别强调的是在跨摄像机的视频中对特定行人进行检索，将图像中某个行人的特征与其他图像中行人特征进行对比，判断是否属于同一个人，相比行人检测难度更大。具体地，如果说行人检测是要机器判定图像中是否存在行人，那么行人再识别就是要机器识别出不同摄像机拍摄的特定人员的所有图像。具体说，就是给定某人的一张图片(queryimage)，从多张图片(gallery images)中找到属于他/她的那一张或多张，是通过行人整体特征实现的人员比对技术。

第一实施例

经本申请人研究发现，现有的许多无人超市为了对顾客的行为进行分析，基于无人超市安装的原有监控摄像头采集的顾客人体图像对顾客进行行人再识别，以获得顾客的行动轨迹。但是现有的无人超市中监控摄像头的主要作用为对无人超市的安全情况进行监视，并不是专门用于顾客特征识别，因此，无人超市中的监控摄像头之间存在许多盲区，而在缺少必要的顾客人体图像时无法对顾客的进行精确的行人再识别。同时，在某一场景中同时进入大量穿着相似的人，例如场景中进来一群统一着装的人(比如一群穿黑西装的人，或者穿校服的学生)，ReID就无法准确跟踪每一个人，其原因是，摄像头安装的数量有限，并且不同的室内环境下安装在天花板上等位置的摄像头很容易存在被货架等物体遮挡的情况，ReID系统并不能每时每刻都抓到人脸，很大程度上都需要靠全身甚至只是上半身的衣着特征进行识别和跟踪。所以当多个人的衣着特征很相似的时候系统容易混淆不同人的轨迹。为了解决上述问题，本发明第一实施例提供了一种轨迹识别系统10。

请参考图1，图1为本发明第一实施例提供的一种轨迹识别系统的模块示意图。

轨迹识别系统10包括智能货架11和轨迹识别服务器12，智能货架11和轨迹识别服务器12通信连接。可选地，智能货架11和轨迹识别服务器12的连接方式可以是有线或无线连接。

请参考图2，图2为本发明第一实施例提供的一种智能货架的结构示意图。

智能货架11的数量可以为多个，每个智能货架11上设置有货架摄像装置112。以图2所示的智能货架11为例，智能货架11可以包括支撑杆和货架层板，其中，用于支撑智能货架11的所述支撑杆垂直于地面设置，所述支撑杆的数量可以为三个、四个、五个或其他能够保证智能货架11稳定竖立的数量，用于摆放货品或商品的所述货架层板平行于地面设置在智能货架11的支撑杆之间，所述货架层板一般与地面保持一定距离以方便目标对象拿取物品。可选地，货架摄像装置112具体可以设置在所述支撑杆的侧面和/或每个智能货架11的货架层板上。

智能货架11的材料可以是金属、塑料或其他材质坚硬、不易变形、重量较轻的材料，以便工作人员对智能货架11进行搬运以及货架摄像装置112的安装与维护。进一步地，由于ReID对图像质量有较高的要求，目标对象脸部或身体不能被货架上的货品遮挡，因此不能将货架摄像装置112隐藏设置在智能货架11的货架层板的最深处，此种设置方式虽然对货架摄像装置112的隐藏性很好，但是当货架层板上摆设一定数量的货物时，货架摄像装置112的大部分可视范围可能会被遮挡。

进一步地，请参考图3，图3为本发明第一实施例提供的一种货架摄像装置的安装示意图，货架摄像装置112应当设置在朝向走廊或顾客挑选货物方向上的支撑杆的侧面，或是在不需要采集对面智能货架11的货物信息时设置在货架层板的下方，例如固定在货架层板设置有物品标签处的下表面，更好地采集顾客等目标对象的人体图像，其中，货架摄像装置112采集的人体图像可以人脸图像为主。同时，货架摄像装置112镜头还可以是设置在支撑杆的内部空腔中，通过支撑杆上的开孔采集人体图像。同时，为了进一步增强货架摄像装置112的隐蔽性，货架摄像装置112的镜头与支撑杆的外表面处于同一平面，且开孔处还可以设置有一层与支撑管/货架层板漆面颜色一致的透光盖板，虽然比无色透明的透光盖板会影响透光率，但无人超市的照明光线一般可以满足使用了透光盖板的货架摄像装置112的拍摄需求，用与支撑管/货架层板漆面颜色(通常为深色)一致的透光盖板的目的是为了增强货架摄像装置112的隐蔽性，从而增强顾客的购物体验。

请参考图4和图5，图4为本发明第一实施例提供的一种货架摄像装置的垂直方向FOV示意图，图5为本发明第一实施例提供的一种货架摄像装置的水平方向FOV示意图。

考虑到顾客在拿取货物或在智能货架11间行走时一般距离货架30-50cm，为了让货架摄像装置112拍摄到更清晰的人脸图像，货架摄像装置112的安装高度与地面距离为1.5米至1.7米，垂直方向FOV为60度至70度。以安装高度为1.6米、垂直方向FOV为70度为例，货架摄像装置112的拍摄视场即可覆盖1.55米-1.9米的人脸(人脸识别并不需要最低到下巴底部或最高到头顶)，涵盖绝大部分成年人的身高范围。可选地，货架摄像装置12还可以在畸变不影响行人再识别算法的范围内采用更大的垂直方向FOV。

进一步地，多个智能货架11拼接成排，每个智能货架11未安装所述货架摄像装置112的侧面为拼接面，每相邻两排智能货架11的间距为0.8米至1.2米，以保证目标对象在两排智能货架11之间的任意位置行走时货架摄像装置112都可以拍摄到其脸部，则货架摄像装置112的水平方向FOV应大于或等于2*arctan[(W/2n)*(1/x)]，其中，W为所述智能货架11的宽度，n为所述智能货架11上设置的货架摄像装置112的数量，x为所述货架摄像装置的最小图像采集距离。进一步地，为了满足上述要求，货架摄像装置112可以安装在特定高度货架层板的(n+1)等分处，请参考图6，图6为本发明第一实施例提供的一种水平方向FOV计算示意图，在n＝2，W＝1，x＝0.3时，水平方向FOV＝2θ＝2*arctan[(W/2*2)*(1/0.3)]，其中θ为智能货架11的垂线与水平方向FOV延长线的夹角。应当理解的是，在本实施例中考虑到顾客等目标对象一般不会进入智能货架11三十厘米距离以内，将x设置为0.3m，在其他实施例中x的数值可以进行相应的调整。

另一方面，在货架摄像装置112的光轴不垂直于智能货架11时，例如两个货架摄像装置112向中间看时相应的水平FOV还可以相应减小。以间距为1米、水平方向FOV为78度为例，则可以保证与货架摄像装置112相距30-50厘米的任意位置的人脸均在货架摄像装置112的可视范围内，且对面智能货架11的货架层板也在货架摄像装置112的可视范围内。可选地，货架摄像装置112可以为镜头直径3-6毫米的摄像头，可以是手机摄像头，按照上述方式设置的货架摄像装置112像素范围在2000万以上时还可以对目标对象的眼睛动作特征进行捕捉，从而判断目标对象在观察智能货架11时眼睛的注视方向。

可选地，智能货架11的支撑杆可以为横截面为矩形、三角形、圆形或其他形状的长条状，同时支撑杆可以为中空的，以便安装货架摄像装置112并对其进行隐藏和保护。进一步地，本实施例中一个智能货架11设置有呈矩形排布的四根支撑杆，在其他实施例中每个智能货架11的支撑杆数量还可以是三个、四个或其他能够稳定支撑智能货架11的数量。

轨迹识别服务器12与每个货架摄像装置112连接，用于基于每个货架摄像装置112采集的人脸图像进行行人再识别，并基于所述行人再识别的结果确定所述人脸图像对应目标对象的行动轨迹。应当理解的是，轨迹识别服务器12可以是个人计算机、云服务器、图形工作站或其他能够对人体图像和人脸图像进行接收并处理完成行人再识别的电子设备，该电子设备可以设置在智能货架11本地，也可以是远程云服务器。

作为一种可选的实施方式，轨迹识别系统10还可以包括高位摄像装置13，高位摄像装置13的数量可以为多个，设置在无人超市等智能货架11所处房间的墙面或房间天花板上，每个高位摄像装置13与所述轨迹识别服务器12连接，并将采集获得的包含目标对象的人体结构特征、穿着特征的人体图像传输至轨迹识别服务器12，以使轨迹识别服务器12可以基于高位摄像装置13采集的人体图像进行行人再识别。

本发明第一实施例提供了一种轨迹识别系统10，该轨迹识别系统10中的智能货架11上的货架摄像装置112隐蔽地采集目标对象的人体图像，以使轨迹识别服务器12基于货架摄像装置112采集的人体图像进行行人再识别，或是对基于高位摄像装置13的目标对象的人体图像完成的精确度较低的行人再识别结果进行修正，从而提高行人再识别的准确性。

第二实施例

为了配合本发明第一实施例提供的轨迹识别系统10，本发明第二实施例还提供了一种轨迹识别方法。应当理解的是，所述轨迹识别方法的执行主体可以是轨迹识别服务器。请参考图7，图7为本发明第二实施例提供的一种轨迹识别方法的流程示意图。所述轨迹识别方法的具体步骤可以如下：

步骤S100：获取所述货架摄像装置采集的人体图像。

步骤S200：基于所述人体图像进行行人再识别。

步骤S300：基于行人再识别的结果确定所述人体图像对应目标对象的行动轨迹。

对于步骤S300，货架摄像装置在向轨迹识别服务器传输采集的人体图像时，以及高位摄像装置在向轨迹识别服务器传输采集的人体图像时，同时还会将采集到人体图像的时间和地点上报至轨迹识别服务器，其中，所述地点可以是根据货架摄像装置或高位摄像装置安装的位置获取。

考虑到在高位摄像装置采集的人体图像即可满足预设的行人再识别精确度时再基于货架摄像装置采集的人体图像对行人再识别的结果进行修正会浪费时间和计算资源，因此为了确定是否需要基于高位摄像装置采集的人体图像对行人再识别的结果进行修正，本实施例的步骤S200之前还可以包括如下步骤：

步骤S110:获取设置在墙面或房间天花板上的高位摄像装置采集的人体图像。

步骤S120：基于所述高位摄像装置采集的人体图像进行行人再识别以获得第一识别结果。

步骤S130：确定所述第一识别结果的准确度低于预设阈值。

其中，该设阈值可以根据每个无人超市的具体情况或进行行人再识别的时间段进行是适应性调整，例如考虑到时间段对治安的影响，每天7:00-20:00的预设阈值通常比20:00-7:00高，从而避免在不需要将预设阈值设置得很高时造成的计算资源的浪费。

则步骤S200的具体步骤可以为：根据所述高位摄像装置和所述货架摄像装置采集的人体图像进行行人再识别以获得第二识别结果，将所述第二识别结果作为行人再识别结果，完成行人再识别。

对于步骤S200的具体步骤，作为一种可选的修正方式，在ReID算法对顾客或其他目标对象出现判断困难时，可以调用货架摄像装置上传的人脸图像及其对应的时间和地点，以对该目标对象的行动轨迹进行实时修正；作为另一种可选的修正方式，还可以是在对人脸图像和人体图像进行统一分析后重新进行行人再识别，获得目标对象的精确行动轨迹。可选地，在其他实施例中还可以不进行行人再识别的准确度判断，直接获取设置在墙面或房间天花板上的高位摄像装置采集的人体图像，并根据所述高位摄像装置和所述货架摄像装置采集的人体图像进行行人再识别以获得行人再识别结果，完成行人再识别，从而提高行人再识别的速度且减少对计算资源的占用。

作为一种可选的实施方式，本实施例在步骤S100之后，还可以包括：基于所述人体图像，采用眼动跟踪算法确定所述目标对象的眼动轨迹；根据所述眼动轨迹确定所述目标对象的关注商品。

其中，当人的眼睛看向不同方向时，眼部会有细微的变化，这些变化会产生可以提取的特征，计算机可以通过图像捕捉或扫描提取这些特征，从而实时追踪眼睛的变化，所述眼动跟踪算法可以是基于精确虹膜定位的眼动跟踪算法，使用susan算子来消除大部分眉毛等噪声点，在进行连通域分析，最终消除噪声影响，准确定位虹膜区域，再次基础上建立跟踪模板，使用改进的加入了对虹膜的方向和尺度预测和考虑梯度特征方向的CamShift算法进行眼动跟踪，从而确定所述目标对象的眼动轨迹，进而根据所述眼动轨迹确定所述目标对象的关注商品。

可选地，确定所述目标对象的关注商品之后，本实施例还可以根据所述关注商品向所述目标对象推送相关商品信息，或根据多个目标对象的关注商品调整每个智能货架上的商品供应策略。

本实施例提供的轨迹识别方法可以单独通过货架摄像装置采集的人体图像或单独通过高位摄像装置采集的人体图像对目标对象进行行人再识别从而完成轨迹识别，也可以基于通过货架摄像装置采集的人体图像对原先基于高位摄像装置采集的人体图像对目标对象获得的行人再识别结果进行修正，从而改善了某场景中同时进入着装相似的人群或室内环境存在遮挡时行人再识别算法容易混淆不同人的特征及轨迹的问题，提高了轨迹识别的精确度和适用性。

第三实施例

为了配合本发明第一实施例中的轨迹识别系统10和本发明第二实施例提供的轨迹识别方法，本发明第三实施例还提供了一种轨迹识别装置20。

轨迹识别装置20包括至少一个可以软件或固件(firmware)的形式存储于轨迹识别系统10中或固化在轨迹识别系统10的操作系统(operating system，OS)中的软件功能模块。

请参考图8，图8为本发明第三实施例提供的一种轨迹识别装置的模块示意图。

轨迹识别装置20包括获取模块21、识别模块22和轨迹确定模块23。

获取模块21，用于获取货架摄像装置采集的人体图像。

识别模块22，用于基于所述人体图像进行行人再识别。

轨迹确定模块23，用于基于行人再识别的结果确定所述人体图像对应目标对象的行动轨迹。

作为一种实施方式，本实施例中的识别模块22可以包括人体图像确定单元、第一识别结果获取单元、准确度确定单元和修正单元。

高位人体图像获取单元，用于获取设置在墙面或房间天花板上的高位摄像装置采集的人体图像。

第一识别结果获取单元，用于基于所述高位摄像装置采集的人体图像进行行人再识别以获得第一识别结果。

准确度确定单元，用于确定所述第一识别结果的准确度低于预设阈值。

修正单元，用于根据所述高位摄像装置和所述货架摄像装置采集的人体图像进行行人再识别以获得第二识别结果，将所述第二识别结果作为行人再识别结果，完成行人再识别。

作为一种实施方式，本实施例中的轨迹识别装置20还包括眼动轨迹确定模块，用于基于所述人脸图像，采用眼动跟踪算法确定所述目标对象的眼动轨迹，根据所述眼动轨迹确定所述目标对象的关注商品。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

综上所述，本发明实施例提供了一种轨迹识别系统、方法、装置及其存储介质，通过在每个智能货架上设置货架摄像装置来采集的人体图像，从而避免在轨迹识别服务器仅仅基于监控摄像头等高位摄像装置采集的人体图像无法完成行人再识别获得目标对象的行动轨迹时，基于货架摄像装置采集的人体图像进行行人再识别，获得更加精确的目标对象行动轨迹。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (14)

1.一种轨迹识别系统，其特征在于，所述轨迹识别系统包括：

多个智能货架，每个智能货架上设置有至少一个货架摄像装置；所述货架摄像装置的水平方向FOV大于或等于2*arctan[(W/2n)*(1/x)]，其中，W为所述智能货架的宽度，n为所述智能货架上设置的货架摄像装置的数量，x为所述货架摄像装置的最小图像采集距离；

高位摄像装置，用于采集包含目标对象的人体结构特征、穿着特征的人体图像，所述高位摄像装置设置在墙面或房间天花板上；

轨迹识别服务器，与每个货架摄像装置通信连接，用于基于所述高位摄像装置采集的人体图像进行行人再识别以获得第一识别结果，确定所述第一识别结果的准确度低于预设阈值；以及基于所述人体图像进行行人再识别，包括：根据所述高位摄像装置和所述货架摄像装置采集的人体图像进行行人再识别以获得第二识别结果，将所述第二识别结果作为行人再识别结果，完成行人再识别；

所述轨迹识别服务器还用于基于每个货架摄像装置采集的人体图像和所述高位摄像装置采集的人体图像进行行人再识别，并基于所述行人再识别的结果确定所述人体图像对应目标对象的行动轨迹。

2.根据权利要求1所述的轨迹识别系统，其特征在于，所述货架摄像装置设置在所述智能货架的支撑杆上，所述支撑杆位于所述智能货架外侧、对所述智能货架起支撑作用并与地面垂直。

3.根据权利要求2所述的轨迹识别系统，其特征在于，所述货架摄像装置内置于所述支撑杆的内部空腔，所述支撑杆上设置有开孔，所述货架摄像装置的镜头通过所述开孔采集所述人体图像。

4.根据权利要求3所述的轨迹识别系统，其特征在于，所述货架摄像装置的镜头与所述支撑杆的外表面处于同一平面。

5.根据权利要求3所述的轨迹识别系统，其特征在于，所述开孔处设置有透光盖板，且所述透光盖板与所述支撑杆外表面的颜色相同。

6.根据权利要求1所述的轨迹识别系统，其特征在于，所述货架摄像装置设置在设置于所述智能货架上平行于地面的货架层板下方。

7.根据权利要求1所述的轨迹识别系统，其特征在于，所述货架摄像装置的安装高度与地面距离为1.5米至1.7米，所述货架摄像装置的垂直方向视角覆盖角度FOV在60度至70度范围内。

8.根据权利要求1-7任一项所述的轨迹识别系统，其特征在于，相邻两排智能货架相对的支撑杆之间的间距在0.8米至1.2米范围内。

9.根据权利要求1所述的轨迹识别系统，其特征在于，所述轨迹识别系统还包括：

多个高位摄像装置，设置在所述智能货架被设置房间的墙面或房间天花板上，每个高位摄像装置与所述轨迹识别服务器通信连接；

所述轨迹识别服务器，用于：基于每个货架摄像装置采集的人体图像进行行人再识别，具体为：根据每个货架摄像装置采集的人体图像以及所述多个高位摄像装置采集的人体图像进行行人再识别，并基于所述行人再识别的结果确定所述人体图像对应目标对象的行动轨迹。

10.一种轨迹识别方法，其特征在于，应用于权利要求1-9任一项所述的轨迹识别系统，所述轨迹识别方法包括：

获取所述货架摄像装置采集的人体图像，以及获取高位摄像装置采集的包含目标对象的人体结构特征、穿着特征的人体图像，所述高位摄像装置设置在墙面或房间天花板上；

基于所述高位摄像装置采集的人体图像进行行人再识别以获得第一识别结果；

确定所述第一识别结果的准确度低于预设阈值；

基于所述人体图像进行行人再识别，包括：根据所述高位摄像装置和所述货架摄像装置采集的人体图像进行行人再识别以获得第二识别结果，将所述第二识别结果作为行人再识别结果，完成行人再识别；

基于行人再识别的结果确定所述人体图像对应目标对象的行动轨迹。

11.根据权利要求10所述的轨迹识别方法，其特征在于，所述基于所述人体图像进行行人再识别，包括：

根据所述高位摄像装置和所述货架摄像装置采集的人体图像进行行人再识别以获得行人再识别结果，完成行人再识别。

12.根据权利要求10或11所述的轨迹识别方法，其特征在于，所述轨迹识别方法还包括：

基于所述人体图像，采用眼动跟踪算法确定所述目标对象的眼动轨迹；

根据所述眼动轨迹确定所述目标对象的关注商品。

13.一种轨迹识别装置，其特征在于，所述轨迹识别装置包括：

获取模块，用于获取货架摄像装置采集的人体图像，以及获取高位摄像装置采集的包含目标对象的人体结构特征、穿着特征的人体图像；所述货架摄像装置的水平方向FOV大于或等于2*arctan[(W/2n)*(1/x)]，其中，W为智能货架的宽度，n为所述智能货架上设置的货架摄像装置的数量，x为所述货架摄像装置的最小图像采集距离；

第一识别结果获取单元，用于基于所述高位摄像装置采集的人体图像进行行人再识别以获得第一识别结果；

准确度确定单元，用于确定所述第一识别结果的准确度低于预设阈值；

识别模块，用于基于所述人体图像进行行人再识别，包括：根据所述高位摄像装置和所述货架摄像装置采集的人体图像进行行人再识别以获得第二识别结果，将所述第二识别结果作为行人再识别结果，完成行人再识别；

轨迹确定模块，用于基于行人再识别的结果确定所述人体图像对应目标对象的行动轨迹。

14.一种计算机可读取存储介质，其特征在于，所述计算机可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行权利要求10-12中任一项所述方法中的步骤。

Images