CN110232712A

CN110232712A - 室内人员定位跟踪方法和计算机设备

Info

Publication number: CN110232712A
Application number: CN201910502148.8A
Authority: CN
Inventors: 刘守军; 姚立; 李晓雷
Original assignee: Number Of Wuhan Science And Technology Co Ltd
Current assignee: Number Of Wuhan Science And Technology Co Ltd
Priority date: 2019-06-11
Filing date: 2019-06-11
Publication date: 2019-09-13

Abstract

本发明提供一种室内人员定位跟踪方法和计算机设备，该室内人员定位跟踪方法包括：从目标区域的所有视频传感器中获取同一时间段的视频流数据；从视频流数据的每帧图像中识别所有人员目标，并根据视频传感器的位置姿态信息，利用摄影测量算法计算出每帧图像中所有人员目标的空间位置；根据每帧图像的采集时间以及每帧图像中所有人员目标的空间位置，生成所有人员目标的在单个视频流数据中的运动轨迹；根据目标区域中所有视频传感器的空间位置，确定每个视频流数据中的运动轨迹的空间邻接关系，并合成所有人员目标在目标区域的完整运动轨迹。本发明可以提高定位用户的体验度，为公共场合的人流分析、安保预警以及人流管控等提供数据支持。

Description

室内人员定位跟踪方法和计算机设备

技术领域

本发明涉及室内定位技术领域，具体而言，涉及一种室内人员定位跟踪方法、计算机设备和计算机存储介质。

背景技术

目前市面上一般采用基于电磁信号的定位技术来进行定位服务，例如使用手机蜂窝信号、WIFI信号以及蓝牙信号等进行定位服务。在室内使用电磁信号的定位技术来进行定位服务容易受信号强弱的影响，在电磁信号比较弱的区域可能会造成定位不准确，从而影响用户的体验。

在一些公共场合里，例如商场、机场、地铁站以及博物馆等，往往需要对流动人员行为进行分析获得数据，从而辅助公共场合监管者做出决策。目前正是缺乏一种监控室内人员，无需室内人员使用电子产品主动配合，从而获得室内人员定位跟踪信息的有效手段。

发明内容

鉴于上述问题，本发明提供了一种室内人员定位跟踪方法、计算机设备和计算机存储介质，以提高定位用户的体验度，以及为公共场合的人流分析、安保预警以及人流管控等提供数据支持。

为了实现上述目的，本发明采用如下的技术方案：

一种室内人员定位跟踪方法，包括：

从目标区域的所有视频传感器中获取同一时间段的视频流数据；

从所述视频流数据的每帧图像中识别所有人员目标，并根据所述视频传感器的位置姿态信息，利用摄影测量算法计算出每帧图像中所述所有人员目标的空间位置；

根据每帧图像的采集时间以及每帧图像中所述所有人员目标的空间位置，生成所述所有人员目标的在单个所述视频流数据中的运动轨迹；

根据所述目标区域中所有所述视频传感器的空间位置，确定每个所述视频流数据中的运动轨迹的空间邻接关系，并合成所述所有人员目标在所述目标区域的完整运动轨迹。

优选地，所述的室内人员定位跟踪方法中，还包括：

为所述所有人员目标的完整运动轨迹添加相应的人员信息以及轨迹点时间，存储于数据库中。

优选地，所述的室内人员定位跟踪方法中，还包括：

在计算所有人员目标的空间位置前，利用摄像机标定算法获取所述目标区域中所有视频传感器的位置姿态信息。

优选地，所述的室内人员定位跟踪方法中，还包括：

预先获取目标人员的图像特征，并根据所述图像特征从所述目标区域的所有完整运动轨迹中筛选出所述目标人员的运动轨迹。

优选地，所述的室内人员定位跟踪方法中，所述视频传感器为可见光传感器、红外视频传感器以及全景视频传感器中至少一种传感器。

优选地，所述的室内人员定位跟踪方法中，所述所有视频传感器均匀覆盖于所述目标区域。

优选地，所述的室内人员定位跟踪方法中，所述目标区域中相邻视频传感器设置有重叠覆盖区域。

优选地，所述的室内人员定位跟踪方法中，所述所有视频传感器视频采集时间同步。

本发明还提供一种计算机设备，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行所述的室内人员定位跟踪方法。

本发明还提供一种计算机存储介质，其存储有所述的计算机设备中所使用的计算机程序。

本发明提供一种室内人员定位跟踪方法，该室内人员定位跟踪方法包括：从目标区域的所有视频传感器中获取同一时间段的视频流数据；从所述视频流数据的每帧图像中识别所有人员目标，并根据所述视频传感器的位置姿态信息，利用摄影测量算法计算出每帧图像中所述所有人员目标的空间位置；根据每帧图像的采集时间以及每帧图像中所述所有人员目标的空间位置，生成所述所有人员目标的在单个所述视频流数据中的运动轨迹；根据所述目标区域中所有所述视频传感器的空间位置，确定每个所述视频流数据中的运动轨迹的空间邻接关系，并合成所述所有人员目标在所述目标区域的完整运动轨迹。本发明的室内人员定位跟踪方法，通过视频流数据计算所有人员的空间位置以及运动轨迹，提高用户体验度，并可以分析存储的视频流数据中所有人员的运动轨迹，为公共场合的人流分析、安保预警以及人流管控等提供数据支持。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。

图1是本发明实施例1提供的一种室内人员定位跟踪方法的流程图；

图2是本发明实施例2提供的一种室内人员定位跟踪方法的流程图；

图3是本发明实施例3提供的一种室内人员定位跟踪方法的流程图；

图4是本发明实施例4提供的一种室内人员定位跟踪装置的结构示意图；

图5是本发明实施例4提供的另一种室内人员定位跟踪装置的结构示意图；

图6是本发明实施例4提供的第三种室内人员定位跟踪装置的结构示意图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。

此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。

实施例1

图1是本发明实施例1提供的一种室内人员定位跟踪方法的流程图，该方法包括如下步骤：

步骤S11：从目标区域的所有视频传感器中获取同一时间段的视频流数据。

本发明实施例中，目标区域包括室内的公共区域，例如包括商场、机场、地铁站以及博物馆等公共场馆内。在目标区域中可以预先设置有视频传感器，该视频传感器为可见光传感器、红外视频传感器以及全景视频传感等至少一种传感器，也可以包括目标区域中的监控摄像头，也即在目标区域内设置有多个视频传感器，该多个视频传感器可以为同一种类的传感器，也可以是多种类传感器的组合，这里不做限定。其中，所有视频传感器均匀覆盖于目标区域，并且目标区域中相邻视频传感器设置有重叠覆盖区域，所有视频传感器视频采集时间同步。

本发明实施例中，视频传感器采集得到的视频流数据将传输至计算机设备中，有计算机设备获取该视频流数据，并对视频流数据进行运算以及分析。由于基于视频流的室内目标人员的定位其计算量比较大，该计算机设备可以采用集群计算的方式，也即可以利用多个计算机设备进行视频流数据的运算以及分析，每个计算机设备之间用高速局域网连接，在需要增加计算能力时，只需增加计算机设备的数量即可。

步骤S12：从视频流数据的每帧图像中识别所有人员目标，并根据视频传感器的位置姿态信息，利用摄影测量算法计算出每帧图像中所有人员目标的空间位置。

本发明实施例中，计算机设备从视频传感器中获取视频流数据后，可以从视频流数据的每帧图像中识别所有人员。也可以识别指定的目标人员，目标人员可以在计算机设备中预先指定，也即可以在计算机设备中预先存储目标人员的图像特征，以便计算机设备进行识别。在监控场景中，也可以有监控人员进行目标人员的指定，具体可以由监控人员指定图像中的目标人员，然后由计算机设备提取目标人员的特征，以便计算机设备后续利用提取的特征识别其他图像帧中的目标人员。其中，上述利用图像特征识别目标人员的过程可以利用算法或应用程序来实现，例如可以在计算机设备中设置有识别目标人员的应用程序，将视频流数据的每帧图像输入该应用程序中，以识别出图像中的目标人员。

本发明实施例中，计算机设备在识别出图像中的所有人员后，可以根据获取该图像的视频传感器的位置姿态信息，利用摄影测量算法计算出该图像帧中所有人员的空间位置。其中，视频传感器的位置姿态信息包括视频传感器的位置信息、安装的姿态以及内部光学几何参数，在目标区域中的每个视频传感器的位置姿态信息均不相同，位置姿态信息可以由安装视频传感器的工作人员输入至计算机设备中进行存储，还可以利用视频传感器拍摄标定模型的图像，然后通过计算机设备利用摄像机标定算法计算视频传感器的位置姿态信息，这里不做限定。其中，上述计算机设备中可以设置有基于摄影测量算法的应用程序，通过运行该应用程序计算出图像帧中目标人员的空间位置。其中，上述空间位置可以利用三维坐标来进行定义，该视频传感器的位置信息就是在目标区域中的三维坐标。

步骤S13：根据每帧图像的采集时间以及每帧图像中所有人员目标的空间位置，生成所有人员目标的在单个视频流数据中的运动轨迹。

本发明实施例中，在计算出单个视频流数据中每帧图像的所有人员的空间位置后，可以根据每帧图像的采集时间以及相应空间位置生成所有人员的运动轨迹，也即按照时间顺序连接所有人员的空间位置，生成所有人员在单个视频流中的运动轨迹。

步骤S14：根据目标区域中所有视频传感器的空间位置，确定每个视频流数据中的运动轨迹的空间邻接关系，并合成所有人员目标在目标区域的完整运动轨迹。

本发明实施例中，在获得所有视频流数据中所有人员的运动轨迹后，可以根据相应视频传感器的空间位置，确定每个视频流运动轨迹的空间邻接关系，合成所有人员在目标区域的完整运动轨迹。其中，上述合成所有人员在目标区域的完整运动轨迹的过程可以利用算法或应用程序来实现，例如可以在计算机设备中设置有合并运动轨迹的应用程序，该应用程序可以根据运动轨迹的空间邻接关系将所有人员目标对应的运动轨迹进行合并，生成所有人员目标在目标区域的完整运动轨迹。

实施例2

图2是本发明实施例2提供的一种室内人员定位跟踪方法的流程图，该方法包括如下步骤：

步骤S21：从目标区域的所有视频传感器中获取同一时间段的视频流数据。

此步骤与上述步骤S11一致，在此不再赘述。

步骤S22：从视频流数据的每帧图像中识别所有人员目标，并根据视频传感器的位置姿态信息，利用摄影测量算法计算出每帧图像中所有人员目标的空间位置。

此步骤与上述步骤S12一致，在此不再赘述。

步骤S23：根据每帧图像的采集时间以及每帧图像中所有人员目标的空间位置，生成所有人员目标的在单个视频流数据中的运动轨迹。

此步骤与上述步骤S13一致，在此不再赘述。

步骤S24：根据目标区域中所有视频传感器的空间位置，确定每个视频流数据中的运动轨迹的空间邻接关系，并合成所有人员目标在目标区域的完整运动轨迹。

此步骤与上述步骤S14一致，在此不再赘述。

步骤S25：为所有人员目标的完整运动轨迹添加相应的人员信息以及轨迹点时间，存储于数据库中。

本发明实施例中，该计算机设备从视频流数据中计算出目标区域中所有人员的完整运动轨迹后，可以添加每个运动轨迹的相应人员信息以及轨迹点时间，也即可以逐个设定运动轨迹的人员，并存储与数据库中。后续工作人员可以通过观察目标区域的人员运动轨迹，从而可以对目标区域人员的行为进行评估，为目标区域的安保以及商业优化等提供数据支撑。其中，上述计算出人员的空间位置以及生成运动轨迹的方法步骤可以是实时进行的，也即计算机设备与视频传感器同步作业，实时获取视频流，实时定位目标人员，从而可以为目标人员提供定位服务。同时，上述计算出目标人员的空间位置以及生成运动轨迹的方法步骤也可以用于分析存储的视频流数据，以获得视频流中所有人员的运动轨迹。

实施例3

图3是本发明实施例3提供的一种室内人员定位跟踪方法的流程图，该方法包括如下步骤：

步骤S31：从目标区域的所有视频传感器中获取同一时间段的视频流数据。

此步骤与上述步骤S11一致，在此不再赘述。

步骤S32：利用摄像机标定算法获取目标区域中所有视频传感器的位置姿态信息。

本发明实施例中，目标区域中设置有许多视频传感器，为了获得各视频传感器精确的位置姿态信息，可以利用摄像机标定算法获取目标区域中每个视频传感器的位置姿态信息。例如可以在目标区域中设置有标定模板，在安装并开启视频传感器并获取标定模板的图像后，可以利用标定算法进行视频传感器的标定，获取视频传感器精确的位置姿态信息，包括位置信息、安装的姿态以及内部光学几何参数。

步骤S33：从视频流数据的每帧图像中识别所有人员目标，并根据视频传感器的位置姿态信息，利用摄影测量算法计算出每帧图像中所有人员目标的空间位置。

此步骤与上述步骤S12一致，在此不再赘述。

步骤S34：预先获取目标人员的图像特征，并根据图像特征从目标区域的所有完整运动轨迹中筛选出目标人员的运动轨迹。

本发明实施例中，在计算机设备实时获取视频传感器采集的视频流数据后，可以通过上述步骤实时计算视频流数据中目标人员在目标区域的空间位置，并将该空间位置实时发送至目标人员相应的移动终端，为目标人员提供在目标区域的实时定位服务。

步骤S35：根据每帧图像的采集时间以及每帧图像中所有人员目标的空间位置，生成所有人员目标的在单个视频流数据中的运动轨迹。

此步骤与上述步骤S13一致，在此不再赘述。

步骤S36：根据目标区域中所有视频传感器的空间位置，确定每个视频流数据中的运动轨迹的空间邻接关系，并合成所有人员目标在目标区域的完整运动轨迹。

此步骤与上述步骤S14一致，在此不再赘述。

实施例4

图4是本发明实施例4提供的一种室内人员定位跟踪装置的结构示意图。

该室内人员定位跟踪装置400包括：

视频流获取模块410，用于从目标区域的所有视频传感器中获取同一时间段的视频流数据。

空间位置计算模块420，用于从视频流数据的每帧图像中识别所有人员目标，并根据视频传感器的位置姿态信息，利用摄影测量算法计算出每帧图像中所有人员目标的空间位置。

运动轨迹生成模块430，用于根据每帧图像的采集时间以及每帧图像中所有人员目标的空间位置，生成所有人员目标的在单个视频流数据中的运动轨迹。

运动轨迹合成模块440，用于根据目标区域中所有视频传感器的空间位置，确定每个视频流数据中的运动轨迹的空间邻接关系，并合成所有人员目标在目标区域的完整运动轨迹。

如图5所示，该室内人员定位跟踪装置400还包括：

运动轨迹存储模块450，用于为所有人员目标的完整运动轨迹添加相应的人员信息以及轨迹点时间，存储于数据库中。。

如图6所示，该室内人员定位跟踪装置400还包括：

位置姿态获取模块460，用于在计算所有人员目标的空间位置前，利用摄像机标定算法获取目标区域中所有视频传感器的位置姿态信息。

空间位置发送模块470，用于预先获取目标人员的图像特征，并根据图像特征从目标区域的所有完整运动轨迹中筛选出目标人员的运动轨迹。

本发明实施例中，上述各个模块更加详细的功能描述可以参考前述实施例中相应部分的内容，在此不再赘述。

此外，本发明还提供了一种计算机设备，该计算机设备可以包括智能电话、平板电脑、车载电脑、智能穿戴设备等。该计算机设备包括存储器和处理器，存储器可用于存储计算机程序，处理器通过运行所述计算机程序，从而使计算机设备执行上述方法或者上述室内人员定位跟踪装置中的各个模块的功能。

存储器可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据计算机设备的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

本实施例还提供了一种计算机存储介质，用于储存上述计算机设备中使用的计算机程序。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims

1.一种室内人员定位跟踪方法，其特征在于，包括：

2.根据权利要求1所述的室内人员定位跟踪方法，其特征在于，还包括：

3.根据权利要求1所述的室内人员定位跟踪方法，其特征在于，还包括：

4.根据权利要求1所述的室内人员定位跟踪方法，其特征在于，还包括：

5.根据权利要求1所述的室内人员定位跟踪方法，其特征在于，所述视频传感器为可见光传感器、红外视频传感器以及全景视频传感器中至少一种传感器。

6.根据权利要求1所述的室内人员定位跟踪方法，其特征在于，所述所有视频传感器均匀覆盖于所述目标区域。

7.根据权利要求1所述的室内人员定位跟踪方法，其特征在于，所述目标区域中相邻视频传感器设置有重叠覆盖区域。

8.根据权利要求1所述的室内人员定位跟踪方法，其特征在于，所述所有视频传感器视频采集时间同步。

9.一种计算机设备，其特征在于，包括存储器以及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述计算机设备执行根据权利要求1至8中任一项所述的室内人员定位跟踪方法。

10.一种计算机存储介质，其特征在于，其存储有权利要求9所述的计算机设备中所使用的计算机程序。