CN115808170A - 一种融合蓝牙与视频分析的室内实时定位方法 - Google Patents

Abstract

本发明提供了一种融合蓝牙与视频分析的室内实时定位方法，包括：步骤S1，配置多个蓝牙信标设备并建立虚拟的点云空间，以及于点云空间内设置多个虚拟摄像头和三维坐标系；步骤S2，获取移动设备的用户数据及当前时刻的第一蓝牙定位坐标；步骤S3，根据用户数据和第一蓝牙定位坐标获得下一时刻的第二蓝牙定位坐标；步骤S4，获取当前时刻之前一段时间内虚拟摄像头拍摄的虚拟监控录像及摄像头参数并提取得到连续的视频定位坐标，根据各视频定位坐标和摄像头参数得到视频定位轨迹；步骤S5，获取移动设备的多个第二蓝牙定位坐标以得到实时融合定位轨迹。有益效果是本发明能够实现低成本、高准确度、高效的室内实时定位功能。

Description

一种融合蓝牙与视频分析的室内实时定位方法

技术领域

本发明涉及蓝牙定位和视频监控技术领域，具体而言，涉及一种融合蓝牙与视频分析的室内实时定位方法。

背景技术

近年来，随着用户需求的增加，室内导航、智能监控技术越来越受关注，推动了室内定位技术的研究和人工智能技术的发展。如何最大程度地发挥现有技术的价值，低成本地实现对用户的精确定位一直是研究的重点。

传统的室内定位方法包括WIFI定位、蓝牙RSSI（Received Signal StrengthIndication）定位以及超宽带定位技术等，其中，传统蓝牙RSSI定位技术采用接收信号强度值的方法进行定位，即各定位基站（≥3）先对目标发射的无线信号进行接收，然后将当前接收信号强度值代入信号衰减公式，估计出目标的距离范围，最后通过三边测量算法完成目标定位，该方法的定位精度通常为2～5m，且由于目标与定位基站间的信号传输通道较为复杂，通常伴随着信号的多径传播以及周围环境造成的干扰，因此该定位方法的精度很难提高。

中国专利公开号CN112423223A，公开了一种使用蓝牙信号的室内定位系统及定位方法，其通过三角定位算法推算出当前三角区域的蓝牙信息，查询数据库找到对准后的定位点位置，使用惯性定位导航辅助定位，使得定位的稳定性和精度得到进一步提升，达到最后的室内定位效果，但是，蓝牙的信号是经多个路径传送到接收端，信号强度会因为折射、反射等原因增强或者衰减（多重路径效应），单纯采用三角定位算法，偏离了现实的应用场景，数据库的查询修正仅仅起到辅助作用，无法完全修正因为单纯采用三角定位算法所带来的定位偏差。

中国专利公开号CN114885283A，公开了一种基于蓝牙AOA的室内定位方法及系统，采用蓝牙AOA基站部署，计算出蓝牙信号到达角AOA，蓝牙定位基站将数据回传到服务器，服务器可以利用已知的蓝牙定位基站高度h、到达角AOA计算出蓝牙终端的位置，蓝牙AOA算法相比于蓝牙RSSI算法精度较高，但随之成本增长非常大，因此如何实现低成本、高精确度、高效的室内定位功能是目前亟待研究的方向。

发明内容

本发明要解决的问题是：提供一种低成本、高精确度、高效的融合蓝牙与视频分析的室内实时定位方法。

为解决上述问题，本发明提供一种融合蓝牙与视频分析的室内实时定位方法，包括：

步骤S1，根据预先绘制的室内应用场景俯视图，配置安放多个蓝牙信标设备至室内应用场景内，并通过三维扫描设备对所述室内应用场景进行扫描以建立虚拟的点云空间，以及于所述点云空间内设置多个虚拟摄像头并配置三维坐标系；

步骤S2，针对所述室内应用场景内的每个移动设备，获取所述移动设备对应的用户数据，并根据所述用户数据得到当前时刻的一第一蓝牙定位坐标；

步骤S3，针对每个所述移动设备，根据所述用户数据和所述第一蓝牙定位坐标预测获得下一时刻的一第二蓝牙定位坐标，并获取所述当前时刻之前一段时间内所述移动设备对应的多个连续的所述第二蓝牙定位坐标，以及根据各所述第二蓝牙定位坐标拟合得到一蓝牙定位轨迹；

步骤S4，针对所述点云空间内的每个所述虚拟摄像头，实时获取所述当前时刻之前一段时间内所述虚拟摄像头拍摄的一虚拟监控录像及所述虚拟摄像头对应的一摄像头参数，于所述虚拟监控录像内提取得到多个连续的视频定位坐标，并根据各所述视频定位坐标和所述摄像头参数拟合得到对应的一视频定位轨迹；

步骤S5，于各所述视频定位轨迹中匹配得到所述蓝牙定位轨迹对应的一适配视频定位轨迹，以及根据所述蓝牙定位轨迹和所述适配视频定位轨迹拟合得到一实时融合定位轨迹以辅助操作人员进行室内实时定位。

优选的，所述步骤S1中，任意相邻的两个所述蓝牙信标设备之间的距离为6~10米。

优选的，所述步骤S2包括：

步骤S21，针对所述室内应用场景内的每个所述移动设备，获取所述移动设备对应的第一蓝牙信号数据作为所述用户数据；

步骤S22，通过卡尔曼滤波算法对所述第一蓝牙信号数据进行优化得到一第二蓝牙信号数据；

步骤S23，基于信号测距算法，根据所述第二蓝牙信号数据分别计算得到各所述蓝牙信标设备与所述移动设备之间的一检测距离；

步骤S24，基于三边定位算法，根据各所述检测距离和所述蓝牙信标设备于所述三维坐标系内预先记录的一标注坐标计算得到所述移动设备于所述三维坐标系内的所述第一蓝牙定位坐标。

优选的，所述步骤S24包括：

步骤S241，基于所述三边定位算法，于各所述检测距离中筛选出数值最小的三个所述检测距离，并分别获取三个所述检测距离对应的所述蓝牙信标设备的所述标注坐标；

步骤S242，根据三个所述检测距离和三个所述标注坐标计算得到所述第一蓝牙定位坐标。

优选的，所述用户数据包含有所述移动设备对应的一加速度计数据和一电子罗盘数据，所述步骤S3包括：

步骤S31，针对每个所述移动设备，基于航位推算算法，根据所述加速度计数据和所述电子罗盘数据推算出下一时刻对应的航位移动向量；

步骤S32，基于卡尔曼滤波算法，根据所述航位移动向量和所述第一蓝牙定位坐标预测得到下一时刻的所述第二蓝牙定位坐标，并获取所述当前时刻之前一段时间内所述移动设备对应的多个连续的所述第二蓝牙定位坐标，以及根据各所述第二蓝牙定位坐标拟合得到所述蓝牙定位轨迹。

优选的，所述步骤S31包括：

步骤S311，针对每个所述移动设备，基于所述航位推算算法，根据所述加速度计数据评估得到一运动状态，并根据所述电子罗盘数据表征的罗盘指向计算得到每秒步长；

步骤S312，判断所述运动状态是否表征停止：

若是，则退出；

若否，则转向步骤S313；

步骤S313，根据所述加速度计数据分别得到所述三维坐标系中的X方向欧几里得范数、Y方向欧几里得范数和Z方向欧几里得范数，并根据所述X方向欧几里得范数、所述Y方向欧几里得范数和所述Z方向欧几里得范数得到一行走步数；

步骤S314，基于所述电子罗盘数据表征的所述罗盘指向，根据所述行走步数、所述每秒步长和预设的每步步长推算出下一时刻对应的所述航位移动向量。

优选的，所述步骤S4包括：

步骤S41，针对所述点云空间内的每个所述虚拟摄像头，实时获取所述当前时刻之前一段时间内所述虚拟摄像头拍摄的所述虚拟监控录像及所述虚拟摄像头对应的所述摄像头参数；

步骤S42，于所述虚拟监控录像内提取得到多个连续的所述视频定位坐标，并基于目标跟踪算法将连续的各所述视频定位坐标拟合得到一单镜头平面轨迹；

步骤S43，基于行人重识别算法于所述单镜头平面轨迹中提取得到一跨镜头平面轨迹，并基于坐标转换算法，根据所述跨镜头平面轨迹和所述摄像头参数进行空间转换将平面坐标转换为世界坐标，随后拟合得到所述视频定位轨迹。

优选的，所述步骤S42包括：

步骤S421，基于yolov5目标检测算法，于所述虚拟监控录像中提取出一运动目标检测框，并赋予所述运动目标检测框内的运动目标一视频定位用户ID;

步骤S422，基于所述目标跟踪算法，于所述运动目标检测框内提取得到所述视频定位用户ID对应的所述视频定位坐标，并将连续的各所述视频定位坐标拟合得到所述单镜头平面轨迹。

优选的，所述步骤S43包括：

步骤S431，基于行人重识别算法对所述单镜头平面轨迹中的各所述运动目标检测框分别进行特征提取得到对应的一特征向量，并计算各所述特征向量之间的欧几里得范数得到一单镜头范数；

步骤S432，提取每个所述虚拟摄像头对应的的所述单镜头范数，取各所述单镜头范数中相互之间距离最小的两个所述单镜头范数建立线性关联，形成一条运动轨迹作为所述跨镜头平面轨迹；

步骤S433，基于坐标转换算法，建立平面坐标到空间坐标的一关系映射模型，将所述跨镜头平面轨迹输入至所述关系映射模型内得到对应的所述视频定位轨迹。

优选的，所述步骤S5包括：

步骤S51,于各所述视频定位轨迹中匹配得到所述蓝牙定位轨迹对应的所述适配视频定位轨迹，并基于DBSCAN 密度聚类算法，于所述适配视频定位轨迹中分析得到所述虚拟摄像头的视角内连续片段和视角外间隔片段；

步骤S52，基于无迹卡尔曼滤波算法，对所述视角内连续片段及所述视角内连续片段对应的蓝牙定位轨迹片段进行融合计算得到一第一融合子片段，并基于线性回归算法对所述视角外间隔片段及所述视角外间隔片段对应的所述蓝牙定位轨迹片段进行拟合得到一第二融合子片段，随后对所述第一融合子片段和所述第二融合子片段进行融合得到所述实时融合定位轨迹以辅助操作人员进行室内实时定位。

本发明的有益效果是：首先基于绘制的室内应用场景俯视图部署蓝牙信标设备并创建虚拟三维模型点云空间，然后根据移动设备的用户数据得到第一蓝牙定位坐标，并进行航位推算得到第二蓝牙定位坐标，通过构建虚拟摄像头获取虚拟监控录像，随后应用深度学习算法和行人跟踪算法提取视频定位轨迹，使用邻近轨迹匹配算法建立蓝牙定位和视频定位关联关系，使用融合定位算法对匹配到的蓝牙定位轨迹和适配视频定位轨迹进行优化，获得高精度的实时融合定位轨迹，运用低成本的蓝牙信标设备和已有的监控系统，结合深度学习算法，在成本上明显低于基于蓝牙基站的AOA定位方法，在精度上明显优于蓝牙RSSI室内定位方法，能够实现低成本、高精确度、高效的室内实时定位功能。

附图说明

图1为本发明的步骤流程图；

图2为本发明的步骤S2的具体流程图；

图3为本发明的步骤S24的具体流程图；

图4为本发明的步骤S3的具体流程图；

图5为本发明的步骤S31的具体流程图；

图6为本发明的步骤S4的具体流程图；

图7为本发明的步骤S42的具体流程图；

图8为本发明的步骤S43的具体流程图；

图9为本发明的步骤S5的具体流程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种融合蓝牙与视频分析的室内实时定位方法，如图1所示，包括：

步骤S1，根据预先绘制的室内应用场景俯视图，配置安放多个蓝牙信标设备至室内应用场景内，并通过三维扫描设备对室内应用场景进行扫描以建立虚拟的点云空间，以及于点云空间内设置多个虚拟摄像头并配置三维坐标系；

步骤S2，针对室内应用场景内的每个移动设备，获取移动设备对应的用户数据，并根据用户数据得到当前时刻的一第一蓝牙定位坐标；

步骤S3，针对每个移动设备，根据用户数据和第一蓝牙定位坐标预测获得下一时刻的一第二蓝牙定位坐标，并获取当前时刻之前一段时间内移动设备对应的多个连续的第二蓝牙定位坐标，以及根据各第二蓝牙定位坐标拟合得到一蓝牙定位轨迹；

步骤S4，针对点云空间内的每个虚拟摄像头，实时获取当前时刻之前一段时间内虚拟摄像头拍摄的一虚拟监控录像及虚拟摄像头对应的一摄像头参数，于虚拟监控录像内提取得到多个连续的视频定位坐标，并根据各视频定位坐标和摄像头参数拟合得到对应的一视频定位轨迹；

步骤S5，于各视频定位轨迹中匹配得到蓝牙定位轨迹对应的一适配视频定位轨迹，以及根据蓝牙定位轨迹和适配视频定位轨迹拟合得到一实时融合定位轨迹以辅助操作人员进行室内实时定位。

具体地，本实施例中，在具体操作时，根据预先绘制的室内应用场景俯视图，并根据室内应用场景俯视图绘制对应的设备部署图纸，随后根据设备部署图纸配置安放蓝牙信标设备，保证蓝牙信标设备的位置合理性。

优选的，按照设备部署图纸配置安放蓝牙信标设备时，蓝牙信标设备距离地面高3米，蓝牙信标设备的发射功率为-12dBm，发射频率为10Hz。

优选的，使用SLAM三维扫描设备对室内应用场景进行扫描得到三维模型点云空间，在点云空间内设置空间原点以建立三维坐标系，在点云空间创建和真实位置相同且具有相同参数的虚拟摄像头，获取虚拟摄像头的摄像头参数，摄像头参数包括虚拟摄像头的空间位置、方向、视场角、焦距以及长宽比。

优选的，步骤S3中得到的下一时刻的第二蓝牙定位坐标可以在下一时刻时作为蓝牙定位轨迹的数据依据来合成下一时刻的蓝牙定位轨迹。

优选的，第二蓝牙定位坐标的预测是实时发生的，因此当前时刻之前已经预测得到了多个不同时刻的第二蓝牙定位坐标，可以作为蓝牙定位轨迹的数据依据。

优选的，视频定位坐标为像素坐标。

优选的，当前时刻之前的一段时间优选为3分钟。

本发明的较佳的实施例中，步骤S1中，任意相邻的两个蓝牙信标设备之间的距离为6~10米。

具体地，本实施例中，室内应用场景为走廊，蓝牙信标设备沿走廊两侧交叉间隔部署，对侧的两个蓝牙信标设备之间的距离为6~8米，同侧的两个蓝牙信标设备之间的距离为10m，对俯视图进行标注并记录得到标注坐标，整理所有标注坐标得到设备部署图纸。

本发明的较佳的实施例中，步骤S2如图2所示，包括：

步骤S21，针对室内应用场景内的每个移动设备，获取移动设备对应的第一蓝牙信号数据作为用户数据；

步骤S22，通过卡尔曼滤波算法对第一蓝牙信号数据进行优化得到一第二蓝牙信号数据；

步骤S23，基于信号测距算法，根据第二蓝牙信号数据分别计算得到各蓝牙信标设备与移动设备之间的一检测距离；

步骤S24，基于三边定位算法，根据各检测距离和蓝牙信标设备于三维坐标系内预先记录的一标注坐标计算得到移动设备于三维坐标系内的第一蓝牙定位坐标。

具体地，本实施例中，每60毫秒采集移动设备的加速度计数据和电子罗盘数据，并通过移动设备每秒接收附近蓝牙信标设备发送的RSSI信号数据得到第一蓝牙信号数据。

优选的，移动设备向外部的服务端请求用户ID可以得到对应的蓝牙定位用户ID。

优选的，使用卡尔曼滤波算法对第一蓝牙信号数据进行优化处理，去除其中的噪音，增强第二蓝牙信号数据的稳定性。

优选的，使用信号测距算法将第二蓝牙信号数据转换为移动设备到蓝牙信标设备的距离，减少信号波动对实际距离的影响，得到对应的检测距离，其中信号测距公式如下：

。

优选的，上述信号测距公式中，d表示检测距离(单位:m)，RSSI表示移动设备的接收信号强度(单位:dB)，A表示移动设备的发射端和接收端相隔1米时的信号强度，n表示环境衰减因子。

优选的，对检测距离应用快速排序算法，筛选出距离移动设备最近的三个信标参考点，然后使用三边定位算法，结合这三个信标参考点的标注坐标和检测距离，计算出下一个位置坐标得到第一蓝牙定位坐标。

优选的，卡尔曼滤波算法（Kalman filtering）是一种利用线性系统状态方程，通过系统输入输出观测数据，对系统状态进行最优估计的算法，由于观测数据中包括系统中的噪声和干扰的影响，所以最优估计也可看作是滤波过程。

优选的，信号测距算法为到达角度测距算法(Angle-of-Arrival：AOA)，能够通过一些应用固件探测发射信号的到达方向，然后根据接收节点与始发节点之间的交错夹角，再利用三角测量或者是其他角位推算出发送信号中存在未知节点的位置。

本发明的较佳的实施例中，步骤S24如图3所示，包括：

步骤S241，基于三边定位算法，于各检测距离中筛选出数值最小的三个检测距离，并分别获取三个检测距离对应的蓝牙信标设备的标注坐标；

步骤S242，根据三个检测距离和三个标注坐标计算得到第一蓝牙定位坐标。

本发明的较佳的实施例中，用户数据包含有移动设备对应的一加速度计数据和一电子罗盘数据，步骤S3如图4所示，包括：

步骤S31，针对每个移动设备，基于航位推算算法，根据加速度计数据和电子罗盘数据推算出下一时刻对应的航位移动向量；

步骤S32，基于卡尔曼滤波算法，根据航位移动向量和第一蓝牙定位坐标预测得到下一时刻的第二蓝牙定位坐标，并获取当前时刻之前一段时间内移动设备对应的多个连续的第二蓝牙定位坐标，以及根据各第二蓝牙定位坐标拟合得到蓝牙定位轨迹。

具体地，本实施例中，采用的航位推算法是在知道当前时刻位置的条件下，通过测量移动的距离和方位，推算下一时刻位置的方法。

本发明的较佳的实施例中，步骤S31如图5所示，包括：

步骤S311，针对每个移动设备，基于航位推算算法，根据加速度计数据评估得到一运动状态，并根据电子罗盘数据表征的罗盘指向计算得到每秒步长；

步骤S312，判断运动状态是否表征停止：

若是，则退出；

若否，则转向步骤S313；

步骤S313，根据加速度计数据分别得到三维坐标系中的X方向欧几里得范数、Y方向欧几里得范数和Z方向欧几里得范数，并根据X方向欧几里得范数、Y方向欧几里得范数和Z方向欧几里得范数得到一行走步数；

步骤S314，基于电子罗盘数据表征的罗盘指向，根据行走步数、每秒步长和预设的每步步长推算出下一时刻对应的航位移动向量。

具体地，本实施例中，具体操作时，先对加速度计数据进行滤波处理，然后计算出行走状态并估计行走步数，结合罗盘指向计算每秒步长，然后对加速度计数据进行低通滤波处理生成处理后加速度计数据，计算处理后加速度计数据在X、Y、Z方向上的欧几里得范数，并计算欧几里得范数标准差，随后根据阈值判断当前的运动状态是静止状态还是行走状态，若是行走状态，则估计行走步数，根据行走步数以及罗盘指向，结合普通人行走的每步步长，计算X、Y方向上移动的距离得到航位移动向量。

本发明的较佳的实施例中，步骤S4如图6所示，包括：

步骤S41，针对点云空间内的每个虚拟摄像头，实时获取当前时刻之前一段时间内虚拟摄像头拍摄的虚拟监控录像及虚拟摄像头对应的摄像头参数；

步骤S42，于虚拟监控录像内提取得到多个连续的视频定位坐标，并基于目标跟踪算法将连续的各视频定位坐标拟合得到一单镜头平面轨迹；

步骤S43，基于行人重识别算法于单镜头平面轨迹中提取得到一跨镜头平面轨迹，并基于坐标转换算法，根据跨镜头平面轨迹和摄像头参数进行空间转换将平面坐标转换为世界坐标，随后拟合得到视频定位轨迹。

具体地，本实施例中，采用的行人重识别算法（Person re-identification）也称为行人再识别算法，是利用计算机视觉技术判断图像或者视频序列中是否存在特定行人的技术，广泛被认为是一个图像检索的子问题，通过给定一个监控行人图像，检索跨设备下的该行人图像。

本发明的较佳的实施例中，步骤S42如图7所示，包括：

步骤S421，基于yolov5目标检测算法，于虚拟监控录像中提取出一运动目标检测框，并赋予运动目标检测框内的运动目标一视频定位用户ID;

步骤S422，基于目标跟踪算法，于运动目标检测框内提取得到视频定位用户ID对应的视频定位坐标，并将连续的各视频定位坐标拟合得到单镜头平面轨迹。

具体地，本实施例中，采用的yolov5目标检测算法使用Mosaic数据增强操作提升模型的训练速度和网络的精度，Mosaic数据增强利用四张图片，并且按照随机缩放、随机裁剪和随机排布的方式对四张图片进行拼接，每一张图片都有其对应的框，将四张图片拼接之后就获得一张新的图片，同时也获得这张图片对应的框，即为本实施例中的运动目标检测框。

本发明的较佳的实施例中，步骤S43如图8所示，包括：

步骤S431，基于行人重识别算法对单镜头平面轨迹中的各运动目标检测框分别进行特征提取得到对应的一特征向量，并计算各特征向量之间的欧几里得范数得到一单镜头范数；

步骤S432，提取每个虚拟摄像头对应的的单镜头范数，取各单镜头范数中相互之间距离最小的两个单镜头范数建立线性关联，形成一条运动轨迹作为跨镜头平面轨迹；

步骤S433，基于坐标转换算法，建立平面坐标到空间坐标的一关系映射模型，将跨镜头平面轨迹输入至关系映射模型内得到对应的视频定位轨迹。

具体地，本实施例中，空间坐标即为世界坐标。

本发明的较佳的实施例中，步骤S5如图9所示，包括：

步骤S51,于各视频定位轨迹中匹配得到蓝牙定位轨迹对应的适配视频定位轨迹，并基于DBSCAN 密度聚类算法，于适配视频定位轨迹中分析得到虚拟摄像头的视角内连续片段和视角外间隔片段；

步骤S52，基于无迹卡尔曼滤波算法，对视角内连续片段及视角内连续片段对应的蓝牙定位轨迹片段进行融合计算得到一第一融合子片段，并基于线性回归算法对视角外间隔片段及视角外间隔片段对应的蓝牙定位轨迹片段进行拟合得到一第二融合子片段，随后对第一融合子片段和第二融合子片段进行融合得到实时融合定位轨迹以辅助操作人员进行室内实时定位。

具体地，本实施例中，使用邻近轨迹匹配算法从蓝牙定位轨迹和多个视频定位运动轨迹中进行运动轨迹匹配，建立蓝牙定位用户ID即移动设备和视频定位用户ID的关联关系，使用融合定位算法对蓝牙定位用户ID关联后的蓝牙定位轨迹和视频定位轨迹进行融合优化，获取高精度的实时融合定位轨迹。

优选的，邻近轨迹匹配算法是从蓝牙定位轨迹和多个视频定位轨迹中提取最近3分钟的轨迹，利用时间戳一致原则计算这些轨迹之间的欧几里得范数，通过排序筛选出距离最小的作为适配视频定位轨迹。

优选的，DBSCAN 密度聚类算法是一种基于密度的聚类算法，这类密度聚类算法一般假定类别可以通过样本分布的紧密程度决定，同一类别的样本，他们之间的紧密相连的，也就是说，在该类别任意样本周围不远处一定有同类别的样本存在，通过将紧密相连的样本划为一类，这样就得到了一个聚类类别，通过将所有各组紧密相连的样本划为各个不同的类别，则我们就得到了最终的所有聚类类别结果。

实施例一

将本方法应用于小程序当中，具体包括以下步骤：

S1、预设配置好的蓝牙信标设备ibeacons，分散设置于目标空间内，并标定参考节点的位置；

其中，S1中，蓝牙信标设备ibeacons作为发射节点，沿走廊两侧交叉间隔部署，同侧部署间隔为10m，距离地面高3m，发射功率为-12dBm，发射频率为10Hz，部署时避开强电磁干扰和障碍物，接收节点为具有蓝牙接收功能的智能手机设备，用于接收发送节点即蓝牙信标设备ibeacons发送的RSSI值；

S2、配置定位服务器设备lserver，并建立蓝牙轨迹数据库DB1作为定位服务器设备lserver的接收数据存储中心；

S3、构建一个微信定位小程序，小程序首次启动，向定位服务器设备lserver请求获取用户ID，定位服务器设备lserver会根据用户ID分配唯一的UUID号，记为A_id；

S4、小程序调用手机传感器接口获取加速度计数据A1、电子罗盘数据C1和蓝牙信标设备ibeacons的蓝牙信号，发送到定位服务器设备lserver；

其中，S4中，小程序接收附近蓝牙信标设备ibeacons发送的RSSI数值生成列表R1，高频采集手机端加速度计数据A1，以及罗盘指向数据C1，并以一秒间隔发送UUID号A_id、列表R1、加速度计数据A1和罗盘指向数据C1到定位服务器设备lserver；

S5、定位服务器设备lserver对接收到的蓝牙信号应用卡尔曼滤波算法进行信号平滑处理并计算测距后，应用三边定位算法，计算出当前定位坐标P1；

其中，S5中，定位服务器设备lserver对列表R1应用卡尔曼滤波算法生成滤波数据F1，并对滤波数据F1应用测距算法生成测距数据D1，然后对测距数据D1进行排序，筛选出距离最短的三个参考节点，由这三个参考节点的测距数据D1寻找得到其对应的蓝牙信标设备ibeacons的位置数据L1，应用三边定位算法，根据三个位置数据L1计算出当前定位坐标点P1；

S6、定位服务器设备lserver对加速度计数据A1进行滤波处理，计算出行走状态并估计行走步数，结合罗盘指向数据C1，计算出每秒步长，利用卡拉曼滤波算法融合当前定位坐标点P1生成轨迹track1；

其中，S6中，由定位服务器设备lserver对加速度计数据A1进行低通滤波处理生成数据A2，计算数据A2在x、y、z方向上的距离范数，并计算距离范数的标准差，结合预设阈值判断出当前状态是静止状态或行走状态，若是行走状态，则估计行走步数S1，然后根据行走步数S1以及罗盘指向数据C1，结合普通人行走的步长，计算x、y方向上移动的距离dx、dy，随后在卡拉曼滤波系统中，输入当前定位坐标点P1执行位置预测，获得预测结果P2，在预测结果P2基础上增加距离dx和距离dy生成新坐标P3，以新坐标P3为基础再次执行位置预测，获得预测结果P4作为融合定位点, 根据连续的融合定位点生成轨迹track1；

S7、扫描三维应用场景，创建三维点云空间，并配置虚拟摄像头；

其中，S7中，使用SLAM三维扫描设备对应用场景进行扫描得到三维点云空间，并在三维点云空间中设置空间原点及建立空间坐标系，在三维点云空间内创建和真实位置相同且具有相同参数的虚拟摄像头；

S8、使用深度学习算法进行行人检测并跟踪，跨镜头重识别，生成跨镜头轨迹；

其中，S8中，使用目标检测yolov5算法对虚拟摄像头的多路视频流进行识别，生成目标检测框并标识出用户B_id，对识别到的用户B_id进行DeepSort跟踪识别整合形成单镜头的用户B_id行走轨迹，然后使用特征提取strong basline模型，对用户B_id进行特征提取，建立用户特征数据库，通过跨摄像头行人重识别使多镜头之间的用户B_id行走轨迹建立关联，生成跨镜头轨迹；

S9、获取虚拟摄像头的参数，将跨镜头轨迹的平面坐标转换为空间坐标，生成轨迹track2；

其中，S9中，在点云空间内，通过量测获取虚拟摄像头的空间位置、方向以及镜头参数，镜头参数包括视场角、焦距以及长宽比，建立像素坐标和空间坐标的映射关系模型，将多个跨镜头轨迹转换为轨迹track2；

S10、根据轨迹track1和轨迹track2进行邻近时空的轨迹匹配，建立UUID号A_id和用户B_id的对应关系，采用加权融合的方式对两条轨迹进行融合，最后生成更加精确的轨迹track3返回给微信小程序显示。

虽然本公开披露如上，但本公开的保护范围并非仅限于此。本领域技术人员，在不脱离本公开的精神和范围的前提下，可进行各种变更与修改，这些变更与修改均将落入本发明的保护范围。

Claims (10)

1.一种融合蓝牙与视频分析的室内实时定位方法，其特征在于，包括：

步骤S1，根据预先绘制的室内应用场景俯视图，配置安放多个蓝牙信标设备至室内应用场景内，并通过三维扫描设备对所述室内应用场景进行扫描以建立虚拟的点云空间，以及于所述点云空间内设置多个虚拟摄像头并配置三维坐标系；

步骤S2，针对所述室内应用场景内的每个移动设备，获取所述移动设备对应的用户数据，并根据所述用户数据得到当前时刻的一第一蓝牙定位坐标；

步骤S3，针对每个所述移动设备，根据所述用户数据和所述第一蓝牙定位坐标预测获得下一时刻的一第二蓝牙定位坐标，并获取所述当前时刻之前一段时间内所述移动设备对应的多个连续的所述第二蓝牙定位坐标，以及根据各所述第二蓝牙定位坐标拟合得到一蓝牙定位轨迹；

步骤S4，针对所述点云空间内的每个所述虚拟摄像头，实时获取所述当前时刻之前一段时间内所述虚拟摄像头拍摄的一虚拟监控录像及所述虚拟摄像头对应的一摄像头参数，于所述虚拟监控录像内提取得到多个连续的视频定位坐标，并根据各所述视频定位坐标和所述摄像头参数拟合得到对应的一视频定位轨迹；

步骤S5，于各所述视频定位轨迹中匹配得到所述蓝牙定位轨迹对应的一适配视频定位轨迹，以及根据所述蓝牙定位轨迹和所述适配视频定位轨迹拟合得到一实时融合定位轨迹以辅助操作人员进行室内实时定位。

2.根据权利要求1所述的融合蓝牙与视频分析的室内实时定位方法，其特征在于，所述步骤S1中，任意相邻的两个所述蓝牙信标设备之间的距离为6~10米。

3.根据权利要求1所述的融合蓝牙与视频分析的室内实时定位方法，其特征在于，所述步骤S2包括：

步骤S21，针对所述室内应用场景内的每个所述移动设备，获取所述移动设备对应的第一蓝牙信号数据作为所述用户数据；

步骤S22，通过卡尔曼滤波算法对所述第一蓝牙信号数据进行优化得到一第二蓝牙信号数据；

步骤S23，基于信号测距算法，根据所述第二蓝牙信号数据分别计算得到各所述蓝牙信标设备与所述移动设备之间的一检测距离；

步骤S24，基于三边定位算法，根据各所述检测距离和所述蓝牙信标设备于所述三维坐标系内预先记录的一标注坐标计算得到所述移动设备于所述三维坐标系内的所述第一蓝牙定位坐标。

4.根据权利要求3所述的融合蓝牙与视频分析的室内实时定位方法，其特征在于，所述步骤S24包括：

步骤S241，基于所述三边定位算法，于各所述检测距离中筛选出数值最小的三个所述检测距离，并分别获取三个所述检测距离对应的所述蓝牙信标设备的所述标注坐标；

步骤S242，根据三个所述检测距离和三个所述标注坐标计算得到所述第一蓝牙定位坐标。

5.根据权利要求1所述的融合蓝牙与视频分析的室内实时定位方法，其特征在于，所述用户数据包含有所述移动设备对应的一加速度计数据和一电子罗盘数据，所述步骤S3包括：

步骤S31，针对每个所述移动设备，基于航位推算算法，根据所述加速度计数据和所述电子罗盘数据推算出下一时刻对应的航位移动向量；

步骤S32，基于卡尔曼滤波算法，根据所述航位移动向量和所述第一蓝牙定位坐标预测得到下一时刻的所述第二蓝牙定位坐标，并获取所述当前时刻之前一段时间内所述移动设备对应的多个连续的所述第二蓝牙定位坐标，以及根据各所述第二蓝牙定位坐标拟合得到所述蓝牙定位轨迹。

6.根据权利要求5所述的融合蓝牙与视频分析的室内实时定位方法，其特征在于，所述步骤S31包括：

步骤S311，针对每个所述移动设备，基于所述航位推算算法，根据所述加速度计数据评估得到一运动状态，并根据所述电子罗盘数据表征的罗盘指向计算得到每秒步长；

步骤S312，判断所述运动状态是否表征停止：

若是，则退出；

若否，则转向步骤S313；

步骤S313，根据所述加速度计数据分别得到所述三维坐标系中的X方向欧几里得范数、Y方向欧几里得范数和Z方向欧几里得范数，并根据所述X方向欧几里得范数、所述Y方向欧几里得范数和所述Z方向欧几里得范数得到一行走步数；

步骤S314，基于所述电子罗盘数据表征的所述罗盘指向，根据所述行走步数、所述每秒步长和预设的每步步长推算出下一时刻对应的所述航位移动向量。

7.根据权利要求1所述的融合蓝牙与视频分析的室内实时定位方法，其特征在于，所述步骤S4包括：

步骤S41，针对所述点云空间内的每个所述虚拟摄像头，实时获取所述当前时刻之前一段时间内所述虚拟摄像头拍摄的所述虚拟监控录像及所述虚拟摄像头对应的所述摄像头参数；

步骤S42，于所述虚拟监控录像内提取得到多个连续的所述视频定位坐标，并基于目标跟踪算法将连续的各所述视频定位坐标拟合得到一单镜头平面轨迹；

步骤S43，基于行人重识别算法于所述单镜头平面轨迹中提取得到一跨镜头平面轨迹，并基于坐标转换算法，根据所述跨镜头平面轨迹和所述摄像头参数进行空间转换将平面坐标转换为世界坐标，随后拟合得到所述视频定位轨迹。

8.根据权利要求7所述的融合蓝牙与视频分析的室内实时定位方法，其特征在于，所述步骤S42包括：

步骤S421，基于yolov5目标检测算法，于所述虚拟监控录像中提取出一运动目标检测框，并赋予所述运动目标检测框内的运动目标一视频定位用户ID;

步骤S422，基于所述目标跟踪算法，于所述运动目标检测框内提取得到所述视频定位用户ID对应的所述视频定位坐标，并将连续的各所述视频定位坐标拟合得到所述单镜头平面轨迹。

9.根据权利要求8所述的融合蓝牙与视频分析的室内实时定位方法，其特征在于，所述步骤S43包括：

步骤S431，基于行人重识别算法对所述单镜头平面轨迹中的各所述运动目标检测框分别进行特征提取得到对应的一特征向量，并计算各所述特征向量之间的欧几里得范数得到一单镜头范数；

步骤S432，提取每个所述虚拟摄像头对应的的所述单镜头范数，取各所述单镜头范数中相互之间距离最小的两个所述单镜头范数建立线性关联，形成一条运动轨迹作为所述跨镜头平面轨迹；

步骤S433，基于坐标转换算法，建立平面坐标到空间坐标的一关系映射模型，将所述跨镜头平面轨迹输入至所述关系映射模型内得到对应的所述视频定位轨迹。

10.根据权利要求1所述的融合蓝牙与视频分析的室内实时定位方法，其特征在于，所述步骤S5包括：

步骤S51,于各所述视频定位轨迹中匹配得到所述蓝牙定位轨迹对应的所述适配视频定位轨迹，并基于DBSCAN 密度聚类算法，于所述适配视频定位轨迹中分析得到所述虚拟摄像头的视角内连续片段和视角外间隔片段；

步骤S52，基于无迹卡尔曼滤波算法，对所述视角内连续片段及所述视角内连续片段对应的蓝牙定位轨迹片段进行融合计算得到一第一融合子片段，并基于线性回归算法对所述视角外间隔片段及所述视角外间隔片段对应的所述蓝牙定位轨迹片段进行拟合得到一第二融合子片段，随后对所述第一融合子片段和所述第二融合子片段进行融合得到所述实时融合定位轨迹以辅助操作人员进行室内实时定位。

Images