CN110378292A

CN110378292A - 三维空间定位系统和方法

Info

Publication number: CN110378292A
Application number: CN201910661484.7A
Authority: CN
Inventors: 庄志坚
Original assignee: Guangzhou Dimensional Construction Information Technology Consulting Co Ltd
Current assignee: Guangzhou Dimensional Construction Information Technology Consulting Co Ltd
Priority date: 2019-07-22
Filing date: 2019-07-22
Publication date: 2019-10-25
Anticipated expiration: 2039-07-22
Also published as: CN110378292B

Abstract

本发明提供一种三维空间定位系统和方法。利用楼宇现有的CCTV系统，实现有效识别定位的同时，充分保护楼宇内人员的个人隐私。所述定位系统包括:资源层、服务层、网络层、接口层、应用层和展示层。其定位方法，包括间隔截取关键帧、推送给服务层、人脸识别捕捉并和系统中的人脸库进行对比推送给接口层、接口层接收并封装后推送给订阅了链接服务的客户端、三维空间成像和投屏展示。本发明充分利用了楼宇内成熟的闭路电视监控系统，无需额外添加传感器、路由器、RFID卡、手环等硬件资源，能够显著降低楼宇内三维空间定位的实施成本，在满足商业和办公定位需要的同时，充分保护用户的个人隐私。

Description

三维空间定位系统和方法

技术领域

本发明涉及三维空间定位技术领域，尤其涉及一种基于人脸识别技术的室内三维空间定位系统和方法。

背景技术

当前，室内定位技术作为建筑楼宇智慧管理的一个重要组成部分，受到业界的大量关注。技术大量被用于室内人员定位、商场客流热力计算、空间人员能效比计算等多个方面。

主要使用的室内无线定位技术分成三类：1.近邻法，2.三角测量法，3.模式匹配法。

除了上面这些使用无线信号进行定位的技术外，还有基于地磁的定位和惯性导航技术，可以用来和上面的方法进行混合定位。

业界普遍的室内空间定位解决方案是通过以上三种测量方法中的一种，结合地磁信息和惯性导航的一些方法，提供的综合解决方案。

但是，现有技术中的室内空间定位解决方案普遍存在以下问题：

(1)当前，智能楼宇普遍安装了CCTV系统，覆盖了需要监控到的主要区域，而室内定位系统的设备在投入实施经费的优先级往往比 CCTV系统低许多。CCTV系统在智能楼宇运维中是必要项，而室内定位系统在大部分楼宇中是可选项。

(2)智能楼宇使用的室内定位系统，最主流的是通过位置指纹法+Wifi/蓝牙的惯性导航技术实现的。要达到XYZ三维空间坐标的定位要求，需要使用wifi定位纠偏仪放置在每一层或隔层的四角(视乎建筑平面大小)，覆盖的球直径范围大多为150米到200米。这也就意味着，一栋高层建筑要加装几十乃至上百的wifi定位纠偏仪。

此外，通过以上方式实施的室内定位系统，在使用上也存在一定的缺陷：

(1)首先wifi定位纠偏仪是通过计算手机的特征mac值来计算手机使用者位置。Mac值首先要经过入库的身份注册。对比mac值会得出部分未经注册的手机(未知身份)以及部分经过注册的手机(已知身份)。在楼宇的商业功能中，不需要得知人员的真实身份，只需要通过mac值的数量进行商业客流统计即可。但在需要得知人员真实身份的使用场景，通过手机自有mac值的做法就显得不方便，毕竟手机是会更换的，并且也不一定每时每刻都跟随着人员本身。行业中一般的解决方法是为需要管理身份验证的人员单独提供定位标签卡或定位手环，这也进一步地增加了投入成本。

(2)智慧楼宇中并非每一个角落都需要室内定位系统的覆盖，换一个说法，即通过类似RFID的区域围栏管理办法，已经可以满足商业/办公的需要。无时不刻的准确无误的mac位置指纹定位追踪，首先导致了效率浪费，其次又触犯了个人隐私。

基于上述问题，需要提供一种能够充分利用现有楼宇的智能监控系统的室内三维空间定位技术，能够在有效降低实施成本的同时，既能保证监控效率，同时又能充分保护个人隐私。

发明内容

为解决上述技术问题，本发明提供一种基于人脸识别技术的室内三维空间定位系统和方法，利用楼宇现有的CCTV系统，实现有效识别定位的同时，充分保护楼宇内人员的个人隐私。所述定位系统包括: 资源层、服务层、网络层、接口层、应用层和展示层。其中，所述资源层包括摄像机云台，用于获取现场画面，生成视频流发送给网络层。所述网络层包括视频解码器，用于获取资源层发送的视频流并截取关键帧，并将所述视频流和截取的关键帧推送给服务层。所述服务层包括图形处理服务器，用于从网络层获取推送的视频流和关键帧后，进行人脸识别捕捉并和系统中的人脸库进行对比，标定有效帧中识别的人员数量、身份以及距离摄像机的角度和距离，通过系统中预录入的(BIM)模型进行三维空间坐标标定，并将运算结果数据包推送给接口层。所述接口层接收服务层推送的数据包，进行封装后推送给订阅了链接服务的客户端。所述应用层包括图形工作站，对从接口层获得的数据进行三维空间成像；所述展示层包括信息综合大屏，对图形工作站的模拟结果进行投屏展示。

另外，本发明还提供一种基于上述定位系统的室内三维空间定位方法，包括以下步骤：

a、摄像机云台根据服务器指令间隔截取关键帧后，将包括上述关键帧的视频流发送给网络层的视频解码器；

b、视频解码器获取资源层发送的视频流并截取关键帧后推送给服务层；

c、服务层的图形处理服务器，从网络层获取推送的视频流和关键帧后，进行人脸识别捕捉并和系统中的人脸库进行对比，标定有效帧中识别的人员数量、身份以及距离摄像机的角度和距离，通过系统中预录入的(BIM)模型进行三维空间坐标标定，并将运算结果数据包推送给接口层；

d、接口层接收服务层推送的数据包，进行封装后推送给订阅了链接服务的客户端；

e、应用层的图形工作站对从接口层获得的数据进行三维空间成像。

f、通过展示层的信息综合大屏对图形工作站的模拟结果进行投屏展示。

优选的，所述图形处理服务器通过onvif协议从网络层获取推送的视频流和关键帧。

优选的，所述图形处理服务器对视频流或关键帧的有效部分检测出的人脸进行测距，得出各人脸距离该摄像机的距离及角度。

优选的，所述服务层通过人脸主动跟踪算法刷新云台位置，对无法识别的低分辨率帧进行修复，修复无果的情况重新进行抓取，弃用无效帧。

优选的，所述服务层对视频流或关键帧的有效部分检测出的人脸，计算目标特征码，对未存在的特征码进行保存，对已存在的特征码进行匹配对比，得出人员身份相似度。

优选的，所述服务层进行人员行为分析。

优选的，所述展示层展示预录的BIM三维空间模型。

优选的，所述展示层展示识别到的已入库和非入库人员在三维空间中的位置。

优选的，所述展示层展示摄像机覆盖的各个空间区域的捕捉人数，人流热力，以及识别到的人员特征是否与已入库的人员信息进行匹配；匹配，则显示人员的个人信息，如所属公司、部门、职位、姓名等。

优选的，所述展示层展示摄像机捕捉到的各个空间内人员的异常行为。

本发明提供的上述室内三维空间定位系统，能够充分利用楼宇内成熟的闭路电视监控系统，无需额外添加传感器、路由器、RFID卡、手环等硬件资源，能够显著降低楼宇内三维空间定位的实施成本。同时，本发明相应提供了基于上述三维空间定位系统的定位方法，能够提在摄像机覆盖的各个空间区域的捕捉人数，人流热力，以及识别到的人员特征，利用人脸识别技术，与预录的人脸库进行比对，识别出人员信息，对能够进行摄像机捕捉到的各个空间内人员的异常行为分析，还能够通过预录入的BIM模型实现精准定位，既能满足商业/办公管理的需要，又不需要无时不刻的准确无误的mac位置指纹定位追踪，充分保护了个人隐私。

根据下面参考附图对示例性实施例的详细说明，本发明的其他特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。

图1本发明提供的空间定位系统结构图；

图2本发明提供的空间定位方法流程图；

图3本发明提供的空间定位系统服务层处理流程图；

图4本发明提供的空间定位系统服务层匹配算法流程图；

图5本发明提供的空间定位系统服务层标定过程中的畸变关系；

图6本发明提供的空间定位系统服务层坐标换算流程图；

图7本发明提供的空间定位系统应用层解析流程图；

图8本发明提供的数字化坐标系换算流程图。

具体实施方式

下面具体描述本发明提供的基于人脸识别技术的三维空间识别定位系统和方法。

实施例1

本发明实施例1提供一种基于人脸识别技术的三维空间识别定位系统。如图1所示，所示基于人脸识别技术的三维空间识别定位系统包括：资源层、服务层、网络层、接口层、应用层和展示层。其中，所述资源层包括摄像机云台，用于获取现场画面，生成视频流发送给网络层。具体地，所述摄像机云台可利用楼宇现有的CCTV系统，如霍尼韦尔、海康威视、大华等，无需额外安装传感器等硬件资源。

所述网络层包括视频解码器，用于获取资源层发送的视频流并截取关键帧，并将所述视频流和截取的关键帧推送给服务层。具体地，摄像机云台根据服务器指令间隔截取关键帧后，此处的截取间隔可以根据需要进行设置，如可设置间隔1分钟、45秒、30秒、15秒、5 秒、1秒、0.1～0.5秒，不同的截取间隔可用于不同的使用用途。如用于人员识别定位，截取间隔须在1秒以内。如用于识别滞留物分析，截取间隔通常设置在10秒～30秒。

所述服务层包括图形处理服务器，用于从网络层获取推送的视频流和关键帧后，进行人脸识别捕捉并和系统中的人脸库进行对比，标定有效帧中识别的人员数量、身份以及距离摄像机的角度和距离，通过系统中预录入的(BIM)模型进行三维空间坐标标定，并将运算结果数据包推送给接口层。

所述接口层接收服务层推送的数据包，进行封装后推送给订阅了链接服务的客户端。

所述应用层包括图形工作站，对从接口层获得的数据进行三维空间成像。

所述展示层包括信息综合大屏，对图形工作站的模拟结果进行投屏展示。

实施例2

本发明实施例2提供一种基于人脸识别技术的室内三维空间定位方法，如图2所示，所述基于人脸识别技术的室内三维空间定位方法包括以下步骤：

a.摄像机云台根据服务器指令间隔截取关键帧后，将包括上述关键帧的视频流发送给网络层的视频解码器；

b.视频解码器获取资源层发送的视频流并截取关键帧后推送给服务层；

c.服务层的图形处理服务器，从网络层获取推送的视频流和关键帧后，进行人脸识别捕捉并和系统中的人脸库进行对比，标定有效帧中识别的人员数量、身份以及距离摄像机的角度和距离，通过系统中预录入的(BIM)模型进行三维空间坐标标定，并将运算结果数据包推送给接口层；

d.接口层接收服务层推送的数据包，进行封装后推送给订阅了链接服务的客户端；

e.应用层的图形工作站对从接口层获得的数据进行三维空间成像。

f.通过展示层的信息综合大屏对图形工作站的模拟结果进行投屏展示。

其中，所述步骤a中，所述摄像机云台可利用楼宇现有的CCTV系统，如霍尼韦尔、海康威视、大华等，无需额外安装传感器等硬件资源。

具体地，图3示出所述步骤c中服务层的主要运算，包括：

1.通过人脸主动跟踪算法刷新云台位置或弃用非云台得到的无效帧；

优选的，为了实现本发明中所需要的定位效果，本发明采用的人脸主动跟踪算法模型如下：

其中，系统的状态向量X(k)、P(k)、K(k)、Y(k)四个分量分别为人脸中心在时刻在图像坐标系中水平方向和垂直方向上的位置和速度,R为摄像机转动角速度和背景像素速度之间的比值，T为当前时刻距上一时刻T帧，A为n*n的转移矩阵，Q为矩阵的协方差，H为n*m的测量转移矩阵。

X(K+1)为系统状态的最优估计值,为了使状态向量的第1分量恒为M/2,第3分量恒为N/2(K>0,M和N为图像宽度和高度)即使人脸图像的中心始终在当前图像帧的中心位置,也就是人脸始终保持在视野中心,根据模型,可以得到一个最优的控制量U(K)，系统的状态向量X(k)、P(k)、K(k)、Y(k)四个分量分别为人脸中心在时刻在图像坐标系中水平方向和垂直方向上的位置和速度，R为摄像机转动角速度和背景像素速度之间的比值，T代为当前时刻距上一时刻T帧，A 为n*n的转移矩阵，Q为矩阵的协方差，H为n*m的测量转移矩阵。

通过以上三个公式,我们可以根据当前时刻系统状态的最优估计和测量值,预测下一时刻系统的运动状态,并且得出最优控制量,DPS 根据这个量控制云台水平和垂直转动的角速度,对目标进行跟踪,锁定人脸在视野范围中心。

2.对无法识别的低分辨率帧进行修复，修复无果的情况重新进行抓取，弃用无效帧；

其中，低分辨率识别主要使用FISHERNPE算法，模型如下：

XW^FX^TF＝λXD^FX^TF

其中，W上标LDA为类内样本点之间的平均关系权重，W上标NPE 为本点之间的局部关系权重，F为LDA和NPE结合的分辨率稳健特征算子,L代表最大化得到对应准则下的最优投影矩阵。

(m为样本数量)为样本总数LDA是和NPE的关系权重矩阵按照一定的比例分配构造而成的抽象关系权重矩阵，是LGE框架中的约束矩阵。因此，描述子F相当于框架中的A，同时描述了数据样本点之间的全局结构和局部结构关系，从而有利于分辨率稳健特征表达。

对5×5测试时，在W为0.05和0.1附近取得最高识别率；对10×10 测试时，在W为0.1和0.15附近取得最高识别率；对15×15测试时，在W为0.15附近取得最高识别率；而在高分辨率25×25、50×50 和100×100测试时，在W为0.8到0.9之间取得最高识别率。

因此，判别获取的图像帧分辨率系数，通过W的不同最佳取值分析得到该分辨率最佳识别率图像。如识别率超过70％，则该帧有效，反之则无效弃用。

通过上述模型，本发明能够在保证识别精度的前提下提高了运算效率。

3.对视频流或关键帧的有效部分检测出的人脸，计算目标特征码，对未存在的特征码进行保存，对已存在的特征码进行匹配对比，得出人员身份相似度；

优选地，本发明所采用的特征码匹配模型如下：

假设两幅图像为和把其中的一幅图像称为参考图像，另一幅图像就称为观察图像。图像匹配的实质就是求解在两个图像间的坐标位置和灰度级上的双重映射关系，可以表示如下：

I₂(x，y)＝g(I₁(f(x，y)))

上式中，f是基于二维空间的坐标变换算子，g是基于一维的灰度变换算子。寻找最佳的空间或者几何变化的参数值是匹配问题中的关键问题所在。有时也把上式表示为两个参数变量的单值函数形式：

I₂(x，y)＝g(I₁(f_x(x，y)，f_y(x，y)))

图像匹配是统一并综合利用己有的多源图像信息，以及它们所包含的各种空间结构特征，把它们合成空间位置上一一对准的图像。如图4所示，匹配算法的主要流程一般分为五个步骤：输入图像、图像预处理、特征提取、匹配图像、输出结果。

4.对视频流或关键帧的有效部分检测出的人脸进行测距，得出各人脸距离该摄像机的距离及角度；

用摄像机获得的图像实际上是将客观世界的三维场景投影到摄像机二维成像平面的过程，它建立了真实世界中三维空间的物点和二维图像上的像点之间的某种映射关系，摄像机模型正是描述了这一空间物点到平面像点的映射关系。摄像机模型是光学成像几何关系的简化，在实际应用中，不同使用场合的要求精度也不同，所以建立的模型的复杂程度也不一样。所建立的模型越接近摄像机的实际情况，并且能够准确地把模型参数标定出来，则获得的测量精度越高，但同时标定的工作也越困难。

大多数监控场景下，线性模型不能满足监控摄像机成像的几何模型，特别是在使用广角镜头时，在远离图像中心处会有较大的畸变。像点不再是POC与图像平面的交点，而是有了一定的偏移，这种偏移实际上就是镜头畸变。此处使用了非线性模型进行标定。

如图5所示，镜头畸变的主要畸变类型有三种:径向畸变ΔD、偏心畸变ΔP和薄棱畸变ΔΓ。径向畸变使像点产生径向方向的误差，偏心畸变和薄棱畸变使像点既产生径向方向的误差又产生切向方向的误差。DR表示径向畸变，DT表示切向畸变。畸变后的像素点(实际成像点)与理想成像点存在一定关系，即理想成像点等于实际图像坐标点加上畸变误差值，表示关系如下：

由于切向畸变引起的偏差很小可以忽略不计，所以在实际应用中只考虑径向畸变的偏差影响。径向畸变关于摄像机的光轴对称的，正向畸变称为枕形畸变，负向畸变称为桶形畸变，其代数关系表达式为：

联合得到

考虑到枕型畸变和桶形畸变，只考虑一阶或二阶径向畸变的情况下，可以畸变校正通过以下流程换算出数字化坐标系如图8所示。

接下来，通过第五步中的BIM三维空间中的摄像机数字坐标系中的空间坐标与朝向角度，即可以通过相对位置关系换算出帧图像中的人物大致位置。

5.根据第四步得出的数据集合对BIM三维空间中的摄像机摄录到的人员进行标定；

6.人员行为分析：如闯入、斗殴、滞留、求救等行为，可在服务层对需要启用分析服务的摄像机进行设定；

这一部分主要使用了各视频厂家摄像头封装的算法接口实现。

7.将计算结果数据包推送到接口层进行封装。

具体地，如图6所示，所述应用层解析步骤如下：

(1)根据BIM三维空间中的摄像机坐标、朝向，提供空间参考坐标系；

(2)解析接口层推送的数据集合，结合上述空间参考坐标系，判定人员是否重复标定；若是，去除摄像机范围的旧有人员标定后，转步骤(3)，否则，新增摄像机监视范围的人员标定，转步骤(3)；

(3)统计同一空间编码下的检测人员数量以及识别人员列表；

(4)在BIM三维空间成像，显示人员数量及识别人员列表。

具体地，所述展示层的展示结果包括：

1.预录的BIM三维空间模型；

2.识别到的已入库和非入库人员在三维空间中的位置，存在于摄像机的捕捉覆盖范围。摄像机覆盖死角，运用RFID思想，大致标定人员所处的空间范围，这一空间范围一般为楼宇的客户区，不需要完全精准地定位到个人位置；

3.摄像机覆盖的各个空间区域的捕捉人数，人流热力，以及识别到的人员特征是否与已入库的人员信息进行匹配，如匹配，则显示人员的个人信息，如所属公司、部门、职位、姓名等。

4.摄像机捕捉到的各个空间内人员的异常行为，可根据需要在服务层对各个物理空间内的摄像机进行的分析服务设定。如一楼大堂前台，可针对人员的滞留行为进行分析，超出一段时间的滞留人员会触发系统对管理层推送警报。

5.综合以上的信息，应用层会向管理者提供一个可操作的建筑三维模型，管理者可根据警报推送或自身管理的需要对建筑内的各个空间进行查看，应用会将有摄像机覆盖的各个空间的识别人员数量、匹配的人员信息、陌生的人员特征脸谱以及人员行为分析结果展现给管理者。

有益效果

(1)CCTV系统作为智能楼宇运维的必需品，得到了进一步的使用，提高了闲置性能的利用率。

(2)通过CCTV系统以及人脸识别技术提供的室内三维空间定位技术，在成本上避免了对室内定位系统设备、耗材的重复投资。

(3)不需要通过生物特征以外的穿戴设备辅助定位，提高了人员工作、生活的便利性。

(4)通过类似电子围栏的管理方式，避免了侵犯楼宇客户区内的人员工作、生活隐私的可能性。能更加敏锐地捕捉人员的危险行为、求救行为，准确地捕捉目标空间范围的人数，为管理者提供实时有效的决策依据。如火灾受困人员在空间中做出求救动作，系统可捕捉到受灾空间内的人员数量，人员名单(包括入库和未入库)，从而提供救援决策的依据。

以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其他普通技术人员能够理解本文所披露的各实施例。

Claims

1.一种室内三维定位系统，其特征在于，所述系统包括资源层、网络层和服务层，所述网络层分别连接资源层和服务层；所述资源层包括摄像机云台，用于获取现场画面，生成视频流发送给网络层；所述网络层用于获取资源层发送的视频流并截取关键帧，并将所述视频流和截取的关键帧推送给服务层；所述服务层包括图形处理服务器，用于从网络层获取推送的视频流和关键帧后，进行人脸识别捕捉并和系统中的人脸库进行对比，标定有效帧中识别的人员数量、身份以及距离摄像机的角度和距离，通过系统中预录入的BIM模型进行三维空间坐标标定；

还包括展示层，与所述应用层相连，用于对图形工作站的模拟结果进行投屏展示；

所述服务层进行人员行为分析；

摄像机捕捉到的各个空间内人员的异常行为；

所述服务层进行人员行为分析；

所述展示层的展示结果包括摄像机覆盖的各个空间区域的捕捉人数，人流热力，以及识别到的人员特征是否与已入库的人员信息进行匹配；匹配，则显示人员的个人信息，如所属公司、部门、职位、姓名。

2.根据权利要求1所述的室内三维定位系统，其特征在于：还包括接口层，与所述服务层相连；所述服务层将运算结果数据包推送给接口层，接口层接收服务层推送的数据包，进行封装后推送给订阅了链接服务的客户端。

3.根据权利要求1所述的室内三维定位系统，其特征在于：还包括应用层，与所述接口层相连，对从接口层获得的数据进行三维空间成像。

4.根据权利要求1所述的室内三维定位系统，其特征在于：所述图形处理服务器通过onvif协议从网络层获取推送的视频流和关键帧。

5.根据权利要求1所述的室内三维定位系统，其特征在于：所述图形处理服务器对视频流或关键帧的有效部分检测出的人脸进行测距，得出各人脸距离该摄像机的距离及角度。

6.根据权利要求1所述的室内三维定位系统，其特征在于：所述服务层通过人脸主动跟踪算法刷新云台位置，对无法识别的低分辨率帧进行修复，修复无果的情况重新进行抓取，弃用无效帧。

7.根据权利要求1所述的室内三维定位系统，其特征在于：所述服务层对视频流或关键帧的有效部分检测出的人脸，计算目标特征码，对未存在的特征码进行保存，对已存在的特征码进行匹配对比，得出人员身份相似度。

8.根据权利要求1所述的室内三维定位系统，其特征在于：所述展示层的展示结果包括预录的BIM三维空间模型。

9.根据权利要求1所述的室内三维定位系统，其特征在于：所述展示层的展示结果包括识别到的已入库和非入库人员在三维空间中的位置。

10.一种室内三维定位方法，其特征在于，包括以下步骤：

a、资源层的摄像机云台根据服务器指令间隔截取关键帧，将包括上述关键帧的视频流发送给网络层的视频解码器；

c、服务层的图形处理服务器，从网络层获取推送的视频流和关键帧后，进行人脸识别捕捉并和系统中的人脸库进行对比，标定有效帧中识别的人员数量、身份以及距离摄像机的角度和距离，通过系统中预录入的(BIM)模型进行三维空间坐标标定；

服务层将运算结果数据包推送给接口层，接口层接收服务层推送的数据包进行封装后推送给订阅了链接服务的客户端；

应用层的图形工作站对从接口层获得的数据进行三维空间成像；

通过展示层的信息综合大屏对图形工作站的模拟结果进行投屏展示。