CN114155485A - 基于3d视觉的智慧社区智能安防监测管理系统 - Google Patents

Abstract

本发明公开了基于3D视觉的智慧社区智能安防监测管理系统，其包括交互终端和/或人工病例方式采集病患互动记录，并上传到客户机；客户机将互动记录上传至服务器；服务器存储有专业术语的字典；服务器将互动记录抽取时间信息并进行时序归类后合并为互动日志，再将互动日志进行含有时序的向量表示；将经向量表示的互动日志进行动态扭曲改写，然后进行时间相似度计算后进行时序聚类；将互动日志进行语义检索处理，并与时序聚类后进行时序语义相似度计算，将相似度计算结果和语义检索处理结果合并进行二次排序。因而本发明具有聚类内容关联性好、运算效率高、节省人工、诊疗参考性强的优点。

Description

基于3D视觉的智慧社区智能安防监测管理系统

技术领域

本发明涉及智能化安防监控技术领域，尤其涉及基于3D视觉的智慧社区智能安防监测管理系统。

背景技术

社区服务器提供的服务多数是向小区业主提供的，并且很多信息涉及一定的业主隐私，非业主如果可以获取到有可能会损害业主的权益。目前，现有的智能安防监测技术仍存在一些不足，现有的社区智能安防监测技术主要通过人员巡逻，通过人员的听力检测社区内发生的异响声音，判断异响声音发生的大致位置，这样不仅浪费大量的人员时间，而且准确性不高，导致人员处理不及时，从而影响住户的休息，同时现有的社区智能安防监测的摄像头基本为固定摄像头，无法进行转动和调节，降低了监测区域面积，增加了摄像头的成本，现有的社区智能安防监测技术需要人员实时监测视频画面，观察社区内安全，这样增加了人员的工作量，长时间工作后会产生视觉疲劳，容易产生差错从而影响社区内安保工作质量，为了解决以上问题，现设计一种基于机器视觉的智慧社区智能安防监测管理系统。

现有技术如授权公告号为CN112004028B的中国发明专利，一种基于机器视觉的智慧社区智能安防监测管理系统，包括区域划分模块、分贝检测模块、分贝分析模块、声音定位模块、角度检测模块、分析服务器、总控制中心、图像分析模块、显示终端和云数据库；本发明通过分贝检测模块和分贝分析模块综合判断社区内白天和夜晚发生的各异响是否为噪音，并对各噪音的位置及距离进行检测，同时检测离各噪音最近的高清摄像头所在的周向角度和俯视角度，计算离各噪音最近的高清摄像头的周向差值转角和俯视差值转角，调节对应的高清摄像头的转向角度和上下幅度，同时采集各噪声发生处的图像，筛选并统计各噪声发生处对应的噪声发生源图像，并进行显示和处理，确保了社区内安保工作质量。

发明内容

本发明的目的在于针对现有技术提供一种通过适配位姿提高监控算法效率、节省人工的基于3D视觉的智慧社区智能安防监测管理系统，其包括：图像拍摄模块：图像拍摄模块为与采集终端有线或无线连接的多个高清摄像头；高清摄像头的监控区域之间具有能产生3D视觉的重叠区域；每个高清摄像头与社区内的每个楼栋入口具有对应关系，用于识别楼栋入口的行人，并将拍摄的图像根据时序发送至采集终端；在重叠区域，通过两个或多个高清摄像头的位置进行几何变换得到物体的3D位置。

与图像拍摄模块连接的采集终端：所述采集终端不断接收图像拍摄模块发送的图像信息，并对接收的楼栋图像信息进行暂存，并将暂存的图像信息转发至服务器；采集终端能根据图像信息，向图像拍摄模块或向操作人员发送位姿优化指令；

与采集终端连接的服务器：所述服务器，对采集终端转发来的图像信息进行运算以得出图像信息中的运动物体的3D位置，并在预设小区地图上标出相应出现位置；然后对运动物体进行聚类，并根据出现位置进行时序3D位置轨迹绘制；聚类包含了人工辅助聚类或自动聚类。对于轨迹异常的，向小区保安发送提示信息。通过本方法能够扩大监控的智能属性，将单一的某个移动物体的出现行为转换为准确位置，提高监控的智能程度和图像信息的利用。

和与服务器相连的管理终端：管理终端用于人工辅助聚类输入操作。聚类过程中，有识别错误的机率，因此需要人工进行核对校验，以辅助提高机器聚类的效果。

采用的进一步优化措施还包括：

运动物体进行聚类包括自动聚类和人工辅助聚类。服务器在获得图像信息后，先进行机器的自动聚类，并在聚类后进行识别。在特征数据库中对自动聚类后的运动物体进行识别，不能识别的，由小区保安进行人工辅助聚类。通过一段时间的数据积累，即可在短期内建立起社区安防的基础数据库。

位姿优化指令包括图像拍摄模块识别码、水平前后仰角调整信息、水平左右仰角调整信息、水平旋转角度调整信息。通过机器接收后，自动调节图像拍摄模块的水平仰角、左右偏转角、水平旋转角的度数，可以提高图像拍摄模块获取图像信息之间的优化匹配。通过将图像消失点的统一调平，能提高3D距离识别的准确性。上述方式在枪机或自由度自动调整不够的球机摄像头的应用场景下，可以通过将位姿优化指令发送给移动终端，进一步通过人工调整图像拍摄模块，即高清摄像头。

服务器对图像信息的处理包括滤波处理；滤波处理采改进的自适应算法进行，方法为：定义线性系数a_k、b_k为：

b_k＝P_k-a_kμ_k

其中，输入的图像I，滤波图像为P，输出图像为Q。i和k为像素点；N_k为 k的自适应支持窗口；|N_k|表示N_k内像素的总个数；μ_k为I_i的均值，

为I_i的方差，ε为惩罚因子；滤波函数为：

其中，|N_i|、|N_k|分别表示N_i、N_k内像素的总个数。

位姿优化的方法为：读取或输入采集图像并滤波处理后，读取滤波处理后的图像中的2D线集{l_2d},3D线集{l_3d}和前述8个候选旋转矩阵

对共线的2D和 3D线段合并，然后去除较短的线段噪声；初始化2D-3D线匹配数量N_i；在小食店匹配集合里随机组合3对2D-3D线匹配，利用如下公式计算平移向量t： (RP+t)^T·n＝0，如N>Ni则迭代Ni＝N，2D-3D线匹配集迭代

平移向量迭代t_i＝t；直到Ni>e*N(l_2d)/4或达到最大迭代次数；提取N^*＝ max{N₁，N₂，…，N₈}及其对应的位姿和匹配集R^*，t^*，

本发明还公开了：实现上述方法的计算机程序、存储上述计算机程序的存储介质。

由于本发明采用了服务器对采集终端转发来的图像信息进行运算以得出图像信息中的运动物体的3D位置，并在预设小区地图上标出相应出现位置；然后对运动物体进行聚类，并根据出现位置进行时序3D位置轨迹绘制；聚类包含了人工辅助聚类或自动聚类。对于轨迹异常的，向小区保安发送提示信息。通过本方法能够扩大监控的智能属性，将单一的某个移动物体的出现行为转换为准确位置，提高监控的智能程度和图像信息的利用。服务器在获得图像信息后，先进行机器的自动聚类，并在聚类后进行识别。在特征数据库中对自动聚类后的运动物体进行识别，不能识别的，由小区保安进行人工辅助聚类。通过一段时间的数据积累，即可在短期内建立起社区安防的基础数据库。因而本发明具有提高监控算法效率、节省人工的优点。

附图说明

图1为本发明实施例的系统使用场景示意图；

图2为本发明实施例的摄像头拍摄图像中获取平面的过程示意图；

图3为本发明实施例的摄像头捕捉到线段数量耗时对比示意图。

具体实施方式

以下结合附实施例对本发明作进一步详细描述。

实施例1：

参照图1至图3，本实施例基于3D视觉的智慧社区智能安防监测管理系统，包括，

图像拍摄模块：图像拍摄模块为与采集终端有线或无线连接的多个高清摄像头；高清摄像头的监控区域之间具有能产生3D视觉的重叠区域；每个高清摄像头与社区内的每个楼栋入口具有对应关系，用于识别楼栋入口的行人，并将拍摄的图像根据时序发送至采集终端；在重叠区域，通过两个或多个高清摄像头的位置进行几何变换得到物体的3D位置。

与图像拍摄模块连接的采集终端：所述采集终端不断接收图像拍摄模块发送的图像信息，并对接收的楼栋图像信息进行暂存，并将暂存的图像信息转发至服务器；采集终端能根据图像信息，向图像拍摄模块或向操作人员发送位姿优化指令；

与采集终端连接的服务器：所述服务器，对采集终端转发来的图像信息进行运算以得出图像信息中的运动物体的3D位置，并在预设小区地图上标出相应出现位置；然后对运动物体进行聚类，并根据出现位置进行时序3D位置轨迹绘制；聚类包含了人工辅助聚类或自动聚类。对于轨迹异常的，向小区保安发送提示信息。通过本方法能够扩大监控的智能属性，将单一的某个移动物体的出现行为转换为准确位置，提高监控的智能程度和图像信息的利用。

和与服务器相连的管理终端：管理终端用于人工辅助聚类输入操作。聚类过程中，有识别错误的机率，因此需要人工进行核对校验，以辅助提高机器聚类的效果。

运动物体进行聚类包括自动聚类和人工辅助聚类。服务器在获得图像信息后，先进行机器的自动聚类，并在聚类后进行识别。在特征数据库中对自动聚类后的运动物体进行识别，不能识别的，由小区保安进行人工辅助聚类。通过一段时间的数据积累，即可在短期内建立起社区安防的基础数据库。

位姿优化指令包括图像拍摄模块识别码、水平前后仰角调整信息、水平左右仰角调整信息、水平旋转角度调整信息。通过机器接收后，自动调节图像拍摄模块的水平仰角、左右偏转角、水平旋转角的度数，可以提高图像拍摄模块获取图像信息之间的优化匹配。通过将图像消失点的统一调平，能提高3D距离识别的准确性。上述方式在枪机或自由度自动调整不够的球机摄像头的应用场景下，可以通过将位姿优化指令发送给移动终端，进一步通过人工调整图像拍摄模块，即高清摄像头。

服务器对图像信息的处理包括滤波处理；滤波处理采改进的自适应算法进行，方法为：定义线性系数a_k、b_k为：

b_k＝P_k-a_kμ_k

其中，输入的图像I，滤波图像为P，输出图像为Q。i和k为像素点；N_k为 k的自适应支持窗口；|N_k|表示N_k内像素的总个数；μ_k为I_i的均值，

为I_i的方差，ε为惩罚因子；滤波函数为：

其中，|N_i|、|N_k|分别表示N_i、N_k内像素的总个数。

位姿优化的方法为：读取或输入采集图像并滤波处理后，读取滤波处理后的图像中的2D线集{l_2d},3D线集{l_3d}和前述8个候选旋转矩阵

对共线的2D和 3D线段合并，然后去除较短的线段噪声；初始化2D-3D线匹配数量N_i；在小食店匹配集合里随机组合3对2D-3D线匹配，利用如下公式计算平移向量t： (RP+t)^T·n＝0，如N>Ni则迭代Ni＝N，2D-3D线匹配集迭代

平移向量迭代t_i＝t；直到Ni>e*N(l_2d)/4或达到最大迭代次数；提取N^*＝max{N₁，N₂，…，N₈}及其对应的位姿和匹配集R^*，t^*，

本实施例的2D旋转矩阵的估计算法，采用经典的曼哈顿世界中基于线特征的配准方法，并适当做了参数调整，但为了便于理解，仍进行了一些说明。图像的平面投影具有一系列直线，并且，这些直线最后会相交于一点，该点称为消失点。从图像中心到边缘

的射线与图像平面相交于消失点，而在3D尺度傻姑娘，射线的方向和原始3D平行线在相机坐标系下是平行的。相交点的求解可以计算每条2D直线和相机中心构成平面的法向量，然后这些法向量共面，任意两个法向的叉乘即该相交点。因此，点云坐标系下的3D平行线

到相机坐标系下的消失点射线

之间的变换是一个3D刚性变换。

v_2d＝R·v_3d

其中

和

和为从点云坐标系到高清摄像头的图像坐标系变换的旋转和平移参数，旋转矩阵R需满足特殊正交性。v_2d和v_3d表示非齐次消失点方向和3D平行线方向。

由于三维旋转有3个自由度，因此至少可以用2组2D-3D方向匹配来估计旋转矩阵。

为了便于理解，实施例举例上述经典理论的基于消失点的旋转矩阵估计的伪代码如下：

输入:2D线集{l_2d}，3D线集{l_3d}；

输出:8个候选旋转矩阵R＝{R1,R2...,R8}；

1、计算M_2d(M_2d>3)个消失点方向并将2D直线根据消失点进行聚类；

2、合并M_2d个消失点方向并提取具有最多2D直线数量的前2个主消失点方向

3、利用3D线方向平行聚类出M_3d(M_3d>3)个3D线主方向；

4、合并3D线主方向剔除噪声并提取具有线数量最多的两个主方向

a,b∈{1,2},ab＝2；

5、利用(式1)计算候选旋转矩阵

6、返回:

上述伪代码内容属于经典方案的思路，仅仅为了便于理解技术方案。聚类检测算法使用经典的粒子群优化的模糊聚类方法(PSO)，属经典方法，不再赘述。

理论上，对于一对匹配的2D-3D线，配准误差包含重叠距离和角度差。由于重叠长度已经在匹配估计中进行了约束，这里利用匹配投影重叠角度为误差对位姿进行优化。如果一条3D线与相应的2D线是匹配的，那么两个3D端点在图像平面上的投影应该位于该2D直线上。

对摄像头的位姿优化采用方法如下：读取或输入采集图像中2D线集{l_2d},3D 线集{l_3d}和前述8个候选旋转矩阵

对共线的2D和3D线段合并，然后去除较短的线段噪声；初始化2D-3D线匹配数量N_i；在小食店匹配集合里随机组合 3对2D-3D线匹配，利用如下公式计算平移向量t：(RP+t)^T·n＝0，如N>Ni 则迭代Ni＝N，2D-3D线匹配集迭代

平移向量迭代t_i＝t；直到Ni>e*N (l_2d)/4或达到最大迭代次数。提取N^*＝max{N₁，N₂，…，N₈}及其对应的位姿和匹配集R^*，t^*，

根据R^*，t^*，

参数，可以很容易的换算得到相应摄像头的水平仰角、左右偏转角、水平旋转角，进行自动或人工方式的调整。

进一步的，通过将正交积分方法引入本发明的滤波方法，将二维窗口分解为两个一维窗口(W_ij)，并通过预先计算水平积分图像和垂直积分图像来加速聚合，改进后的滤波函数为：

通过对滤波的改进，如图3中对比例采用经典方法(未做参数调整且未采用本方案的滤波处理)与本实施例改进了滤波函数并进行了位姿调整的情况下，在用一个高清摄像头持续摄像的图像帧集合中，其聚类线段数量的耗时对比，本实施例的系统的技术方案收敛性、稳定性较高，且聚类效率高。

尽管已结合优选的实施例描述了本发明，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围的情况下，能够对在这里列出的主题实施各种改变、同等物的置换和修改，因此本发明的保护范围当视所提出的权利要求限定的范围为准。

Claims (7)

1.基于3D视觉的智慧社区智能安防监测管理系统，其特征是：包括，图像拍摄模块：图像拍摄模块为与采集终端有线或无线连接的多个高清摄像头；高清摄像头的监控区域之间具有能产生3D视觉的重叠区域；与图像拍摄模块连接的采集终端：所述采集终端不断接收图像拍摄模块发送的图像信息，并对接收的楼栋图像信息进行暂存，并将暂存的图像信息转发至服务器；采集终端能根据图像信息，向图像拍摄模块或向操作人员发送位姿优化指令；

与采集终端连接的服务器：所述服务器，对采集终端转发来的图像信息进行运算以得出图像信息中的运动物体的3D位置，并在预设小区地图上标出相应出现位置；然后对运动物体进行聚类，并根据出现位置进行时序3D位置轨迹绘制；

和与服务器相连的管理终端：管理终端用于人工辅助聚类输入操作。

2.根据权利要求1基于3D视觉的智慧社区智能安防监测管理系统，其特征是：运动物体进行聚类包括自动聚类和人工辅助聚类。

3.根据权利要求2基于3D视觉的智慧社区智能安防监测管理系统，其特征是：位姿优化指令包括图像拍摄模块识别码、水平前后仰角调整信息、水平左右仰角调整信息、水平旋转角度调整信息。

4.根据权利要求2基于3D视觉的智慧社区智能安防监测管理系统，其特征是：服务器对图像信息的处理包括滤波处理；滤波处理采改进的自适应算法进行，方法为：定义线性系数ak、bk为：

b_k＝P_k-a_kμ_k

其中，输入的图像I，滤波图像为P，输出图像为Q；i和k为像素点；N_k为k的自适应支持窗口；|N_k|表示N_k内像素的总个数；μ_k为I_i的均值，

为I_i的方差，ε为惩罚因子；滤波函数为：

其中，|N_i|、|N_k|分别表示N_i、N_k内像素的总个数。

5.根据权利要求3基于3D视觉的智慧社区智能安防监测管理系统，其特征是：位姿优化的方法为：读取或输入采集图像并滤波处理后，读取滤波处理后的图像中的2D线集{l_2d}，3D线集{l_3d}和前述8个候选旋转矩阵

对共线的2D和3D线段合并，然后去除较短的线段噪声；初始化2D-3D线匹配数量N_i；在小食店匹配集合里随机组合3对2D-3D线匹配，利用如下公式计算平移向量t：(RP+t)^T·n＝0，如N＞Ni则迭代Ni＝N，2D-3D线匹配集迭代

平移向量迭代t_i＝t；直到Ni＞e*N(l_2d)/4或达到最大迭代次数；提取N^*＝max{N₁，N₂，…，N₈}及其对应的位姿和匹配集R^*，t^*，

6.实现如权利要求1基于3D视觉的智慧社区智能安防监测管理系统的计算机程序。

7.存储有如权利要求6计算机程序的存储介质。

Images