CN112085003B - 公共场所异常行为自动识别方法及装置、摄像机设备 - Google Patents

Abstract

本发明公开了一种公共场所异常行为自动识别方法及装置、摄像机设备，其中的公共场所异常行为自动识别方法首先对采集的图像进行多目标动态检测，检测算法使用YOLO系列算法，识别出有人类目标；然后采用快速角点检测和LK光流法对识别出的人类目标进行跟踪速度估计，并识别出移动速度超过速度阈值的目标，将其作为异常目标；接着判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为；再对已识别出的人类目标进行人体关键点置信度和亲和度向量计算，然后进行关键点聚类解析，区分连接关键完成人体骨骼搭建组装，实现人体姿态估计，并根据人体姿态估计结果，判断姿态是否为异常。

Description

公共场所异常行为自动识别方法及装置、摄像机设备

技术领域

本发明涉及视频监控技术领域，具体涉及一种公共场所异常行为自动识别方法及装置、摄像机设备。

背景技术

当今社会和经济高速发展，城镇化进程加速，在城镇各类公共场所如商场、车站、体育场、银行、学校等常常存在人流高峰,拥挤的人流对公共安全带来了极大的隐患，为了保障公众安全，维护公共秩序，应对突发事件，有效打击犯罪，大量的视频监控系统被投入使用，但目前的视频监控存在以下问题：

1.后端服务器主要依赖人工判读，效率低下，近年来出现一些基于人工智能的视频分析方法，比如人脸识别，仍缺乏对人群人体特征行为的数据挖掘与分析方法；

2.视频信息过于碎片化，近年来出现了视频结构化技术，但是仍然缺乏二维视频数据与三维真实世界实时结构化映射信息，一旦监控发现问题，即使是专业人员也无法第一时间定位出现问题地方的具体地理位置。

公共场所中因其人员繁杂和流量巨大等特点给传统的视频监控系统带来了巨大挑战，因此提高现有视频监控系统的智能化水平，对提高监控效率保障社会治安具有非常重要的意义。

人群人体异常行为监测近年来不断得到学术界及工业界重视，通过对视频序列数据处理，提取人群人体异常行为特征并进行自动识别分类。行为识别研究从早期依赖人体形状特征发展到基于多特征融合的行为检测，再到目前神经网络深度学习开始广泛应用，这些技术的发展，使得其在安防、AR和人机交互等领域的巨大潜在价值逐渐显现，智能安防系统可以对前端视频信息进行自动分析和理解，实现自动监测与预警，跟传统监控系统相比，极大的降低了人工，拓展目标跟踪和行为识别技术在安防监控领域的深层应用，实现行为识别精细化分类，对提升安防系统性能，具有重要的现实意义和应用价值。

传统定位方法中，目标对象是需要携带定位设备的，比如现在手机设备就具备有卫星定位、无线通信基站定位、WIFI定位等，这类定位方式称为主动定位或者有源定位，共同点都是由被测对象主动发出定位信息才能进行定位。无源定位是指目标不需要携带任何定位设备或主动参与定位活动的，比如在安防反恐、灾后救援等现场，是无法让目标对象携带定位设备的，这种情况下传统定位方式无法使用。

本申请发明人在实施本发明的过程中，发现现有技术的方法，至少存在如下技术问题：

安防监控场景下观测目标都属于无源定位范畴。近年来人工智能视觉应用如火如荼，基于图像的目标识别跟踪应用越来越多，对视频中目标坐标及其轨迹进行实时测量并对其未来位置进行预测，是无源定位跟踪的主要挑战。现有技术中的方法无法对异常行为进行准确识别，因而影响了视频监控的效果。

发明内容

本发明提供了一种公共场所异常行为自动识别方法及装置、摄像机设备，用以解决现有技术中对异常行为的识别准确性不高，监控效果不佳的技术问题。

为了解决上述技术问题，本发明第一方面提供了公共场所异常行为自动识别方法，包括：

S1：对采集的图像进行多目标动态检测，检测算法使用YOLO系列算法，识别出有人类目标；

S2：采用快速角点检测和LK光流法对识别出的人类目标进行跟踪速度估计，并识别出移动速度超过速度阈值的目标，将其作为异常目标；

S3：判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为；

S4：对已识别出的人类目标进行人体关键点置信度和亲和度向量计算，然后进行关键点聚类解析，区分连接关键完成人体骨骼搭建组装，实现人体姿态估计，并根据人体姿态估计结果，判断姿态是否为异常。

在一种实施方式中，YOLO系列算法识别出的人类目标包括各帧图像移动目标系统状态，包括：

S2.1：对获得的上一帧图像移动目标系统状态目标区域进行快速分块角点采样，其中选取20个目标特征像素点，当采样点数量小于采样点数量阈值，则目标跟踪失败；

S2.2：将步骤S2.1中汇总的分块角点作为输入，采用LK光流法计算，选取LK光流法的金字塔层数为5，搜索窗口的尺寸为4*4，设置LK光流法每次计算最高迭代20次，当LK光流法迭代次数超过20次仍没有达到设置的精度要求则终止迭代；前向LK光流法跟踪将得到当前帧对应上一帧中采样点的像素点，然后将当前帧中的像素点作为输入传输至LK光流法反向计算，获得当前帧中目标像素点在上一帧的对应跟踪点位置；

S2.3：计算上一帧中目标图像片区域采样点和经过正向反向LK光流法计算得到的上一帧中跟踪到的点对应的欧式距离，即为所求的前向后向误差，剔除误差值超过20个像素距离的点，对剩余的点对的邻域区间做对应的模板匹配操作，得到相对应的一组相似度值，剔除相似度值小于相似度阈值的点对，得到有效的跟踪采样点；

S2.4：根据有效的跟踪点预测当前帧中目标的位置及尺寸，如果本次跟踪成功，则跟踪到的像素点的数量大于1，计算目标在当前帧中的系统状态；如果跟踪到的像素点的数量小于1，则本次跟踪不成功，判定本次跟踪失败；

S2.5：计算上一帧与当前帧跟踪成功后的系统状态中目标位置像素距离差值，根据像素空间距离对应关系，计算出目标的现实空间移动速度，如果目标的现实空间移动速度超出速度阈值，则判定为目标速度异常，记录并储存下相关信息。

在一种实施方式中，步骤S3具体包括：

S3.1：根据摄像机自身参数及当前光学放大倍数，计算预设像素区域内人类目标密度；

S3.2：判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为。

在一种实施方式中，S3.1具体包括：

S3.1.1：获取摄像机的自身参数和光学放大倍数，包括镜头尺寸4mm，则10m外4mm镜头对应的视场范围为12*9m，光学放大倍数为500w像素，其分辨率为2560*1920；

S3.1.2：根据摄像机的自身参数和光学放大倍数，计算一个像素点的间隔指代的位移大小，对于4mm镜头的x方向，10m距离，1个像素点的间隔指代的位移大小为：

S3.1.3：根据一个像素点的间隔指代的位移大小，计算预设像素区域内人类目标密度。

在一种实施方式中，S4中根据人体姿态估计结果，判断姿态是否为异常，包括：

将识别出的人体姿态估计中的人体关键部件进行Hough直线变换，具体为通过局部峰值点绘制直线，其中，峰值点的角度则代表肢体的方向，直线的交叉点为关节位置，直线间的角度为人体躯干；

通过进行人体部件与水平直线间的逆时针旋转角度计算，计算出人体关节的角度，将计算出的关节角度与预设数据集角度比对，如果超出相似度阈值，则判断姿态异常。

基于同样的发明构思，本发明第二方面提供了公共场所异常行为自动识别装置，包括：

人类目标检测单元，用于对采集的图像进行多目标动态检测，检测算法使用YOLO系列算法，识别出有人类目标；

速度异常目标识别单元，用于采用快速角点检测和LK光流法对识别出的人类目标进行跟踪速度估计，并识别出移动速度超过速度阈值的目标，将其作为异常目标；

密集目标识别单元，用于判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为；

异常姿态目标识别单元，用于对已识别出的人类目标进行人体关键点置信度和亲和度向量计算，然后进行关键点聚类解析，区分连接关键完成人体骨骼搭建组装，实现人体姿态估计，并根据人体姿态估计结果，判断姿态是否为异常。

基于同样的发明构思，本发明第二方面提供了一种摄像机设备，包括第二方面所述的公共场所异常行为自动识别装置、高精度云台模块、远距离光学成像模块以及坐标变换模块；

其中，高精度云台模块，用于通过搭载不同规格的镜头实现多种场景的应用需求，包括水平高精度姿态系统与垂直高精度姿态系统；

远距离光学成像模块，为白光光学感应CCD模块，具有100倍光学变焦功能，用于采集1500米视场内视频数据；

坐标变换模块，用于根据公共场所异常行为自动识别装置识别的异常目标像素坐标和姿态数据，计算站心坐标系下的坐标，并通过投影变换实现大地坐标系和地心坐标系之间坐标转换、地心坐标系和站心坐标系间的坐标转换。

在一种实施方式中，该设备还包括主控模块，用于接收通过通信模块发送的云端服务器远程指令，并对云端服务器远程指令进行解析。

在一种实施方式中，坐标变换模块具体用于：

根据远距离光学成像模块视场水平像素分辨率R_h、垂直像素分辨率R_v、摄像头水平视场角F_h及垂直视场角F_v，计算异常目标基于当前姿态系统(α₁,β₁)数据的偏移量为并根据此偏移量计算出异常行为目标当前真实姿态数据

根据当前真实姿态数据中的俯仰数据和高度数据，计算摄像机与异常行为目标距离值d为：

其中，h表示高度数据，表示当前真实姿态数据中的俯仰数据；

根据三维空间坐标转换分析，异常目标基于摄像机轴心为站心的空间直角坐标系坐标，通过根据真实姿态数据旋转和平移距离d计算，计算方式如下：

Δx＝-sin(L)*ΔE-sin(B)*cos(L)*ΔN+cos(B)*cos(L)*ΔU

Δy＝cos(L)*ΔE-sin(B)*sin(L)*ΔN+cos(B)*sin(L)*ΔU

Δz＝cos(B)*ΔN+sin(B)*ΔU

其中，异常目标地心空间直角坐标系坐标为(x₁+Δx,y₁+Δy,z₁+Δz)，同样，进行坐标转换得到的异常目标大地坐标系坐标为：

其中e'为该大地坐标系对应参考椭球的第二偏心率，(x₁，y₁，z₁)表示摄像机视觉轴心点的地心空间直角坐标，N，E，U表示天东北坐标系，即为站心空间直角坐标系三个轴，E代表x轴，N代表y轴，U代表z轴，三者的分量ΔN、ΔEΔU分别代表异常目标相对于站心的偏移量。

在一种实施方式中，当公共场所异常行为自动识别装置识别到异常目标后，还通过通信模块将异常行为种类、时间、图像、像素坐标、空间坐标信息打包发送至云端服务器；

并通过云端服务器对异常行为进行时空位置及图像特征过滤分析，判断异常行为是否是同一目标，具体判断方法如下：

采用空间直角坐标系中两点间欧氏距离公式来做判断，如果异常目标空间距离在1米以内，则认为是同一目标，否则向下继续执行；

对回传图像进行特征提取，比对分析异常目标的颜色、行为、姿态、速度、与其周边背景的空间位置关系，若分析结果特征相符，则判定为同一目标。

本申请实施例中的上述一个或多个技术方案，至少具有如下一种或多种技术效果：

本发明公开的一种公共场所异常行为自动识别方法，对采集的图像进行多目标动态检测，识别出有人类目标后，采用快速角点检测和LK光流法对识别出的人类目标进行跟踪速度估计，并识别出移动速度超过速度阈值的目标，将其作为异常目标；判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为；对已识别出的人类目标进行人体关键点置信度和亲和度向量计算，然后进行关键点聚类解析，区分连接关键完成人体骨骼搭建组装，实现人体姿态估计，并根据人体姿态估计结果，判断姿态是否为异常。

针对识别出的人类目标，可以结合多种识别算法对异常行为进行识别，可以识别出速度异常、目标密集以及异常的人体姿态，从而可以提高识别的准确性，并改善视频监控的效果。

本发明提供的一种摄像机设备，包括公共场所异常行为自动识别装置、高精度云台模块、远距离光学成像模块以及坐标变换模块，高精度云台模块可以通过搭载不同规格的镜头实现多种场景的应用需求，坐标变换模块，通过坐标结算根据公共场所异常行为自动识别装置识别的异常目标像素坐标和姿态数据，计算站心坐标系下的坐标，并通过投影变换实现大地坐标系和地心坐标系之间坐标转换、地心坐标系和站心坐标系间的坐标转换。可以将图像二维平面目标识别结果与三维现实世界坐标相结合，从而极大地拓展了安防监控效率和应用领域。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的一种公共场所异常行为自动识别方法实现流程示意图；

图2为本发明实施例提供的公共场所异常行为自动识别装置的结构框图；

图3为本发明实施例提供的摄像机设备的结构框图。

具体实施方式

本发明提供了一种公共场所异常行为自动识别方法及装置、摄像机设备，改善了解决现有技术中对异常行为的识别准确性不高，监控效果不佳的技术问题，从而达到了提高识别准确性，改善监控效果的目的。

本发明的总体发明构思如下：

首先提供了一种公共场所异常行为自动识别方法，在识别出人类目标后，分别采用不同的识别算法对异常目标和行为进行识别，从而提高了识别的准确性。

提供了一种与自动识别方法对应的识别装置，即异常识别系统(模块)。

还提供了一种包含异常识别系统的摄像机设备，通过坐标转换模块可以将图像二维平面目标识别结果与三维现实世界坐标相结合，从而极大地拓展了安防监控效率和应用领域。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

本实施例提供了公共场所异常行为自动识别方法，请参见图1，该方法包括：

S1：对采集的图像进行多目标动态检测，检测算法使用YOLO系列算法，识别出有人类目标；

S2：采用快速角点检测和LK光流法对识别出的人类目标进行跟踪速度估计，并识别出移动速度超过速度阈值的目标，将其作为异常目标；

S3：判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为；

S4：对已识别出的人类目标进行人体关键点置信度和亲和度向量计算，然后进行关键点聚类解析，区分连接关键完成人体骨骼搭建组装，实现人体姿态估计，并根据人体姿态估计结果，判断姿态是否为异常。

具体来说，本发明将深度学习多目标检测识别与传统图像处理算法结合，采用时空位置同步分析，来实现异常行为目标的检测识别与跟踪。算法上使用多线程分级级联进行异常行为识别，首先对图像进行多目标动态检测，检测算法使用YOLO系列算法，识别出人类目标。S4中人体关键点置信度和亲和度向量计算采用OpenPose算法，在此不再详述。

然后针对公共场所可能发生的情况，采用多种识别算法进行识别。其中，通过S2可以识别出速度异常的目标，如打架斗殴，小偷逃跑，步行街骑电车等；通过步骤S3可以识别出目标聚集的行为，例如集会，打架，暴乱等，通过步骤S4可以识别出人体姿态异常行为，如摔倒，非正常行走方式等。

在一种实施方式中，YOLO系列算法识别出的人类目标包括各帧图像移动目标系统状态，包括：

S2.1：对获得的上一帧图像移动目标系统状态目标区域进行快速分块角点采样，其中选取20个目标特征像素点，当采样点数量小于采样点数量阈值，则目标跟踪失败；

S2.2：将步骤S2.1中汇总得到的分块角点作为输入，采用LK光流法计算，选取LK光流法的金字塔层数为5，搜索窗口的尺寸为4*4，设置LK光流法每次计算最高迭代20次，当LK光流法迭代次数超过20次仍没有达到设置的精度要求则终止迭代；前向LK光流法跟踪将得到当前帧对应上一帧中采样点的像素点，然后将当前帧中的像素点作为输入传输至LK光流法反向计算，获得当前帧中目标像素点在上一帧的对应跟踪点位置；

S2.3：计算上一帧中目标图像片区域采样点和经过正向反向LK光流法计算得到的上一帧中跟踪到的点对应的欧式距离，即为所求的前向后向误差，剔除误差值超过20个像素距离的点，对剩余的点对的邻域区间做对应的模板匹配操作，得到相对应的一组相似度值，剔除相似度值小于相似度阈值的点对，得到有效的跟踪采样点；

S2.4：根据有效的跟踪点预测当前帧中目标的位置及尺寸，如果本次跟踪成功，则跟踪到的像素点的数量大于1，计算目标在当前帧中的系统状态；如果跟踪到的像素点的数量小于1，则本次跟踪不成功，判定本次跟踪失败；

S2.5：计算上一帧与当前帧跟踪成功后的系统状态中目标位置像素距离差值，根据像素空间距离对应关系，计算出目标的现实空间移动速度，如果目标的现实空间移动速度超出速度阈值，则判定为目标速度异常，记录并储存下相关信息。

在具体实施过程中，将视频序列看作一个动态随机系统，移动目标的位置和尺寸即为这个系统的状态，移动目标跟踪需要做的就是通过对上一帧的系统状态进行估算来预测目标在下一帧视频中的系统状态。通过YOLO系列算法目标可以检测得出图像移动目标的系统状态。

其中S2.1中，对上一帧图像移动目标系统状态目标区域进行快速分块角点采样时，分块大小为2*2＝4个像素，采样点数量阈值可以根据实际情况设置，例如设置为10个、15个等。当采样点数量小于采样点数量阈值时，则表示跟踪失败，即不是同一目标。

步骤S2.2中，设置迭代次数为20次，可以避免时间上的过度开销。步骤S2.3中，相似度阈值也可以根据实际情况设置，剔除掉相似度值较小的点对后，最终得到有效的跟踪采样点。步骤S2.4中，当判定跟踪失败后，等待重新检测到目标。步骤S2.5中，速度阈值可以根据实际情况设置，例如3米/秒、4米/秒等等。

在一种实施方式中，步骤S3具体包括：

S3.1：根据摄像机自身参数及当前光学放大倍数，计算预设像素区域内人类目标密度；

S3.2：判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为。

具体来说，对于动态目标密集程度，如果像素区域内动态人类目标密度大于某一阈值，则认为过于密集，此阈值计算可以基于空间坐标解算来做，为提高算法效率，可以对摄像机进行标定来确定摄像机光学放大倍数和每个像素代表空间实际距离之间的对应关系表。

具体实施过程中，根据摄像机自身参数及当前光学放大倍数，则可以确定每个像素代表的空间实际距离，因此可以计算出CCD视场范围对应实际空间范围。举例来说，视场内有一个身高180cm的人类目标，他在视场内身高占用了18个像素，从而可以得出1个像素距离为10cm。人类目标密度计算有2层含义：1.空间人数大于多少人；2.人与人之间距离大于多少米。

实际算法中这2个阈值可以人为调整的，默认为空间人数大于20人，距离大于1米，则判定预设像素区域内人类目标密度是否大于密度阈值。

在一种实施方式中，S3.1具体包括：

S3.1.1：获取摄像机的自身参数和光学放大倍数，包括镜头尺寸4mm，则10m外4mm镜头对应的视场范围为12*9m，光学放大倍数为500w像素，其分辨率为2560*1920；

S3.1.2：根据摄像机的自身参数和光学放大倍数，计算一个像素点的间隔指代的位移大小，对于4mm镜头的x方向，10m距离，1个像素点的间隔指代的位移大小为：

S3.1.3：根据一个像素点的间隔指代的位移大小，计算预设像素区域内人类目标密度。

此外，对于8mm镜头，以x方向为例，10m距离，1个像素点的间隔指代的位移大小为：

在一种实施方式中，S4中根据人体姿态估计结果，判断姿态是否为异常，包括：

将识别出的人体姿态估计中的人体关键部件进行Hough直线变换，具体为通过局部峰值点绘制直线，其中，峰值点的角度则代表肢体的方向，直线的交叉点为关节位置，直线间的角度为人体躯干；

通过进行人体部件与水平直线间的逆时针旋转角度计算，计算出人体关节的角度，将计算出的关节角度与预设数据集角度比对，如果超出相似度阈值，则判断姿态异常。

其中，人体部件包括头、躯干和手臂等。预设数据集可以国际上通用的数据集，也可以是自建数据集，数据来源于异常行为上报信息解析后的正反馈训练集。

最终识别计算到异常行为目标，则拍照并实时计算得到异常目标像素坐标(h,v)，记录下此时设备的水平角度α₁和垂直角度β₁数据，识别结果将通过通信模块传输至云端服务器进行进一步处理。

实施例二

基于同样的发明构思，本实施例提供了公共场所异常行为自动识别装置，请参见图2，该装置包括：

人类目标检测单元201，用于对采集的图像进行多目标动态检测，检测算法使用YOLO系列算法，识别出有人类目标；

速度异常目标识别单元202，用于采用快速角点检测和LK光流法对识别出的人类目标进行跟踪速度估计，并识别出移动速度超过速度阈值的目标，将其作为异常目标；

密集目标识别单元203，用于判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为；

异常姿态目标识别单元204，用于对已识别出的人类目标进行人体关键点置信度和亲和度向量计算，然后进行关键点聚类解析，区分连接关键完成人体骨骼搭建组装，实现人体姿态估计，并根据人体姿态估计结果，判断姿态是否为异常。

其中，公共场所异常行为自动识别装置即为异常行为自动识别模块，用于识别异常的行为。

由于本发明实施例二所介绍的装置，为实施本发明实施例一中公共场所异常行为自动识别方法所采用的装置，故而基于本发明实施例一所介绍的方法，本领域所属人员能够了解该装置的具体结构及变形，故而在此不再赘述。凡是本发明实施例一的方法所采用的装置都属于本发明所欲保护的范围。

实施例三

基于同样的发明构思，本实施例提供了一种摄像机设备，包括实施例二中所述的公共场所异常行为自动识别装置、高精度云台模块、远距离光学成像模块以及坐标变换模块；

其中，高精度云台模块，用于通过搭载不同规格的镜头实现多种场景的应用需求，包括水平高精度姿态系统与垂直高精度姿态系统；

远距离光学成像模块，为白光光学感应CCD模块，具有100倍光学变焦功能，用于采集1500米视场内视频数据；

坐标变换模块，用于根据公共场所异常行为自动识别装置识别的异常目标像素坐标和姿态数据，计算站心坐标系下的坐标，并通过投影变换实现大地坐标系和地心坐标系之间坐标转换、地心坐标系和站心坐标系间的坐标转换。

具体来说，摄像机与高精度云台设计加工一体化，高精度云台由水平高精度姿态系统与垂直高精度姿态系统组成，水平高精度姿态系统由高精度伺服电机、码盘、角度编码器组成，垂直高精度姿态系统同样组成。云台移动速度可以通过控制伺服电机速度来调节，码盘控制器可以精确记忆当前姿态位置，高精度云台在水平360度与俯仰60度范围内实时稳定提供精度达0.01度的水平与垂直姿态控制数据，精度如此高的原因是要确保摄像机远距离视场内光学感知目标空间坐标精度误差在分米级，云台轴心位置是远距离白光光学成像模块。

设备整机需架设在高处无遮挡区域，架设前必须进行标定工作。标定工作包括2项：

(1)使高精度云台水平物理气泡居中，保证设备物理安装水平；

(2)测量计算设备的正北方向，标定目的是要建立以摄像机视觉轴心为站心的空间直角坐标系和地心空间直角坐标系之间的坐标旋转映射关系，具体方法如下：

1).使用北斗差分定位技术，可测量计算摄像机视觉轴心点A1大地坐标系坐标(L,B,H)，将该坐标转换为地心空间直角坐标(x₁,y₁,z₁)，转换公式如下：

其中：N为该点的卯酉圈曲率半径；e²＝(a²-b²)/a²，a、b、e分别为该大地坐标系对应参考椭球的长半轴、短半轴和第一偏心率。长半轴a＝6378137±2m，短半轴b＝6356.7523142km，e²＝0.00669437999013。

同时测量A1点距离地面高度h数据；

2).距离摄像头s米处放置靶标A2，并测定该靶标中心厘米级地心空间直角坐标(x₂,y₂,z₂)，计算A1A2与正北方向夹角α，计算方法为：

a.计算：ΔΔyx＝＝xy2₂--xy1₁

b.计算

根据Δx、Δy的正负号不同，计算如下α。

a)当Δx＞0,Δy＞0，则α＝α_锐

b)当Δx＜0,Δy＞0，则α＝π-α_锐

c)当Δx＜0,Δy＜0，则α＝π+α_锐

d)当Δx＞0,Δy＜0，则α＝2π-α_锐

e)当Δx＝0,Δy＞0，则

f)当Δx＝0,Δy＜0，则

手动将摄像机瞄准A2，然后驱动高精度云台逆时针水平转动角度α，并将此时云台水平角度数据置零，此时摄像机水平朝向方向即为设备正北方向。

远距离成像模块为白光光学感应CCD模块，具有100倍光学变焦功能，负责采集1500米视场内视频数据。高精度云台在其移动范围内依据实际地形情况匀速循环角度移动，摄像机同步自动变焦且在每60ms内进行一次光学感应图像输出。然后通过公共场所异常行为自动识别装置进行异常行为的识别。

在一种实施方式中，该设备还包括主控模块，用于接收通过通信模块发送的云端服务器远程指令，并对云端服务器远程指令进行解析。

请参见图3，为摄像机设备的原理框图。

在一种实施方式中，坐标变换模块具体用于：

根据远距离光学成像模块视场水平像素分辨率R_h、垂直像素分辨率R_v、摄像头水平视场角F_h及垂直视场角F_v，计算异常目标基于当前姿态系统(α₁,β₁)数据的偏移量为并根据此偏移量计算出异常行为目标当前真实姿态数据

根据当前真实姿态数据中的俯仰数据和高度数据，计算摄像机与异常行为目标距离值d为：

其中，h表示高度数据，表示当前真实姿态数据中的俯仰数据；

根据三维空间坐标转换分析，异常目标基于摄像机轴心为站心的空间直角坐标系坐标，通过根据真实姿态数据旋转和平移距离d计算，计算方式如下：

/>

Δx＝-sin(L)*ΔE-sin(B)*cos(L)*ΔN+cos(B)*cos(L)*ΔU

Δy＝cos(L)*ΔE-sin(B)*sin(L)*ΔN+cos(B)*sin(L)*ΔU

Δz＝cos(B)*ΔN+sin(B)*ΔU

其中，异常目标地心空间直角坐标系坐标为(x₁+Δx,y₁+Δy,z₁+Δz)，同样，进行坐标转换得到的异常目标大地坐标系坐标为：

其中e'为该大地坐标系对应参考椭球的第二偏心率，(x₁，y₁，z₁)表示摄像机视觉轴心点的地心空间直角坐标，N，E，U表示天东北坐标系，即为站心空间直角坐标系三个轴，E代表x轴，N代表y轴，U代表z轴，三者的分量ΔN、ΔEΔU分别代表异常目标相对于站心的偏移量。

具体来说，坐标变换其实包含投影变换和坐标解算两部分，坐标解算指通过异常目标像素坐标和其姿态数据，来计算其站心坐标系下的坐标；投影变换指大地坐标系和地心坐标系之间坐标转换及地心坐标系和站心坐标系间的坐标转换。

坐标变换的作用是将所有坐标统一到一个坐标系下，借助坐标转换计算方便快捷，也方便使用者理解，地图显示和决策分析，如后期坐标需要在地图中显示，那就需要大地坐标。通过坐标变换模块可以将图像二维平面目标识别结果与三维现实世界坐标相结合，能极大拓展安防监控效率和应用领域。

在一种实施方式中，当公共场所异常行为自动识别装置识别到异常目标后，还通过通信模块将异常行为种类、时间、图像、像素坐标、空间坐标信息打包发送至云端服务器；

并通过云端服务器对异常行为进行时空位置及图像特征过滤分析，判断异常行为是否是同一目标，具体判断方法如下：

采用空间直角坐标系中两点间欧氏距离公式来做判断，如果异常目标空间距离在1米以内，则认为是同一目标，否则向下继续执行；

对回传图像进行特征提取，比对分析异常目标的颜色、行为、姿态、速度、与其周边背景的空间位置关系，若分析结果特征相符，则判定为同一目标。

具体来说，由于摄像机是循环扫描，同一异常目标信息会多次识别计算并回传，云端服务器需要对异常行为进行时空位置及图像特征过滤分析，来判断异常行为是否是同一目标。

异常目标空间坐标精度计算误差在厘米级区间，因此基于空间坐标误差判断比较快速方便，本实施方式使用空间直角坐标系中两点间欧氏距离公式来做判断。2次扫描得出的异常目标，判断是否为同一目标，可以通过计算两点间的欧氏距离是否在阈值以内来确定。举例来说，如果异常目标空间距离在1米以内，则认为是同一目标，否则向下继续执行。比对分析异常目标的颜色、行为、姿态、速度、与其周边背景的空间位置关系，例如，比对分析异常目标的颜色与周边背景的空间位置关系，或者比对分析异常目标的行为与周边的背景的空间位置关系等来进一步判断。

云端服务器确定异常行为目标后，将产生声光电报警信号，并将相关信息实时推送至移动端管理人员。此外服务器还会自动记录并保存这些信息。

其中，对于异常信息数据，经管理人员人工审核确认后，服务器会将识别正确和错误的结果分别建立正负反馈训练集，进行离线学习，并定期更新学习参数文件，把最新训练参数结果和摄像机嵌入式软件发给通信模块。通信模块会将收到的云端服务器数据文件回传至摄像机设备。摄像机设备收到数据后会自动更新数据并重启。

在具体实施过程中，高精度云台是光学被动定位系统的一个重要的组成部分，通过搭载不同规格的镜头可以实现多种场景的应用需求。高精度云台最重要的指标就是水平角和俯仰角的重复定位精度优于0.01°(即36″)。其机械机构由主体框架、横轴、竖轴、电机及减速机、同步带轮、行程开关、底座、负载平台、摄像头护罩等部分组成。考虑到云台是24小时户外使用产品，要经受到淋雨、沙尘、盐雾、70℃高温、-40℃低温等各类环境条件的影响，外壳采用铸铝，防护等级设计为IP66，轴采用轴承钢，重新定制高强度码盘系统，横轴负载可达30公斤，竖轴负载可达70公斤，对外接头全部采用航空插头。

云端服务器远程指令经由通信模块发送至摄像机主控模块解析，解析后的角度指令通过主控的普通I/O和计数器输出到电机驱动器，控制电机运行，其运行的角度通过码盘控制板的串口反馈到主控模块，主控模块可以与码盘控制板进行串口通讯，通过发送指令获取当前的角度值，主控模块与采集的角度进行对比后不断调整电机转动直到达到后台设定的角度，同时主控模块不断的将获取的角度经通信模块传输至云端服务器。为防止俯仰角度调整时，调整幅度超过量程导致设备损坏，主控模块使用行程开关作为紧急刹车使用。

摄像机图像数据经网线接口分两路进行数据处理传输，一路直接主控模块上进行图像处理，另一路同步接入通信模块传输至云端服务器。

设备整机结构精度测试还需进行检验，可以使用经纬仪的角度检验台，该检验台水平方向上有一圈平行光管(5-8支)，俯仰方向上有3-5支平行光管。这些平行光管之间的角度是实现用经纬仪标定好的，精度在2″。用摄像机的十字分划线对准平行光管的十字分划线来测试角度精度是否满足要求，从而确定异常目标的空间坐标解算精度。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (9)

1.公共场所异常行为自动识别方法，其特征在于，包括：

S1：对采集的图像进行多目标动态检测，检测算法使用YOLO系列算法，识别出有人类目标；

S2：采用快速角点检测和LK光流法对识别出的人类目标进行跟踪速度估计，并识别出移动速度超过速度阈值的目标，将其作为异常目标；

S3：判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为；

S4：对已识别出的人类目标进行人体关键点置信度和亲和度向量计算，然后进行关键点聚类解析，区分连接关键完成人体骨骼搭建组装，实现人体姿态估计，并根据人体姿态估计结果，判断姿态是否为异常；

其中，YOLO系列算法识别出的人类目标包括各帧图像移动目标系统状态，步骤S2包括：

S2.1：对获得的上一帧图像移动目标系统状态目标区域进行快速分块角点采样，其中选取20个目标特征像素点，当采样点数量小于采样点数量阈值，则目标跟踪失败；

S2.2：将步骤S2.1中汇总的分块角点作为输入，采用LK光流法计算，选取LK光流法的金字塔层数为5，搜索窗口的尺寸为4*4，设置LK光流法每次计算最高迭代20次，当LK光流法迭代次数超过20次仍没有达到设置的精度要求则终止迭代；前向LK光流法跟踪将得到当前帧对应上一帧中采样点的像素点，然后将当前帧中的像素点作为输入传输至LK光流法反向计算，获得当前帧中目标像素点在上一帧的对应跟踪点位置；

S2.3：计算上一帧中目标图像片区域采样点和经过正向反向LK光流法计算得到的上一帧中跟踪到的点对应的欧式距离，即为所求的前向后向误差，剔除误差值超过20个像素距离的点，对剩余的点对的邻域区间做对应的模板匹配操作，得到相对应的一组相似度值，剔除相似度值小于相似度阈值的点对，得到有效的跟踪采样点；

S2.4：根据有效的跟踪点预测当前帧中目标的位置及尺寸，如果本次跟踪成功，则跟踪到的像素点的数量大于1，计算目标在当前帧中的系统状态；如果跟踪到的像素点的数量小于1，则本次跟踪不成功，判定本次跟踪失败；

S2.5：计算上一帧与当前帧跟踪成功后的系统状态中目标位置像素距离差值，根据像素空间距离对应关系，计算出目标的现实空间移动速度，如果目标的现实空间移动速度超出速度阈值，则判定为目标速度异常，记录并储存下相关信息。

2.如权利要求1所述的方法，其特征在于，步骤S3具体包括：

S3.1：根据摄像机自身参数及当前光学放大倍数，计算预设像素区域内人类目标密度；

S3.2：判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为。

3.如权利要求2所述的方法，其特征在于，S3.1具体包括：

S3.1.1：获取摄像机的自身参数和光学放大倍数，包括镜头尺寸4mm，则10m外4mm镜头对应的视场范围为12*9m，光学放大倍数为500w像素，其分辨率为2560*1920；

S3.1.2：根据摄像机的自身参数和光学放大倍数，计算一个像素点的间隔指代的位移大小，对于4mm镜头的x方向，10m距离，1个像素点的间隔指代的位移大小为：

S3.1.3：根据一个像素点的间隔指代的位移大小，计算预设像素区域内人类目标密度。

4.如权利要求1所述的方法，其特征在于，S4中根据人体姿态估计结果，判断姿态是否为异常，包括：

将识别出的人体姿态估计中的人体关键部件进行Hough直线变换，具体为通过局部峰值点绘制直线，其中，峰值点的角度则代表肢体的方向，直线的交叉点为关节位置，直线间的角度为人体躯干；

通过进行人体部件与水平直线间的逆时针旋转角度计算，计算出人体关节的角度，将计算出的关节角度与预设数据集角度比对，如果超出相似度阈值，则判断姿态异常。

5.公共场所异常行为自动识别装置，其特征在于，包括：

人类目标检测单元，用于对采集的图像进行多目标动态检测，检测算法使用YOLO系列算法，识别出有人类目标；

速度异常目标识别单元，用于采用快速角点检测和LK光流法对识别出的人类目标进行跟踪速度估计，并识别出移动速度超过速度阈值的目标，将其作为异常目标；

密集目标识别单元，用于判断预设像素区域内人类目标密度是否大于密度阈值，如果大于，则判定为异常行为；

异常姿态目标识别单元，用于对已识别出的人类目标进行人体关键点置信度和亲和度向量计算，然后进行关键点聚类解析，区分连接关键完成人体骨骼搭建组装，实现人体姿态估计，并根据人体姿态估计结果，判断姿态是否为异常；

其中，YOLO系列算法识别出的人类目标包括各帧图像移动目标系统状态，速度异常目标识别单元具体用于执行下述步骤：

S2.1：对获得的上一帧图像移动目标系统状态目标区域进行快速分块角点采样，其中选取20个目标特征像素点，当采样点数量小于采样点数量阈值，则目标跟踪失败；

S2.2：将步骤S2.1中汇总的分块角点作为输入，采用LK光流法计算，选取LK光流法的金字塔层数为5，搜索窗口的尺寸为4*4，设置LK光流法每次计算最高迭代20次，当LK光流法迭代次数超过20次仍没有达到设置的精度要求则终止迭代；前向LK光流法跟踪将得到当前帧对应上一帧中采样点的像素点，然后将当前帧中的像素点作为输入传输至LK光流法反向计算，获得当前帧中目标像素点在上一帧的对应跟踪点位置；

S2.3：计算上一帧中目标图像片区域采样点和经过正向反向LK光流法计算得到的上一帧中跟踪到的点对应的欧式距离，即为所求的前向后向误差，剔除误差值超过20个像素距离的点，对剩余的点对的邻域区间做对应的模板匹配操作，得到相对应的一组相似度值，剔除相似度值小于相似度阈值的点对，得到有效的跟踪采样点；

S2.4：根据有效的跟踪点预测当前帧中目标的位置及尺寸，如果本次跟踪成功，则跟踪到的像素点的数量大于1，计算目标在当前帧中的系统状态；如果跟踪到的像素点的数量小于1，则本次跟踪不成功，判定本次跟踪失败；

S2.5：计算上一帧与当前帧跟踪成功后的系统状态中目标位置像素距离差值，根据像素空间距离对应关系，计算出目标的现实空间移动速度，如果目标的现实空间移动速度超出速度阈值，则判定为目标速度异常，记录并储存下相关信息。

6.一种摄像机设备，其特征在于，包括如权利要求5所述的公共场所异常行为自动识别装置、高精度云台模块、远距离光学成像模块以及坐标变换模块；

其中，高精度云台模块，用于通过搭载不同规格的镜头实现多种场景的应用需求，包括水平高精度姿态系统与垂直高精度姿态系统；

远距离光学成像模块，为白光光学感应CCD模块，具有100倍光学变焦功能，用于采集1500米视场内视频数据；

坐标变换模块，用于根据公共场所异常行为自动识别装置识别的异常目标像素坐标和姿态数据，计算站心坐标系下的坐标，并通过投影变换实现大地坐标系和地心坐标系之间坐标转换、地心坐标系和站心坐标系间的坐标转换。

7.如权利要求6所述的摄像机设备，其特征在于，该设备还包括主控模块，用于接收通过通信模块发送的云端服务器远程指令，并对云端服务器远程指令进行解析。

8.如权利要求6所述的摄像机设备，其特征在于，坐标变换模块具体用于：

根据远距离光学成像模块视场水平像素分辨率R_h、垂直像素分辨率R_v、摄像头水平视场角F_h及垂直视场角F_v，计算异常目标基于当前姿态系统(α₁,β₁)数据的偏移量为并根据此偏移量计算出异常行为目标当前真实姿态数据

根据当前真实姿态数据中的俯仰数据和高度数据，计算摄像机与异常行为目标距离值d为：

其中，h表示高度数据，表示当前真实姿态数据中的俯仰数据；

根据三维空间坐标转换分析，异常目标基于摄像机轴心为站心的空间直角坐标系坐标，通过摄像机与异常行为目标距离值计算，计算方式如下：

Δx＝-sin(L)*ΔE-sin(B)*cos(L)*ΔN+cos(B)*cos(L)*ΔU

Δy＝cos(L)*ΔE-sin(B)*sin(L)*ΔN+cos(B)*sin(L)*ΔU

Δz＝cos(B)*ΔN+sin(B)*ΔU

其中，异常目标地心空间直角坐标系坐标为(x₁+Δx,y₁+Δy,z₁+Δz)，同样，进行坐标转换得到的异常目标大地坐标系坐标为：

其中e'为该大地坐标系对应参考椭球的第二偏心率，(x₁，y₁，z₁)表示摄像机视觉轴心点的地心空间直角坐标，N，E，U表示天东北坐标系，即为站心空间直角坐标系三个轴，E代表x轴，N代表y轴，U代表z轴，三者的分量ΔN、ΔEΔU分别代表异常目标相对于站心的偏移量。

9.如权利要求7所述的摄像机设备，其特征在于，当公共场所异常行为自动识别装置识别到异常目标后，还通过通信模块将异常行为种类、时间、图像、像素坐标、空间坐标信息打包发送至云端服务器；

并通过云端服务器对异常行为进行时空位置及图像特征过滤分析，判断异常行为是否是同一目标，具体判断方法如下：

采用空间直角坐标系中两点间欧氏距离公式来做判断，如果异常目标空间距离在1米以内，则认为是同一目标，否则向下继续执行；

对回传图像进行特征提取，比对分析异常目标的颜色、行为、姿态、速度、与其周边背景的空间位置关系，若分析结果特征相符，则判定为同一目标。