CN115862057A - 一种便捷式单目测距的人体异常行为检测方法 - Google Patents

Abstract

本发明公开了一种便捷式单目测距的人体异常行为检测方法包括：利用目标检测算法获取目标区域在图像坐标系的像素位置；测量相机的垂直和水平视野角度并根据已知的相机安装高度以及倾斜角度，计算出目标与相机垂点的距离和与相机的直线距离；通过相机垂直、水平视野角以及相机分辨率将像素位置转换至世界坐标系中，得出目标距离数据；通过该距离与预设防区距离以及模型切换距离作比较，判断该目标是否需要进行人体异常行为检测。本发明无需对相机进行繁琐的标定工作即可对目标进行测距计算，并通过图像畸变距离划分出针对两种不同人体特征的异常检测网络，提高了异常检测网络的收敛速度以及识别精度。

Description

一种便捷式单目测距的人体异常行为检测方法

技术领域

本发明涉及属于目标测距、目标识别、目标检测技术领域，具体为一种便捷式单目测距的人体异常行为检测方法。

背景技术

目标测距是自动驾驶、自动导航、目标检测等领域中的关键问题，传统的目标测距包括：毫米波雷达测距、激光测距、红外测距等。毫米波雷达测距系统的发射机功率低，波导器件中的损耗大，整体器件昂贵，不能大批量生产装备。激光测距系统容易受到烟雾、灰尘、雨滴的干扰。红外测距系统不仅容易受到日光或者其他相近波长光源的干扰，也会受到烟雾、灰尘的干扰。基于深度学习的单目测距系统虽然在学术指标上取得了非常好的效果，但针对不同的实际工程，需使用不同的数据集，数据集测距标定难度大，标定工作复杂，不利于项目工程的实施。利用小孔成像的单目相机测距方法相比于上述方法无需获取数据集，但需要特定的专业软件对相机进行标定从而获取相机内参数矩阵，相机标定过程存在一定复杂度。

目前的人体异常行为检测网络在数据集训练方式以及检测方案上较为单一，在网络训练上并未从实际应用出发，以一定高度和倾斜角放置的相机获取远处人体目标和近处人体目标，其图像所具特征不同，在较远处可以观察到人体所有基本特征，但在较近处人体基本特征发生改变，例如仅能观察到头部和部分四肢，混合训练会导致网络收敛速度降低、异常检测精度无法进一步提高。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述存在的问题，提出了本发明。

因此，本发明解决的技术问题是：现有的人体异常行为检测网络存在数据集训练方式以及检测方案单一，复杂度高的问题，以及如何提高网络收敛速度、异常检测精度的优化问题。

为解决上述技术问题，本发明提供如下技术方案：一种便捷式单目测距的人体异常行为检测方法，包括：

利用目标检测算法获取目标ROI区域在图像坐标系的像素位置；

测量相机的垂直和水平视野角度并根据已知的相机安装高度以及倾斜角度，计算出目标与相机垂点的距离和与相机的直线距离；

通过相机垂直、水平视野角以及相机分辨率将像素位置转换至世界坐标系中，得出目标距离数据；

通过该距离与预设防区距离以及模型切换距离作比较，判断该目标是否需要进行人体异常行为检测。

作为本发明所述的便捷式单目测距的人体异常行为检测方法的一种优选方案，其中：所述相机垂直、水平视野角的测量采用移物法，将某一物体放置在相机前方，并向右移动至刚好消失在图像中，记录该位置，然后向左移动至刚好消失的位置，左右两位置点与相机中心形成的角，即为水平最大视野角度，垂直视野角度获取方式同理，得到最大垂直与水平范围角度分别为A、B。

作为本发明所述的便捷式单目测距的人体异常行为检测方法的一种优选方案，其中：所述根据已知的相机安装高度以及倾斜角度，计算出目标与相机垂点的距离，包括：

计算图像最下方的行像素中点在世界坐标系映射出的垂直视野下极限点E与相机垂点的距离D₀，

计算图像最下方的行像素中点在世界坐标系映射出的垂直视野下极限点E与相机的直线距离D_L0，

式中，H表示已知的的相机安装高度；α表示已知的的相机安装倾斜角度。

作为本发明所述的便捷式单目测距的人体异常行为检测方法的一种优选方案，其中：所述通过相机垂直、水平视野角以及相机分辨率将像素位置转换至世界坐标系中，得出目标距离数据包括：根据相机分辨率m×n和视野范围角A、B得出在相机像素坐标系中单位像素与相机水平和垂直的视野变化系数，通过获取目标点在像素矩阵的位置计算其在世界坐标系中与相机中心的距离D_{n_0}和D_{n_L0}：

式中，Δi和Δj为单位像素与相机水平和垂直的视野变化系数，D_Δi、D_Δj为目标点在世界坐标系中的位置变化信息。

作为本发明所述的便捷式单目测距的人体异常行为检测方法的一种优选方案，其中：所述单位像素与相机水平和垂直的视野变化系数Δi和Δj表示为：

作为本发明所述的便捷式单目测距的人体异常行为检测方法的一种优选方案，其中：所述目标点在世界坐标系中的位置变化信息D_Δi、D_Δj，表示为：

作为本发明所述的便捷式单目测距的人体异常行为检测方法的一种优选方案，其中：所述判断该目标是否需要进行人体异常行为检测包括：对比距离D_{n_0}与预设防区距离D_x1和模型切换距离D_x2，若D_{n_0}>D_x1则目标处于防区外，不做异常检测；若D_{n_0}∈[D_x2,D_x1]需将目标ROI区域图像输入至M₁网络进行异常行为检测；若D_{n_0}<D_x2需将目标ROI区域图像输入至M₂网络进行人体异常行为检测。

作为本发明所述的便捷式单目测距的人体异常行为检测方法的一种优选方案，其中：所述D_x1为预设防区距离，即在该范围内的人体目标需进行异常行为检测，反之则无需进行检测；所述D_x2为网络模型切换距离，即在距离小于D_x2时，相机中成像的人体特征发生改变，距离D_x2为人体目标在相机中成像的压缩率等于50％的范围区域。

作为本发明所述的便捷式单目测距的人体异常行为检测方法的一种优选方案，其中：所述异常行为检测网络训练的具体步骤包括：

数据集由包含正常行为和异常行为的视频帧组成，对各行为进行是否异常的标定，采用留出法将数据集分为70％训练集、20％验证集、10％测试集；

按照距离D_x2范围阈值的人体特征将数据集划分为data₁、data₂，其中data₁数据集用于网络的M₁训练，data₂数据集用于网络M₂的训练，网络输出为是否是异常行为；

使用Sigmoid函数作为网络最后一层，交叉熵作为损失函数，表达式为

其中y表示实际值1或0，/>

表示预测值；

随着迭代次数的增加，利用Adma优化器对异常检测网络的权值和偏置值进行优化，直至网络收敛。

作为本发明所述的便捷式单目测距的人体异常行为检测方法的一种优选方案，其中：所述人体异常行为检测还包括：根据实际测试效果对目标框测距像素点的选择参数进行优化。

本发明的有益效果：本发明提供的便捷式单目测距的人体异常行为检测方法创新性地将相机分辨率和相机垂直与水平最大视野角度联系起来，构建相机单位像素的视野变化系数与世界坐标系中目标点的计算关系。然后通过目标距离与预设防区距离以及模型切换距离作比较，判断该目标是否需要进行异常行为检测以及使用哪种人体异常行为检测模型进行检测。本发明无需对相机进行繁琐的标定工作即可对目标进行测距计算，并通过图像畸变距离划分出针对两种不同人体特征的异常检测网络，提高了异常检测网络的收敛速度以及识别精度。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明第一个实施例提供的一种便捷式单目测距的人体异常行为检测方法的整体流程图；

图2为本发明第一个实施例提供的一种便捷式单目测距的人体异常行为检测方法中相机视野范围测量示意图；

图3为本发明第一个实施例提供的一种便捷式单目测距的人体异常行为检测方法的便捷式单目测距模型示意图；

图4为本发明第一个实施例提供的一种便捷式单目测距的人体异常行为检测方法的目标距离计算求解示意图；

图5为本发明第一个实施例提供的一种便捷式单目测距的人体异常行为检测方法的D_x1、D_x2区域划分示意图；

图6为本发明第一个实施例提供的一种便捷式单目测距的人体异常行为检测方法的人体异常行为检测方案流程图；

图7为本发明第一个实施例提供的一种便捷式单目测距的人体异常行为检测方法的人体异常行为检测网络训练的数据集划分示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。

其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。

本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。

同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1

参照图1-7，为本发明的一个实施例，提供了一种便捷式单目测距的人体异常行为检测方法，包括：

S1：利用目标检测算法获取目标ROI区域在图像坐标系的像素位置；

更进一步的，目标检测算法可以为YOLO检测算法。

S2：测量相机的垂直和水平视野角度并根据已知的相机安装高度以及倾斜角度，计算出目标与相机垂点的距离和与相机的直线距离；

更进一步的，通过移物法测量相机的垂直和水平视野角度，将某一物体放置在相机前方，并向右移动至刚好消失在图像中，记录该位置，然后向左移动至刚好消失的位置，左右两点与相机中心形成的角，即为水平最大视野角度，垂直视野角度获取方式同理，得到最大垂直与水平范围角度分别为A、B。

更进一步的，根据已知的相机安装高度H和倾斜角度α，联合测得的相机垂直和水平最大视野角度A、B，计算图像最下方的行像素中点在世界坐标系映射出的垂直视野下极限点E与相机垂点的距离D₀，以及点E与相机的直线距离D_L0，过程如下：

S3：通过相机垂直、水平视野角以及相机分辨率将像素位置转换至世界坐标系中，得出目标距离数据；

更进一步的，根据相机分辨率m×n、垂直与水平视野范围A、B得出在相机像素坐标系中单位像素对应相机水平和垂直的视野变化系数。即通过获取检测目标在图像像素坐标系下的位置信息映射至世界坐标系，如图4所示，求解目标点与相机垂点的距离D_{n_0}，以及与相机的直线距离D_{n_L0}，具体求解过程如下：

已知相机分辨率为m×n，其中m、n对应图像的列和行像素数量，A、B为相机最大垂直与水平视野角度，那么单位像素与相机水平和垂直的视野变化系数分别为Δi和Δj；

根据Δi和Δj角度变化系数可计算目标点在世界坐标系中的位置变化信息D_Δi、D_Δj；

得出位置变化信息后，即可计算目标点在世界坐标系中与相机的距离D_{n_0}和D_{n_L0}；

S4：通过该距离与预设防区距离以及模型切换距离作比较，判断该目标是否需要进行人体异常行为检测。

更进一步的，对比距离D_{n_0}与预设防区距离D_x1和模型切换距离D_x2，若D_{n_0}>D_x1则目标处于防区外，不做异常检测；若D_{n_0}∈[D_x2,D_x1]需将目标ROI区域图像输入至M₁网络进行异常行为检测；若D_{n_0}<D_x2需将目标ROI区域图像输入至M₂网络进行人体异常行为检测。

如图5所示，D_x1为预设的防区距离，即在该范围内的人体目标需进行异常行为检测，反之则无需进行检测。D_x2为网络模型切换距离，即在距离小于D_x2时，相机中成像的人体特征发生改变，距离D_x2为人体目标在相机中成像的压缩率等于50％的范围区域，其具体确定过程如下：

人体图像压缩率为50％，则有

θ≈26.57°，若存在/>

则在此状态下相机图像中人体特征不发生改变，下述步骤考虑/>

的情况；

根据已知的相机安装高度H，得出人体图像特征畸变点与相机垂点的水平距离D_x2为

其中h为人体高度，一般设置为1.6～1.7m；

如图6所示，将目标检测的距离D_{n_0}与预设防区距离D_x1和模型切换距离D_x2进行对比，若D_{n_0}>D_x1则目标处于防区外，不做异常检测；若D_{n_0}∈[D_x2,D_x1]需将目标ROI区域图像输入至M₁网络进行异常行为检测；若D_{n_0}<D_x2需将目标ROI区域图像输入至M₂网络进行人体异常行为检测。

进一步地，所述S4中的人体异常行为检测网络训练的具体步骤包括：

S4.1：数据集由包含正常行为和异常行为的视频帧组成，对各行为进行是否异常的标定，采用留出法将数据集分为70％训练集、20％验证集、10％测试集；

S4.2：如图7所示，按照距离D_x2范围阈值的人体特征将数据集划分为data₁、data₂，其中data₁数据集用于网络的M₁训练，data₂数据集用于网络M₂的训练，网络输出为是否是异常行为；

S4.3：Sigmoid作为网络最后一层，使用交叉熵作为损失函数，表达式为

其中y表示实际值1或0，/>

表示预测值；

S4.4：随着迭代次数的增加，利用Adma优化器对异常检测网络的权值和偏置值进行优化，直至网络收敛。

更进一步的，将上述模块拼接组装后，进行基于单目测距的人体异常行为在线监测，根据实际测试效果对目标框测距像素点的选择等参数进行优化。

以上技术方案设计的一种便捷式单目测距的人体异常行为检测方法，创新性地提出将相机分辨率和相机垂直与水平最大视野角度联系起来，构建相机单位像素的视野变化系数与世界坐标系中目标点的计算关系。然后通过目标距离与预设防区距离以及模型切换距离作比较，判断该目标是否需要进行异常行为检测以及使用哪种人体异常行为检测模型进行检测。

本发明无需对相机进行繁琐的标定工作即可对目标进行测距计算，并通过图像畸变距离划分出针对两种不同人体特征的异常检测网络，提高了异常检测网络的收敛速度以及识别精度。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

实施例2

以下为本发明的一个实施例，提供了一种便捷式单目测距的人体异常行为检测方法，为了验证本发明的有益效果，通过仿真实验进行科学论证。

首先，基于上述实施例方法，以单目摄像头采集的视频源为基准，采用本方法进行实验仿真。

测试环境与设备：一个光线充足简易的房间、一台单目摄像头、一个可调节高度与角度的摄像头支架、一台红外测距仪、若干纸板、笔。

参数设置：

(1)设置摄像头的分辨率为m×n＝4624×3468，其中m＝4624，n＝3468；

(2)摄像头的最大垂直视野角为A＝52.90，最大水平视野角B＝67.08；

(3)摄像头安装高度H₁＝0.5m，H₂＝1m，H₃＝1.396m；

(4)摄像头倾斜角度α₁＝30，α₂＝45，α₃＝60。

实施过程：

步骤1：移物法测量相机的垂直和水平视野角度，得到最大垂直与水平范围角度分别为A、B，相机分辨率为m×n，其中m、n对应图像的列和行像素数量；

步骤2：根据相机安装高度H和倾斜角度α，计算出图像最下方的行像素中点在世界坐标系映射出的垂直视野下极限点E与相机垂点的距离D₀，以及点E与相机的直线距离D_L0；

步骤3：根据相机分辨率m×n、垂直与水平视野范围A、B得出在相机像素坐标系中单位像素对应相机水平和垂直的视野变化系数。

步骤4：在相机视野范围内任取一点G，测量出它对应在相机中的像素点，根据Δi和Δj角度变化系数可计算目标点在世界坐标系中的位置变化信息D_Δi、D_Δj；然后根据公式算出其理论上与相机垂点的距离D_{n_0}以及与相机的直线距离D_{n_L0}，重复上述过程。

/>

步骤5：实际测量点G到相机垂点的距离以及与相机的直线距离，比较理论值与实际值的误差β。

实验数据：

表1摄像头在点i＝0，j＝0下的测试数据

表2摄像头在点i＝0，j＝1156下的测试数据

表3摄像头在点i＝0，j＝2312下的测试数据

表4摄像头在点i＝0，j＝3468下的测试数据

表5为摄像头在点i＝770.6，j＝0下的测试数据

表6摄像头在点i＝1541，j＝0下的测试数据

表7摄像头在点i＝2312，j＝0下的测试数据

表8为摄像头在点i＝770.6，j＝1156下的测试数据

表9摄像头在点i＝1541，j＝2312下的测试数据

表10为摄像头在点i＝2312，j＝3468下的测试数据

由实验数据可知，在该技术下图像边角像素误差相对较大，但图像中间区域得像素测量误差始终保持在10％以内，识别精度得到有效提升，且该技术相比于传统的单目测距技术，操作更加简便灵活。

应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种便捷式单目测距的人体异常行为检测方法，其特征在于，包括：

利用目标检测算法获取目标ROI区域在图像坐标系的像素位置；

测量相机的垂直和水平视野角度并根据已知的相机安装高度以及倾斜角度，计算出目标与相机垂点的距离和与相机的直线距离；

通过相机垂直、水平视野角以及相机分辨率将像素位置转换至世界坐标系中，得出目标距离数据；

通过该距离与预设防区距离以及模型切换距离作比较，判断该目标是否需要进行人体异常行为检测。

2.如权利要求1所述的便捷式单目测距的人体异常行为检测方法，其特征在于：所述相机垂直、水平视野角的测量采用移物法，将某一物体放置在相机前方，并向右移动至刚好消失在图像中，记录该位置，然后向左移动至刚好消失的位置，左右两位置点与相机中心形成的角，即为水平最大视野角度，垂直视野角度获取方式同理，得到最大垂直与水平范围角度分别为A、B。

3.如权利要求1所述的便捷式单目测距的人体异常行为检测方法，其特征在于：所述根据已知的相机安装高度以及倾斜角度，计算出目标与相机垂点的距离，包括：

计算图像最下方的行像素中点在世界坐标系映射出的垂直视野下极限点E与相机垂点的距离D₀，

计算图像最下方的行像素中点在世界坐标系映射出的垂直视野下极限点E与相机的直线距离D_L0，

式中，H表示已知的的相机安装高度；α表示已知的的相机安装倾斜角度。

4.如权利要求2和3所述的便捷式单目测距的人体异常行为检测方法，其特征在于：所述通过相机垂直、水平视野角以及相机分辨率将像素位置转换至世界坐标系中，得出目标距离数据包括：根据相机分辨率m×n和视野范围角A、B得出在相机像素坐标系中单位像素与相机水平和垂直的视野变化系数，通过获取目标点在像素矩阵的位置计算其在世界坐标系中与相机中心的距离D_{n_0}和D_{n_L0}：

式中，Δi和Δj为单位像素与相机水平和垂直的视野变化系数，D_Δi、D_Δj为目标点在世界坐标系中的位置变化信息。

5.如权利要求4所述的便捷式单目测距的人体异常行为检测方法，其特征在于：所述单位像素与相机水平和垂直的视野变化系数Δi和Δj表示为：

6.如权利要求4所述的便捷式单目测距的人体异常行为检测方法，其特征在于：所述目标点在世界坐标系中的位置变化信息D_Δi、D_Δj，表示为：

7.如权利要求6所述的便捷式单目测距的人体异常行为检测方法，其特征在于：所述判断该目标是否需要进行人体异常行为检测包括：对比距离D_{n_0}与预设防区距离D_x1和模型切换距离D_x2，

若D_{n_0}>D_x1，则目标处于防区外，不做异常检测；

若D_{n_0}∈[D_x2,D_x1]，将目标ROI区域图像输入至M₁网络进行异常行为检测；

若D_{n_0}<D_x2，将目标ROI区域图像输入至M₂网络进行人体异常行为检测。

8.如权利要求7所述的便捷式单目测距的人体异常行为检测方法，其特征在于：所述D_x1为预设防区距离，即在该范围内的人体目标需进行异常行为检测，反之则无需进行检测；所述D_x2为网络模型切换距离，即在距离小于D_x2时，相机中成像的人体特征发生改变，距离D_x2为人体目标在相机中成像的压缩率等于50％的范围区域。

9.如权利要求1所述的便捷式单目测距的人体异常行为检测方法，其特征在于：所述异常行为检测网络训练的具体步骤包括：

数据集由包含正常行为和异常行为的视频帧组成，对各行为进行是否异常的标定，采用留出法将数据集分为70％训练集、20％验证集、10％测试集；

按照距离D_x2范围阈值的人体特征将数据集划分为data₁、data₂，其中data₁数据集用于网络的M₁训练，data₂数据集用于网络M₂的训练，网络输出为是否是异常行为；

使用Sigmoid函数作为网络最后一层，交叉熵作为损失函数，表达式为

其中y表示实际值1或0，/>

表示预测值；

随着迭代次数的增加，利用Adma优化器对异常检测网络的权值和偏置值进行优化，直至网络收敛。

10.如权利要求1所述的便捷式单目测距的人体异常行为检测方法，其特征在于：所述人体异常行为检测还包括：根据实际测试效果对目标框测距像素点的选择参数进行优化。

Images