CN117934556A - 高空抛物的检测方法、装置、存储介质和电子设备 - Google Patents

Abstract

本申请公开了高空抛物的检测方法、装置、存储介质和电子设备，包括：对设定时间段内的图像帧进行移动目标的跟踪，确定所述移动目标在图像坐标系下的移动轨迹；确定所述图像帧的采集设备的内参矩阵和外参矩阵；利用所述内参矩阵和所述外参矩阵，将所述移动目标在图像坐标系下的移动轨迹进行畸变矫正后转换到世界坐标系下；基于世界坐标系下的移动轨迹，识别所述移动目标是否为高空抛物。应用本申请，能够有效提高高空抛物的检测准确性。

Description

高空抛物的检测方法、装置、存储介质和电子设备

技术领域

本申请涉及图像处理技术，特别涉及一种高空抛物的检测方法、装置、存储介质和电子设备。

背景技术

随着图像处理技术的进步，有人提出利用监控图像实现高空抛物的自动检测。

目前，进行高空抛物自动检测的方法步骤主要包括：在监控图像中进行移动目标的跟踪，根据移动目标在监控图像中的像素坐标对移动目标的运动特性进行分析，再根据运动特性分析结果判断是否属于高空抛物。但是经实践发现，目前高空抛物检测方法的检测准确性不高。

因此，当前需要一种检测准确性更高的高空抛物检测方法。

发明内容

本申请提供一种高空抛物的检测方法、装置、存储介质和电子设备，能够有效提高高空抛物的检测准确性。

为实现上述目的，本申请采用如下技术方案：

一种高空抛物的检测方法，包括：

对设定时间段内的图像帧进行移动目标的跟踪，确定所述移动目标在图像坐标系下的移动轨迹；

确定所述图像帧的采集设备的内参矩阵和外参矩阵；

利用所述内参矩阵和所述外参矩阵，将所述移动目标在图像坐标系下的移动轨迹进行畸变矫正后转换到世界坐标系下；

基于世界坐标系下的移动轨迹，识别所述移动目标是否为高空抛物。

较佳地，所述确定所述图像帧的采集设备的内参矩阵和外参矩阵，包括：

在所述设定时间段内的图像帧中选择参考图像帧；

获取在所述参考图像帧中识别的直线，并在通过所述识别的直线计算出的消失点中选择最佳消失点；其中，所述最佳消失点使所述识别的直线中相交于所述最佳消失点指定范围内的直线的长度和最大，且在所述相交于所述最佳消失点指定范围内的直线中选择部分或全部直线作为建筑物轮廓直线；

基于所述最佳消失点，确定最佳视场角；其中，所述最佳视场角为使所有去畸变后的建筑物轮廓直线经过去畸变后的最佳消失点的误差和最小的视场角；

基于所述最佳视场角计算所述内参矩阵；

基于所述内参矩阵确定所述外参矩阵；其中，所述外参矩阵保证去畸变后的建筑物轮廓直线垂直于地面。

较佳地，确定所述最佳消失点的方式，包括：

在所述参考图像帧中识别的直线组成的直线簇中，对于前p条最长的直线中每两条直线组成的直线对，计算所述直线对的交点，将所述交点作为所述直线对的消失点；其中，所述p为预设的正整数；

对于每个所述直线对，基于消失点原理在所述直线簇中选择有效直线，并将选择出的所有有效直线组成所述直线对对应的有效直线簇；

对于每个所述直线对，对该直线对对应的有效直线簇中的所有直线计算长度和，将其作为所述直线对对应的权值；

在所有直线对中，选择对应的权值最大的直线对作为最佳直线对，并将所述最佳直线对的消失点作为所述最佳消失点。

较佳地，所述对于每个所述直线对基于消失点原理在所述直线簇中选择有效直线，包括：

针对所述直线簇中除所述直线对外的每条第一当前直线，确定在所述第一当前直线上的任一点与所述直线对的消失点间的第一连线，并计算所述第一连线与所述第一当前直线间的夹角；选择所述夹角小于设定阈值的所述第一当前直线，作为所述直线对对应的有效直线。

较佳地，将所述最佳直线对对应的有效直线簇中的直线作为所述建筑物轮廓直线。

较佳地，所述基于所述最佳消失点确定最佳视场角，包括：

对于每条建筑物轮廓直线，将视场角作为自变量确定所述建筑物轮廓直线进行去畸变处理后的第一表达式，并确定在去畸变后的所述建筑物轮廓直线上的任一点与去畸变后的所述最佳消失点间的第二连线，基于所述第一表达式，确定所述第二连线与去畸变后的所述建筑物轮廓直线间的夹角表达式，作为所述建筑物轮廓直线对应的夹角表达式；

将所有所述建筑物轮廓直线对应的夹角表达式求和得到求和结果，求解使所述求和结果最小的视场角，将该视场角作为所述最佳视场角。

较佳地，所述基于所述内参矩阵确定所述外参矩阵，包括：

以所述采集设备的欧拉角作为自变量，确定所述采集设备的旋转矩阵的表达式；

基于所述旋转矩阵的表达式和所述内参矩阵，确定所述参考图像帧映射到世界坐标系下的投影矩阵表达式；

对每条按照所述最佳视场角去畸变后的矫正建筑物轮廓直线，基于所述投影矩阵的表达式，确定所述矫正建筑物轮廓直线上的任意两点在世界坐标系下的坐标表达式，并基于所述坐标表达式计算所述矫正建筑物轮廓直线在世界坐标系下的斜率表达式；

对所有矫正建筑物轮廓直线在世界坐标系下的斜率表达式求和，求解使斜率表达式求和结果最大的欧拉角；

基于求解得到的欧拉角确定所述外参矩阵。

较佳地，所述识别所述移动目标是否为高空抛物，包括：

对于所述世界坐标系下的移动轨迹分别进行世界坐标系下的x轴方向和y轴方向的曲线拟合；

计算所述x轴方向的曲线拟合结果与一次曲线的第一相关性，并计算所述y轴方向的曲线拟合结果与二次曲线的第二相关性；

基于所述第一相关性和所述第二相关性确定所述移动轨迹与抛物轨迹的相关性；

若所述移动轨迹与抛物轨迹的相关性小于预设的抛物阈值，则确定所述移动目标不是高空抛物，结束本方法流程；否则，将所述世界坐标系下的移动轨迹输入用于抛物检测的神经网络，确定所述移动目标是否为高空抛物。

较佳地，在进行所述曲线拟合后，该方法进一步包括：

当基于所述x轴方向的曲线拟合结果确定所述移动目标在所述x轴方向的加速度大于设定的第一加速度阈值时，确定所述移动目标不是高空抛物，结束本方法流程；

和/或，

当基于所述y轴方向的曲线拟合结果确定所述移动目标在所述y轴方向的加速度超过设定的加速度阈值范围时，确定所述移动目标不是高空抛物，结束本方法流程；

和/或，

当所述移动轨迹在相邻两个图像帧中的位置差大于设定的位置差阈值时，确定所述移动目标不是高空抛物，结束本方法流程。

较佳地，所述识别所述移动目标是否为高空抛物，包括：

基于所述世界坐标系下的移动轨迹，从所述设定时间段内畸变矫正且转换到世界坐标系后的各图像帧中提取所述移动轨迹在相应图像帧中对应的移动目标，并将提取出的所有移动目标拼接到目标检测帧中；

在所述各图像帧中，确定将所述移动目标作为前景时相应图像帧的掩码图；

将所述各图像帧的掩码图拼接到同一帧，并裁减为与所述目标检测帧相同大小的目标权重帧；

将所述目标检测帧和所述目标权重帧的像素取值输入用于抛物检测的神经网络，确定所述移动目标是否为高空抛物。

一种高空抛物的检测装置，包括：目标检测单元、矩阵计算单元、坐标转换单元和抛物识别单元；

所述目标检测单元，用于对设定时间段内的图像帧进行移动目标的跟踪，确定所述移动目标在图像坐标系下的移动轨迹；

所述矩阵计算单元，确定所述图像帧的采集设备的内参矩阵和外参矩阵；

所述坐标转换单元，用于利用所述内参矩阵和所述外参矩阵，将所述移动目标在图像坐标系下的移动轨迹进行畸变矫正后转换到世界坐标系下；

所述抛物识别单元，用于基于世界坐标系下的移动轨迹，识别所述移动目标是否为高空抛物。

较佳地，所述矩阵计算单元包括最佳消失点确定子单元、内参矩阵计算子单元和外参矩阵计算子单元；

所述最佳消失点确定子单元，用于在所述设定时间段内的图像帧中选择参考图像帧；还用于获取在所述参考图像帧中识别的直线，并在通过所述识别的直线计算出的消失点中选择最佳消失点；其中，所述最佳消失点使所述识别的直线中相交于所述最佳消失点指定范围内的直线的长度和最大，且在所述相交于所述最佳消失点指定范围内的直线中选择部分或全部直线作为建筑物轮廓直线；

所述内参矩阵计算子单元，用于基于所述最佳消失点，确定最佳视场角，并基于所述最佳视场角计算所述内参矩阵；其中，所述最佳视场角为使所有去畸变后的建筑物轮廓直线经过去畸变后的最佳消失点的误差和最小的视场角；

所述外参矩阵计算子单元，用于基于所述内参矩阵确定所述外参矩阵；其中，所述外参矩阵保证去畸变后的建筑物轮廓直线垂直于地面。

较佳地，在所述最佳消失点确定子单元中，所述确定所述最佳消失点的方式，包括：

在所述参考图像帧中识别的直线组成的直线簇中，对于前p条最长的直线中每两条直线组成的直线对，计算所述直线对的交点，将所述交点作为所述直线对的消失点；其中，所述p为预设的正整数；

对于每个所述直线对，基于消失点原理在所述直线簇中选择有效直线，并将选择出的所有有效直线组成所述直线对对应的有效直线簇；

对于每个所述直线对，对该直线对对应的有效直线簇中的所有直线计算长度和，将其作为所述直线对对应的权值；

在所有直线对中，选择对应的权值最大的直线对作为最佳直线对，并将所述最佳直线对的消失点作为所述最佳消失点。

较佳地，在所述最佳消失点确定子单元中，所述对于每个所述直线对基于消失点原理在所述直线簇中选择有效直线，包括：

针对所述直线簇中除所述直线对外的每条第一当前直线，确定在所述第一当前直线上的任一点与所述直线对的消失点间的第一连线，并计算所述第一连线与所述第一当前直线间的夹角；选择所述夹角小于设定阈值的所述第一当前直线，作为所述直线对对应的有效直线。

较佳地，将所述最佳直线对对应的有效直线簇中的直线作为所述建筑物轮廓直线。

较佳地，在所述内参矩阵计算子单元中，所述基于所述最佳消失点确定最佳视场角，包括：

对于每条建筑物轮廓直线，将视场角作为自变量确定所述建筑物轮廓直线进行去畸变处理后的第一表达式，并确定在去畸变后的所述建筑物轮廓直线上的任一点与去畸变后的所述最佳消失点间的第二连线，基于所述第一表达式，确定所述第二连线与去畸变后的所述建筑物轮廓直线间的夹角表达式，作为所述建筑物轮廓直线对应的夹角表达式；

将所有所述建筑物轮廓直线对应的夹角表达式求和得到求和结果，求解使所述求和结果最小的视场角，将该视场角作为所述最佳视场角。

较佳地，在所述外参矩阵计算子单元中，所述基于所述内参矩阵确定所述外参矩阵，包括：

以所述采集设备的欧拉角作为自变量，确定所述采集设备的旋转矩阵的表达式；

基于所述旋转矩阵的表达式和所述内参矩阵，确定所述参考图像帧映射到世界坐标系下的投影矩阵表达式；

对每条按照所述最佳视场角去畸变后的矫正建筑物轮廓直线，基于所述投影矩阵的表达式，确定所述矫正建筑物轮廓直线上的任意两点在世界坐标系下的坐标表达式，并基于所述坐标表达式计算所述矫正建筑物轮廓直线在世界坐标系下的斜率表达式；

对所有矫正建筑物轮廓直线在世界坐标系下的斜率表达式求和，求解使斜率表达式求和结果最大的欧拉角；

基于求解得到的欧拉角确定所述外参矩阵。

较佳地，在所述抛物识别单元中，所述识别所述移动目标是否为高空抛物，包括：

对于所述世界坐标系下的移动轨迹分别进行世界坐标系下的x轴方向和y轴方向的曲线拟合；

计算所述x轴方向的曲线拟合结果与一次曲线的第一相关性，并计算所述y轴方向的曲线拟合结果与二次曲线的第二相关性；

基于所述第一相关性和所述第二相关性确定所述移动轨迹与抛物轨迹的相关性；

若所述移动轨迹与抛物轨迹的相关性小于预设的抛物阈值，则确定所述移动目标不是高空抛物，结束本方法流程；否则，将所述世界坐标系下的移动轨迹输入用于抛物检测的神经网络，确定所述移动目标是否为高空抛物。

较佳地，所述抛物识别单元在进行所述曲线拟合后，进一步用于：

当基于所述x轴方向的曲线拟合结果确定所述移动目标在所述x轴方向的加速度大于设定的第一加速度阈值时，确定所述移动目标不是高空抛物，结束本方法流程；

和/或，

当基于所述y轴方向的曲线拟合结果确定所述移动目标在所述y轴方向的加速度超过设定的加速度阈值范围时，确定所述移动目标不是高空抛物，结束本方法流程；

和/或，

当所述移动轨迹在相邻两个图像帧中的位置差大于设定的位置差阈值时，确定所述移动目标不是高空抛物，结束本方法流程。

较佳地，在所述抛物识别单元中，所述识别所述移动目标是否为高空抛物，包括：

基于所述世界坐标系下的移动轨迹，从所述设定时间段内畸变矫正且转换到世界坐标系后的各图像帧中提取所述移动轨迹在相应图像帧中对应的移动目标，并将提取出的所有移动目标拼接到目标检测帧中；

在所述各图像帧中，确定将所述移动目标作为前景时相应图像帧的掩码图；

将所述各图像帧的掩码图拼接到同一帧，并裁减为与所述目标检测帧相同大小的目标权重帧；

将所述目标检测帧和所述目标权重帧的像素取值输入用于抛物检测的神经网络，确定所述移动目标是否为高空抛物。

一种计算机可读存储介质，其上存储有计算机指令，所述指令被处理器执行时可实现上述任一项所述的高空抛物的检测方法。

一种电子设备，该电子设备至少包括计算机可读存储介质，还包括处理器；

所述处理器，用于从所述计算机可读存储介质中读取可执行指令，并执行所述指令以实现上述任一项所述的高空抛物的检测方法。

由上述技术方案可见，本申请中，首先，对设定时间段内的图像帧进行移动目标的跟踪，确定移动目标在图像坐标系下的移动轨迹。接下来，确定图像帧的采集设备的内参矩阵和外参矩阵，并利用内参矩阵进行移动轨迹的畸变矫正，再利用外参矩阵，将畸变矫正后的移动轨迹转换到世界坐标系下。这样，一方面通过畸变矫正克服图像坐标系下由于畸变等因素影响而导致的移动轨迹不准确的问题，另一方面由于世界坐标系是代表物体在现实世界中的真实坐标，因此坐标系转换后的移动轨迹可以有效体现真实世界中的轨迹特性，有助于提高运动分析的准确性。最后，基于世界坐标系下的移动轨迹，识别相应的移动目标是否为高空抛物。由于世界坐标系下的移动轨迹准确性更高，并能够体现在真实世界中的轨迹特性，因此基于该移动轨迹进行的高空抛物的识别准确性也更高，由此本申请的方法可以有效提高高空抛物的检测准确性。

附图说明

图1为本申请中高空抛物检测方法的基本流程示意图；

图2为本申请具体实施例中高空抛物检测方法的具体流程示意图；

图3a和图3b分别为畸变矫正前后的图像帧示例图；

图4a和图4b分别为坐标系转换前后的图像帧示例图；

图5为各图像帧中移动目标的拼接示意图；

图6为本申请中高空抛物检测装置的基本结构示意图；

图7为本申请中提供的电子设备的基本结构示意图。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

现有的高空抛物检测方法，在进行是否为高空抛物的判定时，都是直接对图像坐标系下的移动目标进行运动分析，但是由于采集设备本身导致的图像畸变等因素影响，使得在图像坐标系下对移动目标进行的运动分析结果与实际运动状态可能出现较大偏差，由此会影响高空抛物的检测准确性。

基于上述分析，本申请中提供一种高空抛物检测方法，图1为该方法的基本流程示意图，如图1所示，该方法包括：

步骤101，对设定时间段内的图像帧进行移动目标的跟踪，确定移动目标在图像坐标系下的移动轨迹。

步骤102，确定图像帧的采集设备的内参矩阵和外参矩阵。

内参矩阵是在计算机视觉中用于描述摄像头的光学参数和图像采集规律的一个矩阵，它包含了摄像头的内部参数，如焦距、像元大小、主点位置等，同时也包含了摄像头的几何形变参数，如径向畸变和切向畸变等。可以利用内参矩阵进行图像的畸变矫正。

外参矩阵用于描述摄像头的姿态，具体包括图像坐标系的朝向和原点，可以利用外参矩阵进行图像坐标系与世界坐标系的相互转换。

具体内参矩阵和外参矩阵可以通过相机标定的方式来确定，这里就不再赘述。

或者，本申请还提供一种内参矩阵和外参矩阵的确定方式，利用高空抛物场景中特有的建筑物轮廓直线和有关消失点的特性，来直接利用单个采集设备拍摄的单张图像帧计算采集设备的内参矩阵和外参矩阵。

步骤103，利用内参矩阵和外参矩阵，将移动目标在图像坐标系下的移动轨迹进行畸变矫正后转换到世界坐标系下。

其中，利用内参矩阵对图像坐标系下的移动轨迹进行畸变矫正，再利用外参矩阵将畸变矫正后的移动轨迹转换到世界坐标系下。通过畸变矫正可以克服畸变对于移动轨迹准确性的影响，同时，将畸变矫正后的移动轨迹转换到世界坐标系下，能够反映移动轨迹在真实世界的位置关系。

步骤104，基于世界坐标系下的移动轨迹，识别移动目标是否为高空抛物。

对于世界坐标系下的移动轨迹进行运动分析，由于世界坐标系下的移动轨迹一方面克服了畸变的影响，另一方面反映了真实世界中的具体轨迹特性，例如可以确定轨迹在x轴和y轴方向的特性，从而基于该世界坐标系下的移动轨迹进行的运动分析可以更加准确，再基于分析结果识别对应的移动目标是否为高空抛物，能够有效提高高空抛物的检测准确性。

具体基于该世界坐标系下的移动轨迹进行高空抛物识别的处理，可以采用各种现有方式，例如通过神经网络进行的分类检测处理等。

至此，本申请中高空抛物检测方法的基本流程结束。

上述基本流程，通过移动轨迹的畸变矫正和坐标系转换，能够有效提高高空抛物检测的准确性。在此基础上，为进一步提高检测准确性，可选地，还可以进行如下两类处理：

一、对世界坐标系下的移动轨迹分别进行x轴方向和y轴方向的曲线拟合，并基于x轴方向曲线拟合结果与一次曲线的相关性和y轴方向曲线拟合结果与二次曲线的相关性来进行轨迹过滤；

考虑到抛物运动轨迹在世界坐标系的x轴方向应当是匀速直线运动，也就是在x轴方向符合一次曲线的特性，在世界坐标系的y轴方向应当是匀加速直线运动，也就是在y轴方向符合二次曲线的特性，基于此，本申请中确定移动轨迹在x轴方向的曲线拟合结果与一次曲线的相关性和y轴方向曲线拟合结果与二次曲线的相关性，基于这两个相关性来进行非抛物轨迹的过滤。

二、针对检测到的移动目标，在各个图像帧中确定以移动目标作为前景的掩码图，也就是得到移动轨迹在不同帧中的前景掩码图，为进行抛物识别提供更多的移动目标特征（例如轮廓特征等），将得到的前景掩码图作为相应图像帧的权重，一起输入用于抛物检测的神经网络模型，以向神经网络模型输入更多的移动目标和轨迹特征，为神经网络模型的抛物分类处理提供更多参考信息，进一步提高高空抛物识别的准确性。

下面通过具体实施例说明本申请中高空抛物识别方法的具体实现。在该具体实施例中，采用本申请提供的方法进行采集设备内参矩阵和外参矩阵的确定，并引入曲线拟合和前景掩码图的处理，来进一步提升高空抛物的检测准确性。

图2为本申请具体实施例中高空抛物识别方法的具体流程示意图。如图2所示，该方法包括：

步骤201，对设定时间段内的各个图像帧进行背景建模和移动目标跟踪，确定移动目标在图像坐标系下的移动轨迹。

对于设定时间段内监控的每个当前时刻的图像X中每个像素进行高斯背景建模，获取X中的移动目标位置/>，也就是对图像X进行目标检测。其中，移动目标位置通常是一个区域范围。

基于设定时间段内各个时刻图像帧的目标检测结果，采用跟踪算法进行匹配关联，得到同一个移动目标的跟踪轨迹，轨迹中每个点的信息包括目标位置信息和时间戳。其中，k是时刻索引，m为设定时间段内的图像帧数。

接下来，通过本申请提供的方法确定内参矩阵和外参矩阵。具体地，本申请根基高空抛物场景下建筑的特点，提出一种基于消失点和视场角的畸变矫正方法，根据图像帧中自动检测和人工标注的直线以及建筑的消失点，求解最佳视场角进行畸变矫正，并计算内参矩阵。在确定最佳视场角后，利用高空抛物场景下建筑物轮廓应当垂直于地面的限制条件，推出最佳欧拉角，计算外参矩阵，实现图像坐标系到世界坐标系的转换。本实施例中以高空抛物仰拍整栋建筑的场景为例，说明内参矩阵和外参矩阵的确定方式，具体处理通过下面的步骤202~205进行详细描述。

步骤202，在设定时间段内的图像帧中选择参考图像帧，获取在参考图像帧中识别的直线，并在通过识别的直线计算出的消失点中选择最佳消失点，确定建筑物轮廓直线。

首先在设定时间段内的图像帧中选择参考图像帧，可以选择首帧或任意一帧作为参考图像帧。

与画面成角度的平行线，在透视图中向远方伸延，越远越集中，最后消失在一点，这个点就叫消失点。在高空抛物场景下，通常有高层建筑物，建筑物垂直方向的各种轮廓线（例如墙体轮廓线、窗户轮廓线、墙体上的竖直管线等）通常都是平行线，在采集图像中这些轮廓线往往与画面边缘非平行，因此这些轮廓线的延长线通常会汇聚到消失点，称其为建筑消失点。

本步骤用于在参考图像帧中识别直线（即非曲线），并基于识别出的直线确定若干消失点，从中选择最佳消失点，该最佳消失点是使识别的直线中相交于该最佳消失点指定范围内的直线的长度和最大。具体地，基于消失点原理，各平行的建筑物轮廓直线应当相交于消失点，那么最佳消失点也就是参考图像帧中最接近真实的消失点，则该消失点应当有尽可能多的直线穿过，且穿过该消失点的直线尽可能长，这些都可以增加该消失点作为最佳消失点的可靠性。同时，考虑到直线相交于消失点的允许误差，本申请确定直线相交于消失点是指直线相交于消失点的指定范围即可。基于此，本申请选择最佳消失点时，一方面考虑尽可能多的直线相交于最佳消失点的指定范围内，另一方面考虑相交于最佳消失点指定范围内的直线长度更长。

这里需要对本申请中的“直线”解释一下。本申请中的“直线”是指图像帧中的直的线，也就是非曲线，可以是图像帧中的贯穿画面的直线，也可以是图像帧中的一段直线段，该直线在图像帧中，因此其长度是可以度量的，本申请中的“直线”并不是数学意义上向两端无限延伸、长度无法度量的直线。

为确定最佳消失点，首先在参考图像帧中识别直线。其中直线可以是对参考图像帧进行直线检测或人工标记来确定。直线检测的具体处理可以按照现有方式实现。假定识别出的直线组成直线簇，下面给出最佳消失点的确定方式：

1）在直线簇L中，对于前p条最长的直线中每两条直线组成的直线对，计算直线对所包括两条直线的交点，将该交点作为相应直线对的消失点；

为简化处理，可以按照长度对直线簇中的直线进行排序，并取前p条直线用于计算消失点，即取前p条直线中任意两条和/>计算交点/>，作为消失点。将直线/>和/>称为直线对X。在前p条直线中，每两条直线都可以组成直线对，分别计算直线对所包括两条直线的交点作为消失点，这样可以得到多个消失点，接下来，为每个消失点计算权值。由于每个消失点计算权值的方式都是相同的，所以下面处理的详细描述中都以直线对X的处理为例进行说明。

2）对于每个直线对，基于消失点原理在直线簇中选择有效直线，并将选择出的所有有效直线组成相应直线对对应的有效直线簇；

以直线对X为例，针对直线簇中除直线对X（即直线和/>）外的每条直线/>（以下称为第一当前直线），确定该第一当前直线与消失点/>的相对位置关系。具体地，该位置关系可以如下表示：确定在第一当前直线上的任一点与直线对X的消失点间的连线l _xy ，并计算连线l _xy 与第一当前直线间的夹角/>，作为第一当前直线与消失点/>的相对位置关系。根据消失点原理，/>表示第一当前直线是否能够经过消失点/>的误差，/>越小说明第一当前直线穿过消失点/>的可能性越高。遍历所有第一当前直线，选择夹角/>小于设定阈值的第一当前直线/>作为直线对X对应的有效直线，认为这些直线是经过消失点/>的。

其中，和/>表示第一当前直线/>上的任意两个点(是任意两个点) ，表示这两个点的中点（即前述第一当前直线上的任一点），/>表示消失点坐标。

将直线对X对应的所有有效直线组成有效直线簇。

按照上述方式对每个直线对，选择有效直线，并组成有效直线簇。

3）对于每个直线对，对该直线对对应的有效直线簇中的所有直线计算长度和，将其作为直线对对应的权值；

以直线对X为例，计算有效直线簇中所有直线的长度和，将其作为直线对X对应的权值。

按照上述方式对每个直线对，计算对应的权值。

4）在所有直线对中，选择对应的权值最大的直线对作为最佳直线对，并将最佳直线对的消失点作为最佳消失点。

通过上述处理方式，找到最佳消失点，使得直线簇中相交于最佳消失点指定范围内的直线的长度和最大，也就是保证有尽量多的长直线相交于最佳消失点。

在确定出最佳消失点后，在相交于最佳消失点指定范围内的直线中选择部分或全部直线作为建筑物轮廓直线。也就是说，对于最佳消失点，确定其对应的有效直线簇，可以将有效直线簇中的全部直线作为建筑物轮廓直线，在此基础上还可以将最佳消失点对应的直线对也作为建筑物轮廓直线，用于后续确定最佳视场角。

步骤203，基于最佳消失点，确定最佳视场角。

其中，最佳视场角为使所有建筑物轮廓直线经过最佳消失点的误差和最小的视场角。这里的误差也是类似前述的表示方式。

具体确定最佳视场角的处理可以包括：

1）对于每条建筑物轮廓直线，将视场角作为自变量确定建筑物轮廓直线进行去畸变处理后的第一表达式；

这里，建筑物轮廓直线去畸变后的表达式实际上是指建筑物轮廓直线上的任一点去畸变后的表达式，为与后续其他表达式相区分，将该表达式称为第一表达式。以去鱼眼畸变为例，建筑物轮廓直线上的任一点P去畸变后的第一表达式为；其中，i，j表示建筑物轮廓直线上任一点P去畸变前的像素坐标，W、H分别表示参考图像帧的宽和高，/>表示视场角，/>表示由于畸变像素点P距离画面中心的半径，/>是鱼眼畸变后的折射角，/>和/>分别为点P去畸变后的图像横、纵坐标表达式，这两个表达式统一表述为/>。事实上，对于参考图像帧中的任一点，都可以通过上述第一表达式来表示去畸变后的对应点坐标，最佳消失点也可以利用同样的方式确定去畸变后的表达式。

2）对于每条建筑物轮廓直线，确定在去畸变后的建筑物轮廓直线上的任一点P'与最佳消失点间的第二连线，基于1）中确定的第一表达式，确定第二连线与建筑物轮廓直线间的夹角表达式，作为建筑物轮廓直线对应的夹角表达式；

这里用于确定每条建筑物轮廓直线与最佳消失点间的相对位置关系，该相对位置关系可以与前述第一当前直线与消失点的相对位置关系的确定方式相同，即：确定在去畸变后的建筑物轮廓直线上的任一点P'与去畸变后的最佳消失点间的连线（以下称为第二连线），并计算第二连线与去畸变后的建筑物轮廓直线间的夹角/>；其中，点P'和去畸变后的建筑物轮廓直线上的任意点坐标都可以通过上述第一表达式得到，最佳消失点去畸变后的坐标也可以通过第一表达式来表达，具体表示为/>，也就是这些坐标都可以利用视场角为自变量来表达，进一步根据这些坐标点的表达式可以得出夹角/>的表达式，同样也是以视场角为自变量来表达的。下面将/>简化表达为/>，其中，/>表示去畸变后的建筑物轮廓直线l _i '上点的坐标。夹角/>越小，说明去畸变后的建筑物轮廓直线经过去畸变后的最佳消失点的可能性越大，因此可以认为夹角/>表示去畸变后的建筑物轮廓直线经过去畸变后的最佳消失点的误差。

3）将所有建筑物轮廓直线对应的夹角表达式求和得到求和结果，求解使求和结果最小的视场角，将该视场角作为最佳视场角。

对夹角表达式的求和结果可以表示为，z为建筑物轮廓直线的条数。求解使/>取值最小时的视场角/>，将其作为最佳视场角。具体求解方法可以使用各种已有方式，例如最小二乘法等，本申请对此不作限定。

通过上述方式确定出的使最小的最佳视场角，也就是说，该最佳视场角尽量使去畸变后的建筑物轮廓直线相交于去畸变后的最佳消失点。

步骤204，基于最佳视场角计算内参矩阵。

本步骤的处理按照现有方式进行，例如内参矩阵可以为

。

步骤205，以去畸变后的建筑物轮廓直线垂直于地面为限制条件，基于内参矩阵确定外参矩阵。

其中，确定外参矩阵时以建筑物轮廓直线垂直于地面为限制条件。

具体地，求解外参矩阵也就是求解采集设备的欧拉角，具体可以为偏航角、俯仰角/>和滚转角/>，本实施例中确定外参矩阵的方式具体可以包括：

1）利用欧拉角为自变量确定旋转矩阵的表达式为

；

2）基于旋转矩阵的表达式和内参矩阵确定参考图像帧映射到世界坐标系下的投影矩阵表达式；

3）对每条按照最佳视场角去畸变后的矫正建筑物轮廓直线，基于投影矩阵的表达式，确定矫正建筑物轮廓直线上的任意两点在世界坐标系下的坐标表达式，并基于该两点的坐标表达式计算矫正建筑物轮廓直线在世界坐标系下的斜率表达式；

具体地，将建筑物轮廓直线按照最佳视场角去畸变后的直线称为矫正建筑物轮廓直线l _j ，将去畸变前的建筑物轮廓直线l _j 上的任一点坐标(x,y)代入求解函数计算世界坐标系下投影的直线/>（即矫正建筑物轮廓直线）上的位置坐标/>，其中，/>，/>；选择直线/>上任意两点计算斜率表达式/>。

4）对所有矫正建筑物轮廓直线在世界坐标系下的斜率表达式求和，得到求和结果；求解使斜率表达式求和结果最大的欧拉角，作为采集设备的实际欧拉角；

在实际的高空抛物场景中，建筑物的轮廓直线应当是垂直于地面的，本申请中在确定实际欧拉角时以此为限制条件选择合适的欧拉角。也就是说，矫正建筑物轮廓直线应当垂直于世界坐标系的x轴，在数学关系上可以通过矫正建筑物轮廓直线的斜率来表示矫正建筑物轮廓直线与x轴的关系，当斜率值无限大时表示垂直关系。基于此，本申请中对应各种欧拉角情况，计算所有矫正建筑物轮廓直线的斜率和，斜率和最大值对应的欧拉角也就是所有欧拉角中能够使矫正建筑物轮廓直线最接近垂直于地面的欧拉角，则将其作为实际欧拉角。

5）基于4）中求解得到的欧拉角确定外参矩阵。

步骤206，利用内参矩阵和外参矩阵，将移动目标在图像坐标系下的移动轨迹进行畸变矫正后转换到世界坐标系下。

本步骤的处理采用现有方式实现即可。为后续处理方便，这里可以将设定时间段内各图像帧中的所有像素点进行畸变矫正和坐标系转换，如图3a和图3b所示分别为畸变矫正前后的图像帧，图4a和图4b所示分别为坐标系转换前后的图像帧。

通过上述步骤202~206的处理，根据高空抛物下建筑的特点，通过建筑物轮廓直线来求解最佳视场角进而求解内参矩阵和外参矩阵，不用随着产品相机参数变化而调整内参，也不需要棋盘法等来计算外参，高效地直接算出移动轨迹的世界坐标。且通过计算得到的世界坐标系，相较于其他高空抛物检测方法中使用畸变画面下的像素坐标，运动轨迹更加贴合事实，能更好地识别并过滤其他非抛物事件。

步骤207，对于世界坐标系下的移动轨迹分别进行世界坐标系下的x轴方向和y轴方向的曲线拟合。

具体曲线拟合处理可以按照现有方式实现，可以分别得到x轴方向的曲线拟合结果和y轴方向的曲线拟合结果。这里的x轴和y轴是指世界坐标系下的坐标轴，在下文描述中同样适用。

步骤208，分别计算x轴方向的曲线拟合结果与一次曲线的第一相关性和y轴方向的曲线拟合结果与二次曲线的第二相关性，并基于第一相关性和第二相关性过滤移动轨迹。

本步骤用于根据抛物轨迹特性，对移动轨迹进行过滤。

具体地，考虑到抛物轨迹在x轴方向和y轴方向分别为匀速直线运动和匀加速直线运动，其中，匀速直线运动对应于一次曲线，匀加速直线运动对应于二次曲线，基于此，本实施例中计算x轴方向的曲线拟合结果与一次曲线的第一相关性，也就是确定移动轨迹x轴方向的运动特性与匀速直线运动的相关性大小，如果相关性较小，说明移动轨迹在x轴方向的运动与匀速直线运动不相同；计算y轴方向的曲线拟合结果与二次曲线的第二相关性，也就是确定移动轨迹y轴方向的运动特性与匀加速直线运动的相关性大小，如果相关性较小，说明移动轨迹在y轴方向的运动与匀加速直线运动不相同。其中，计算曲线相关性的处理可以采用各种现有方式，例如F校验法等。

基于上述第一相关性和第二相关性，计算移动轨迹与抛物轨迹的相关性。具体地，可以将第一相关性和第二相关性进行加权求和得到移动轨迹与抛物轨迹的相关性。

若移动轨迹与抛物轨迹的相关性小于预设的抛物阈值，则确定移动目标不是高空抛物，过滤掉本次非抛物事件，结束本方法流程，也可以返回步骤201继续进行下一个设定时间段的图像帧处理。

另外，为进一步对移动轨迹进行过滤，可选地，还可以在进行x轴和y轴的曲线拟合后，基于曲线拟合结果确定x轴和y轴方向的加速度，当x轴方向的加速度大于设定的第一加速度阈值时，确定移动目标不是高空抛物，结束本方法流程，也可以返回步骤201继续进行下一个设定时间段的图像帧处理；当y轴的加速度超过设定的加速度阈值范围时，确定移动目标不是高空抛物，结束本方法流程，也可以返回步骤201继续进行下一个设定时间段的图像帧处理。

具体地，如前所述抛物曲线x轴方向是匀速直线运动，也就是加速度为0，因此如果移动轨迹的x轴方向加速度大于设定的第一加速度阈值（可以基于允许的测量误差确定第一加速度阈值），则认为移动轨迹在x轴方向的运动特性不符合抛物曲线的特性，过滤掉本次抛物事件；同时，如前所述抛物曲线y轴方向是匀加速直线运动，且加速度为g，因此如果移动轨迹的y轴方向加速度超过设定的加速度范围 [g-r,g+r]（r可以是允许的测量误差），则认为移动轨迹在y轴方向的运动特性不符合抛物曲线的特性，也可以过滤掉本次抛物事件。

可选地，还可以计算移动轨迹在相邻两个图像帧中的位置差，当该位置差大于设定的位置差阈值时，确定移动目标不是高空抛物，结束本方法流程，也可以返回步骤201继续进行下一个设定时间段的图像帧处理。具体地，对于抛物轨迹，在连续时间内速度不会出现急速变化，基于此，如果移动轨迹属于抛物轨迹，那么移动轨迹在相邻图像帧中的位置差（也就是相邻图像帧中移动目标的位置差）不会超过一个限度，因此，本实施例中在确定位置差大于设定的位置差阈值时，判定移动目标不是高空抛物。

如上，通过步骤207~208的处理，可以利用对世界坐标系下移动轨迹的曲线拟合，对非抛物事件和移动目标进行过滤。对于曲线拟合结果符合抛物轨迹特性的移动轨迹，继续执行步骤209和210。

步骤209，基于世界坐标系下的移动轨迹，从设定时间段内畸变矫正后的各图像帧中提取移动轨迹在相应图像帧中对应的移动目标，并将提取出的所有移动目标拼接到目标检测帧中。

考虑到在图像帧中可能存在动态的干扰目标，为了进一步提高高空抛物的检测准确性，对步骤208过滤后判定的抛物事件进一步进行误报过滤。

具体地，真实的抛物事件在视频流中应当呈现一条时序的抛物曲线，且抛物目标在视频的不同帧中为同一物体。基于真实抛物事件的上述特性，从设定时间段内畸变矫正后的各图像帧中提取移动轨迹在相应图像帧中对应的移动目标，也就是将各图像帧中检测到的移动目标部分提取出来，并将提取出的所有移动目标拼接到同一帧中，以下将拼接出的帧称为目标检测帧。例如，如图5所示，在进行畸变矫正和坐标转换后的各个图像帧中，灰色小块代表该图像帧中的移动目标，将这些移动目标提取到同一帧，并将该帧裁剪出移动目标所在的部分，生成目标检测帧I₁。其中，目标检测帧可以不包含原图像帧的背景部分。相应的目标检测帧包括设定时间段内各个不同时刻下移动目标的形态和位置信息，即包括不同时间的抛物形态以及该事件的轨迹形状。

步骤210，在各提取移动目标的图像帧中，确定将移动目标作为前景时相应图像帧的掩码图，并将所有掩码图拼接到同一帧，并裁减为与目标检测帧相同大小的目标权重帧。

通过前述步骤201的操作，对各图像帧进行了背景建模和目标检测，基于该背景建模和目标检测结果，可以生成以目标为前景的掩码图。在对设定时间段内的各图像帧进行畸变矫正和转换到世界坐标系时，也可以对各图像帧的掩码图进行相同的畸变矫正和转换到世界坐标系下。进行坐标转换后的掩码图能够表征该帧上移动目标的实际形状和位置，本实施例中，将这些掩码图按照与步骤209所提取移动目标相同的方式进行掩码图中移动目标的提取和拼接，并按照目标检测帧的大小进行裁剪，将裁剪后得到的帧称为目标权重帧，用于作为目标检测帧的权重信息，以携带移动目标的形状等额外信息。

步骤211，将目标检测帧和目标权重帧的像素取值输入用于抛物检测的神经网络，确定移动目标是否为高空抛物。

将目标检测帧和目标权重帧的像素取值输入训练好的用于进行抛物检测的神经网络，利用该神经网络的处理，确定移动目标是否为高空抛物。具体神经网络可以采用各类现有分类网络结构来实现，例如深度学习网络等。具体神经网络的训练可以按照现有方式进行，这里就不再赘述。由于本实施例中神经网络的输入增加了目标权重帧，因此为神经网络的抛物判定提供了更多参考信息，例如移动目标的详细形状等，于是可以进一步提高高空抛物的检测准确性。

至此，图2所示具体实施例中的高空抛物检测方法流程结束。由上述具体实施例的处理可见，本申请提出了在画面畸变矫正基础上，利用建筑的轮廓直线直接求取世界坐标的方法，无需相机参数和外参标定，且相较于像素坐标，利用世界坐标对抛物轨迹进行运动分析将更加准确；同时，对跟踪轨迹进行了x和y方向的运动分析，分别对整体加速度和每一分段的距离进行了筛选，可过滤大部分由于跟踪误关联使得运动并不连贯的非抛物事件，再利用曲线拟合轨迹，确定移动轨迹与抛物轨迹的相关性，由此过滤掉轨迹非抛物线的干扰目标；进一步地，本申请还针对抛物的轨迹进行了拼接，使得神经网络输入中包含更多的抛物信息，并利用背景建模生成掩码图作为权重输入神经网络，从而使后续神经网络进行特征提取时，能更好的提取输入中轨迹和抛物的图像特征，进一步过滤误报，提高检测准确性。

上述即为本申请中高空抛物检测方法的具体实现。本申请还提供了一种高空抛物的检测装置，可以用于实现上述高空抛物检测方法。图6为本申请中高空抛物检测装置的基本结构示意图。如图6所示，该装置包括：目标检测单元、矩阵计算单元、坐标转换单元和抛物识别单元。

其中，目标检测单元，用于对设定时间段内的图像帧进行移动目标的跟踪，确定移动目标在图像坐标系下的移动轨迹；

矩阵计算单元，确定图像帧的采集设备的内参矩阵和外参矩阵；

坐标转换单元，用于利用内参矩阵和所述外参矩阵，将移动目标在图像坐标系下的移动轨迹进行畸变矫正后转换到世界坐标系下；

抛物识别单元，用于基于世界坐标系下的移动轨迹，识别移动目标是否为高空抛物。

为简化内参矩阵和外参矩阵的确定，可选地，矩阵计算单元可以包括最佳消失点确定子单元、内参矩阵计算子单元和外参矩阵计算子单元；

最佳消失点确定子单元，用于在设定时间段内的图像帧中选择参考图像帧；还用于获取在参考图像帧中识别的直线，并在通过所述识别的直线计算出的消失点中选择最佳消失点；其中，最佳消失点使所述识别的直线中相交于最佳消失点指定范围内的直线的长度和最大，且在相交于所述最佳消失点指定范围内的直线中选择部分或全部直线作为建筑物轮廓直线；

内参矩阵计算子单元，用于基于最佳消失点，确定最佳视场角，并基于最佳视场角计算内参矩阵；其中，最佳视场角为使所有去畸变后的建筑物轮廓直线经过去畸变后的最佳消失点的误差和最小的视场角；

外参矩阵计算子单元，用于基于内参矩阵确定外参矩阵；其中，外参矩阵保证去畸变后的建筑物轮廓直线垂直于地面。

可选地，在最佳消失点确定子单元中，确定最佳消失点的方式，具体可以包括：

在参考图像帧中识别的直线组成的直线簇中，对于前p条最长的直线中每两条直线组成的直线对，计算直线对的交点，将交点作为直线对的消失点；其中，p为预设的正整数；

对于每个直线对，基于消失点原理在直线簇中选择有效直线，并将选择出的所有有效直线组成直线对对应的有效直线簇；

对于每个直线对，对该直线对对应的有效直线簇中的所有直线计算长度和，将其作为直线对对应的权值；

在所有直线对中，选择对应的权值最大的直线对作为最佳直线对，并将最佳直线对的消失点作为最佳消失点。

可选地，在最佳消失点确定子单元中，对于每个直线对基于消失点原理在直线簇中选择有效直线的处理，具体可以包括：

针对直线簇中除直线对外的每条第一当前直线，确定在第一当前直线上的任一点与直线对的消失点间的第一连线，并计算第一连线与第一当前直线间的夹角；选择夹角小于设定阈值的所述第一当前直线，作为直线对对应的有效直线。

可选地，将最佳直线对对应的有效直线簇中的直线作为建筑物轮廓直线。

可选地，在内参矩阵计算子单元中，基于最佳消失点确定最佳视场角的处理，具体可以包括：

对于每条建筑物轮廓直线，将视场角作为自变量确定建筑物轮廓直线进行去畸变处理后的第一表达式，并确定在去畸变后的建筑物轮廓直线上的任一点与去畸变后的最佳消失点间的第二连线，基于第一表达式，确定第二连线与去畸变后的建筑物轮廓直线间的夹角表达式，作为建筑物轮廓直线对应的夹角表达式；

将所有建筑物轮廓直线对应的夹角表达式求和得到求和结果，求解使求和结果最小的视场角，将该视场角作为最佳视场角。

可选地，在外参矩阵计算子单元中，基于内参矩阵确定外参矩阵的处理，具体可以包括：

以采集设备的欧拉角作为自变量，确定采集设备的旋转矩阵的表达式；

基于旋转矩阵的表达式和内参矩阵，确定参考图像帧映射到世界坐标系下的投影矩阵表达式；

对每条按照最佳视场角去畸变后的矫正建筑物轮廓直线，基于投影矩阵的表达式，确定矫正建筑物轮廓直线上的任意两点在世界坐标系下的坐标表达式，并基于坐标表达式计算矫正建筑物轮廓直线在世界坐标系下的斜率表达式；

对所有矫正建筑物轮廓直线在世界坐标系下的斜率表达式求和，求解使斜率表达式求和结果最大的欧拉角；

基于求解得到的欧拉角确定外参矩阵。

为进一步提高高空抛物的检测准确性，可选地，在抛物识别单元中，识别移动目标是否为高空抛物的处理，具体可以包括：

对于世界坐标系下的移动轨迹分别进行世界坐标系下的x轴方向和y轴方向的曲线拟合；

计算x轴方向的曲线拟合结果与一次曲线的第一相关性，并计算y轴方向的曲线拟合结果与二次曲线的第二相关性；

基于第一相关性和第二相关性确定移动轨迹与抛物轨迹的相关性；

若移动轨迹与抛物轨迹的相关性小于预设的抛物阈值，则确定移动目标不是高空抛物，结束本方法流程；否则，将世界坐标系下的移动轨迹输入用于抛物检测的神经网络，确定移动目标是否为高空抛物。

为进一步提高高空抛物的检测准确性，可选地，抛物识别单元在进行曲线拟合后，进一步用于：

当基于x轴方向的曲线拟合结果确定移动目标在x轴方向的加速度大于设定的第一加速度阈值时，确定移动目标不是高空抛物，结束本方法流程；

和/或，

当基于y轴方向的曲线拟合结果确定移动目标在y轴方向的加速度超过设定的加速度阈值范围时，确定移动目标不是高空抛物，结束本方法流程；

和/或，

当移动轨迹在相邻两个图像帧中的位置差大于设定的位置差阈值时，确定移动目标不是高空抛物，结束本方法流程。

为进一步提高高空抛物的检测准确性，可选地，在抛物识别单元中，识别移动目标是否为高空抛物的处理，具体可以包括：

基于世界坐标系下的移动轨迹，从设定时间段内畸变矫正且转换到世界坐标系后的各图像帧中提取移动轨迹在相应图像帧中对应的移动目标，并将提取出的所有移动目标拼接到目标检测帧中；

在各图像帧中，确定将移动目标作为前景时相应图像帧的掩码图；

将各图像帧的掩码图拼接到同一帧，并裁减为与目标检测帧相同大小的目标权重帧；

将目标检测帧和所述目标权重帧的像素取值输入用于抛物检测的神经网络，确定移动目标是否为高空抛物。

本申请还提供一种计算机可读存储介质，该计算机可读存储介质存储指令，指令在由处理器执行时可执行如上所述实现高空抛物检测方法中的步骤。实际应用中，计算机可读介质可以是上述实施例各设备/装置/系统所包含的，也可以是单独存在，而未装配入该设备/装置/系统中。其中，在计算机可读存储介质中存储指令，其存储的指令在由处理器执行时可执行如上所述高空抛物检测方法中的步骤。

根据本申请公开的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件，或者上述的任意合适的组合，但不用于限制本申请保护的范围。在本申请公开的实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

图7为本申请还提供的一种电子设备。如图7所示，其示出了本申请实施例所涉及的电子设备的结构示意图，具体来讲：

该电子设备可以包括一个或一个以上处理核心的处理器701、一个或一个以上计算机可读存储介质的存储器702以及存储在存储器上并可在处理器上运行的计算机程序。在执行所述存储器702的程序时，可以实现高空抛物检测方法。

具体的，实际应用中，该电子设备还可以包括电源703、输入输出单元704等部件。本领域技术人员可以理解，图7中示出的电子设备的结构并不构成对该电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：

处理器701是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器702内的软件程序和/或模块，以及调用存储在存储器702内的数据，执行服务器的各种功能和处理数据，从而对该电子设备进行整体监控。

存储器702可用于存储软件程序以及模块，即上述计算机可读存储介质。处理器701通过运行存储在存储器702的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器702可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器702还可以包括存储器控制器，以提供处理器701对存储器702的访问。

该电子设备还包括给各个部件供电的电源703，可以通过电源管理系统与处理器701逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源703还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该电子设备还可包括输入输出单元704，该输入单元输出704可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学信号输入。该输入单元输出704还可以用于显示由用户输入的信息或提供给用户的信息以及各种图像用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种高空抛物的检测方法，其特征在于，包括：

对设定时间段内的图像帧进行移动目标的跟踪，确定所述移动目标在图像坐标系下的移动轨迹；

确定所述图像帧的采集设备的内参矩阵和外参矩阵；

利用所述内参矩阵和所述外参矩阵，将所述移动目标在图像坐标系下的移动轨迹进行畸变矫正后转换到世界坐标系下；

基于世界坐标系下的移动轨迹，识别所述移动目标是否为高空抛物。

2.根据权利要求1所述的方法，其特征在于，所述确定所述图像帧的采集设备的内参矩阵和外参矩阵，包括：

在所述设定时间段内的图像帧中选择参考图像帧；

获取在所述参考图像帧中识别的直线，并在通过所述识别的直线计算出的消失点中选择最佳消失点；其中，所述最佳消失点使所述识别的直线中相交于所述最佳消失点指定范围内的直线的长度和最大，且在所述相交于所述最佳消失点指定范围内的直线中选择部分或全部直线作为建筑物轮廓直线；

基于所述最佳消失点，确定最佳视场角；其中，所述最佳视场角为使所有去畸变后的建筑物轮廓直线经过去畸变后的最佳消失点的误差和最小的视场角；

基于所述最佳视场角计算所述内参矩阵；

基于所述内参矩阵确定所述外参矩阵；其中，所述外参矩阵保证去畸变后的建筑物轮廓直线垂直于地面。

3.根据权利要求2所述的方法，其特征在于，确定所述最佳消失点的方式，包括：

在所述参考图像帧中识别的直线组成的直线簇中，对于前p条最长的直线中每两条直线组成的直线对，计算所述直线对的交点，将所述交点作为所述直线对的消失点；其中，所述p为预设的正整数；

对于每个所述直线对，基于消失点原理在所述直线簇中选择有效直线，并将选择出的所有有效直线组成所述直线对对应的有效直线簇；

对于每个所述直线对，对该直线对对应的有效直线簇中的所有直线计算长度和，将其作为所述直线对对应的权值；

在所有直线对中，选择对应的权值最大的直线对作为最佳直线对，并将所述最佳直线对的消失点作为所述最佳消失点。

4.根据权利要求3所述的方法，其特征在于，所述对于每个所述直线对基于消失点原理在所述直线簇中选择有效直线，包括：

针对所述直线簇中除所述直线对外的每条第一当前直线，确定在所述第一当前直线上的任一点与所述直线对的消失点间的第一连线，并计算所述第一连线与所述第一当前直线间的夹角；选择所述夹角小于设定阈值的所述第一当前直线，作为所述直线对对应的有效直线。

5.根据权利要求3所述的方法，其特征在于，将所述最佳直线对对应的有效直线簇中的直线作为所述建筑物轮廓直线。

6.根据权利要求1或5所述的方法，其特征在于，所述基于所述最佳消失点确定最佳视场角，包括：

对于每条建筑物轮廓直线，将视场角作为自变量确定所述建筑物轮廓直线进行去畸变处理后的第一表达式，并确定在去畸变后的所述建筑物轮廓直线上的任一点与去畸变后的所述最佳消失点间的第二连线，基于所述第一表达式，确定所述第二连线与去畸变后的所述建筑物轮廓直线间的夹角表达式，作为所述建筑物轮廓直线对应的夹角表达式；

将所有所述建筑物轮廓直线对应的夹角表达式求和得到求和结果，求解使所述求和结果最小的视场角，将该视场角作为所述最佳视场角。

7.根据权利要求2所述的方法，其特征在于，所述基于所述内参矩阵确定所述外参矩阵，包括：

以所述采集设备的欧拉角作为自变量，确定所述采集设备的旋转矩阵的表达式；

基于所述旋转矩阵的表达式和所述内参矩阵，确定所述参考图像帧映射到世界坐标系下的投影矩阵表达式；

对每条按照所述最佳视场角去畸变后的矫正建筑物轮廓直线，基于所述投影矩阵的表达式，确定所述矫正建筑物轮廓直线上的任意两点在世界坐标系下的坐标表达式，并基于所述坐标表达式计算所述矫正建筑物轮廓直线在世界坐标系下的斜率表达式；

对所有矫正建筑物轮廓直线在世界坐标系下的斜率表达式求和，求解使斜率表达式求和结果最大的欧拉角；

基于求解得到的欧拉角确定所述外参矩阵。

8.根据权利要求1或2所述的方法，其特征在于，所述识别所述移动目标是否为高空抛物，包括：

对于所述世界坐标系下的移动轨迹分别进行世界坐标系下的x轴方向和y轴方向的曲线拟合；

计算所述x轴方向的曲线拟合结果与一次曲线的第一相关性，并计算所述y轴方向的曲线拟合结果与二次曲线的第二相关性；

基于所述第一相关性和所述第二相关性确定所述移动轨迹与抛物轨迹的相关性；

若所述移动轨迹与抛物轨迹的相关性小于预设的抛物阈值，则确定所述移动目标不是高空抛物，结束本方法流程；否则，将所述世界坐标系下的移动轨迹输入用于抛物检测的神经网络，确定所述移动目标是否为高空抛物。

9.根据权利要求8所述的方法，其特征在于，在进行所述曲线拟合后，该方法进一步包括：

当基于所述x轴方向的曲线拟合结果确定所述移动目标在所述x轴方向的加速度大于设定的第一加速度阈值时，确定所述移动目标不是高空抛物，结束本方法流程；

和/或，

当基于所述y轴方向的曲线拟合结果确定所述移动目标在所述y轴方向的加速度超过设定的加速度阈值范围时，确定所述移动目标不是高空抛物，结束本方法流程；

和/或，

当所述移动轨迹在相邻两个图像帧中的位置差大于设定的位置差阈值时，确定所述移动目标不是高空抛物，结束本方法流程。

10.根据权利要求1或2所述的方法，其特征在于，所述识别所述移动目标是否为高空抛物，包括：

基于所述世界坐标系下的移动轨迹，从所述设定时间段内畸变矫正且转换到世界坐标系后的各图像帧中提取所述移动轨迹在相应图像帧中对应的移动目标，并将提取出的所有移动目标拼接到目标检测帧中；

在所述各图像帧中，确定将所述移动目标作为前景时相应图像帧的掩码图；

将所述各图像帧的掩码图拼接到同一帧，并裁减为与所述目标检测帧相同大小的目标权重帧；

将所述目标检测帧和所述目标权重帧的像素取值输入用于抛物检测的神经网络，确定所述移动目标是否为高空抛物。

11.一种高空抛物的检测装置，其特征在于，包括：目标检测单元、矩阵计算单元、坐标转换单元和抛物识别单元；

所述目标检测单元，用于对设定时间段内的图像帧进行移动目标的跟踪，确定所述移动目标在图像坐标系下的移动轨迹；

所述矩阵计算单元，确定所述图像帧的采集设备的内参矩阵和外参矩阵；

所述坐标转换单元，用于利用所述内参矩阵和所述外参矩阵，将所述移动目标在图像坐标系下的移动轨迹进行畸变矫正后转换到世界坐标系下；

所述抛物识别单元，用于基于世界坐标系下的移动轨迹，识别所述移动目标是否为高空抛物。

12.根据权利要求11所述的装置，其特征在于，所述矩阵计算单元包括最佳消失点确定子单元、内参矩阵计算子单元和外参矩阵计算子单元；

所述最佳消失点确定子单元，用于在所述设定时间段内的图像帧中选择参考图像帧；还用于获取在所述参考图像帧中识别的直线，并在通过所述识别的直线计算出的消失点中选择最佳消失点；其中，所述最佳消失点使所述识别的直线中相交于所述最佳消失点指定范围内的直线的长度和最大，且在所述相交于所述最佳消失点指定范围内的直线中选择部分或全部直线作为建筑物轮廓直线；

所述内参矩阵计算子单元，用于基于所述最佳消失点，确定最佳视场角，并基于所述最佳视场角计算所述内参矩阵；其中，所述最佳视场角为使所有去畸变后的建筑物轮廓直线经过去畸变后的最佳消失点的误差和最小的视场角；

所述外参矩阵计算子单元，用于基于所述内参矩阵确定所述外参矩阵；其中，所述外参矩阵保证去畸变后的建筑物轮廓直线垂直于地面。

13.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述指令被处理器执行时可实现权利要求1~10任一项所述的高空抛物的检测方法。

14.一种电子设备，其特征在于，该电子设备至少包括计算机可读存储介质，还包括处理器；

所述处理器，用于从所述计算机可读存储介质中读取可执行指令，并执行所述指令以实现上述权利要求1~10任一项所述的高空抛物的检测方法。