CN114359411A - 泳池防溺水目标检测方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明实施例公开了泳池防溺水目标检测方法、装置、计算机设备及存储介质。方法包括：获取多个相机所拍摄的图像，确定参考相机图像以及待配准相机图像；计算两个相机的相对位姿；建立全局统一世界坐标系；确定各个相机的空间位姿；根据各个相机的空间位姿拼接各个相机的图像；计算泳池水面在空间中的平面坐标方程；对图像进行预处理；对处理结果进行人头目标检测，以得到不同相机下的人头框；确定人头空间位置；计算人头空间位置到水平面的距离以及位于水平面法向量的方向；确定人头位置与水面的关系。通过实施本发明实施例的方法可实现将多个相机的空间融合，自动监管泳池人体的人头与水面的位置关系，提高监管效率和防溺水监管准确率。

Description

泳池防溺水目标检测方法、装置、计算机设备及存储介质

技术领域

本发明涉及目标检测方法，更具体地说是指泳池防溺水目标检测方法、装置、计算机设备及存储介质。

背景技术

随着体育事业的发展，人们参加体育活动的热情也越来越高涨，而作为热门运动项目之一的游泳却成为安全事故最高发的运动。根据卫生部公布的不完全统计数据，我国大约每年有5.7万人死于溺水事故，其中青少年占比达到56.04％，成为了青少年死亡的第一致因，且中国的溺水死亡率为全球最高。

目前大部分游泳场馆运营的运营方式是基于传统人工模式运营，包括在进行防溺水监管时，也是由救生员位于高位俯瞰监管整个泳池的形式，但是由于泳池内目标检测问题的主要背景是水，游泳者运动时泳池内的水就会产生波动日光与灯光照射在水面上会产生反光，这种反光难以通过预处理技术去除，此外反光的位置随着水面波动也会不断变化；游泳者的年龄跨度很广，泳池岸边以及泳池内的人会出现各种各样的动作行为，并且游泳者在水面以下的部分受到水的折射、浑浊程度以及波动的影响，难以观测；泳池岸边会出现多种设施与杂物比如看台、救生设备、训练设以及游泳者个人物品等，泳池内也会出现多种漂浮物比如泳道线与训练设备等多种影响因素，导致人工监管的方式存在准确率不高的问题。

现有的技术通过在泳池四周和底部安装水下摄像头，通过算法判断泳客的动作是否正常游泳或是在处于溺水挣扎的状态。但是，安装的摄像头的个数大多为一个，虽然也有存在多个摄像头拍摄泳池四周和底部的情况，但是在进行算法分析时，均是针对单个摄像头拍摄的内容进行单独分析，这种方式存在监控死角的问题，导致防溺水的监管准确率不高。

因此，有必要设计一种新的方法，实现将多个拍摄泳池水面的相机所拍摄的内容进行空间融合，自动监管泳池人体的人头与水面的位置关系，提高监管效率和防溺水监管准确率。

发明内容

本发明的目的在于克服现有技术的缺陷，提供泳池防溺水目标检测方法、装置、计算机设备及存储介质。

为实现上述目的，本发明采用以下技术方案：泳池防溺水目标检测方法，包括：

获取多个相机所拍摄的图像，并确定参考相机图像以及待配准相机图像；

标定参考相机以及待配准相机的内参；

对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；

计算参考相机以及待配准相机之间的相对位姿；

通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；

确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；

根据各个相机的空间位姿拼接各个相机的图像，以得到总图像；

根据所述总图像计算泳池水面在空间中的平面坐标方程，以得到水平面的空间表达式；

对所述图像进行预处理，以得到处理结果；

对所述处理结果进行人头目标检测，以得到不同相机下的人头框；

根据不同相机下的人头框进行多相机人头位置的匹配，以得到人头空间位置；

根据水平面的空间表达式计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果；

根据所述计算结果确定人头位置与水面的关系。

其进一步技术方案为：所述计算参考相机以及待配准相机之间的相对位姿，包括：

根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。

其进一步技术方案为：所述根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿，包括：

根据所述矫正结果计算将局部世界坐标系下的3d点投影到二维像素平面的像素误差；

根据所述矫正结果计算参考相机以及待配准相机的像素平面中匹配点对的重投影误差；

根据所述矫正结果计算待配准相机投影的端点到由实际端点连接而成的直线的垂直距离，得到两个新的距离误差；

根据所述像素误差、所述重投影误差以及两个新的距离误差进行求和，并通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。

其进一步技术方案为：所述根据所述总图像计算泳池水面在空间中的平面坐标方程，以得到水平面的空间表达式，包括：

对所述总图像进行掩膜掩码，并提取相机所拍摄的图像的水平面特征点，以得到特征点；

确定所述特征点的三维坐标；

构建空间表达式，并利用所述特征点的三维坐标进行空间表达式的优化，以得到水平面的空间表达式。

其进一步技术方案为：所述水平面的空间表达式为Ax+By+Cz＝D，其中，

e_i为残差。

其进一步技术方案为：所述根据不同相机下的人头框结合各个相机的空间位姿进行多相机人头位置的匹配，以得到人头空间位置，包括：

借助泳道的自然区域划分和根据各个相机的空间位姿确定的相机朝向的先验信息，将人头框的像素映射到其他相机的像素平面的某一区域，以得到目标区域；

根据多个相机的区域置信度先验，确定各个相机在所述目标区域下检测到人头的置信度；

筛选置信度最高的三个相机，并确定相机的朝向先验，以得到目标相机；

细致化划分所述目标区域及所述目标区域的邻域，检索所述目标相机对应的人头框；

确定所述目标相机对应的人头框在统一空间坐标系的三维坐标，以得到人头空间位置。

其进一步技术方案为：所述计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果，包括：

根据所述人头空间位置和水平面的空间表达式，计算人头到水平面的距离以及位于水平面法向量的方向，以得到计算结果。

本发明还提供了泳池防溺水目标检测装置，包括：

图像获取单元，用于获取多个相机所拍摄的图像，并确定参考相机图像以及待配准相机图像；

内参标定单元，用于标定参考相机以及待配准相机的内参；

第一预处理单元，用于对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；

位姿计算单元，用于计算参考相机以及待配准相机之间的相对位姿；

关联单元，用于通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；

位置确定单元，用于确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；

拼接单元，用于根据各个相机的空间位姿拼接各个相机的图像，以得到总图像；

表达式确定单元，用于根据所述总图像计算泳池水面在空间中的平面坐标方程，以得到水平面的空间表达式；

第二预处理单元，用于对所述图像进行预处理，以得到处理结果；

人头检测单元，用于对所述处理结果进行人头目标检测，以得到不同相机下的人头框；

人头匹配单元，用于根据不同相机下的人头框进行多相机人头位置的匹配，以得到人头空间位置；

计算单元，用于根据水平面的空间表达式计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果；

关系确定单元，用于根据所述计算结果确定人头位置与水面的关系。

本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。

本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。

本发明与现有技术相比的有益效果是：本发明通过多相机标定获得相机内外参，进行不同相机之间的空间映射，实现多相机的空间融合，并计算泳池水面在空间中的平面坐标方程；在多相机空间融合基础上，将不同相机下检测到的人头框进行匹配，计算人头的空间位置，判断其相对于水面的位置，实现将多个拍摄泳池水面的相机所拍摄的内容进行空间融合，自动监管泳池人体的人头与水面的位置关系，提高监管效率和防溺水监管准确率。

下面结合附图和具体实施例对本发明作进一步描述。

附图说明

为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的泳池防溺水目标检测方法的应用场景示意图；

图2为本发明实施例提供的泳池防溺水目标检测方法的流程示意图；

图3为本发明实施例提供的多相机空间融合方法的子流程示意图；

图4为本发明实施例提供的多相机空间融合方法的子流程示意图；

图5为本发明实施例提供的多相机的布局示意图；

图6为本发明实施例提供的多相机空间融合方法的子流程示意图；

图7为本发明实施例提供的多相机空间融合方法的子流程示意图；

图8为本发明实施例提供的人头空间位置确定的示意图；

图9为本发明实施例提供的泳池防溺水目标检测装置的示意性框图；

图10为本发明实施例提供的计算机设备的示意性框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

请参阅图1和图2，图1为本发明实施例提供的泳池防溺水目标检测方法的应用场景示意图。图2为本发明实施例提供的泳池防溺水目标检测方法的示意性流程图。该泳池防溺水目标检测方法应用于服务器中。该服务器与多个相机以及终端进行数据交互，多个相机架设在泳池水面上，并拍摄对应的图像，多个相机的图像以参考相机图像和待配准相机图像的形式组合输入至服务器，比如相机1作为参考相机，相机2作为待配准相机；相机3作为参考相机，相机1作为待配准相机；相机2作为参考相机，相机3作为待配准相机，以此种形式输入至服务器内，服务器通过多相机标定获得相机内外参，然后进行不同相机之间的空间映射，实现多相机的空间融合，并结合泳池水面空间表达式和多相机空间映射关系，能够判断人头位置是位于水上还是水下，并将结果输出至终端显示。

图2是本发明实施例提供的泳池防溺水目标检测方法的流程示意图。如图2所示，该方法包括以下步骤S110至S150。

S110、获取多个相机所拍摄的图像，并确定参考相机图像以及待配准相机图像；

在本实施例中，参考相机图像是指作为参考的相机所拍摄的图像，待配准相机图像是指作为待配准相机所拍摄的图像；多个相机中任何相机都可以作为其他相机的参考相机，也可作为其他参考相机的待配准相机。

在本实施例中，图像是指由多个架设在水面上的相机拍摄泳池水面所得的图像。

S120、标定参考相机以及待配准相机的内参。

在本实施例中，内参是指相机的内参。

具体地，通过张正友标定法获取参考相机以及待配准相机的内参。

S130、对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系。

在本实施例中，局部世界坐标系是指根据参考相机以及待配准相机定义的坐标系。

在一实施例中，请参阅图3，上述的步骤S130可包括步骤S131～S132。

S131、对所述参考相机图像以及所述待配准相机图像进行矫正图像畸变，以得到矫正结果。

在本实施例中，矫正结果是指对所述参考相机图像以及所述待配准相机图像进行矫正图像去除畸变后得到的图像。

S132、按照两个相机为一组，定义局部世界坐标系。

具体地，定义了一个米制尺度的局部世界坐标系w，即棋盘格左上角的角点为x-y平面的原点，棋盘格所在平面为z＝1的平面，棋盘格所在平面为z＝1的平面。由于该坐标系有真实的尺度，系统很容易获取棋盘格角点的三维坐标，通过匹配的棋盘格角点和将局部坐标系下3d点投影到二维像素平面的像素误差的计算公式，能够为相机外参和特征点逆深度的优化问题提供可度量的尺度约束。除了棋盘格角点外，系统还提取了SIFT特征点和泳池里的所有线段特征，为基于图优化的相机外参和特征点逆深度的优化问题提供更加丰富的约束，使得优化得到的几何变换R_c1-w，t_c1-w，R_c2-w，t_c2-w和特征点深度λ更加鲁棒。

S140、计算参考相机以及待配准相机之间的相对位姿。

在本实施例中，相对位姿是指参考相机以及待配准相机在对应的局部世界坐标系下的相对位置。

具体地，根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。

在一实施例中，请参阅图4，上述的步骤S140可包括步骤S141～S144。

S141、根据所述矫正结果计算将局部世界坐标系下的3d点投影到二维像素平面的像素误差。

S142、根据所述矫正结果计算参考相机以及待配准相机的像素平面中匹配点对的重投影误差。

在本实施例中，优化问题的具体约束如下所示，其中h[.]表示将三维点转为三维齐次坐标，g{.}表示将三维齐次坐标转为二维坐标，f(.)将二维像素坐标(u，v)转为三维齐次坐标(u，v，1)，e_3d′、e_3d″、e_2d分别表示3种投影残差，其维度分别为2*1，2*1，2*1。e_3d′和e_3d″表示将局部坐标系下3d点投影到二维像素平面的像素误差，e_2d表示2个相机像素平面中匹配点对的重投影误差。具体计算如下：

其中，K、R和t分别表示3*3的相机内参矩阵、3*3的旋转矩阵、3*1的平移向量，下标代表所在坐标系，例如R_c1-w表示从世界坐标系w到相机坐标系c1的旋转，t_c2-w表示从世界坐标系w到相机坐标系c2的平移，矩阵的上标-1表示矩阵的逆。P、X和Y表示点的坐标，上标为则2d-un表示是去畸变的二维像素点，下标c1和c2表示该点是对应相机坐标系上的像素点。

S143、根据所述矫正结果计算待配准相机投影的端点到由实际端点连接而成的直线的垂直距离，得到两个新的距离误差。

具体地，给定

和

表示c1相机坐标系下第j个线特征的端点，通过

和

计算X_w，j和Y_w，j，X_w，j和Y_w，j分别表示二维像素点

和

在世界坐标系w下的三维空间点，然后通过

和

投影到c2相机坐标系下得到齐次坐标

和

从而计算直线的线特征参数

而从c2相机获取的图片上直接计算得到第j个线特征端点为

和

然后分别计算投影的端点

和

到由实际端点

知

连接而成的直线的垂直距离，得到两个新的距离误差

和

其中，c2相机为待配准相机；c1相机为参考相机。

S144、根据所述像素误差、所述重投影误差以及两个新的距离误差进行求和，并通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。

具体地，将所述像素误差、所述重投影误差以及两个新的距离误差这5种误差求和可以融合直线匹配和特征点匹配的约束，通过最小化误差和可以分别计算得到的每一对相机在人为定义的世界坐标系w下的姿态。

S150、通过所述相对位姿关联多个相机，以建立全局统一世界坐标系。

在本实施例中，全局统一世界坐标系是指所有相机都参照的空间坐标系。

确定参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿，便能够计算得到各个相机之间的几何变换，从而建立一个全局统一的世界坐标系W。

S160、确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿。

在本实施例中，各个相机的空间位姿是指全局统一世界坐标系下的各个相机的位置。通过人为定义1号相机为世界坐标系W的原点，即位姿为单位矩阵R_{c1_w}＝E和t_{c1_w}＝(0，0，0)^T。随后，根据1和2号相机之间的相对位姿R_{c1_c2}和t_{c1_c2}，计算得到2号相机在W中的位姿R_{c2_w}＝R_{c1_c2} ^T和t_{c1_w}＝-R_{c1_c2} ^T*t_{c1_c2}。多次重复，从而分别得到多个相机在W中的位姿。

S170、根据各个相机的空间位姿拼接各个相机的图像，以得到总图像。

具体地，确定各相机在全局统一世界坐标系下的各个相机的位置。通过各相机全局统一世界坐标系下的各个相机的位置，能够融合拼接各相机的画面，从而实现了多个相机的空间融合。

如图5所示，在多相机空间融合中，系统为两两相机之间定义了一个局部的世界坐标系w，用来计算两个相机之间的相对位姿。然后可以通过相机之间的相对位姿，关联6个相机，建立一个全局统一的空间坐标系W，以确定各个相机在全局统一的空间坐标系W的位置，并根据位置进行图像拼接。

通过参考相机图像以及待配准相机图像标定两个相机的内参，并进行图像预处理，构建局部世界坐标系，计算局部世界坐标系下的两个相机的相对位姿，以此关联多个相机，构建全局统一世界坐标系，确定各个相机在全局统一的空间坐标系的位置，并根据位置进行图像拼接，实现将多个拍摄泳池水面的相机所拍摄的内容进行空间融合，以实现对泳池全方位的监管，提高防溺水的监管准确率。

S180、根据所述总图像计算泳池水面在空间中的平面坐标方程，以得到水平面的空间表达式。

在本实施例中，水平面的空间表达式是指泳池水面在空间中的平面坐标方程，该空间是指全局统一世界坐标系下的空间。

在一实施例中，请参阅图6，上述的步骤S180可包括步骤S181～S183。

S181、对所述总图像进行掩膜掩码，并提取相机所拍摄的图像的水平面特征点，以得到特征点。

在本实施例中，特征点是指相机拍摄的图像中的水平面特征点。

S182、确定所述特征点的三维坐标。

由于前面的多相机空间融合步骤，已经得到各个相机姿态之间的变换矩阵，即各个相机的空间位姿。因此，对图像增加mask掩码，提取和匹配两个相机图像的水平面特征点之后，能够通过三角化得到特征点的三维坐标，并且三维坐标的尺度和相机间的相对位姿的尺度保持一致，即真实的米制尺度。

S183、构建空间表达式，并利用所述特征点的三维坐标进行空间表达式的优化，以得到水平面的空间表达式。

在本实施例中，所述水平面的空间表达式为Ax+By+Cz＝D，其中，

e_i为残差。

通过不共线的3个及以上的特征点的三维坐标能够拟合水平面，水平面的数学表达式为Ax+By+Cz＝D。然而，由于泳池内相机两两之间视差大，泳池水平面环境相似，得到的匹配点对大部分是错误的，用RANSAC算法对SIFT特征匹配筛选时，无法筛选得到正确的匹配点对。通过人在回路的思想，可以筛选得到正确的匹配点对，从而恢复出特征点的空间坐标。然而，由于泳池内相机两两之间视差大，相机距离水面远，因此远距离的水面点恢复出来的空间坐标存在误差，导致最终的拟合的平面参数存在误差。

为了提高平面拟合精度，构造了一个优化问题。由于多个相机能共视平面，通过平面点(x_i，y_i，z_i)到平面的距离应为0，系统构建了一个优化问题，其残差为e_i＝A*x_i+B*y_i+C*z_i-D，优化平面参数。以(A，B，C，D)作为参数，则泳池水平面计算就是在水面上提取n个匹配的特征点，根据计算得其三维坐标，通过最小化下面公式来优化水平面参数

S190、对所述图像进行预处理，以得到处理结果。

在本实施例中，处理结果是指对多个相机拍摄的图像进行去畸变矫正后得到的图像。

具体地，对所述图像进行图像矫正畸变，以得到处理结果。

S200、对所述处理结果进行人头目标检测，以得到不同相机下的人头框。

在本实施例中，人头框是指从处理结果中进行人头检测后得到的人头所在的边界框，也就是人头处于对应处理结果中的位置。

具体地，将所述处理结果输入至人头目标检测模型内进行人头目标检测，以得到不同相机下的人头框；

其中，所述人头目标检测模型是通过若干个带有人头目标位置标签的图像作为样本集训练YOLO网络所得的。

基于YOLO实现了单相机游泳目标检测，能够获得目标的像素坐标。

S210、根据不同相机下的人头框结合各个相机的空间位姿进行多相机人头位置的匹配，以得到人头空间位置。

在本实施例中，人头空间位置是指人头所在泳池的具体位置。

在一实施例中，请参阅图7，上述的步骤S210可包括步骤S211～S215。

S211、借助泳道的自然区域划分和根据各个相机的空间位姿确定相机朝向的先验信息，将人头框的像素映射到其他相机的像素平面的某一区域，以得到目标区域。

在本实施例中，目标区域是指将当前的人头框的像素映射到其他相机的像素平面的某一区域所对应的这个区域。

S212、根据多个相机的区域置信度先验，确定各个相机在所述目标区域下检测到人头的置信度。

在本实施例中，人头的置信度是指各个相机在该目标区域中能检测到人头的概率。

S213、筛选置信度最高的三个相机，并确定相机的朝向先验，以得到目标相机；

S214、细致化划分所述目标区域及所述目标区域的邻域，检索所述目标相机对应的人头框；

S215、确定所述目标相机对应的人头框在统一空间坐标系的三维坐标，以得到人头空间位置。

在本实施例中，统一空间坐标系指的是全局统一世界坐标系。

相机的朝向先验是指相机在统一空间坐标系下的位置。

由于相机视域宽广和多相机间的大视差，多相机像素空间映射困难，因此，在多相机融合技术上提出了层次化区域映射。如图8所示，借助泳道的自然区域划分和相机朝向的先验信息，能够将目标像素映射到其他相机的像素平面的某一区域。然后，根据多个相机的区域置信度先验，来判断各个相机在该区域下检测到人头的置信度，从而过滤出区域置信度最高的至多三个相机。进一步根据选出的相机的朝向先验，细致化划分该区域及其邻域，检索匹配的人头。然后三角化人头像素点P₁、P₂和P₃，能够得到人头在统一空间坐标系的三维坐标P，即人头空间位置。

S220、计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果。

在本实施例中，计算结果是指人头空间位置到水平面的距离以及人头位于水平面法向量的方向。

具体地，根据所述人头空间位置和水平面的空间表达式，计算人头到水平面的距离以及位于水平面法向量的方向，以得到计算结果。

S230、根据所述计算结果确定人头位置与水面的关系。

根据人头的空间位置(x1,y1,z1)和水平面的空间表达式，能够计算人头到水平面的距离d，和位于水平面法向量(A,B,C)的方向，记为F。联合F和d能够判断人头与水面的状态，即水上、水下和水面，从而达到预警的功效。

结合人头到水平面的距离d，和位于水平面法向量(A,B,C)的方向，可综合判断得到人头是位于水上、水下和水面中的哪一种状态。

通过多个相机拍摄的图像进行人头目标检测后，结合人头框以及多相机空间融合技术进行人头位置匹配，以确定人头空间位置，并计算人头空间位置到水平面的距离以及位于水平面法向量的方向，由此确定人头与水面的关系，实现自动监管泳池人体的人头与水面的位置关系，提高监管效率和防溺水监管准确率。

在终端的目标检测管理模块中，可查看目标检测的信息列表页面，列表内容包括：设备的名称、事件的类型、检测区域、检测的时间等。可通过输入设备的名称、选择事件类型对目标检测的信息，点击“查询”按钮即可进行筛选快速查找。在列表的最右侧操作栏当中，可对防溺水的目标检测信息进行详情的查看、信息的删除等。可在防溺水管理的目标检测详情查看页面查看检测信息，包括：设备名称、设备的编号、设备的区域、设备的添加时间等。同时可以查看实时检测视频。

根据人头与水面的位置关系，可以确定游泳者何种情况下为溺水状态，这会触发预警倒计时状态。在短暂的倒计时之后，溺水警报会直接发送给泳池救生员，与没有这项技术的游泳池相比，如果发生潜在的溺水事件，可以更早地警告救生员。

在游泳池特定位置安装防水、防雾摄像机，采集相关图像和数据等信息，通过服务器行为分析、模式识别、人工智能、自动控制、报警等技术，为游泳馆提供智能化报警和溺水事故录像，保证游泳者的生命安全，避免溺水死亡事故的发生，避免巨大的经济赔偿，把人的安全、人的生命、人的健康环境放在重要的位置，体现了“关爱生命，救助他人”的人文思想和设计理念。

结合硬件设备，自动发现、识别、判断溺水者、潜在溺水者和疑似溺水者，并自动报警。通过现场显示器，自动进行报警。显示溺水者的方位。智能化监控系统由服务器、防水球形摄像机、现场监视屏、报警装置、录像和储存系统、各类传感器、声光报警器、线缆、管材以及现场救生员等组成。系统硬件构成采用高可靠性高性能的计算机系统，完全防水式设计并在危险发生的瞬间给出具体方位指引。

上述的泳池防溺水目标检测方法，通过多相机标定获得相机内外参，进行不同相机之间的空间映射，实现多相机的空间融合，并计算泳池水面在空间中的平面坐标方程；在多相机空间融合基础上，将不同相机下检测到的人头框进行匹配，计算人头的空间位置，判断其相对于水面的位置，实现将多个拍摄泳池水面的相机所拍摄的内容进行空间融合，自动监管泳池人体的人头与水面的位置关系，提高监管效率和防溺水监管准确率。

图10是本发明实施例提供的一种泳池防溺水目标检测装置300的示意性框图。如图10所示，对应于以上泳池防溺水目标检测方法，本发明还提供一种泳池防溺水目标检测装置300。该泳池防溺水目标检测装置300包括用于执行上述泳池防溺水目标检测方法的单元，该装置可以被配置于服务器中。具体地，请参阅图10，该泳池防溺水目标检测装置300包括图像获取单元301、内参标定单元302、第一预处理单元303、位姿计算单元304、关联单元305、位置确定单元306、拼接单元307、表达式确定单元308、第二预处理单元309、人头检测单元310、人头匹配单元311、计算单元312以及关系确定单元313。

图像获取单元301，用于获取多个相机所拍摄的图像，并确定参考相机图像以及待配准相机图像；内参标定单元302，用于标定参考相机以及待配准相机的内参；第一预处理单元303，用于对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；位姿计算单元304，用于计算参考相机以及待配准相机之间的相对位姿；关联单元305，用于通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；位置确定单元306，用于确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；拼接单元307，用于根据各个相机的空间位姿拼接各个相机的图像，以得到总图像；表达式确定单元308，用于根据所述总图像计算泳池水面在空间中的平面坐标方程，以得到水平面的空间表达式；第二预处理单元309，用于对所述图像进行预处理，以得到处理结果；人头检测单元310，用于对所述处理结果进行人头目标检测，以得到不同相机下的人头框；人头匹配单元311，用于根据不同相机下的人头框进行多相机人头位置的匹配，以得到人头空间位置；计算单元312，用于根据水平面的空间表达式计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果；关系确定单元313，用于根据所述计算结果确定人头位置与水面的关系。

在一实施例中，所述内参标定单元302，用于通过张正友标定法获取参考相机以及待配准相机的内参。

在一实施例中，所述第一预处理单元303包括矫正子单元以及局部坐标系定义子单元。

矫正子单元，用于对所述参考相机图像以及所述待配准相机图像进行矫正图像畸变，以得到矫正结果；局部坐标系定义子单元，用于按照两个相机为一组，定义局部世界坐标系。

在一实施例中，所述位姿计算单元304，用于根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。

在一实施例中，所述位姿计算单元304包括像素误差计算子单元、重投影误差计算子单元、距离误差计算子单元以及相对位姿计算子单元。

像素误差计算子单元，用于根据所述矫正结果计算将局部世界坐标系下的3d点投影到二维像素平面的像素误差；重投影误差计算子单元，用于根据所述矫正结果计算参考相机以及待配准相机的像素平面中匹配点对的重投影误差；距离误差计算子单元，用于根据所述矫正结果计算待配准相机投影的端点到由实际端点连接而成的直线的垂直距离，得到两个新的距离误差；相对位姿计算子单元，用于根据所述像素误差、所述重投影误差以及两个新的距离误差进行求和，并通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。

在一实施例中，所述表达式确定单元308包括特征点提取子单元、三维坐标确定子单元以及优化子单元。

特征点提取子单元，用于对所述总图像进行掩膜掩码，并提取相机所拍摄的图像的水平面特征点，以得到特征点；三维坐标确定子单元，用于确定所述特征点的三维坐标；优化子单元，用于构建空间表达式，并利用所述特征点的三维坐标进行空间表达式的优化，以得到水平面的空间表达式。

在一实施例中，所述第二预处理单元309，用于对所述图像进行图像矫正畸变，以得到处理结果。

在一实施例中，所述人头匹配单元311包括目标区域确定子单元、置信度确定子单元、筛选子单元、细分子单元以及坐标确定子单元。

目标区域确定子单元，用于借助泳道的自然区域划分和根据各个相机的空间位姿确定的相机朝向的先验信息，将人头框的像素映射到其他相机的像素平面的某一区域，以得到目标区域；置信度确定子单元，用于根据多个相机的区域置信度先验，确定各个相机在所述目标区域下检测到人头的置信度；筛选子单元，用于筛选置信度最高的三个相机，并确定相机的朝向先验，以得到目标相机；细分子单元，用于细致化划分所述目标区域及所述目标区域的邻域，检索所述目标相机对应的人头框；坐标确定子单元，用于确定所述目标相机对应的人头框在统一空间坐标系的三维坐标，以得到人头空间位置。

在一实施例中，所述计算单元312，用于根据所述人头空间位置和水平面的空间表达式，计算人头到水平面的距离以及位于水平面法向量的方向，以得到计算结果。

需要说明的是，所属领域的技术人员可以清楚地了解到，上述泳池防溺水目标检测装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。

上述泳池防溺水目标检测装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。

请参阅图10，图10是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。

参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。

该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种泳池防溺水目标检测方法。

该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。

该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种泳池防溺水目标检测方法。

该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：

获取多个相机所拍摄的图像，并确定参考相机图像以及待配准相机图像；标定参考相机以及待配准相机的内参；对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；计算参考相机以及待配准相机之间的相对位姿；通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；根据各个相机的空间位姿拼接各个相机的图像，以得到总图像；根据所述总图像计算泳池水面在空间中的平面坐标方程，以得到水平面的空间表达式；对所述图像进行预处理，以得到处理结果；对所述处理结果进行人头目标检测，以得到不同相机下的人头框；根据不同相机下的人头框进行多相机人头位置的匹配，以得到人头空间位置；根据水平面的空间表达式计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果；根据所述计算结果确定人头位置与水面的关系。

在一实施例中，处理器502在实现所述计算参考相机以及待配准相机之间的相对位姿步骤时，具体实现如下步骤：

根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。

在一实施例中，处理器502在实现所述根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿步骤时，具体实现如下步骤：

根据所述矫正结果计算将局部世界坐标系下的3d点投影到二维像素平面的像素误差；根据所述矫正结果计算参考相机以及待配准相机的像素平面中匹配点对的重投影误差；根据所述矫正结果计算待配准相机投影的端点到由实际端点连接而成的直线的垂直距离，得到两个新的距离误差；根据所述像素误差、所述重投影误差以及两个新的距离误差进行求和，并通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。

在一实施例中，处理器502在实现所述根据所述总图像计算泳池水面在空间中的平面坐标方程，以得到水平面的空间表达式步骤时，具体实现如下步骤：

对所述总图像进行掩膜掩码，并提取相机所拍摄的图像的水平面特征点，以得到特征点；确定所述特征点的三维坐标；构建空间表达式，并利用所述特征点的三维坐标进行空间表达式的优化，以得到水平面的空间表达式。

其中，所述水平面的空间表达式为Ax+By+Cz＝D，其中，

e_i为残差。

在一实施例中，处理器502在实现所述根据不同相机下的人头框结合各个相机的空间位姿进行多相机人头位置的匹配，以得到人头空间位置步骤时，具体实现如下步骤：

借助泳道的自然区域划分和根据各个相机的空间位姿确定的相机朝向的先验信息，将人头框的像素映射到其他相机的像素平面的某一区域，以得到目标区域；

根据多个相机的区域置信度先验，确定各个相机在所述目标区域下检测到人头的置信度；筛选置信度最高的三个相机，并确定相机的朝向先验，以得到目标相机；细致化划分所述目标区域及所述目标区域的邻域，检索所述目标相机对应的人头框；确定所述目标相机对应的人头框在统一空间坐标系的三维坐标，以得到人头空间位置。

在一实施例中，处理器502在实现所述计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果步骤时，具体实现如下步骤：

根据所述人头空间位置和水平面的空间表达式，计算人头到水平面的距离以及位于水平面法向量的方向，以得到计算结果。

应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。

因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：

获取多个相机所拍摄的图像，并确定参考相机图像以及待配准相机图像；标定参考相机以及待配准相机的内参；对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；计算参考相机以及待配准相机之间的相对位姿；通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；根据各个相机的空间位姿拼接各个相机的图像，以得到总图像；根据所述总图像计算泳池水面在空间中的平面坐标方程，以得到水平面的空间表达式；对所述图像进行预处理，以得到处理结果；对所述处理结果进行人头目标检测，以得到不同相机下的人头框；根据不同相机下的人头框进行多相机人头位置的匹配，以得到人头空间位置；根据水平面的空间表达式计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果；根据所述计算结果确定人头位置与水面的关系。

在一实施例中，所述处理器在执行所述计算机程序而实现所述计算参考相机以及待配准相机之间的相对位姿步骤时，具体实现如下步骤：

根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。

在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿步骤时，具体实现如下步骤：

根据所述矫正结果计算将局部世界坐标系下的3d点投影到二维像素平面的像素误差；根据所述矫正结果计算参考相机以及待配准相机的像素平面中匹配点对的重投影误差；根据所述矫正结果计算待配准相机投影的端点到由实际端点连接而成的直线的垂直距离，得到两个新的距离误差；根据所述像素误差、所述重投影误差以及两个新的距离误差进行求和，并通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。

在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述总图像计算泳池水面在空间中的平面坐标方程，以得到水平面的空间表达式步骤时，具体实现如下步骤：

对所述总图像进行掩膜掩码，并提取相机所拍摄的图像的水平面特征点，以得到特征点；确定所述特征点的三维坐标；构建空间表达式，并利用所述特征点的三维坐标进行空间表达式的优化，以得到水平面的空间表达式。

其中，所述水平面的空间表达式为Ax+By+Cz＝D，其中，

e_i为残差。

在一实施例中，所述处理器在执行所述计算机程序而实现所述根据不同相机下的人头框结合各个相机的空间位姿进行多相机人头位置的匹配，以得到人头空间位置步骤时，具体实现如下步骤：

借助泳道的自然区域划分和根据各个相机的空间位姿确定的相机朝向的先验信息，将人头框的像素映射到其他相机的像素平面的某一区域，以得到目标区域；根据多个相机的区域置信度先验，确定各个相机在所述目标区域下检测到人头的置信度；筛选置信度最高的三个相机，并确定相机的朝向先验，以得到目标相机；细致化划分所述目标区域及所述目标区域的邻域，检索所述目标相机对应的人头框；确定所述目标相机对应的人头框在统一空间坐标系的三维坐标，以得到人头空间位置。

在一实施例中，所述处理器在执行所述计算机程序而实现所述计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果步骤时，具体实现如下步骤：

根据所述人头空间位置和水平面的空间表达式，计算人头到水平面的距离以及位于水平面法向量的方向，以得到计算结果。

所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。

该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.泳池防溺水目标检测方法，其特征在于，包括：

获取多个相机所拍摄的图像，并确定参考相机图像以及待配准相机图像；

标定参考相机以及待配准相机的内参；

对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；

计算参考相机以及待配准相机之间的相对位姿；

通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；

确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；

根据各个相机的空间位姿拼接各个相机的图像，以得到总图像；

根据所述总图像计算泳池水面在空间中的平面坐标方程，以得到水平面的空间表达式；

对所述图像进行预处理，以得到处理结果；

对所述处理结果进行人头目标检测，以得到不同相机下的人头框；

根据不同相机下的人头框进行多相机人头位置的匹配，以得到人头空间位置；

根据水平面的空间表达式计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果；

根据所述计算结果确定人头位置与水面的关系。

2.根据权利要求1所述的泳池防溺水目标检测方法，其特征在于，所述计算参考相机以及待配准相机之间的相对位姿，包括：

根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。

3.根据权利要求1所述的泳池防溺水目标检测方法，其特征在于，所述根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿，包括：

根据所述矫正结果计算将局部世界坐标系下的3d点投影到二维像素平面的像素误差；

根据所述矫正结果计算参考相机以及待配准相机的像素平面中匹配点对的重投影误差；

根据所述矫正结果计算待配准相机投影的端点到由实际端点连接而成的直线的垂直距离，得到两个新的距离误差；

根据所述像素误差、所述重投影误差以及两个新的距离误差进行求和，并通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。

4.根据权利要求1所述的泳池防溺水目标检测方法，其特征在于，所述根据所述总图像计算泳池水面在空间中的平面坐标方程，以得到水平面的空间表达式，包括：

对所述总图像进行掩膜掩码，并提取相机所拍摄的图像的水平面特征点，以得到特征点；

确定所述特征点的三维坐标；

构建空间表达式，并利用所述特征点的三维坐标进行空间表达式的优化，以得到水平面的空间表达式。

5.根据权利要求4所述的泳池防溺水目标检测方法，其特征在于，所述水平面的空间表达式为Ax+By+Cz＝D，其中，

e_i为残差。

6.根据权利要求1所述的泳池防溺水目标检测方法，其特征在于，所述根据不同相机下的人头框结合各个相机的空间位姿进行多相机人头位置的匹配，以得到人头空间位置，包括：

借助泳道的自然区域划分和根据各个相机的空间位姿确定的相机朝向的先验信息，将人头框的像素映射到其他相机的像素平面的某一区域，以得到目标区域；

根据多个相机的区域置信度先验，确定各个相机在所述目标区域下检测到人头的置信度；

筛选置信度最高的三个相机，并确定相机的朝向先验，以得到目标相机；

细致化划分所述目标区域及所述目标区域的邻域，检索所述目标相机对应的人头框；

确定所述目标相机对应的人头框在统一空间坐标系的三维坐标，以得到人头空间位置。

7.根据权利要求1所述的泳池防溺水目标检测方法，其特征在于，所述计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果，包括：

根据所述人头空间位置和水平面的空间表达式，计算人头到水平面的距离以及位于水平面法向量的方向，以得到计算结果。

8.泳池防溺水目标检测装置，其特征在于，包括：

图像获取单元，用于获取多个相机所拍摄的图像，并确定参考相机图像以及待配准相机图像；

内参标定单元，用于标定参考相机以及待配准相机的内参；

第一预处理单元，用于对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；

位姿计算单元，用于计算参考相机以及待配准相机之间的相对位姿；

关联单元，用于通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；

位置确定单元，用于确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；

拼接单元，用于根据各个相机的空间位姿拼接各个相机的图像，以得到总图像；

表达式确定单元，用于根据所述总图像计算泳池水面在空间中的平面坐标方程，以得到水平面的空间表达式；

第二预处理单元，用于对所述图像进行预处理，以得到处理结果；

人头检测单元，用于对所述处理结果进行人头目标检测，以得到不同相机下的人头框；

人头匹配单元，用于根据不同相机下的人头框进行多相机人头位置的匹配，以得到人头空间位置；

计算单元，用于根据水平面的空间表达式计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果；

关系确定单元，用于根据所述计算结果确定人头位置与水面的关系。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。

10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

Images