CN114170317B - 泳池防溺水人头位置判断方法、装置及计算机设备 - Google Patents
泳池防溺水人头位置判断方法、装置及计算机设备 Download PDFInfo
- Publication number
- CN114170317B CN114170317B CN202210021787.4A CN202210021787A CN114170317B CN 114170317 B CN114170317 B CN 114170317B CN 202210021787 A CN202210021787 A CN 202210021787A CN 114170317 B CN114170317 B CN 114170317B
- Authority
- CN
- China
- Prior art keywords
- head
- camera
- cameras
- determining
- horizontal plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000009182 swimming Effects 0.000 title claims abstract description 48
- 238000000034 method Methods 0.000 title claims abstract description 47
- 206010013647 Drowning Diseases 0.000 title claims abstract description 34
- 230000002265 prevention Effects 0.000 title claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 45
- 238000004364 calculation method Methods 0.000 claims abstract description 30
- 238000001514 detection method Methods 0.000 claims abstract description 29
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 25
- 239000013598 vector Substances 0.000 claims abstract description 25
- 238000005516 engineering process Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000004590 computer program Methods 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 8
- 238000003702 image correction Methods 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 9
- 238000012937 correction Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000005457 optimization Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 235000005121 Sorbus torminalis Nutrition 0.000 description 1
- 244000152100 Sorbus torminalis Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了泳池防溺水人头位置判断方法、装置、计算机设备及其存储介质。所述方法包括：获取多个相机所拍摄的图像；对所述图像进行预处理，以得到处理结果；对所述处理结果进行人头目标检测，以得到不同相机下的人头框；根据不同相机下的人头框结合多相机空间融合技术进行多相机人头位置的匹配，以得到人头空间位置；计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果；根据所述计算结果确定人头位置与水面的关系。通过实施本发明实施例的方法可实现自动监管泳池人体的人头与水面的位置关系，提高监管效率和防溺水监管准确率。
Description
技术领域
本发明涉及防溺水监管方法，更具体地说是指泳池防溺水人头位置判断方法、装置及计算机设备。
背景技术
随着体育事业的发展，人们参加体育活动的热情也越来越高涨，而作为热门运动项目之一的游泳却成为安全事故最高发的运动。根据卫生部公布的不完全统计数据，我国大约每年有5.7万人死于溺水事故，其中青少年占比达到56.04％，成为了青少年死亡的第一致因，且中国的溺水死亡率为全球最高。
在泳池的防溺水监控过程中，需要对泳池人体目标进行跟踪，以确保泳池人体目标的安全，现有的技术大多采用救生员位于高处采用俯瞰的方式进行人头是否属于水面上还是水面下的方式进行防溺水监管，但是这种方式存在效率低下且准确率低的问题，进而影响溺水监管的准确率。
因此，有必要设计一种新的方法，实现自动监管泳池人体的人头与水面的位置关系，提高监管效率和防溺水监管准确率。
发明内容
本发明的目的在于克服现有技术的缺陷，提供泳池防溺水人头位置判断方法、装置、计算机设备及其存储介质。
为实现上述目的，本发明采用以下技术方案：泳池防溺水人头位置判断方法，包括：
获取多个相机所拍摄的图像；
对所述图像进行预处理，以得到处理结果；
对所述处理结果进行人头目标检测，以得到不同相机下的人头框；
根据不同相机下的人头框结合多相机空间融合技术进行多相机人头位置的匹配，以得到人头空间位置；
计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果；
根据所述计算结果确定人头位置与水面的关系。
其进一步技术方案为：所述对所述图像进行预处理，以得到处理结果，包括：
对所述图像进行图像矫正畸变，以得到处理结果。
其进一步技术方案为：所述对所述处理结果进行人头目标检测，以得到不同相机下的人头框，包括：
将所述处理结果输入至人头目标检测模型内进行人头目标检测，以得到不同相机下的人头框；
其中，所述人头目标检测模型是通过若干个带有人头目标位置标签的图像作为样本集训练YOLO网络所得的。
其进一步技术方案为：所述根据不同相机下的人头框结合多相机空间融合技术进行多相机人头位置的匹配，以得到人头空间位置，包括：
借助泳道的自然区域划分和根据多相机空间融合技术确定相机朝向的先验信息，将人头框的像素映射到其他相机的像素平面的某一区域，以得到目标区域；
根据多个相机的区域置信度先验，确定各个相机在所述目标区域下检测到人头的置信度；
筛选置信度最高的三个相机，并确定相机的朝向先验，以得到目标相机；
细致化划分所述目标区域及所述目标区域的邻域，检索所述目标相机对应的人头框；
确定所述目标相机对应的人头框在统一空间坐标系的三维坐标，以得到人头空间位置。
其进一步技术方案为：所述计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果，包括：
根据所述人头空间位置和水平面的空间表达式，计算人头到水平面的距离以及位于水平面法向量的方向，以得到计算结果。
其进一步技术方案为：所述水平面的空间表达式为Ax+By+Cz＝D，其中，ei为残差。
本发明还提供了泳池防溺水人头位置判断装置，包括：
图像获取单元，用于获取多个相机所拍摄的图像；
预处理单元，用于对所述图像进行预处理，以得到处理结果；
人头检测单元，用于对所述处理结果进行人头目标检测，以得到不同相机下的人头框；
人头匹配单元，用于根据不同相机下的人头框结合多相机空间融合技术进行多相机人头位置的匹配，以得到人头空间位置；
计算单元，用于计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果；
关系确定单元，用于根据所述计算结果确定人头位置与水面的关系。
其进一步技术方案为：所述预处理单元，用于对所述图像进行图像矫正畸变，以得到处理结果。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过多个相机拍摄的图像进行人头目标检测后，结合人头框以及多相机空间融合技术进行人头位置匹配，以确定人头空间位置，并计算人头空间位置到水平面的距离以及位于水平面法向量的方向，由此确定人头与水面的关系，实现自动监管泳池人体的人头与水面的位置关系，提高监管效率和防溺水监管准确率。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的泳池防溺水人头位置判断方法的应用场景示意图；
图2为本发明实施例提供的泳池防溺水人头位置判断方法的流程示意图；
图3为本发明实施例提供的泳池防溺水人头位置判断方法的子流程示意图；
图4为本发明实施例提供的人头空间位置确定的示意图；
图5为本发明实施例提供的泳池防溺水人头位置判断装置的示意性框图；
图6为本发明实施例提供的泳池防溺水人头位置判断装置的人头匹配单元的示意性框图；
图7为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的泳池防溺水人头位置判断方法的应用场景示意图。图2为本发明实施例提供的泳池防溺水人头位置判断方法的示意性流程图。该泳池防溺水人头位置判断方法应用于服务器中。该服务器与多个相机以及终端进行数据交互，由多个相机拍摄的图像，结合泳池水面空间表达式和多相机空间映射关系，能够判断人头位置是位于水上还是水下，并将结果输出至终端显示。
图2是本发明实施例提供的泳池防溺水人头位置判断方法的流程示意图。如图2所示，该方法包括以下步骤S110至S160。
S110、获取多个相机所拍摄的图像。
在本实施例中，图像是指由多个架设在水面上的相机拍摄泳池水面所得的图像。
S120、对所述图像进行预处理，以得到处理结果。
在本实施例中，处理结果是指对多个相机拍摄的图像进行去畸变矫正后得到的图像。
具体地，对所述图像进行图像矫正畸变，以得到处理结果。
S130、对所述处理结果进行人头目标检测，以得到不同相机下的人头框。
在本实施例中，人头框是指从处理结果中进行人头检测后得到的人头所在的边界框，也就是人头处于对应处理结果中的位置。
具体地，将所述处理结果输入至人头目标检测模型内进行人头目标检测，以得到不同相机下的人头框；
其中，所述人头目标检测模型是通过若干个带有人头目标位置标签的图像作为样本集训练YOLO网络所得的。
基于YOLO实现了单相机游泳目标检测，能够获得目标的像素坐标。
S140、根据不同相机下的人头框结合多相机空间融合技术进行多相机人头位置的匹配，以得到人头空间位置。
在本实施例中，人头空间位置是指人头所在泳池的具体位置。
在一实施例中，请参阅图3，上述的步骤S140可包括步骤S141～S145。
S141、借助泳道的自然区域划分和根据多相机空间融合技术确定相机朝向的先验信息，将人头框的像素映射到其他相机的像素平面的某一区域，以得到目标区域。
在本实施例中，目标区域是指将当前的人头框的像素映射到其他相机的像素平面的某一区域所对应的这个区域。
多相机空间融合技术可确定各个相机的位置，具体流程如下：
获取参考相机图像以及待配准相机图像。
在本实施例中，参考相机图像是指作为参考的相机所拍摄的图像，待配准相机图像是指作为待配准相机所拍摄的图像；多个相机中任何相机都可以作为其他相机的参考相机，也可作为其他参考相机的待配准相机。
标定参考相机以及待配准相机的内参。
在本实施例中，内参是指相机的内参。
具体地，通过张正友标定法获取参考相机以及待配准相机的内参。
对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系。
在本实施例中，局部世界坐标系是指根据参考相机以及待配准相机定义的坐标系。
在一实施例中，上述的步骤可包括以下步骤：
对所述参考相机图像以及所述待配准相机图像进行矫正图像畸变，以得到矫正结果。
在本实施例中，矫正结果是指对所述参考相机图像以及所述待配准相机图像进行矫正图像去除畸变后得到的图像。
按照两个相机为一组，定义局部世界坐标系。
具体地，定义了一个米制尺度的局部世界坐标系w，即棋盘格左上角的角点为x-y平面的原点，棋盘格所在平面为z＝1的平面，棋盘格所在平面为z＝1的平面。由于该坐标系有真实的尺度，系统很容易获取棋盘格角点的三维坐标，通过匹配的棋盘格角点和将局部坐标系下3d点投影到二维像素平面的像素误差的计算公式，能够为相机外参和特征点逆深度的优化问题提供可度量的尺度约束。除了棋盘格角点外，系统还提取了SIFT特征点和泳池里的所有线段特征，为基于图优化的相机外参和特征点逆深度的优化问题提供更加丰富的约束，使得优化得到的几何变换Rc1-w，tc1-w，Rc2-w，tc2-w和特征点深度λ更加鲁棒。
计算参考相机以及待配准相机之间的相对位姿。
在本实施例中，相对位姿是指参考相机以及待配准相机在对应的局部世界坐标系下的相对位置。
具体地，根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
在一实施例中，上述的步骤可包括以下步骤：
根据所述矫正结果计算将局部世界坐标系下的3d点投影到二维像素平面的像素误差。
根据所述矫正结果计算参考相机以及待配准相机的像素平面中匹配点对的重投影误差。
在本实施例中，优化问题的具体约束如下所示，其中h[.]表示将三维点转为三维齐次坐标，g{.}表示将三维齐次坐标转为二维坐标，f(.)将二维像素坐标(u,v)转为三维齐次坐标(u,v,1)，e3d′、e3d″、e2d分别表示3种投影残差，其维度分别为2*1，2*1，2*1。e3d′和e3d″表示将局部坐标系下3d点投影到二维像素平面的像素误差，e2d表示2个相机像素平面中匹配点对的重投影误差。具体计算如下： 其中，K、R和t分别表示3*3的相机内参矩阵、3*3的旋转矩阵、3*1的平移向量，下标代表所在坐标系，例如Rc1-w表示从世界坐标系w到相机坐标系c1的旋转，tc2-w表示从世界坐标系w到相机坐标系c2的平移，矩阵的上标-1表示矩阵的逆。P、X和Y表示点的坐标，上标为则2d-un表示是去畸变的二维像素点，下标c1和c2表示该点是对应相机坐标系上的像素点。
根据所述矫正结果计算待配准相机投影的端点到由实际端点连接而成的直线的垂直距离，得到两个新的距离误差。
具体地，给定和/>表示c1相机坐标系下第j个线特征的端点，通过和/> 计算Xw,j和Yw,j，Xw,j和Yw,j分别表示二维像素点/>和/>在世界坐标系w下的三维空间点，然后通过/> 和投影到c2相机坐标系下得到齐次坐标/>和而从c2相机获取的图片上直接计算得到第j个线特征端点为/>和/>然后分别计算投影的端点/>和/>到由实际端点/>和/>连接而成的直线的垂直距离，得到两个新的距离误差el′和el″。
其中，c2相机为待配准相机；c1相机为参考相机。
根据所述像素误差、所述重投影误差以及两个新的距离误差进行求和，并通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
具体地，将所述像素误差、所述重投影误差以及两个新的距离误差这5种误差求和可以融合直线匹配和特征点匹配的约束，通过最小化误差和可以分别计算得到的每一对相机在人为定义的世界坐标系w下的姿态。
通过所述相对位姿关联多个相机，以建立全局统一世界坐标系。
在本实施例中，全局统一世界坐标系是指所有相机都参照的空间坐标系。
确定参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿，便能够计算得到各个相机之间的几何变换，从而建立一个全局统一的世界坐标系W。
确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿。
在本实施例中，各个相机的空间位姿是指全局统一世界坐标系下的各个相机的位置。
S142、根据多个相机的区域置信度先验，确定各个相机在所述目标区域下检测到人头的置信度。
在本实施例中，人头的置信度是指各个相机在该目标区域中能检测到人头的概率。
S143、筛选置信度最高的三个相机，并确定相机的朝向先验，以得到目标相机；
S144、细致化划分所述目标区域及所述目标区域的邻域，检索所述目标相机对应的人头框；
S145、确定所述目标相机对应的人头框在统一空间坐标系的三维坐标，以得到人头空间位置。
在本实施例中，统一空间坐标系指的是全局统一世界坐标系。
相机的朝向先验是指相机在统一空间坐标系下的位置。
由于相机视域宽广和多相机间的大视差，多相机像素空间映射困难，因此，在多相机融合技术上提出了层次化区域映射。如图4所示，借助泳道的自然区域划分和相机朝向的先验信息，能够将目标像素映射到其他相机的像素平面的某一区域。然后，根据多个相机的区域置信度先验，来判断各个相机在该区域下检测到人头的置信度，从而过滤出区域置信度最高的至多三个相机。进一步根据选出的相机的朝向先验，细致化划分该区域及其邻域，检索匹配的人头。然后三角化人头像素点P1、P2和P3，能够得到人头在统一空间坐标系的三维坐标P，即人头空间位置。
S150、计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果。
在本实施例中，计算结果是指人头空间位置到水平面的距离以及人头位于水平面法向量的方向。
具体地，根据所述人头空间位置和水平面的空间表达式，计算人头到水平面的距离以及位于水平面法向量的方向，以得到计算结果。
其中，所述水平面的空间表达式为Ax+By+Cz＝D，其中，ei为残差。
由于多个相机能共视平面，通过平面点(xi,yi,zi)到平面的距离应为0，系统构建了一个优化问题，其残差为ei＝A*xi+B*yi+C*zi-D，优化水平面的参数。以(A,B,C,D)作为参数，则泳池水平面计算就是在水面上提取n个匹配的特征点，对图像增加掩膜掩码，提取和匹配两个相机图像的水平面特征点之后，能够通过三角化得到特征点的三维坐标，并且三维坐标的尺度和相机间的相对位姿的尺度保持一致，即真实的米制尺度计算得其三维坐标，通过最小化下面公式来优化水平面参数。
S160、根据所述计算结果确定人头位置与水面的关系。
根据人头的空间位置(x1,y1,z1)和水平面的空间表达式，能够计算人头到水平面的距离d，和位于水平面法向量(A,B,C)的方向，记为F。联合F和d能够判断人头与水面的状态，即水上、水下和水面，从而达到预警的功效。
结合人头到水平面的距离d，和位于水平面法向量(A,B,C)的方向，可综合判断得到人头是位于水上、水下和水面中的哪一种状态。
上述的泳池防溺水人头位置判断方法，通过多个相机拍摄的图像进行人头目标检测后，结合人头框以及多相机空间融合技术进行人头位置匹配，以确定人头空间位置，并计算人头空间位置到水平面的距离以及位于水平面法向量的方向，由此确定人头与水面的关系，实现自动监管泳池人体的人头与水面的位置关系，提高监管效率和防溺水监管准确率。
图5是本发明实施例提供的一种泳池防溺水人头位置判断装置300的示意性框图。如图5所示，对应于以上泳池防溺水人头位置判断方法，本发明还提供一种泳池防溺水人头位置判断装置300。该泳池防溺水人头位置判断装置300包括用于执行上述泳池防溺水人头位置判断方法的单元，该装置可以被配置于服务器中。具体地，请参阅图5，该泳池防溺水人头位置判断装置300包括图像获取单元301、预处理单元302、人头检测单元303、人头匹配单元304、计算单元305以及关系确定单元306。
图像获取单元301，用于获取多个相机所拍摄的图像；预处理单元302，用于对所述图像进行预处理，以得到处理结果；人头检测单元303，用于对所述处理结果进行人头目标检测，以得到不同相机下的人头框；人头匹配单元304，用于根据不同相机下的人头框结合多相机空间融合技术进行多相机人头位置的匹配，以得到人头空间位置；计算单元305，用于计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果；关系确定单元306，用于根据所述计算结果确定人头位置与水面的关系。
在一实施例中，所述预处理单元302，用于对所述图像进行图像矫正畸变，以得到处理结果。
在一实施例中，如图6所示，所述人头匹配单元304包括目标区域确定子单元3041、置信度确定子单元3042、筛选子单元3043、细分子单元3044以及坐标确定子单元3045。
目标区域确定子单元3041，用于借助泳道的自然区域划分和根据多相机空间融合技术确定相机朝向的先验信息，将人头框的像素映射到其他相机的像素平面的某一区域，以得到目标区域；置信度确定子单元3042，用于根据多个相机的区域置信度先验，确定各个相机在所述目标区域下检测到人头的置信度；筛选子单元3043，用于筛选置信度最高的三个相机，并确定相机的朝向先验，以得到目标相机；细分子单元3044，用于细致化划分所述目标区域及所述目标区域的邻域，检索所述目标相机对应的人头框；坐标确定子单元3045，用于确定所述目标相机对应的人头框在统一空间坐标系的三维坐标，以得到人头空间位置。
在一实施例中，所述计算单元305，用于根据所述人头空间位置和水平面的空间表达式，计算人头到水平面的距离以及位于水平面法向量的方向，以得到计算结果。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述泳池防溺水人头位置判断装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述泳池防溺水人头位置判断装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图7，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种泳池防溺水人头位置判断方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种泳池防溺水人头位置判断方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图7中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取多个相机所拍摄的图像；对所述图像进行预处理，以得到处理结果；对所述处理结果进行人头目标检测，以得到不同相机下的人头框；根据不同相机下的人头框结合多相机空间融合技术进行多相机人头位置的匹配，以得到人头空间位置；计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果；根据所述计算结果确定人头位置与水面的关系。
在一实施例中，处理器502在实现所述对所述图像进行预处理，以得到处理结果步骤时，具体实现如下步骤：
对所述图像进行图像矫正畸变，以得到处理结果。
在一实施例中，处理器502在实现所述对所述处理结果进行人头目标检测，以得到不同相机下的人头框步骤时，具体实现如下步骤：
将所述处理结果输入至人头目标检测模型内进行人头目标检测，以得到不同相机下的人头框；
其中，所述人头目标检测模型是通过若干个带有人头目标位置标签的图像作为样本集训练YOLO网络所得的。
在一实施例中，处理器502在实现所述根据不同相机下的人头框结合多相机空间融合技术进行多相机人头位置的匹配，以得到人头空间位置步骤时，具体实现如下步骤：
借助泳道的自然区域划分和根据多相机空间融合技术确定相机朝向的先验信息，将人头框的像素映射到其他相机的像素平面的某一区域，以得到目标区域；根据多个相机的区域置信度先验，确定各个相机在所述目标区域下检测到人头的置信度；筛选置信度最高的三个相机，并确定相机的朝向先验，以得到目标相机；细致化划分所述目标区域及所述目标区域的邻域，检索所述目标相机对应的人头框；确定所述目标相机对应的人头框在统一空间坐标系的三维坐标，以得到人头空间位置。
在一实施例中，处理器502在实现所述计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果步骤时，具体实现如下步骤：
根据所述人头空间位置和水平面的空间表达式，计算人头到水平面的距离以及位于水平面法向量的方向，以得到计算结果。
其中，所述水平面的空间表达式为Ax+By+Cz＝D，其中，ei为残差。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取多个相机所拍摄的图像；对所述图像进行预处理，以得到处理结果；对所述处理结果进行人头目标检测，以得到不同相机下的人头框；根据不同相机下的人头框结合多相机空间融合技术进行多相机人头位置的匹配，以得到人头空间位置；计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果；根据所述计算结果确定人头位置与水面的关系。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述图像进行预处理，以得到处理结果步骤时，具体实现如下步骤：
对所述图像进行图像矫正畸变，以得到处理结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述处理结果进行人头目标检测，以得到不同相机下的人头框步骤时，具体实现如下步骤：
将所述处理结果输入至人头目标检测模型内进行人头目标检测，以得到不同相机下的人头框；
其中，所述人头目标检测模型是通过若干个带有人头目标位置标签的图像作为样本集训练YOLO网络所得的。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据不同相机下的人头框结合多相机空间融合技术进行多相机人头位置的匹配，以得到人头空间位置步骤时，具体实现如下步骤：
借助泳道的自然区域划分和根据多相机空间融合技术确定相机朝向的先验信息，将人头框的像素映射到其他相机的像素平面的某一区域，以得到目标区域；根据多个相机的区域置信度先验，确定各个相机在所述目标区域下检测到人头的置信度；筛选置信度最高的三个相机，并确定相机的朝向先验，以得到目标相机；细致化划分所述目标区域及所述目标区域的邻域，检索所述目标相机对应的人头框；确定所述目标相机对应的人头框在统一空间坐标系的三维坐标，以得到人头空间位置。
在一实施例中，所述处理器在执行所述计算机程序而实现所述计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果步骤时，具体实现如下步骤：
根据所述人头空间位置和水平面的空间表达式，计算人头到水平面的距离以及位于水平面法向量的方向，以得到计算结果。
其中，所述水平面的空间表达式为Ax+By+Cz＝D，其中，ei为残差。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (9)
1.泳池防溺水人头位置判断方法，其特征在于，包括：
获取多个相机所拍摄的图像；
对所述图像进行预处理，以得到处理结果；
对所述处理结果进行人头目标检测，以得到不同相机下的人头框；
根据不同相机下的人头框结合多相机空间融合技术进行多相机人头位置的匹配，以得到人头空间位置；
计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果；
根据所述计算结果确定人头位置与水面的关系；
所述根据不同相机下的人头框结合多相机空间融合技术进行多相机人头位置的匹配，以得到人头空间位置，包括：
借助泳道的自然区域划分和根据多相机空间融合技术确定相机朝向的先验信息，将人头框的像素映射到其他相机的像素平面的某一区域，以得到目标区域；
根据多个相机的区域置信度先验，确定各个相机在所述目标区域下检测到人头的置信度；
筛选置信度最高的三个相机，并确定相机的朝向先验，以得到目标相机；
细致化划分所述目标区域及所述目标区域的邻域，检索所述目标相机对应的人头框；
确定所述目标相机对应的人头框在统一空间坐标系的三维坐标，以得到人头空间位置。
2.根据权利要求1所述的泳池防溺水人头位置判断方法，其特征在于，所述对所述图像进行预处理，以得到处理结果，包括：
对所述图像进行图像矫正畸变，以得到处理结果。
3.根据权利要求1所述的泳池防溺水人头位置判断方法，其特征在于，所述对所述处理结果进行人头目标检测，以得到不同相机下的人头框，包括：
将所述处理结果输入至人头目标检测模型内进行人头目标检测，以得到不同相机下的人头框；
其中，所述人头目标检测模型是通过若干个带有人头目标位置标签的图像作为样本集训练YOLO网络所得的。
4.根据权利要求1所述的泳池防溺水人头位置判断方法，其特征在于，所述计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果，包括：
根据所述人头空间位置和水平面的空间表达式，计算人头到水平面的距离以及位于水平面法向量的方向，以得到计算结果。
5.根据权利要求4所述的泳池防溺水人头位置判断方法，其特征在于，所述水平面的空间表达式为，其中，/>，为残差。
6.泳池防溺水人头位置判断装置，其特征在于，包括：
图像获取单元，用于获取多个相机所拍摄的图像；
预处理单元，用于对所述图像进行预处理，以得到处理结果；
人头检测单元，用于对所述处理结果进行人头目标检测，以得到不同相机下的人头框；
人头匹配单元，用于根据不同相机下的人头框结合多相机空间融合技术进行多相机人头位置的匹配，以得到人头空间位置；
计算单元，用于计算人头空间位置到水平面的距离以及位于水平面法向量的方向，以得到计算结果；
关系确定单元，用于根据所述计算结果确定人头位置与水面的关系；
其中，所述根据不同相机下的人头框结合多相机空间融合技术进行多相机人头位置的匹配，以得到人头空间位置，包括：
借助泳道的自然区域划分和根据多相机空间融合技术确定相机朝向的先验信息，将人头框的像素映射到其他相机的像素平面的某一区域，以得到目标区域；
根据多个相机的区域置信度先验，确定各个相机在所述目标区域下检测到人头的置信度；
筛选置信度最高的三个相机，并确定相机的朝向先验，以得到目标相机；
细致化划分所述目标区域及所述目标区域的邻域，检索所述目标相机对应的人头框；
确定所述目标相机对应的人头框在统一空间坐标系的三维坐标，以得到人头空间位置。
7.根据权利要求6所述的泳池防溺水人头位置判断装置，其特征在于，所述预处理单元，用于对所述图像进行图像矫正畸变，以得到处理结果。
8.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。
9.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210021787.4A CN114170317B (zh) | 2022-01-10 | 2022-01-10 | 泳池防溺水人头位置判断方法、装置及计算机设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210021787.4A CN114170317B (zh) | 2022-01-10 | 2022-01-10 | 泳池防溺水人头位置判断方法、装置及计算机设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114170317A CN114170317A (zh) | 2022-03-11 |
| CN114170317B true CN114170317B (zh) | 2024-04-05 |
Family
ID=80489345
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210021787.4A Active CN114170317B (zh) | 2022-01-10 | 2022-01-10 | 泳池防溺水人头位置判断方法、装置及计算机设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114170317B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115589536A (zh) * | 2022-12-12 | 2023-01-10 | 杭州巨岩欣成科技有限公司 | 泳池防溺水多相机空间融合方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109815805A (zh) * | 2018-12-18 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 自动识别溺水的方法、装置、存储介质及电子设备 |
| CN111191486A (zh) * | 2018-11-14 | 2020-05-22 | 杭州海康威视数字技术股份有限公司 | 一种溺水行为识别方法、监控相机及监控系统 |
| CN113033399A (zh) * | 2021-03-25 | 2021-06-25 | 新疆爱华盈通信息技术有限公司 | 溺水检测方法、装置、电子设备及存储介质 |
| CN113158962A (zh) * | 2021-05-06 | 2021-07-23 | 北京工业大学 | 一种基于YOLOv4的泳池溺水检测方法 |
| CN113688724A (zh) * | 2021-08-24 | 2021-11-23 | 桂林电子科技大学 | 一种基于双目视觉的泳池溺水监测方法 |
-
2022
- 2022-01-10 CN CN202210021787.4A patent/CN114170317B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111191486A (zh) * | 2018-11-14 | 2020-05-22 | 杭州海康威视数字技术股份有限公司 | 一种溺水行为识别方法、监控相机及监控系统 |
| CN109815805A (zh) * | 2018-12-18 | 2019-05-28 | 深圳壹账通智能科技有限公司 | 自动识别溺水的方法、装置、存储介质及电子设备 |
| CN113033399A (zh) * | 2021-03-25 | 2021-06-25 | 新疆爱华盈通信息技术有限公司 | 溺水检测方法、装置、电子设备及存储介质 |
| CN113158962A (zh) * | 2021-05-06 | 2021-07-23 | 北京工业大学 | 一种基于YOLOv4的泳池溺水检测方法 |
| CN113688724A (zh) * | 2021-08-24 | 2021-11-23 | 桂林电子科技大学 | 一种基于双目视觉的泳池溺水监测方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114170317A (zh) | 2022-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111462200B (zh) | 一种跨视频行人定位追踪方法、系统及设备 | |
| Liu et al. | Surveillance camera autocalibration based on pedestrian height distributions | |
| CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| JP5109294B2 (ja) | ３次元位置補正装置 | |
| Tang et al. | Camera self-calibration from tracking of moving persons | |
| TWI491849B (zh) | 應用複數攝影裝置之物件定位方法 | |
| CN110956069B (zh) | 一种行人3d位置的检测方法及装置、车载终端 | |
| CN112381841A (zh) | 一种动态场景下基于gms特征匹配的语义slam方法 | |
| CN114022910B (zh) | 泳池防溺水监管方法、装置、计算机设备及存储介质 | |
| CN114359411B (zh) | 泳池防溺水目标检测方法、装置、计算机设备及存储介质 | |
| CN112001859A (zh) | 一种人脸图像的修复方法及系统 | |
| CN111915651B (zh) | 基于数字影像地图与特征点跟踪的视觉位姿实时估计方法 | |
| CN110782498A (zh) | 一种视觉传感网络的快速通用标定方法 | |
| CN114170317B (zh) | 泳池防溺水人头位置判断方法、装置及计算机设备 | |
| Jung et al. | Object detection and tracking-based camera calibration for normalized human height estimation | |
| CN112652020A (zh) | 一种基于AdaLAM算法的视觉SLAM方法 | |
| CN111325828A (zh) | 一种基于三目相机的三维人脸采集方法及装置 | |
| CN116977328B (zh) | 车底机器人主动视觉中的图像质量评估方法 | |
| CN112598709B (zh) | 一种基于视频流的行人运动速度智能感知方法 | |
| CN114359410B (zh) | 泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质 | |
| CN117611525A (zh) | 一种受电弓滑板磨耗视觉检测方法和系统 | |
| CN115880643A (zh) | 一种基于目标检测算法的社交距离监测方法和装置 | |
| Paudel et al. | Localization of 2D cameras in a known environment using direct 2D-3D registration | |
| CN116309795A (zh) | 泳池防溺水人头三维定位方法、装置、计算机设备及存储介质 | |
| KR100961616B1 (ko) | 컨투어 정합을 이용한 전방향 카메라 보정 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |