CN114359410A - 泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质 - Google Patents
泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114359410A CN114359410A CN202210022873.7A CN202210022873A CN114359410A CN 114359410 A CN114359410 A CN 114359410A CN 202210022873 A CN202210022873 A CN 202210022873A CN 114359410 A CN114359410 A CN 114359410A
- Authority
- CN
- China
- Prior art keywords
- camera
- registered
- coordinate system
- world coordinate
- cameras
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000009182 swimming Effects 0.000 title claims abstract description 52
- 206010013647 Drowning Diseases 0.000 title claims abstract description 47
- 230000002265 prevention Effects 0.000 title claims abstract description 40
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 27
- 230000004927 fusion Effects 0.000 claims abstract description 23
- 238000007781 pre-processing Methods 0.000 claims abstract description 22
- 238000012937 correction Methods 0.000 claims description 40
- 238000004590 computer program Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 17
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 5
- 238000005457 optimization Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Abstract
本发明实施例公开了泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质。所述方法包括：获取参考相机图像以及待配准相机图像；标定参考相机以及待配准相机的内参；对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；计算参考相机以及待配准相机之间的相对位姿；通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；根据各个相机的空间位姿拼接各个相机的图像。通过实施本发明实施例的方法可实现将多个拍摄泳池水面的相机所拍摄的内容进行空间融合，以实现对泳池全方位的监管，提高防溺水的监管准确率。
Description
技术领域
本发明涉及计算机，更具体地说是指泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质。
背景技术
随着体育事业的发展，人们参加体育活动的热情也越来越高涨，而作为热门运动项目之一的游泳却成为安全事故最高发的运动。根据卫生部公布的不完全统计数据，我国大约每年有5.7万人死于溺水事故，其中青少年占比达到56.04％，成为了青少年死亡的第一致因，且中国的溺水死亡率为全球最高。
现有的技术通过在泳池四周和底部安装水下摄像头，通过算法判断泳客的动作是否正常游泳或是在处于溺水挣扎的状态。但是，安装的摄像头的个数大多为一个，虽然也有存在多个摄像头拍摄泳池四周和底部的情况，但是在进行算法分析时，均是针对单个摄像头拍摄的内容进行单独分析，这种方式存在监控死角的问题，导致防溺水的监管准确率不高。
因此，有必要设计一种新的方法，实现将多个拍摄泳池水面的相机所拍摄的内容进行空间融合，以实现对泳池全方位的监管，提高防溺水的监管准确率。
发明内容
本发明的目的在于克服现有技术的缺陷，提供泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：泳池防溺水多相机空间融合方法，包括：
获取参考相机图像以及待配准相机图像；
标定参考相机以及待配准相机的内参；
对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；
计算参考相机以及待配准相机之间的相对位姿；
通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；
确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；
根据各个相机的空间位姿拼接各个相机的图像。
其进一步技术方案为：所述标定参考相机以及待配准相机的内参，包括：
通过张正友标定法获取参考相机以及待配准相机的内参。
其进一步技术方案为：所述对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系，包括：
对所述参考相机图像以及所述待配准相机图像进行矫正图像畸变，以得到矫正结果；
按照两个相机为一组，定义局部世界坐标系。
其进一步技术方案为：所述计算参考相机以及待配准相机之间的相对位姿，包括：
根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
其进一步技术方案为：所述根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿，包括：
根据所述矫正结果计算将局部世界坐标系下的3d点投影到二维像素平面的像素误差；
根据所述矫正结果计算参考相机以及待配准相机的像素平面中匹配点对的重投影误差；
根据所述矫正结果计算待配准相机投影的端点到由实际端点连接而成的直线的垂直距离，得到两个新的距离误差；
根据所述像素误差、所述重投影误差以及两个新的距离误差进行求和，并通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
本发明还提供了泳池防溺水多相机空间融合装置，包括：
图像获取单元，用于获取参考相机图像以及待配准相机图像；
内参标定单元，用于标定参考相机以及待配准相机的内参；
预处理单元，用于对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；
位姿计算单元，用于计算参考相机以及待配准相机之间的相对位姿；
关联单元，用于通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；
位置确定单元，用于确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；
拼接单元，用于根据各个相机的空间位姿拼接各个相机的图像。
其进一步技术方案为：所述内参标定单元，用于通过张正友标定法获取参考相机以及待配准相机的内参。
其进一步技术方案为：所述预处理单元包括：
矫正子单元，用于对所述参考相机图像以及所述待配准相机图像进行矫正图像畸变，以得到矫正结果；
局部坐标系定义子单元，用于按照两个相机为一组，定义局部世界坐标系。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过参考相机图像以及待配准相机图像标定两个相机的内参，并进行图像预处理，构建局部世界坐标系，计算局部世界坐标系下的两个相机的相对位姿，以此关联多个相机，构建全局统一世界坐标系，确定各个相机在全局统一的空间坐标系的位置，并根据位置进行图像拼接，实现将多个拍摄泳池水面的相机所拍摄的内容进行空间融合，以实现对泳池全方位的监管，提高防溺水的监管准确率。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的泳池防溺水多相机空间融合方法的应用场景示意图；
图2为本发明实施例提供的泳池防溺水多相机空间融合方法的流程示意图；
图3为本发明实施例提供的泳池防溺水多相机空间融合方法的子流程示意图；
图4为本发明实施例提供的泳池防溺水多相机空间融合方法的子流程示意图；
图5为本发明实施例提供的多相机的布局示意图；
图6为本发明实施例提供的泳池防溺水多相机空间融合装置的示意性框图；
图7为本发明实施例提供的泳池防溺水多相机空间融合装置的预处理单元的示意性框图；
图8为本发明实施例提供的泳池防溺水多相机空间融合装置的位姿计算单元的示意性框图；
图9为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的泳池防溺水多相机空间融合方法的应用场景示意图。图2为本发明实施例提供的泳池防溺水多相机空间融合方法的示意性流程图。该泳池防溺水多相机空间融合方法应用于服务器中。该服务器与终端和多个相机进行数据交互，多个相机架设在泳池水面上，并拍摄对应的图像，多个相机的图像以参考相机图像和待配准相机图像的形式组合输入至服务器，比如相机1作为参考相机，相机2作为待配准相机；相机3作为参考相机，相机1作为待配准相机；相机2作为参考相机，相机3作为待配准相机，以此种形式输入至服务器内，服务器通过多相机标定获得相机内外参，然后进行不同相机之间的空间映射，实现多相机的空间融合，并将拼接的结果输出至终端。
图2是本发明实施例提供的泳池防溺水多相机空间融合方法的流程示意图。如图2所示，该方法包括以下步骤S110至S170。
S110、获取参考相机图像以及待配准相机图像。
在本实施例中，参考相机图像是指作为参考的相机所拍摄的图像，待配准相机图像是指作为待配准相机所拍摄的图像；多个相机中任何相机都可以作为其他相机的参考相机，也可作为其他参考相机的待配准相机。
S120、标定参考相机以及待配准相机的内参。
在本实施例中，内参是指相机的内参。
具体地，通过张正友标定法获取参考相机以及待配准相机的内参。
S130、对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系。
在本实施例中，局部世界坐标系是指根据参考相机以及待配准相机定义的坐标系。
在一实施例中，请参阅图3，上述的步骤S130可包括步骤S131～S132。
S131、对所述参考相机图像以及所述待配准相机图像进行矫正图像畸变，以得到矫正结果。
在本实施例中，矫正结果是指对所述参考相机图像以及所述待配准相机图像进行矫正图像去除畸变后得到的图像。
S132、按照两个相机为一组，定义局部世界坐标系。
具体地，定义了一个米制尺度的局部世界坐标系w，即棋盘格左上角的角点为x-y平面的原点，棋盘格所在平面为z＝1的平面，棋盘格所在平面为z＝1的平面。由于该坐标系有真实的尺度，系统很容易获取棋盘格角点的三维坐标，通过匹配的棋盘格角点和将局部坐标系下3d点投影到二维像素平面的像素误差的计算公式，能够为相机外参和特征点逆深度的优化问题提供可度量的尺度约束。除了棋盘格角点外，系统还提取了SIFT特征点和泳池里的所有线段特征，为基于图优化的相机外参和特征点逆深度的优化问题提供更加丰富的约束，使得优化得到的几何变换Rc1-w，tc1-w，Rc2-w，tc2-w和特征点深度λ更加鲁棒。
S140、计算参考相机以及待配准相机之间的相对位姿。
在本实施例中，相对位姿是指参考相机以及待配准相机在对应的局部世界坐标系下的相对位置。
具体地，根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
在一实施例中，请参阅图4，上述的步骤S140可包括步骤S141～S144。
S141、根据所述矫正结果计算将局部世界坐标系下的3d点投影到二维像素平面的像素误差。
S142、根据所述矫正结果计算参考相机以及待配准相机的像素平面中匹配点对的重投影误差。
在本实施例中，优化问题的具体约束如下所示，其中h[.]表示将三维点转为三维齐次坐标，g{.}表示将三维齐次坐标转为二维坐标，f(.)将二维像素坐标(u,v)转为三维齐次坐标(u,v,1)，e3d ′、e3d″、e2d分别表示3种投影残差，其维度分别为2*1，2*1，2*1。e3d ′和e3d″表示将局部坐标系下3d点投影到二维像素平面的像素误差，e2d表示2个相机像素平面中匹配点对的重投影误差。具体计算如下：
S143、根据所述矫正结果计算待配准相机投影的端点到由实际端点连接而成的直线的垂直距离，得到两个新的距离误差。
具体地，给定
和
表示c1相机坐标系下第j个线特征的端点，通过
和
计算Xw,j和Yw,j，Xw,j和Yw,j分别表示二维像素点
和
在世界坐标系w下的三维空间点，然后通过
和
投影到c2相机坐标系下得到齐次坐标
和
从而计算直线的线特征参数
而从c2相机获取的图片上直接计算得到第j个线特征端点为
和
然后分别计算投影的端点
和
到由实际端点
和
连接而成的直线的垂直距离，得到两个新的距离误差
和
其中，c2相机为待配准相机；c1相机为参考相机。
S144、根据所述像素误差、所述重投影误差以及两个新的距离误差进行求和，并通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
具体地，将所述像素误差、所述重投影误差以及两个新的距离误差这5种误差求和可以融合直线匹配和特征点匹配的约束，通过最小化误差和可以分别计算得到的每一对相机在人为定义的世界坐标系w下的姿态。
S150、通过所述相对位姿关联多个相机，以建立全局统一世界坐标系。
在本实施例中，全局统一世界坐标系是指所有相机都参照的空间坐标系。
确定参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿，便能够计算得到各个相机之间的几何变换，从而建立一个全局统一的世界坐标系W。
S160、相机确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿。
在本实施例中，各个相机的空间位姿是指全局统一世界坐标系下的各个相机的位置。通过人为定义1号相机为世界坐标系W的原点，即位姿为单位矩阵Rc1_w＝E和tc1_w＝(0,0,0)T。随后，根据1和2号相机之间的相对位姿Rc1_c2和tc1_c2，计算得到2号相机在W中的位姿Rc2_w＝Rc1_c2 T和tc1_w＝-Rc1_c2 T*tc1_c2。多次重复，从而分别得到多个相机在W中的位姿。
S170、根据各个相机的空间位姿拼接各个相机的图像。
具体地，确定各相机在全局统一世界坐标系下的各个相机的位置。通过各相机全局统一世界坐标系下的各个相机的位置，能够融合拼接各相机的画面，从而实现了多个相机的空间融合。
如图5所示，在泳池防溺水多相机空间融合中，系统为两两相机之间定义了一个局部的世界坐标系w，用来计算两个相机之间的相对位姿。然后可以通过相机之间的相对位姿，关联6个相机，建立一个全局统一的空间坐标系W，以确定各个相机在全局统一的空间坐标系W的位置，并根据位置进行图像拼接。
上述的泳池防溺水多相机空间融合方法，通过参考相机图像以及待配准相机图像标定两个相机的内参，并进行图像预处理，构建局部世界坐标系，计算局部世界坐标系下的两个相机的相对位姿，以此关联多个相机，构建全局统一世界坐标系，确定各个相机在全局统一的空间坐标系的位置，并根据位置进行图像拼接，实现将多个拍摄泳池水面的相机所拍摄的内容进行空间融合，以实现对泳池全方位的监管，提高防溺水的监管准确率。
图6是本发明实施例提供的一种泳池防溺水多相机空间融合装置300的示意性框图。如图6所示，对应于以上泳池防溺水多相机空间融合方法，本发明还提供一种泳池防溺水多相机空间融合装置300。该泳池防溺水多相机空间融合装置300包括用于执行上述泳池防溺水多相机空间融合方法的单元，该装置可以被配置于服务器中。具体地，请参阅图6，该泳池防溺水多相机空间融合装置300包括图像获取单元301、内参标定单元302、预处理单元303、位姿计算单元304、关联单元305、位置确定单元306以及拼接单元307。
图像获取单元301，用于获取参考相机图像以及待配准相机图像；内参标定单元302，用于标定参考相机以及待配准相机的内参；预处理单元303，用于对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；位姿计算单元304，用于计算参考相机以及待配准相机之间的相对位姿；关联单元305，用于通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；位置确定单元306，用于确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；拼接单元307，用于根据各个相机的空间位姿拼接各个相机的图像。
在一实施例中，所述内参标定单元302，用于通过张正友标定法获取参考相机以及待配准相机的内参。
在一实施例中，如图7所示，所述预处理单元303包括矫正子单元3031以及局部坐标系定义子单元3032。
矫正子单元3031，用于对所述参考相机图像以及所述待配准相机图像进行矫正图像畸变，以得到矫正结果；局部坐标系定义子单元3032，用于按照两个相机为一组，定义局部世界坐标系。
在一实施例中，所述位姿计算单元304，用于根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
在一实施例中，如图8所示，所述位姿计算单元304包括像素误差计算子单元3041、重投影误差计算子单元3042、距离误差计算子单元3043以及相对位姿计算子单元3044。
像素误差计算子单元3041，用于根据所述矫正结果计算将局部世界坐标系下的3d点投影到二维像素平面的像素误差；重投影误差计算子单元3042，用于根据所述矫正结果计算参考相机以及待配准相机的像素平面中匹配点对的重投影误差；距离误差计算子单元3043，用于根据所述矫正结果计算待配准相机投影的端点到由实际端点连接而成的直线的垂直距离，得到两个新的距离误差；相对位姿计算子单元3044，用于根据所述像素误差、所述重投影误差以及两个新的距离误差进行求和，并通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述泳池防溺水多相机空间融合装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述泳池防溺水多相机空间融合装置可以实现为一种计算机程序的形式，该计算机程序可以在如图9所示的计算机设备上运行。
请参阅图9，图9是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图9，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种泳池防溺水多相机空间融合方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种泳池防溺水多相机空间融合方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取参考相机图像以及待配准相机图像；标定参考相机以及待配准相机的内参；对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；计算参考相机以及待配准相机之间的相对位姿；通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；根据各个相机的空间位姿拼接各个相机的图像。
在一实施例中，处理器502在实现所述标定参考相机以及待配准相机的内参步骤时，具体实现如下步骤：
通过张正友标定法获取参考相机以及待配准相机的内参。
在一实施例中，处理器502在实现所述对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系步骤时，具体实现如下步骤：
对所述参考相机图像以及所述待配准相机图像进行矫正图像畸变，以得到矫正结果；按照两个相机为一组，定义局部世界坐标系。
在一实施例中，处理器502在实现所述计算参考相机以及待配准相机之间的相对位姿步骤时，具体实现如下步骤：
根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
在一实施例中，处理器502在实现所述根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿步骤时，具体实现如下步骤：
根据所述矫正结果计算将局部世界坐标系下的3d点投影到二维像素平面的像素误差；根据所述矫正结果计算参考相机以及待配准相机的像素平面中匹配点对的重投影误差；根据所述矫正结果计算待配准相机投影的端点到由实际端点连接而成的直线的垂直距离，得到两个新的距离误差；根据所述像素误差、所述重投影误差以及两个新的距离误差进行求和，并通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取参考相机图像以及待配准相机图像；标定参考相机以及待配准相机的内参；对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；计算参考相机以及待配准相机之间的相对位姿；通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；根据各个相机的空间位姿拼接各个相机的图像。
在一实施例中，所述处理器在执行所述计算机程序而实现所述标定参考相机以及待配准相机的内参步骤时，具体实现如下步骤：
通过张正友标定法获取参考相机以及待配准相机的内参。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系步骤时，具体实现如下步骤：
对所述参考相机图像以及所述待配准相机图像进行矫正图像畸变，以得到矫正结果；按照两个相机为一组，定义局部世界坐标系。
在一实施例中，所述处理器在执行所述计算机程序而实现所述计算参考相机以及待配准相机之间的相对位姿步骤时，具体实现如下步骤：
根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
在一实施例中，所述处理器在执行所述计算机程序而实现所述根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿步骤时，具体实现如下步骤：
根据所述矫正结果计算将局部世界坐标系下的3d点投影到二维像素平面的像素误差；根据所述矫正结果计算参考相机以及待配准相机的像素平面中匹配点对的重投影误差；根据所述矫正结果计算待配准相机投影的端点到由实际端点连接而成的直线的垂直距离，得到两个新的距离误差；根据所述像素误差、所述重投影误差以及两个新的距离误差进行求和，并通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.泳池防溺水多相机空间融合方法，其特征在于，包括：
获取参考相机图像以及待配准相机图像；
标定参考相机以及待配准相机的内参；
对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；
计算参考相机以及待配准相机之间的相对位姿；
通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；
确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；
根据各个相机的空间位姿拼接各个相机的图像。
2.根据权利要求1所述的泳池防溺水多相机空间融合方法，其特征在于，所述标定参考相机以及待配准相机的内参，包括：
通过张正友标定法获取参考相机以及待配准相机的内参。
3.根据权利要求1所述的泳池防溺水多相机空间融合方法，其特征在于，所述对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系，包括：
对所述参考相机图像以及所述待配准相机图像进行矫正图像畸变，以得到矫正结果；
按照两个相机为一组，定义局部世界坐标系。
4.根据权利要求3所述的泳池防溺水多相机空间融合方法，其特征在于，所述计算参考相机以及待配准相机之间的相对位姿，包括：
根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
5.根据权利要求4所述的泳池防溺水多相机空间融合方法，其特征在于，所述根据所述矫正结果融合直线匹配和特征点匹配的约束，通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿，包括：
根据所述矫正结果计算将局部世界坐标系下的3d点投影到二维像素平面的像素误差；
根据所述矫正结果计算参考相机以及待配准相机的像素平面中匹配点对的重投影误差；
根据所述矫正结果计算待配准相机投影的端点到由实际端点连接而成的直线的垂直距离，得到两个新的距离误差；
根据所述像素误差、所述重投影误差以及两个新的距离误差进行求和，并通过最小化误差和计算参考相机以及待配准相机在对应的局部世界坐标系下的相对位姿。
6.泳池防溺水多相机空间融合装置，其特征在于，包括：
图像获取单元，用于获取参考相机图像以及待配准相机图像；
内参标定单元，用于标定参考相机以及待配准相机的内参；
预处理单元，用于对所述参考相机图像以及所述待配准相机图像进行预处理，以得到局部世界坐标系；
位姿计算单元，用于计算参考相机以及待配准相机之间的相对位姿；
关联单元，用于通过所述相对位姿关联多个相机，以建立全局统一世界坐标系；
位置确定单元，用于确定全局统一世界坐标系下的各个相机的位置，以得到各个相机的空间位姿；
拼接单元，用于根据各个相机的空间位姿拼接各个相机的图像。
7.根据权利要求6所述的泳池防溺水多相机空间融合装置，其特征在于，所述内参标定单元，用于通过张正友标定法获取参考相机以及待配准相机的内参。
8.根据权利要求6所述的泳池防溺水多相机空间融合装置，其特征在于，所述预处理单元包括：
矫正子单元，用于对所述参考相机图像以及所述待配准相机图像进行矫正图像畸变，以得到矫正结果；
局部坐标系定义子单元，用于按照两个相机为一组，定义局部世界坐标系。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210022873.7A CN114359410B (zh) | 2022-01-10 | 2022-01-10 | 泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210022873.7A CN114359410B (zh) | 2022-01-10 | 2022-01-10 | 泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114359410A true CN114359410A (zh) | 2022-04-15 |
| CN114359410B CN114359410B (zh) | 2024-04-19 |
Family
ID=81109007
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210022873.7A Active CN114359410B (zh) | 2022-01-10 | 2022-01-10 | 泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114359410B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117319612A (zh) * | 2023-11-30 | 2023-12-29 | 成都智敏实业有限公司 | 水下影像采集识别系统 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710932A (zh) * | 2009-12-21 | 2010-05-19 | 深圳华为通信技术有限公司 | 图像拼接方法及装置 |
| CN104050650A (zh) * | 2014-06-19 | 2014-09-17 | 湖北汽车工业学院 | 基于坐标变换的完整成像的图像拼接方法 |
| CN106157304A (zh) * | 2016-07-01 | 2016-11-23 | 成都通甲优博科技有限责任公司 | 一种基于多个相机的全景图拼接方法及系统 |
| CN109099883A (zh) * | 2018-06-15 | 2018-12-28 | 哈尔滨工业大学 | 高精度大视场机器视觉测量与标定装置及方法 |
| CN110355788A (zh) * | 2019-07-24 | 2019-10-22 | 哈尔滨工业大学（深圳） | 移动操作机器人大尺度空间高精度在线标定系统 |
| CN113344789A (zh) * | 2021-06-29 | 2021-09-03 | Oppo广东移动通信有限公司 | 图像拼接方法及装置、电子设备、计算机可读存储介质 |
| CN113469886A (zh) * | 2021-07-23 | 2021-10-01 | 成都理工大学 | 一种基于三维重构的图像拼接方法 |
| CN113624223A (zh) * | 2021-07-30 | 2021-11-09 | 中汽创智科技有限公司 | 一种室内停车场地图构建方法及装置 |
| CN113850905A (zh) * | 2021-09-29 | 2021-12-28 | 中国科学院长春光学精密机械与物理研究所 | 一种用于周扫型光电预警系统的全景图像实时拼接方法 |
-
2022
- 2022-01-10 CN CN202210022873.7A patent/CN114359410B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101710932A (zh) * | 2009-12-21 | 2010-05-19 | 深圳华为通信技术有限公司 | 图像拼接方法及装置 |
| CN104050650A (zh) * | 2014-06-19 | 2014-09-17 | 湖北汽车工业学院 | 基于坐标变换的完整成像的图像拼接方法 |
| CN106157304A (zh) * | 2016-07-01 | 2016-11-23 | 成都通甲优博科技有限责任公司 | 一种基于多个相机的全景图拼接方法及系统 |
| CN109099883A (zh) * | 2018-06-15 | 2018-12-28 | 哈尔滨工业大学 | 高精度大视场机器视觉测量与标定装置及方法 |
| CN110355788A (zh) * | 2019-07-24 | 2019-10-22 | 哈尔滨工业大学（深圳） | 移动操作机器人大尺度空间高精度在线标定系统 |
| CN113344789A (zh) * | 2021-06-29 | 2021-09-03 | Oppo广东移动通信有限公司 | 图像拼接方法及装置、电子设备、计算机可读存储介质 |
| CN113469886A (zh) * | 2021-07-23 | 2021-10-01 | 成都理工大学 | 一种基于三维重构的图像拼接方法 |
| CN113624223A (zh) * | 2021-07-30 | 2021-11-09 | 中汽创智科技有限公司 | 一种室内停车场地图构建方法及装置 |
| CN113850905A (zh) * | 2021-09-29 | 2021-12-28 | 中国科学院长春光学精密机械与物理研究所 | 一种用于周扫型光电预警系统的全景图像实时拼接方法 |
Non-Patent Citations (2)
| Title |
|---|
| 张军: "基于视觉的AUBO机器人标定方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
| 邹智强等: "基于多相机与惯性导航延时补偿的机器人定位方法", 《2020中国自动化大会(CAC2020)论文集》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117319612A (zh) * | 2023-11-30 | 2023-12-29 | 成都智敏实业有限公司 | 水下影像采集识别系统 |
| CN117319612B (zh) * | 2023-11-30 | 2024-02-02 | 成都智敏实业有限公司 | 水下影像采集识别系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114359410B (zh) | 2024-04-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10623718B2 (en) | Camera calibration system | |
| US8452081B2 (en) | Forming 3D models using multiple images | |
| CN101563709B (zh) | 校准照相机系统 | |
| CN106846409B (zh) | 鱼眼相机的标定方法及装置 | |
| CN110070564B (zh) | 一种特征点匹配方法、装置、设备及存储介质 | |
| US20120177283A1 (en) | Forming 3d models using two images | |
| CN109740659B (zh) | 一种图像匹配方法及装置、电子设备、存储介质 | |
| CN112686877B (zh) | 基于双目相机的三维房屋损伤模型构建测量方法及系统 | |
| WO2019075948A1 (zh) | 移动机器人的位姿估计方法 | |
| Liu et al. | Robust autocalibration for a surveillance camera network | |
| CN114359411B (zh) | 泳池防溺水目标检测方法、装置、计算机设备及存储介质 | |
| CN114359410B (zh) | 泳池防溺水多相机空间融合方法、装置、计算机设备及存储介质 | |
| US8340399B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
| CN111383264B (zh) | 一种定位方法、装置、终端及计算机存储介质 | |
| KR101938067B1 (ko) | Sift 플로우를 이용한 광각영상의 스테레오 정합 방법 및 장치 | |
| CN114170317B (zh) | 泳池防溺水人头位置判断方法、装置及计算机设备 | |
| KR100944293B1 (ko) | 단일 축 회전 영상들로부터의 효율적인 전 방향 3차원모델의 재구성 방법 | |
| CN111445513A (zh) | 基于深度图像的植株冠层体积获取方法、装置、计算机设备和存储介质 | |
| JP2004020398A (ja) | 空間情報獲得方法、空間情報獲得装置、空間情報獲得プログラム、及びそれを記録した記録媒体 | |
| CN116309795A (zh) | 泳池防溺水人头三维定位方法、装置、计算机设备及存储介质 | |
| US20230419533A1 (en) | Methods, storage media, and systems for evaluating camera poses | |
| CN115100535B (zh) | 基于仿射相机模型的卫星遥感图像快速重建方法及装置 | |
| CN115457124A (zh) | 航拍图像像素点经纬度标定方法、装置、计算机设备及存储介质 | |
| WO2022209709A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| CN116309862A (zh) | 泳池防溺水多视角相机标定方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |