CN115861439A - 一种深度信息测量方法、装置、计算机设备和存储介质 - Google Patents
一种深度信息测量方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115861439A CN115861439A CN202211570310.8A CN202211570310A CN115861439A CN 115861439 A CN115861439 A CN 115861439A CN 202211570310 A CN202211570310 A CN 202211570310A CN 115861439 A CN115861439 A CN 115861439A
- Authority
- CN
- China
- Prior art keywords
- image
- camera
- calibration
- target
- safety helmet
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
本发明提供一种深度信息测量方法、装置、计算机设备和存储介质,所述方法包括:对第一相机采集检测目标得到的第一初始图像进行畸变矫正,得到第一预处理图像;对第二相机采集检测目标得到的第二初始图像进行畸变矫正,得到第二预处理图像;对所述第一预处理图像和所述第二预处理图像进行图像立体匹配,得到目标视差深度图;根据所述目标视差深度图中关键点的三位坐标信息,计算出检测目标的深度信息。本发明解决了现有技术中对电杆的高度测量方法存在测量难的问题,实现无线手持且能保持与佩戴者同一视角的图像采集方式,不仅实现对杆路电杆高度、吊线长度、拉线长度等不易测量物体的长度测量,还提高了测量精度。
Description
技术领域
本发明涉及深度信息测量技术领域,具体涉及一种深度信息测量方法、装置、计算机设备和存储介质。
背景技术
电杆是基建工程涉及的重要产品之一,生产成本和运输成本都比较低且施工方便等优点,广泛用于配网输电线路中,电信通信线路架设等其他行业也广泛应用。在施工过程中,需要测量电杆的高度,但由于电杆通常设置在高山丛林或者湖泊中,则存在测量难和测量不精准的问题。
可见,现有技术中对电杆的高度测量方法存在测量难和不精准的问题。
发明内容
针对现有技术中所存在的不足,本发明提供的一种深度信息测量方法、装置、计算机设备和存储介质,其解决了现有技术中对电杆的高度测量方法存在测量难和不精准的问题,实现无线手持且能保持与佩戴者同一视角的图像采集方式,不仅实现对杆路电杆高度、吊线长度、拉线长度等不易测量物体的长度测量,还提高了测量精度。
第一方面,本发明提供一种深度信息测量方法,所述方法包括:对设置在安全帽上的双目相机进行标定得到双目相机的标定参数;其中,所述双目相机的标定参数包括第一相机的标定参数和第二相机的标定参数;根据所述第一相机的标定参数对第一相机采集检测目标得到的第一初始图像进行畸变矫正,得到第一预处理图像;根据所述第二相机的标定参数对第二相机采集检测目标得到的第二初始图像进行畸变矫正,得到第二预处理图像;对所述第一预处理图像和所述第二预处理图像进行图像立体匹配,得到目标视差深度图;根据所述目标视差深度图中关键点的三位坐标信息,计算出检测目标的深度信息。
可选地,对设置在安全帽上的双目相机进行标定得到双目相机的标定参数,包括:所述双目相机采集标定板图像,得到第一标定图像和第二标定图像;对所述第一标定图像和所述第二标定图像进行二值化,得到白色像素点;通过Hough变换后的r轴方向上聚类对白色像素点进行初步分组;对Hough变换后的初步分组点根据距离r值合并进一步得到白色像素点的最佳分组,使同一条格网线上的点在一个组;分别对各组格网点进行最小二乘直线拟合解算出直线参数,并根据直线参数解算出双目相机的标定参数。
可选地,对设置在安全帽上的双目相机进行标定得到双目相机的标定参数,包括:所述双目相机采集标定板图像,得到第一标定图像和第二标定图像;以所述第一标定图像中的第一目标角点建立第一世界坐标系和第一图像坐标系,以及以所述第二标定图像中的第二目标角点建立第二世界坐标系和第二图像坐标系;根据所述第一标定图像和所述第二标定图像的尺寸信息,获取所述第一标定图像中每个像素分别在所述第一世界坐标系中的第一世界坐标信息和在所述第一图像坐标系中的第一图像坐标信息,以及所述第二标定图像中每个像素分别在所述第二世界坐标系中的第二世界坐标信息和在所述第二图像坐标系中的第二图像坐标信息;根据所述第一世界坐标系与所述第一图像坐标系的转换关系、所述第一世界坐标信息和所述第一图像坐标信息,得到第一相机的标定参数;以及根据所述第二世界坐标系与所述第二图像坐标系的转换关系、所述第二世界坐标信息和所述第二图像坐标信息,得到第二相机的标定参数。
可选地,根据所述第一相机的标定参数对第一相机采集检测目标得到的第一初始图像进行畸变矫正,得到第一预处理图像,包括:根据阈值分割和细化算法提取所述第一初始图像中单像素宽的横竖网格线;根据领域特征对所述横竖网格线进行交叉点判断,得到所述第一初始图像中的所有网格交叉点的畸变坐标;根据所述第一相机的标定参数,以及世界坐标系和图像坐标系的转换关系,计算出每个网格交叉点的矫正坐标;根据所述网格交叉点的畸变坐标和矫正坐标,建立从矫正坐标到畸变坐标的构造函数;根据所述构造函数和灰度插值算法对第一初始图像进行畸变矫正,得到所述第一预处理图像。
可选地,对所述第一预处理图像和所述第二预处理图像进行图像立体匹配,得到目标视差深度图,包括:根据所述双目相机的标定参数,将所述第一预处理图像和所述第二预处理图像投影至于基线平行的平面上,使所述第一预处理图像和所述第二预处理图像进行极限对齐;根据半全局块匹配算法对所述极限对齐后的第一预处理图像和所述第二预处理图像进行立体匹配,得到所述目标视差深度图。
可选地,所述方法还包括:获取当前监测时刻设置在安全帽上的激光测距模块与目标参考点的当前距离;根据所述当前距离,计算出所述激光测距模块的当前高度;根据所述激光测距模块的当前高度和所述激光测距模块在上一个监测时刻的高度,得到当前高度差;当所述当前高度差大于预设阈值时,发出预警信息。
第二方面,本发明提供一种深度信息测量装置,所述装置包括:安全帽本体、第一相机、第二相机、电池模块、安全帽固定带、多根安全帽连接带、无线通讯模块和图像处理装置;所述安全帽固定带套设在所述安全帽本体上方,所述电池模块和所述无线通讯模块通过所述多根安全帽连接带固定在所述安全帽本体上;所述第一相机和所述第二相机分别设置在所述安全帽本体的两侧,并与所述电池模块和所述无线通讯模块相连,用于分别采集检测目标的第一初始图像和第二初始图像;所述图像处理装置与所述无线通讯模块相连,用于根据所述第一相机的标定参数对第一相机采集检测目标得到的第一初始图像进行畸变矫正,得到第一预处理图像;根据所述第二相机的标定参数对第二相机采集检测目标得到的第二初始图像进行畸变矫正,得到第二预处理图像;还用于对所述第一预处理图像和所述第二预处理图像进行图像立体匹配,得到目标视差深度图;还用于根据所述目标视差深度图中关键点的三位坐标信息,计算出检测目标的深度信息。
可选地,所述装置还包括:定位模块、加速度计、陀螺仪、磁力计和气压高度计,通过所述安全帽连接带分别固定在所述安全帽本体上。
第三方面,本发明提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:对设置在安全帽上的双目相机进行标定得到双目相机的标定参数;其中,所述双目相机的标定参数包括第一相机的标定参数和第二相机的标定参数;根据所述第一相机的标定参数对第一相机采集检测目标得到的第一初始图像进行畸变矫正,得到第一预处理图像;根据所述第二相机的标定参数对第二相机采集检测目标得到的第二初始图像进行畸变矫正,得到第二预处理图像;对所述第一预处理图像和所述第二预处理图像进行图像立体匹配,得到目标视差深度图;根据所述目标视差深度图中关键点的三位坐标信息,计算出检测目标的深度信息。
第四方面,本发明提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:对设置在安全帽上的双目相机进行标定得到双目相机的标定参数;其中,所述双目相机的标定参数包括第一相机的标定参数和第二相机的标定参数;根据所述第一相机的标定参数对第一相机采集检测目标得到的第一初始图像进行畸变矫正,得到第一预处理图像;根据所述第二相机的标定参数对第二相机采集检测目标得到的第二初始图像进行畸变矫正,得到第二预处理图像;对所述第一预处理图像和所述第二预处理图像进行图像立体匹配,得到目标视差深度图;根据所述目标视差深度图中关键点的三位坐标信息,计算出检测目标的深度信息。
相比于现有技术,本发明具有如下有益效果:
本发明通过设置在安全帽上的双目相机对检测目标进行图像采集,并对采集到的初始图像进行畸变矫正和图像立体匹配得到检测目标的视差深度图像,再根据视差深度图像计算出检测目标的深度信息;因此,本发明解决了现有技术中对电杆的高度测量方法存在测量难和不精准的问题,实现无线手持且能保持与佩戴者同一视角的图像采集方式,不仅实现对杆路电杆高度、吊线长度、拉线长度等不易测量物体的长度测量,还提高了测量精度。
附图说明
图1所示为本发明实施例提供的一种深度信息测量方法的流程示意图;
图2所示为本发明实施例提供的一种极线对齐示意图;
图3所示为本发明实施例提供的一种立体匹配流程示意图;
图4所示为本发明实施例提供的一种位移高度测量示意图;
图5所示为本发明实施例提供的一种深度信息测量装置的主视图;
图6所示为本发明实施例提供的一种深度信息测量装置的左侧视图;
图7所示为本发明实施例提供的一种深度信息测量装置的俯视图;
图8所示为本发明实施例提供的一种深度信息测量装置的仰视图;
图9所示为本发明实施例提供的一种深度信息测量装置的前视图;
图10所示为本发明实施例提供的一种深度信息测量装置的后视图;
图11所示为本发明实施例提供的另一种深度信息测量方法的流程示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
第一方面,本发明提供一种深度信息测量方法,具体包括以下实施例:
图1所示为本发明实施例提供的一种深度信息测量方法的流程示意图,如图1所示,所述深度信息测量方法具体包括以下步骤:
步骤S101,对设置在安全帽上的双目相机进行标定得到双目相机的标定参数。
在本实施例中,所述双目相机的标定参数包括第一相机的标定参数和第二相机的标定参数。
在一个实施例中,对设置在安全帽上的双目相机进行标定得到双目相机的标定参数,包括:所述双目相机采集标定板图像,得到第一标定图像和第二标定图像;对所述第一标定图像和所述第二标定图像进行二值化,得到白色像素点;通过Hough变换后的r轴方向上聚类对白色像素点进行初步分组;对Hough变换后的初步分组点根据距离r值合并进一步得到白色像素点的最佳分组,使同一条格网线上的点在一个组;分别对各组格网点进行最小二乘直线拟合解算出直线参数,并根据直线参数解算出双目相机的标定参数。
需要说明的是,本实施例通过双目张氏相机标定方法进行双目标定;张氏标定法是在基于2D平面标定板上提出摄像机的三维标定方法,摄像机或平面标定板都可自由移动。摄像机至少从三个不同方位拍摄标定板,从而得到至少三个不同的单应矩阵,再利用旋转矩阵的性质得到摄像机的内参矩阵,保持摄像机内参始终不变。外参的标定则根据棋盘格三维点坐标和对应像素点坐标一一对应关系构建超定程求解得到单应矩阵,然后分解单应矩阵得到相机的外参。
根据是否为相机的固有参数,将相机参数分为内参和外参,其中内参包括相机焦距f、主点(x0,y0)及相机畸变参数(K1,K2,P1,P2),外参包括相机在物方坐标系下的三维坐标(Xs,Ys,Zs)及相机主光轴在物方坐标系下的角元素φ、ω、k),本标定方法仅涉及摄像机外参标定,所以影像要先以地面标定的畸变参数进行畸变校正,并在已知摄像头焦距f、主点(x0,y0)的情况下进行,其标定过程为:
(1)选择在左右影像中均拍摄的清晰格网区域。
(2)因在该区域内格网线与非格网线黑白分明,设置阈值对选区进行二值化.
(3)二值化后的白色像素点是一个组,通过Hough变换后的r轴方向上聚类对白色像素点进行初步分组,并设置组内像素点的数量阈值清除噪声点。
(4)对Hough变换后的初步分组点根据距离r值合并进一步得到白色像素点的最佳分组,使同一条格网线上的点在一个组。
(5)分别对各组格网点进行最小二乘直线拟合,解算出直线参数。
(6)根据直线参数解算导航双目相机外参。
在另一个实施例中,对设置在安全帽上的双目相机进行标定得到双目相机的标定参数,包括:所述双目相机采集标定板图像,得到第一标定图像和第二标定图像;以所述第一标定图像中的第一目标角点建立第一世界坐标系和第一图像坐标系,以及以所述第二标定图像中的第二目标角点建立第二世界坐标系和第二图像坐标系;根据所述第一标定图像和所述第二标定图像的尺寸信息,获取所述第一标定图像中每个像素分别在所述第一世界坐标系中的第一世界坐标信息和在所述第一图像坐标系中的第一图像坐标信息,以及所述第二标定图像中每个像素分别在所述第二世界坐标系中的第二世界坐标信息和在所述第二图像坐标系中的第二图像坐标信息;根据所述第一世界坐标系与所述第一图像坐标系的转换关系、所述第一世界坐标信息和所述第一图像坐标信息,得到第一相机的标定参数;以及根据所述第二世界坐标系与所述第二图像坐标系的转换关系、所述第二世界坐标信息和所述第二图像坐标信息,得到第二相机的标定参数。
需要说明的是,双目相机在采集图像之前先检查双目相机复位情况,然后对双目相机进行标定,相机标定的实质是通过采集标定板不同位姿的图像,并根据求解方程得到相机的内外参数,具体标定过程为:首先保持双目相机在同一水平线上且位置固定,相机水平方向距离为110mm,使用双目相机分别拍摄20张标定板图像,提取所有标定板图像上的角点,单相机以图片中右下角的角点O作为原点建立世界坐标系,在已知图片边长的条件下,可以得到在世界坐标系以及图像坐标系中标定板图像上所有角点的坐标信息,基于四种不同坐标系间存在的转换关系,即可对其推导获得相机内部参数与外部参数。经过单相机标定后可以得到两个相机的旋转矩阵以及平移向量,通过计算标定板中的某一点在同一时间相对相机的位置,就能够推导出双目相机之间的标定参数从而完成双目相机的标定。
步骤S102,根据所述第一相机的标定参数对第一相机采集检测目标得到的第一初始图像进行畸变矫正,得到第一预处理图像;根据所述第二相机的标定参数对第二相机采集检测目标得到的第二初始图像进行畸变矫正,得到第二预处理图像。
在本实施例中,根据所述第一相机的标定参数对第一相机采集检测目标得到的第一初始图像进行畸变矫正,得到第一预处理图像,包括:根据阈值分割和细化算法提取所述第一初始图像中单像素宽的横竖网格线;根据领域特征对所述横竖网格线进行交叉点判断,得到所述第一初始图像中的所有网格交叉点的畸变坐标;根据所述第一相机的标定参数,以及世界坐标系和图像坐标系的转换关系,计算出每个网格交叉点的矫正坐标;根据所述网格交叉点的畸变坐标和矫正坐标,建立从矫正坐标到畸变坐标的构造函数;根据所述构造函数和灰度插值算法对第一初始图像进行畸变矫正,得到所述第一预处理图像。
需要说明的是,图像采集回传后,对图像进行去噪处理,增强图像质量增加角点提取数量,提高测距系统的测量精度。用去噪卷积神经网络(denoising convolutionalneural network,DnCNN)模型进行,这种模型主要基于残差学习和批标准化处理理念建立,相对于其他算法,其优势较为突出。具体来看,DnCNN算法主要基于以下两个方面的理论实现:
(1)残差学习:在应用机器学习进行图像去噪时,通常通过学习标准图像的方式进行,通过对比不断修正误差,来预测去噪后的“干净图像”,表示预测值与真实值之间的差值;(2)批标准化技术:在本实施例中应用的批标准化技术,主要是将输入数据限制在一个固定的范围内,并确保其均值为零和方差为1的标准分布。
具体地,本实施例利用大律法阈值分割和细化算法提取单像素宽的网格线,并根据8领域内的特征初步判断出网格交叉点;为了提高精度,需要对网格交叉点进行优化;畸变导致图像中的网格直线产生形变,但仍可将其任意一小段当作直线。首先在去噪处理后的图像中利用形态学闭运算提取横竖网格线,然后分别在竖线和横线图像中的网格交叉点周围提取相应的子块,利用Canny算子检测网格线的边缘后利用线性回归拟合出边缘直线进而求得精确的网格中心线;两条中心线的交点即为优化后的网格点。
进一步地,世界坐标系和图像坐标系统的转换关系为:
其中,(u,v)为理想图像坐标,(Xw,Yw)为世界坐标,参数s、tu、tv和θ可以通过以下公式求出:
其中,i表示网格点索引,(u′i,v′i)和(ui,vi)为第i个网格点的畸变坐标和理想坐标。提取出网格点的图像坐标和物理坐标后,结合公式(1)和公式(2)可以求出s、tu、tv和θ四个参数;然后根据公式(1)可求得网格点的校正坐标。
进一步地,利用网格交叉点的校正坐标和畸变坐标构造从校正坐标到畸变坐标的薄板样条函数,并结合灰度插值技术对图像的畸变进行校正:
I(μ,v)=I′(μ′,v′)=I′(TPS(μ,v)) (3)
其中,I和I′分别为校正图像和畸变图像,TPS为薄板样条函数,(u,v)和(u′,v′)分别为校正图像和畸变图像的坐标;采用灰度插值技术是因为校正图像的像素坐标所对应的畸变坐标未必与畸变图像的某一像素坐标重合;现有的灰度插值方法主要包括最邻近法、双线性法和三次卷积法,本实施例选择双线性法。
在本实施例中,根据所述第二相机的标定参数对第二相机采集检测目标得到的第二初始图像进行畸变矫正,得到第二预处理图像与上述得到第一预处理图像的处理过程相同,此处就不再赘述。
在另一个实施例中,图像校正的目的是为了使双目相机2个镜头的光轴处于平行状态,同时可以检验双目标定结果是否准确,从而达到像素点在左右目图像上高度一致的效果。即只有当双目标定结果准确时,左右图像才会处于像素点一致的状态。图像校正的方法:获取双目标定结果参数;通过remap函数实现图像校正。
步骤S103,对所述第一预处理图像和所述第二预处理图像进行图像立体匹配,得到目标视差深度图。
在本实施例中,对所述第一预处理图像和所述第二预处理图像进行图像立体匹配,得到目标视差深度图,包括:根据所述双目相机的标定参数,将所述第一预处理图像和所述第二预处理图像投影至于基线平行的平面上,使所述第一预处理图像和所述第二预处理图像进行极限对齐;根据半全局块匹配算法对所述极限对齐后的第一预处理图像和所述第二预处理图像进行立体匹配,得到所述目标视差深度图。
需要说明的是,在双目图像立体匹配寻找同名点的过程如果没有约束,查找效率很低,还会因弱纹理等容易查找到错误的对应点,因此需要极线对齐操作。如图2所示,根据双目相机标定好的参数,将图像投影至与基线平行的平面上,让相机的主光轴相互平行,使得极平面与两张图像的交线位于同一个扫描行,这样同名点的行号一定相同,列号可能存在差异。
在本实施例中,经过极限对齐后,还需要使用算法匹配获取视差深度图,采用半全局块匹配(SGBM)算法,由此得到杆路关键点的三维坐标信息,半全局块匹配(SGBM)算法过程如图3所示,半全局块匹配(SGBM)算法预处理的目的是得到图像的梯度信息,经过预处理得到的图像的梯度信息,经过基于采样的方法得到的梯度代价。然后进行动态规划,这里半全局块匹配算法利用多个方向上的信息,试图消除错误信息的干扰,能明显减弱动态规划算法产生的拖尾效应。半全局块匹配算法试图通过影像上多个方向上一维路径的约束,来建立一个全局的马尔科夫能量方程,每个像素最终的匹配代价是所有路径信息的叠加,每个像素的视差选择都只是简单通过决定的。然后经过后处理算法,先进行唯一性检测,然后进行亚像素插值,其次进行一致性检测,最后循环遍历每一个像素点,对每一个视差像素点d而言,检测其周围(上下左右)的视差是否满足视差连通条件。由此得到杆路关键点的三维坐标信息。
步骤S104,根据所述目标视差深度图中关键点的三位坐标信息,计算出检测目标的深度信息。
需要说明的是,通过关键点三维坐标信息获取杆路高度、吊线长度、拉线长度的测量信息,其中所述检测目标包括但不现有灯杆、电杆、吊线和拉线等不易测量的物体,所述深度信息包括但不现有高度值、长度值和宽度值。根据目标视差深度图中关键点的三位坐标信息,计算出检测目标的深度信息可通过现有技术的手段进行实现,此处就不再赘述。
相比于现有技术,本实施例具有如下有益效果:
本实施例通过设置在安全帽上的双目相机对检测目标进行图像采集,并对采集到的初始图像进行畸变矫正和图像立体匹配得到检测目标的视差深度图像,再根据视差深度图像计算出检测目标的深度信息;因此,本实施例解决了现有技术中对电杆的高度测量方法存在测量难和不精准的问题,实现无线手持且能保持与佩戴者同一视角的图像采集方式,不仅实现对杆路电杆高度、吊线长度、拉线长度等不易测量物体的长度测量,还提高了测量精度。
在本实施例中,所述方法还包括:获取当前监测时刻设置在安全帽上的激光测距模块与目标参考点的当前距离;根据所述当前距离,计算出所述激光测距模块的当前高度;根据所述激光测距模块的当前高度和所述激光测距模块在上一个监测时刻的高度,得到当前高度差;当所述当前高度差大于预设阈值时,发出预警信息。
需要说明的是,如图4所示,通过激光测距模块可以测量出当前到目标参考点的当前距离L2,计算出当前高度H2,根据当前高度H2与上一个监测时刻高度H1的高度差,判断工作人员是否处于高空作业;当H2与H1的高度差大于预设阈值时发出短信、语音通知安全员旁站进行登高作业指导工作。
第二方面,本发明提供一种深度信息测量装置,所述装置包括:
安全帽本体、第一相机、第二相机、电池模块、安全帽固定带、多根安全帽连接带、无线通讯模块和图像处理装置;
所述安全帽固定带套设在所述安全帽本体上方,所述电池模块和所述无线通讯模块通过所述多根安全帽连接带固定在所述安全帽本体上;
所述第一相机和所述第二相机分别设置在所述安全帽本体的两侧,并与所述电池模块和所述无线通讯模块相连,用于分别采集检测目标的第一初始图像和第二初始图像;
所述图像处理装置与所述无线通讯模块相连,用于根据所述第一相机的标定参数对第一相机采集检测目标得到的第一初始图像进行畸变矫正,得到第一预处理图像;根据所述第二相机的标定参数对第二相机采集检测目标得到的第二初始图像进行畸变矫正,得到第二预处理图像;还用于对所述第一预处理图像和所述第二预处理图像进行图像立体匹配,得到目标视差深度图;还用于根据所述目标视差深度图中关键点的三位坐标信息,计算出检测目标的深度信息。
如图5所示,所述装置包括左侧摄像头1、右侧摄像头2、电池模块3、安全帽固定带4、安全帽连接带5;其中,在左侧摄像头1上还设置有5G模块、骨传导耳机模块、北斗模块、蓝牙模块;在右侧摄像头2上还设置有骨传导耳机模块和激光测距模块。
如图5所示,将安全帽固定带4先套入安全帽的上方,并紧固在帽檐上方,然后将三根安全帽连接带5与安全帽固定带4进行三点固定,固定后将电池模块3依次穿过安全帽连接带5连接带固定在安全帽下沿,最后将左侧摄像头1和右侧摄像头2分别插入电池模块3中实现双目装置的安装。
如图6所示,左侧摄像头1中包含5G模块、骨传导耳机模块、北斗模块、蓝牙模块、加速度计、陀螺仪、磁力计、气压高度计。该模块主要功能是实现现场图像采集并通过北斗定位位置,然后再遇到复杂工作时可通过骨传导耳机模块实现现场与后端技术人员联动工作。同时通过加速度计、陀螺仪、磁力计、气压高度计算定当前人员步态,判断其是否发生剧烈晃动,并进行相关安全提醒。右侧摄像头2中包含骨传导耳机模块、对地激光监测模块,如图4所示通过对地激光监测的持续工作计算出在地面位置与作业位置的高度差判定是否高处作业,超过2米高度时短信、语音通知安全员旁站进行登高作业指导工作。
如图7和图8所示,电池模块3可根据现场作业时长随时更换,便于长期外业作业。
如图9和图10所示,电池模块3后方有多颗警示灯,在作业时闪烁警示灯光,提醒后方人员。
在本发明另一个实施例中,如图11所示,实时检测现场并回传,需要远程指导时由后方工程师进行远程指导。所述方法还包括:
步骤301,现场数据获取,通过双目相机获取现场图像数据,通过骨传导耳机获取现场声音数据,通过对地激光测距仪获取登高数据,通过测量数据获取现场杆路、吊线、拉线的相应参数;
步骤302,数据传输通过5G传输、北斗回传至远程处置平台;
步骤303,远程处置,包括远程指导、安全检测、VR成像。
远程指导,专家/管理人员/安全人员通过系统对现场人员进行工作指导;
安全检测,通过对地激光监测及相关目标区域的不安全行为监测,实现安全检测
VR成像,通过双目系统生成8K、4KVR影像,提升现场感。
第三方面,本发明提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:对设置在安全帽上的双目相机进行标定得到双目相机的标定参数;其中,所述双目相机的标定参数包括第一相机的标定参数和第二相机的标定参数;根据所述第一相机的标定参数对第一相机采集检测目标得到的第一初始图像进行畸变矫正,得到第一预处理图像;根据所述第二相机的标定参数对第二相机采集检测目标得到的第二初始图像进行畸变矫正,得到第二预处理图像;对所述第一预处理图像和所述第二预处理图像进行图像立体匹配,得到目标视差深度图;根据所述目标视差深度图中关键点的三位坐标信息,计算出检测目标的深度信息。
第四方面,本发明提供一种可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:对设置在安全帽上的双目相机进行标定得到双目相机的标定参数;其中,所述双目相机的标定参数包括第一相机的标定参数和第二相机的标定参数;根据所述第一相机的标定参数对第一相机采集检测目标得到的第一初始图像进行畸变矫正,得到第一预处理图像;根据所述第二相机的标定参数对第二相机采集检测目标得到的第二初始图像进行畸变矫正,得到第二预处理图像;对所述第一预处理图像和所述第二预处理图像进行图像立体匹配,得到目标视差深度图;根据所述目标视差深度图中关键点的三位坐标信息,计算出检测目标的深度信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
Claims (10)
1.一种深度信息测量方法,其特征在于,所述方法包括:
对设置在安全帽上的双目相机进行标定得到双目相机的标定参数;其中,所述双目相机的标定参数包括第一相机的标定参数和第二相机的标定参数;
根据所述第一相机的标定参数对第一相机采集检测目标得到的第一初始图像进行畸变矫正,得到第一预处理图像;根据所述第二相机的标定参数对第二相机采集检测目标得到的第二初始图像进行畸变矫正,得到第二预处理图像;
对所述第一预处理图像和所述第二预处理图像进行图像立体匹配,得到目标视差深度图;
根据所述目标视差深度图中关键点的三位坐标信息,计算出检测目标的深度信息。
2.如权利要求1所述的深度信息测量方法,其特征在于,对设置在安全帽上的双目相机进行标定得到双目相机的标定参数,包括:
所述双目相机采集标定板图像,得到第一标定图像和第二标定图像;
对所述第一标定图像和所述第二标定图像进行二值化,得到白色像素点;
通过Hough变换后的r轴方向上聚类对白色像素点进行初步分组;
对Hough变换后的初步分组点根据距离r值合并进一步得到白色像素点的最佳分组,使同一条格网线上的点在一个组;
分别对各组格网点进行最小二乘直线拟合解算出直线参数,并根据直线参数解算出双目相机的标定参数。
3.如权利要求1所述的深度信息测量方法,其特征在于,对设置在安全帽上的双目相机进行标定得到双目相机的标定参数,包括:
所述双目相机采集标定板图像,得到第一标定图像和第二标定图像;
以所述第一标定图像中的第一目标角点建立第一世界坐标系和第一图像坐标系,以及以所述第二标定图像中的第二目标角点建立第二世界坐标系和第二图像坐标系;
根据所述第一标定图像和所述第二标定图像的尺寸信息,获取所述第一标定图像中每个像素分别在所述第一世界坐标系中的第一世界坐标信息和在所述第一图像坐标系中的第一图像坐标信息,以及所述第二标定图像中每个像素分别在所述第二世界坐标系中的第二世界坐标信息和在所述第二图像坐标系中的第二图像坐标信息;
根据所述第一世界坐标系与所述第一图像坐标系的转换关系、所述第一世界坐标信息和所述第一图像坐标信息,得到第一相机的标定参数;以及根据所述第二世界坐标系与所述第二图像坐标系的转换关系、所述第二世界坐标信息和所述第二图像坐标信息,得到第二相机的标定参数。
4.如权利要求1所述的深度信息测量方法,其特征在于,根据所述第一相机的标定参数对第一相机采集检测目标得到的第一初始图像进行畸变矫正,得到第一预处理图像,包括:
根据阈值分割和细化算法提取所述第一初始图像中单像素宽的横竖网格线;
根据领域特征对所述横竖网格线进行交叉点判断,得到所述第一初始图像中的所有网格交叉点的畸变坐标;
根据所述第一相机的标定参数,以及世界坐标系和图像坐标系的转换关系,计算出每个网格交叉点的矫正坐标;
根据所述网格交叉点的畸变坐标和矫正坐标,建立从矫正坐标到畸变坐标的构造函数;
根据所述构造函数和灰度插值算法对第一初始图像进行畸变矫正,得到所述第一预处理图像。
5.如权利要求1所述的深度信息测量方法,其特征在于,对所述第一预处理图像和所述第二预处理图像进行图像立体匹配,得到目标视差深度图,包括:
根据所述双目相机的标定参数,将所述第一预处理图像和所述第二预处理图像投影至于基线平行的平面上,使所述第一预处理图像和所述第二预处理图像进行极限对齐;
根据半全局块匹配算法对所述极限对齐后的第一预处理图像和所述第二预处理图像进行立体匹配,得到所述目标视差深度图。
6.如权利要求1所述的深度信息测量方法,其特征在于,所述方法还包括:
获取当前监测时刻设置在安全帽上的激光测距模块与目标参考点的当前距离;
根据所述当前距离,计算出所述激光测距模块的当前高度;
根据所述激光测距模块的当前高度和所述激光测距模块在上一个监测时刻的高度,得到当前高度差;
当所述当前高度差大于预设阈值时,发出预警信息。
7.一种深度信息测量装置,其特征在于,所述装置包括:
安全帽本体、第一相机、第二相机、电池模块、安全帽固定带、多根安全帽连接带、无线通讯模块和图像处理装置;
所述安全帽固定带套设在所述安全帽本体上方,所述电池模块和所述无线通讯模块通过所述多根安全帽连接带固定在所述安全帽本体上;
所述第一相机和所述第二相机分别设置在所述安全帽本体的两侧,并与所述电池模块和所述无线通讯模块相连,用于分别采集检测目标的第一初始图像和第二初始图像;
所述图像处理装置与所述无线通讯模块相连,用于根据所述第一相机的标定参数对第一相机采集检测目标得到的第一初始图像进行畸变矫正,得到第一预处理图像;根据所述第二相机的标定参数对第二相机采集检测目标得到的第二初始图像进行畸变矫正,得到第二预处理图像;还用于对所述第一预处理图像和所述第二预处理图像进行图像立体匹配,得到目标视差深度图;还用于根据所述目标视差深度图中关键点的三位坐标信息,计算出检测目标的深度信息。
8.如权利要求7所述的深度信息测量装置,其特征在于,所述装置还包括:定位模块、加速度计、陀螺仪、磁力计和气压高度计,通过所述安全帽连接带分别固定在所述安全帽本体上。
9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项方法的步骤。
10.一种可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211570310.8A CN115861439B (zh) | 2022-12-08 | 2022-12-08 | 一种深度信息测量方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211570310.8A CN115861439B (zh) | 2022-12-08 | 2022-12-08 | 一种深度信息测量方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115861439A true CN115861439A (zh) | 2023-03-28 |
CN115861439B CN115861439B (zh) | 2023-09-29 |
Family
ID=85671018
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211570310.8A Active CN115861439B (zh) | 2022-12-08 | 2022-12-08 | 一种深度信息测量方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115861439B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150145965A1 (en) * | 2013-11-26 | 2015-05-28 | Mobileye Vision Technologies Ltd. | Stereo auto-calibration from structure-from-motion |
CN110425996A (zh) * | 2019-07-31 | 2019-11-08 | 工极智能科技(苏州)有限公司 | 基于双目立体视觉的工件尺寸测量方法 |
CN111798507A (zh) * | 2020-06-03 | 2020-10-20 | 广东电网有限责任公司 | 一种输电线安全距离测量方法、计算机设备和存储介质 |
CN112802126A (zh) * | 2021-02-26 | 2021-05-14 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、计算机设备和存储介质 |
CN113077476A (zh) * | 2021-03-17 | 2021-07-06 | 浙江大华技术股份有限公司 | 一种高度测量方法、终端设备以及计算机存储介质 |
CN214627136U (zh) * | 2021-04-20 | 2021-11-05 | 国网安徽省电力有限公司宣城供电公司 | 一种电网故障现场管控系统的穿戴式单兵设备 |
CN114612577A (zh) * | 2022-04-08 | 2022-06-10 | 深圳职业技术学院 | 一种基于双目立体视觉的果园智能喷药方法及系统 |
CN115272271A (zh) * | 2022-08-09 | 2022-11-01 | 郑州芯视道机器人技术有限公司 | 一种基于双目立体视觉的管道缺陷检测与定位测距系统 |
-
2022
- 2022-12-08 CN CN202211570310.8A patent/CN115861439B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150145965A1 (en) * | 2013-11-26 | 2015-05-28 | Mobileye Vision Technologies Ltd. | Stereo auto-calibration from structure-from-motion |
CN110425996A (zh) * | 2019-07-31 | 2019-11-08 | 工极智能科技(苏州)有限公司 | 基于双目立体视觉的工件尺寸测量方法 |
CN111798507A (zh) * | 2020-06-03 | 2020-10-20 | 广东电网有限责任公司 | 一种输电线安全距离测量方法、计算机设备和存储介质 |
CN112802126A (zh) * | 2021-02-26 | 2021-05-14 | 上海商汤临港智能科技有限公司 | 一种标定方法、装置、计算机设备和存储介质 |
CN113077476A (zh) * | 2021-03-17 | 2021-07-06 | 浙江大华技术股份有限公司 | 一种高度测量方法、终端设备以及计算机存储介质 |
CN214627136U (zh) * | 2021-04-20 | 2021-11-05 | 国网安徽省电力有限公司宣城供电公司 | 一种电网故障现场管控系统的穿戴式单兵设备 |
CN114612577A (zh) * | 2022-04-08 | 2022-06-10 | 深圳职业技术学院 | 一种基于双目立体视觉的果园智能喷药方法及系统 |
CN115272271A (zh) * | 2022-08-09 | 2022-11-01 | 郑州芯视道机器人技术有限公司 | 一种基于双目立体视觉的管道缺陷检测与定位测距系统 |
Also Published As
Publication number | Publication date |
---|---|
CN115861439B (zh) | 2023-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109920011B (zh) | 激光雷达与双目摄像头的外参标定方法、装置及设备 | |
CN112907676B (zh) | 传感器的标定方法、装置、系统、车辆、设备及存储介质 | |
US11010924B2 (en) | Method and device for determining external parameter of stereoscopic camera | |
CN113345019B (zh) | 一种输电线路通道隐患目标测距方法、设备及介质 | |
CN109143215A (zh) | 一种基于双目视觉与v2x通信的协同预警设备与方法 | |
CN108692719B (zh) | 物体检测装置 | |
CN111274943B (zh) | 一种检测方法、装置、电子设备及存储介质 | |
CN110689581A (zh) | 结构光模组标定方法、电子设备、计算机可读存储介质 | |
CN104748683A (zh) | 一种数控机床工件在线自动测量装置及测量方法 | |
US20230144678A1 (en) | Topographic environment detection method and system based on binocular stereo camera, and intelligent terminal | |
EP4083917A1 (en) | Depth image processing method, small obstacle detection method and system, robot, and medium | |
CN109520480B (zh) | 基于双目立体视觉的测距方法及测距系统 | |
CN103852060A (zh) | 一种基于单目视觉的可见光图像测距方法 | |
CN105335699B (zh) | 读写场景中读写元素三维坐标的智能认定方法及其应用 | |
CN111524174B (zh) | 一种动平台动目标双目视觉三维构建方法 | |
EP3505865A1 (en) | On-vehicle camera, method for adjusting on-vehicle camera, and on-vehicle camera system | |
CN110779491A (zh) | 一种水平面上目标测距的方法、装置、设备及存储介质 | |
CN113173502B (zh) | 一种基于激光视觉融合和深度学习的防撞方法、系统 | |
CN113887641A (zh) | 一种基于输电通道的隐患目标确定方法、设备及介质 | |
CN112146848A (zh) | 一种确定摄像头的畸变参数的方法及装置 | |
KR20170014916A (ko) | 단일 카메라와 gps를 이용한 영상 내 객체의 좌표 산출 방법 | |
CN109240291B (zh) | 一种基于远程控制的机器人运动线路规划方法及系统 | |
CN105354828B (zh) | 读写场景中读物三维坐标的智能认定方法及其应用 | |
CN114821497A (zh) | 目标物位置的确定方法、装置、设备及存储介质 | |
CN116883945B (zh) | 一种融合目标边缘检测和尺度不变特征变换的人员识别定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |