CN114049394A - 一种单目测距方法、装置、设备及存储介质 - Google Patents

一种单目测距方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114049394A
CN114049394A CN202111390611.8A CN202111390611A CN114049394A CN 114049394 A CN114049394 A CN 114049394A CN 202111390611 A CN202111390611 A CN 202111390611A CN 114049394 A CN114049394 A CN 114049394A
Authority
CN
China
Prior art keywords
detection frame
optimized
point
coordinate point
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111390611.8A
Other languages
English (en)
Other versions
CN114049394B (zh
Inventor
张康宁
吴志洋
张海强
朱磊
李成军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhidao Network Technology Beijing Co Ltd
Original Assignee
Zhidao Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhidao Network Technology Beijing Co Ltd filed Critical Zhidao Network Technology Beijing Co Ltd
Priority to CN202111390611.8A priority Critical patent/CN114049394B/zh
Publication of CN114049394A publication Critical patent/CN114049394A/zh
Application granted granted Critical
Publication of CN114049394B publication Critical patent/CN114049394B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery

Abstract

本申请的单目测距方法、装置、设备及存储介质,通过确定通过单目采集的图像中待优化检测框,在待优化检测框的底边上均匀取若干像素坐标点,计算出深度信息参数以及转换成三维坐标点,根据深度信息参数、三维坐标点以及残差项参数通过迭代计算的方式计算出状态量优化解参数,依靠状态量优化解参数来优化得到目标检测框,使得目标检测框的底边能够更加接近或者严格位于地面上,能够大幅度提高测距精度,最后根据目标检测框的中间点三维坐标点来完成测距运算。

Description

一种单目测距方法、装置、设备及存储介质
技术领域
本申请涉及自动驾驶技术领域,尤其涉及一种单目测距方法、装置、设备及存储介质。
背景技术
随着技术的推陈出新,单目测距技术应用地非常广泛,尤其是在自动驾驶领域中,单目测距技术主要用于碰撞预警和物体的融合定位。单目测距技术是基于低成本的相机对视场(Field Of View,FOV)所建立的。
在相关技术中,大多数的单目测距技术都是基于先验假设而展开的,利用深度信息参数学习法检测出图像内的物体目标的检测框,取检测框底边上的点作为接地点,利用针孔相机成像原理及相机高度来计算物体距离。但上述方式存在明显缺陷,物体行驶在不平坦的路段其运动状态会有起伏,会导致检测框的底边没与地面严格接触。上述这些情况导致先验假设的失效,这对于测距的精度影响是相当大的。
发明内容
为解决或部分解决相关技术中存在的问题,本申请提供一种单目测距方法、装置及存储介质,能够提高测距精度。
本申请的第一方面提供了一种单目测距方法,包括:
确定通过单目采集的图像中待优化检测框;
在每一所述待优化检测框的底边上按照均匀间隔距离取若干像素坐标点,计算出所述像素坐标点的深度信息参数,并将所述像素坐标点转换成三维坐标点;
针对每一所述待优化检测框进行非线性优化,计算出所述待优化检测框对应的所述三维坐标点的残差项参数,对所述待优化检测框对应的所述残差项参数迭代运算得到状态量优化解参数;
将所述状态量优化解参数作为所述待优化检测框的高度信息参数,更新所述待优化检测框中的三维坐标点数据,得到目标检测框;
计算每一所述目标检测框的底边的中间点像素坐标点并转换成中间点三维坐标点,根据所述中间点三维坐标点完成测距运算。
优选的,所述确定通过单目采集的图像中待优化检测框包括:
获取图像数据,识别出所述图像数据中若干感兴趣的检测框;
遍历每一所述检测框,判定相邻两个所述检测框是否有重叠部分,若有则去除掉重叠部分,更新去除掉所述重叠部分的所述检测框的数据,得到所述待优化检测框。
优选的,所述获取图像数据,识别出所述图像数据中若干感兴趣的检测框包括:
输入深度信息参数学习模型;
获取所述图像数据,按照感兴趣标的物对所述图像数据检测出若干感兴趣的所述检测框,所述感兴趣标的物包括汽车、行人、电动车、自行车和路牌。
优选的,所述遍历每一所述检测框,判定相邻两个所述检测框是否有重叠部分,若有则去除掉所述重叠部分,更新去除掉所述重叠部分的所述检测框的数据,得到待优化检测框包括:
遍历每一所述检测框,找出具有相邻关系的两个所述检测框;
判定其中一个所述检测框的底边的至少一个端点是否位于与另一个所述检测框内,若是则认定有所述重叠部分,将所述重叠部分去除掉得到所述待优化检测框;若否则直接滤除掉这两个所述检测框;
更新所述待优化检测框的数据,所述待优化检测框的数据包括左上角像素坐标点、宽度及高度。
优选的所述在每一所述待优化检测框的底边上按照均匀间隔距离取若干像素坐标点,计算出所述像素坐标点的深度信息参数,并将所述像素坐标点转换成三维坐标点包括:
建立相机坐标系、归一化平面坐标系和车坐标系;
利用针孔相机投影原理及相机高度计算法计算出每一所述像素坐标点在所述相机坐标系下的所述深度信息参数;
通过相机内参及归一化处理计算得到每一所述像素坐标点在所述归一化平面下的归一化坐标点;
根据所述深度信息参数计算得到每一所述归一化坐标点在所述相机坐标系下的相机坐标点;
通过相机外参将每一所述相机坐标点转换成在所述车坐标系下的所述三维坐标点。
优选的,所述针对每一所述待优化检测框进行非线性优化,计算出所述待优化检测框对应的所述三维坐标点的残差项参数,对所述待优化检测框对应的所述残差项参数迭代运算得到状态量优化解参数包括:
设定观测量,选取单个所述三维坐标点在所述车坐标系下的Z轴分量作为估计量,根据所述估计量和所述观测量计算单个所述三维坐标点的所述残差项参数,重复此过程直至把所有所述三维坐标点的所述残差项参数计算出来;
利用高斯-牛顿迭代法对所有所述三维坐标点的所述残差项参数进行求解,当满足收敛条件或者溢出迭代计算次数时停止迭代计算,得到所述状态量优化解参数。
优选的,所述计算每一所述目标检测框的底边的中间点像素坐标点并转换成中间点三维坐标点,根据所述中间点三维坐标点完成测距运算包括:
获取所述目标检测的所述左上角像素坐标点、所述高度及所述宽度;
根据所述左上角像素坐标点、所述高度及所述宽度计算得到目标检测框的底边的中间点像素坐标点;
把中间点像素坐标点转换成在所述车坐标系下中间点三维坐标点;
在所述车坐标系下根据所述中间点三维坐标点完成测距运算。
本申请的第二方面提供了一种单目测距装置,包括:
检测模块,用于确定通过单目采集的图像中待优化检测框;
转换模块,用于在每一所述待优化检测框的底边上按照均匀间隔距离取若干像素坐标点,计算出所述像素坐标点的深度信息参数,并将所述像素坐标点转换成三维坐标点;
优化模块,用于针对每一所述待优化检测框进行非线性优化,计算出所述待优化检测框对应的所述三维坐标点的残差项参数,对所述待优化检测框对应的所述残差项参数迭代运算得到状态量优化解参数;
更新模块,用于将所述状态量优化解参数等于所述待优化检测框的高度,更新所述待优化检测框的数据,得到目标检测框;
测距模块,用于计算每一所述目标检测框的底边的中间点像素坐标点并转换成中间点三维坐标点,根据所述中间点三维坐标点完成测距运算。
本申请的第三方面提供了一种电子设备,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如上所述的单目测距方法。
本申请的第四方面提供了一种计算机可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如上所述的单目测距方法。
本申请提供的技术方案可以包括以下有益效果:
针对每一待优化检测框都会执行非线性优化操作,利用状态量优化解参数来校正待优化检测框的高度,使得最终得到的目标检测框的底边能够更加接近或者严格位于地面上,能够大幅度提高测距精度。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
通过结合附图对本申请示例性实施方式进行更详细地描述,本申请的上述以及其它目的、特征和优势将变得更加明显,其中,在本申请示例性实施方式中,相同的参考标号通常代表相同部件。
图1是本申请实施例示出的单目测距方法的流程示意图;
图2是本申请实施例示出的单目测距方法装置的结构示意图;
图3是本申请实施例示出的对相邻两个检测框去重操作的示意图;
图4是本申请实施例示出的针孔相机投影模型的结构示意图;
图5是本申请实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本申请的实施方式。虽然附图中显示了本申请的实施方式,然而应该理解,可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反,提供这些实施方式是为了使本申请更加透彻和完整,并且能够将本申请的范围完整地传达给本领域的技术人员。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语“第一”、“第二”、“第三”等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
目前在相关技术中,由于大多数单目测距技术都是基于先验假设的,在实际的行驶路面,由于物体行驶在不平坦的路段其运动状态也会有起伏,导致检测框的底边没有与地面严格接触。上述情况都会导致先验假设失效,影响测距精度。
针对上述问题,本申请实施例提供了一种单目测距方法,保证检测框的底边与地面接触,提高测距精度。为了便于理解本申请实施例方案,以下结合附图详细描述本申请实施例的技术方案。
请参阅图1,一种单目测距方法,包括如下步骤:
步骤S11、确定通过单目采集的图像中待优化检测框。
进一步地,在其中一个实施例中,步骤S11包括:
S111、获取图像数据,识别出所述图像数据中若干感兴趣的检测框;
S112、遍历每一所述检测框,判定相邻两个所述检测框是否有重叠部分,若有则去除掉重叠部分,更新去除掉所述重叠部分的所述检测框的数据,得到所述待优化检测框。
要说明的是,图像数据是来自于相机的实时拍摄,对图像数据进行分析检测,可以输入深度信息参数学习模型来进行检测,深度信息参数学习模型按照感兴趣标的物对图像数据进行检测若干检测框,感兴趣标的物是人为设定的标的物,感兴趣标的物可以包括汽车、行人、电动车、自行车和路牌。当然,感兴趣标的物还可以设定成其他类型的标的物。
深度信息参数学习模型的功能类似于“人类大脑”,在被输入之前,会往深度信息参数学习模型内输入多张图片(如10000张),深度信息参数学习模型按照感兴趣标的物对图片进行处理,识别以及区分出图片内不同类型的物体,以此来让深度信息参数学习模型具备识别以及区分的初步能力。
要说明的是,在分析出图像数据内的感兴趣的检测框后,需要对检测框进行去重操作,去重操作的目的在于保证同一个检测框内只出现一个物体目标。可以理解,若同一个检测框内出现了多个物体目标,后续进行测距时,根据当前检测框计算出来的距离无法是分配给哪一个物体目标,这对于自动驾驶汽车来说无疑是致命的,因此需要对去除掉相邻两个检测框的重叠部分。
进一步地,在其中一个实施例中,步骤S112包括:
步骤S1121、遍历每一检测框,找出具有相邻关系的两个检测框;
步骤S1122、判定其中一个检测框的底边的至少一个端点是否位于与另一个检测框内,若是则认定有重叠部分,将重叠部分去除掉得到待优化检测框;若否则直接滤除掉这两个检测框;
步骤S1123、更新待优化检测框的数据,待优化检测框的数据包括左上角像素坐标点、宽度及高度。
要说明的是,如图3所示,图3中检测框P1和检测框Q1是具有相邻关系的两个检测框,从图3我们可以看出,检测框P1底边的一个端点落入至检测框Q1内,因此判定检测框P1和检测框Q1具有重叠部分,因此让检测框P1的右边线移动至检测框Q1的左边线上,即完成了去重操作,得到了待优化检测框P2和待优化检测框Q2。
需要强调的是,在进行去重操作时,由于检测框Q1位于检测框P1的下方,即检测框Q1的底边低于检测框P1的底边。根据车载相机拍摄道路的场景,默认检测框Q1更加靠近相机。因此,图3所示被识别为是检测框Q1内的物体目标遮挡住了检测框P1内的物体目标,因此平移了检测框P1的右边线。若出现了两个检测框的底边相互平行且重叠的情况,则需要判定哪个检测框大,哪个检测框小,针对小检测框的边线进行平移操作,而大检测框的边线则不进行平移操作。该方式默认大检测框内的物体目标与相机距离近,需要优先对大检测框内的物体目标进行测距。若判定两个检测框没有重叠部分,则直接滤除掉这两个检测框,滤除的意思即是不对这两个检测框进行任何操作。
待优化检测框的数据包括三个参数,分别是左上角坐标、宽度以及高度。例如待优化检测框的左上角坐标为(u,v),宽度为w,高度为h,则待优化检测框的左上角像素坐标点为(u,v)、左下角像素坐标点为(u,v+h)、右上角像素坐标点为(u+w,v)、右下角像素坐标点为(u+w,v+h)。通过所述检测框的三个参数:左上角坐标、宽度以及高度定位检测框的尺寸和位置。
步骤S12、在每一待优化检测框的底边上按照均匀间隔距离取若干像素坐标点,计算出像素坐标点的深度信息参数,并将像素坐标点转换成三维坐标点。
要说明的是,在得到待优化检测框四个边角点的像素坐标点后,通过连接左下角像素坐标点和右下角像素坐标点即可以得到待优化检测框的底边,在每一待优化检测框的底边上均匀取若干像素坐标点,像素坐标点的数量优选采取10个~20个,计算出像素坐标点的深度信息参数,并把像素坐标点转换成三维坐标点,深度信息参数和三维坐标点是后续完成测距计算必须要计算出来的参数。
进一步地,在其中一个实施例中,步骤S12包括:
步骤S121、建立相机坐标系、归一化平面坐标系和车坐标系;
步骤S122、利用针孔相机投影原理及相机高度计算法计算出每一像素坐标点在相机坐标系下的深度信息参数;
步骤S123、通过相机内参及归一化处理计算得到每一像素坐标点在归一化坐标系下的归一化坐标点;
步骤S124、根据深度信息参数计算得到每一归一化坐标点在相机坐标系下的相机坐标点;
步骤S125、通过相机外参将每一相机坐标点转换成在车坐标系下的三维坐标点。
要说明的是,首先先建立相机坐标系、归一化平面坐标系和车坐标系,利用针孔相机投影原理及相机高度计算法计算出每一像素坐标点在相机坐标系下的深度信息参数d。如图4所示,图4中A点经过针孔相机投影后在成像平面的投影为A´点,O点为相机的光心,在已知相机焦距f以及A点高度H的情况下,根据相机高度计算法(即相似三角形计理论),我们就可以求得A点的深度信息参数d(即A点与相机之间的距离)=f*y/H,按照上述方式,就可以求得每一像素坐标点在相机坐标系下的深度信息参数d。
还要说明的是,求出深度信息参数d后,进一步把每一像素坐标点转换成车坐标点,还是以像素坐标点(u,v)为例进行说明。获取相机的内参(fx,fy,cx,cy),并通过归一化处理,得到像素坐标点在归一化坐标系下的归一化坐标点(x,y,1):x=(u-cx)/fx,y=(v-cy)/fy,z=1,把归一化坐标点(x,y,1)与其对应的深度信息参数d相乘可以得到在相机坐标系下的相机坐标点Pc(Xc,Yc,ZcT:Xc=(u-cx)d/fx,Yc =(v-cy)d/fy,Zc =d,随后获取相机的外参R和外参t(外参R为旋转矩阵,外参t为平移变量),此时就可以把相机坐标点Pc转换成在车坐标系下的三维坐标点Pw(Xw,Yw,ZwT:Pw=R*Pc+t。按照上述方式,就可以把像素坐标点转换成三维坐标点。但要强调的是,需要把每一个像素坐标点都转换成在车坐标系下的三维坐标点Pw
步骤S13、针对每一待优化检测框进行非线性优化,计算出待优化检测框对应的三维坐标点的残差项参数,对待优化检测框对应的残差项参数迭代运算得到状态量优化解参数;
要说明的是,进行深度信息参数计算和坐标转换后,需要针对所有的待优化检测框进行非线性优化。待优化检测框所对应的三维坐标点的残差项参数来进行优化得到目标检测框,后续就是根据目标检测框来完成测距计算。
进一步地,在其中一个实施例中,步骤S13包括:
步骤S131、设定观测量,选取单个三维坐标点在车坐标系下的Z轴分量作为估计量,根据估计量和观测量计算单个三维坐标点的残差项参数,重复此过程直至把所有三维坐标点的残差项参数计算出来;
步骤S132、利用高斯-牛顿迭代法对所有三维坐标点的残差项参数进行求解,当满足收敛条件或者溢出迭代计算次数时停止迭代计算,得到状态量优化解参数。
步骤S14、将状态量优化解参数等于待优化检测框的高度,更新待优化检测框的数据,得到目标检测框。
为了便于说明,选取一个待优化检测框来进行说明,需要待优化检测框的底边上均匀取若干像素坐标点,设定在待优化检测框的底边上均匀取10个像素坐标点,经过坐标转换后,得到10个深度信息参数值d以及10个三维坐标点。选定待优化检测框的高度作为待优化状态量,设定观测量Zg=0,观测量Zg即先验假设值,选取单个三维坐标点(Xw,Yw,Zw)在车坐标系下的Z轴分量作为估计量Zw,根据估计量Zw和观测量Zg计算单个三维坐标点的残差项参数,
残差项参数=估计量Zw-观测量Zg
重复此过程直至把所有三维坐标点的残差项参数计算出来。
单个三维坐标点的残差项参数计算公式为:
Figure 25917DEST_PATH_IMAGE001
(1)
因此完成的非线性优化目标函数为(本申请以选取10个像素坐标点为例说明):
Figure 311405DEST_PATH_IMAGE002
(2)
其中,R和t为相机外参,d为深度信息参数,K为相机内参矩阵(K-1表示矩阵逆位),[u,v,1]T表示齐次像素坐标点,r:3表示取向量第三行的值,因此
Figure 579575DEST_PATH_IMAGE003
表示Zwi
随后利用高斯-牛顿迭代法对10个残差项参数进行求解,求解过程如下:
获取待优化检测的高度初始值h,就是在进行步骤S123的待优化检测框的高度。
单个三维坐标点的残差项参数进行一阶泰勒展开:
Figure 634119DEST_PATH_IMAGE004
(3)
因此非线性优化目标函数使用一阶泰勒展开为:
Figure 595122DEST_PATH_IMAGE005
(4)
求得
Figure 367906DEST_PATH_IMAGE006
求(4)式关于
Figure 174188DEST_PATH_IMAGE007
的导数,并令其为0:
Figure 552079DEST_PATH_IMAGE008
(5)
通过(5)式求得
Figure 418404DEST_PATH_IMAGE007
Figure 678484DEST_PATH_IMAGE009
(6)
Figure 288457DEST_PATH_IMAGE007
足够小或者非线性优化目标函数
Figure 317593DEST_PATH_IMAGE010
变化很小,则满足了收敛条件,则停止进行迭代运算,否则令h=h+Δh,让待优化检测框以高度h来更新其自身数据,然后接着在更新后的待优化检测框的底边上均匀取若干像素坐标点,接着进行步骤S12和步骤S13的过程。
若一直没有达到收敛条件并且达到最大迭代运算次数(最大迭代运算次数为人为设定值),则以步骤S1123的待优化检测框的高度来完成测距计算。
如此,通过上述不断迭代的过程,使得求出来的状态量优化解参数无限接近最优解,后续利用状态量优化解参数来校正待优化检测框得到目标检测框,使得目标检测框的底边能够更加接近地面或者严格位于地面上,为后续的测距精度打下基础。
步骤S15、计算每一目标检测框的底边的中间点像素坐标点并转换成中间点三维坐标点,根据中间点三维坐标点完成测距运算。
要说明的是,完成待优化检测框的非线性优化后我们就会得到目标检测框,计算得到目标检测框的底边的中间点像素坐标点,并把中间点像素坐标点转换成中间点三维坐标点即可完成测距运算。
进一步地,在其中一个实施例中,步骤S15包括:
步骤S151、获取目标检测的左上角像素坐标点、高度及宽度;
步骤S152、根据左上角像素坐标点、高度及宽度计算得到目标检测框的底边的中间点像素坐标点;
步骤S153、把中间点像素坐标点转换成在车坐标系下中间点三维坐标点;
步骤S154、在车坐标系下根据中间点三维坐标点完成测距运算。
要说明的是,根据左上角像素坐标点、高度及宽度计算得到目标检测框的底边的中间点像素坐标点可以参照步骤S12的计算方式,而坐标转换的方法可以参照步骤13,不再重复阐述。例如若求得中间点三维坐标点P(a,b,c),则中间点三维坐标点P到相机的距离(即该目标检测框内的物体目标到相机的距离)等于
Figure 620398DEST_PATH_IMAGE011
本申请的单目测距方法,利用深度信息参数学习模型检测出图像数据中的感兴趣的检测框,并对相邻两个检测框进行去重操作,避免同一检测框内出现多个物体目标,随后更新待优化检测框的数据,利用非线性优化进行建模,将相关技术中检测框的底边无法接近地面或者无法严格位于地面上的问题转化为以高度作为待优化变量,通过最小化地面点的Z轴量的估计量与观测量之差来校正待优化检测框的高度,使得得到的目标检测框底边能够更加接近地面或者严格位于地面上,最后完成精准测距。
请参阅图2,一种单目测距装置800包括检测模块810、转换模块820、优化模块830、更新模块840及测距模块850。其中:
检测模块810用于确定通过单目采集的图像中待优化检测框;
转换模块820用于在每一待优化检测框的底边上按照均匀间隔距离取若干像素坐标点,计算出像素坐标点的深度信息参数,并将像素坐标点转换成三维坐标点;
优化模块830用于针对每一待优化检测框进行非线性优化,计算出待优化检测框对应的三维坐标点的残差项参数,对待优化检测框对应的残差项参数迭代运算得到状态量优化解参数;
更新模块840用于将状态量优化解参数等于待优化检测框的高度,更新待优化检测框的数据,得到目标检测框;
测距模块850用于计算每一目标检测框的底边的中间点像素坐标点并转换成中间点三维坐标点,根据中间点三维坐标点完成测距运算。
本申请的单目测距装置800,通过检测模块810确定通过单目采集的图像中待优化检测框,,转换模块820在待优化检测框的底边上均匀取若干像素坐标点,计算出深度信息参数以及转换成三维坐标点,优化模块830根据深度信息参数、三维坐标点以及残差项参数通过迭代计算的方式计算出状态量优化解参数,更新模块840依靠状态量优化解参数来优化得到目标检测框,使得目标检测框的底边能够更加接近或者严格位于地面上,能够大幅度提高测距精度,最后测距模块850根据目标检测框的中间点三维坐标点来完成测距运算。
请参阅图5,电子设备900包括处理器910和存储器920。
处理器910可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器920可以包括各种类型的存储单元,例如系统内存、只读存储器(ROM)和永久存储装置。其中,ROM可以存储处理器910或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中,永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中,永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备,例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外,存储器920可以包括任意计算机可读存储媒介的组合,包括各种类型的半导体存储芯片(例如DRAM,SRAM,SDRAM,闪存,可编程只读存储器),磁盘和/或光盘也可以采用。在一些实施方式中,存储器920可以包括可读和/或写的可移除的存储设备,例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM,双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等)、磁性软盘等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器920上存储有可执行代码,当可执行代码被处理器910处理时,可以使处理器910执行上文述及的方法中的部分或全部。
此外,根据本申请的方法还可以实现为一种计算机程序或计算机程序产品,该计算机程序或计算机程序产品包括用于执行本申请的上述方法中部分或全部步骤的计算机程序代码指令。
或者,本申请还可以实施为一种计算机可读存储介质(或非暂时性机器可读存储介质或机器可读存储介质),其上存储有可执行代码(或计算机程序或计算机指令代码),当可执行代码(或计算机程序或计算机指令代码)被电子设备(或服务器等)的处理器执行时,使处理器执行根据本申请的上述方法的各个步骤的部分或全部。
以上已经描述了本申请的各实施例,上述说明是示例性的,并非穷尽性的,并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下,对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择,旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进,或者使本技术领域的其他普通技术人员能理解本文披露的各实施例。

Claims (10)

1.一种单目测距方法,其特征在于,包括:
确定通过单目采集的图像中待优化检测框;
在每一所述待优化检测框的底边上按照均匀间隔距离取若干像素坐标点,计算出所述像素坐标点的深度信息参数,并将所述像素坐标点转换成三维坐标点;
针对每一所述待优化检测框进行非线性优化,计算出所述待优化检测框对应的所述三维坐标点的残差项参数,对所述待优化检测框对应的所述残差项参数迭代运算得到状态量优化解参数;
将所述状态量优化解参数作为所述待优化检测框的高度信息参数,更新所述待优化检测框中的三维坐标点数据,得到目标检测框;
计算每一所述目标检测框的底边的中间点像素坐标点并转换成中间点三维坐标点,根据所述中间点三维坐标点完成测距运算。
2.根据权利要求1所述的单目测距方法,其特征在于,所述确定通过单目采集的图像中待优化检测框包括:
获取图像数据,识别出所述图像数据中若干感兴趣的检测框;
遍历每一所述检测框,判定相邻两个所述检测框是否有重叠部分,若有则去除掉重叠部分,更新去除掉所述重叠部分的所述检测框的数据,得到所述待优化检测框。
3.根据权利要求2所述的单目测距方法,其特征在于,所述获取图像数据,识别出所述图像数据中若干感兴趣的检测框包括:
输入深度信息参数学习模型;
获取所述图像数据,按照感兴趣标的物对所述图像数据检测出若干感兴趣的所述检测框,所述感兴趣标的物包括汽车、行人、电动车、自行车和路牌。
4.根据权利要求2所述的单目测距方法,其特征在于,所述遍历每一所述检测框,判定相邻两个所述检测框是否有重叠部分,若有则去除掉所述重叠部分,更新去除掉所述重叠部分的所述检测框的数据,得到待优化检测框包括:
遍历每一所述检测框,找出具有相邻关系的两个所述检测框;
判定其中一个所述检测框的底边的至少一个端点是否位于与另一个所述检测框内,若是则认定有所述重叠部分,将所述重叠部分去除掉得到所述待优化检测框;若否则直接滤除掉这两个所述检测框;
更新所述待优化检测框的数据,所述待优化检测框的数据包括左上角像素坐标点、宽度及高度。
5.根据权利要求1所述的单目测距方法,其特征在于,所述在每一所述待优化检测框的底边上按照均匀间隔距离取若干像素坐标点,计算出所述像素坐标点的深度信息参数,并将所述像素坐标点转换成三维坐标点包括:
建立相机坐标系、归一化平面坐标系和车坐标系;
利用针孔相机投影原理及相机高度计算法计算出每一所述像素坐标点在所述相机坐标系下的所述深度信息参数;
通过相机内参及归一化处理计算得到每一所述像素坐标点在所述归一化平面下的归一化坐标点;
根据所述深度信息参数计算得到每一所述归一化坐标点在所述相机坐标系下的相机坐标点;
通过相机外参将每一所述相机坐标点转换成在所述车坐标系下的所述三维坐标点。
6.根据权利要求5所述的单目测距方法,其特征在于,所述针对每一所述待优化检测框进行非线性优化,计算出所述待优化检测框对应的所述三维坐标点的残差项参数,对所述待优化检测框对应的所述残差项参数迭代运算得到状态量优化解参数包括:
设定观测量,选取单个所述三维坐标点在所述车坐标系下的Z轴分量作为估计量,根据所述估计量和所述观测量计算单个所述三维坐标点的所述残差项参数,重复此过程直至把所有所述三维坐标点的所述残差项参数计算出来;
利用高斯-牛顿迭代法对所有所述三维坐标点的所述残差项参数进行求解,当满足收敛条件或者溢出迭代计算次数时停止迭代计算,得到所述状态量优化解参数。
7.根据权利要求6所述的单目测距方法,其特征在于,所述计算每一所述目标检测框的底边的中间点像素坐标点并转换成中间点三维坐标点,根据所述中间点三维坐标点完成测距运算包括:
获取所述目标检测的所述左上角像素坐标点、所述高度及所述宽度;
根据所述左上角像素坐标点、所述高度及所述宽度计算得到目标检测框的底边的中间点像素坐标点;
把中间点像素坐标点转换成在所述车坐标系下中间点三维坐标点;
在所述车坐标系下根据所述中间点三维坐标点完成测距运算。
8.一种单目测距装置,其特征在于,包括:
检测模块,用于确定通过单目采集的图像中待优化检测框;
转换模块,用于在每一所述待优化检测框的底边上按照均匀间隔距离取若干像素坐标点,计算出所述像素坐标点的深度信息参数,并将所述像素坐标点转换成三维坐标点;
优化模块,用于针对每一所述待优化检测框进行非线性优化,计算出所述待优化检测框对应的所述三维坐标点的残差项参数,对所述待优化检测框对应的所述残差项参数迭代运算得到状态量优化解参数;
更新模块,用于将所述状态量优化解参数等于所述待优化检测框的高度,更新所述待优化检测框的数据,得到目标检测框;
测距模块,用于计算每一所述目标检测框的底边的中间点像素坐标点并转换成中间点三维坐标点,根据所述中间点三维坐标点完成测距运算。
9.一种电子设备,其特征在于,包括:
处理器;以及
存储器,其上存储有可执行代码,当所述可执行代码被所述处理器执行时,使所述处理器执行如权利要求1至7中任一项所述的单目测距方法。
10.一种计算机可读存储介质,其上存储有可执行代码,当所述可执行代码被电子设备的处理器执行时,使所述处理器执行如权利要求1至7中任一项所述的单目测距方法。
CN202111390611.8A 2021-11-23 2021-11-23 一种单目测距方法、装置、设备及存储介质 Active CN114049394B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111390611.8A CN114049394B (zh) 2021-11-23 2021-11-23 一种单目测距方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111390611.8A CN114049394B (zh) 2021-11-23 2021-11-23 一种单目测距方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN114049394A true CN114049394A (zh) 2022-02-15
CN114049394B CN114049394B (zh) 2022-06-21

Family

ID=80210759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111390611.8A Active CN114049394B (zh) 2021-11-23 2021-11-23 一种单目测距方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114049394B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116953680A (zh) * 2023-09-15 2023-10-27 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005326283A (ja) * 2004-05-14 2005-11-24 Canon Inc 位置姿勢計測方法および情報処理装置
JP2005329779A (ja) * 2004-05-19 2005-12-02 Daihatsu Motor Co Ltd 障害物認識方法及び障害物認識装置
CN103852060A (zh) * 2014-03-19 2014-06-11 哈尔滨工业大学 一种基于单目视觉的可见光图像测距方法
CN107305632A (zh) * 2017-02-16 2017-10-31 武汉极目智能技术有限公司 基于单目计算机视觉技术的目标对象距离测量方法与系统
CN108759667A (zh) * 2018-05-29 2018-11-06 福州大学 车载摄像头下基于单目视觉与图像分割的前车测距方法
CN108909624A (zh) * 2018-05-13 2018-11-30 西北工业大学 一种基于单目视觉的实时障碍物检测和定位方法
CN109855598A (zh) * 2018-11-06 2019-06-07 五邑大学 一种基于无人机雷达测距的天线下倾角测量方法和装置
CN110136186A (zh) * 2019-05-10 2019-08-16 安徽工程大学 一种用于移动机器人目标测距的检测目标匹配方法
CN110617814A (zh) * 2019-09-26 2019-12-27 中国科学院电子学研究所 单目视觉和惯性传感器融合的远距离测距系统及方法
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法
CN110966981A (zh) * 2018-09-30 2020-04-07 北京奇虎科技有限公司 测距方法及装置
CN112084810A (zh) * 2019-06-12 2020-12-15 杭州海康威视数字技术股份有限公司 一种障碍物检测方法、装置、电子设备及存储介质
CN113450579A (zh) * 2021-08-30 2021-09-28 腾讯科技(深圳)有限公司 速度信息的获取方法、装置、设备及介质
CN113465573A (zh) * 2021-06-30 2021-10-01 深圳市优必选科技股份有限公司 单目测距方法、装置及智能装置

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005326283A (ja) * 2004-05-14 2005-11-24 Canon Inc 位置姿勢計測方法および情報処理装置
JP2005329779A (ja) * 2004-05-19 2005-12-02 Daihatsu Motor Co Ltd 障害物認識方法及び障害物認識装置
CN103852060A (zh) * 2014-03-19 2014-06-11 哈尔滨工业大学 一种基于单目视觉的可见光图像测距方法
CN107305632A (zh) * 2017-02-16 2017-10-31 武汉极目智能技术有限公司 基于单目计算机视觉技术的目标对象距离测量方法与系统
CN108909624A (zh) * 2018-05-13 2018-11-30 西北工业大学 一种基于单目视觉的实时障碍物检测和定位方法
CN108759667A (zh) * 2018-05-29 2018-11-06 福州大学 车载摄像头下基于单目视觉与图像分割的前车测距方法
CN110966981A (zh) * 2018-09-30 2020-04-07 北京奇虎科技有限公司 测距方法及装置
CN109855598A (zh) * 2018-11-06 2019-06-07 五邑大学 一种基于无人机雷达测距的天线下倾角测量方法和装置
CN110136186A (zh) * 2019-05-10 2019-08-16 安徽工程大学 一种用于移动机器人目标测距的检测目标匹配方法
CN112084810A (zh) * 2019-06-12 2020-12-15 杭州海康威视数字技术股份有限公司 一种障碍物检测方法、装置、电子设备及存储介质
CN110617814A (zh) * 2019-09-26 2019-12-27 中国科学院电子学研究所 单目视觉和惯性传感器融合的远距离测距系统及方法
CN110942449A (zh) * 2019-10-30 2020-03-31 华南理工大学 一种基于激光与视觉融合的车辆检测方法
CN113465573A (zh) * 2021-06-30 2021-10-01 深圳市优必选科技股份有限公司 单目测距方法、装置及智能装置
CN113450579A (zh) * 2021-08-30 2021-09-28 腾讯科技(深圳)有限公司 速度信息的获取方法、装置、设备及介质

Non-Patent Citations (14)

* Cited by examiner, † Cited by third party
Title
YUXUAN LIU等: "Ground-aware Monocular 3D Object Detection for Autonomous Driving", 《IEEE ROBOTICS AND AUTOMATION LETTERS》 *
YUXUAN LIU等: "Ground-aware Monocular 3D Object Detection for Autonomous Driving", 《IEEE ROBOTICS AND AUTOMATION LETTERS》, 1 February 2021 (2021-02-01), pages 1 - 8 *
刘浩: "基于单目视觉深度估计算法的车辆测距系统研制", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 *
刘浩: "基于单目视觉深度估计算法的车辆测距系统研制", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》, no. 09, 15 September 2021 (2021-09-15), pages 035 - 99 *
杨平: "基于深度学习的前方车辆检测与测距算法", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 *
杨平: "基于深度学习的前方车辆检测与测距算法", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》, no. 02, 15 February 2020 (2020-02-15), pages 035 - 334 *
王展青等: "基于单目视觉的车距测量方法综述", 《工程技术》 *
王展青等: "基于单目视觉的车距测量方法综述", 《工程技术》, vol. 27, 31 December 2010 (2010-12-31), pages 33 - 36 *
许洋等: "基于单目视觉的车辆检测与跟踪", 《激光杂志》 *
许洋等: "基于单目视觉的车辆检测与跟踪", 《激光杂志》, vol. 41, no. 5, 31 December 2020 (2020-12-31), pages 18 - 22 *
郑帅超等: "单目视觉-激光测距定位系统的标定与姿态校正", 《机械科学与技术》 *
郑帅超等: "单目视觉-激光测距定位系统的标定与姿态校正", 《机械科学与技术》, vol. 36, no. 12, 31 December 2017 (2017-12-31), pages 1926 - 1934 *
郑智勇: "基于深度学习的动态人车识别与距离估计", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》 *
郑智勇: "基于深度学习的动态人车识别与距离估计", 《中国优秀博硕士学位论文全文数据库(硕士) 工程科技Ⅱ辑》, no. 03, 15 March 2021 (2021-03-15), pages 035 - 207 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116953680A (zh) * 2023-09-15 2023-10-27 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统
CN116953680B (zh) * 2023-09-15 2023-11-24 成都中轨轨道设备有限公司 一种基于图像的目标物实时测距方法及系统

Also Published As

Publication number Publication date
CN114049394B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
US20180307922A1 (en) Method of detecting obstacle around vehicle
JP6924251B2 (ja) 画像センサの外因性パラメータを較正するための方法及び装置
EP3531376B1 (en) Calibrating a camera of a vehicle
CN114049394B (zh) 一种单目测距方法、装置、设备及存储介质
CN112967393B (zh) 车辆移动轨迹的修正方法、装置、电子设备及存储介质
JP2009014645A (ja) 車両用距離測定装置
EP3629292A1 (en) Reference point selection for extrinsic parameter calibration
CN111373411A (zh) 用于确定与对象的间距的方法、设备和计算机程序
CN114428259A (zh) 一种基于地图车采集的地库激光点云中车辆自动提取方法
US20220319195A1 (en) Method for identifying road markings and monocular camera
CN114526746A (zh) 高精地图车道线的生成方法、装置、设备及存储介质
CN114529884A (zh) 基于双目相机的障碍物探测处理方法、装置、设备及系统
CN114331848A (zh) 视频图像拼接方法、装置及设备
CN114018215B (zh) 基于语义分割的单目测距方法、装置、设备及存储介质
CN113838149B (zh) 自动驾驶车辆的相机内参标定方法、服务器及系统
US20240142590A1 (en) Online sensor alignment using feature registration
CN114248782A (zh) 无人车俯仰角确定方法、装置和计算机可读存储介质
EP4047516A1 (en) Methods and systems for determining a distance of an object
CN113284186B (zh) 一种基于惯导姿态和灭点的相机标定方法及系统
McLean Image warping for calibration and removal of lens distortion
CN117391931A (zh) 一种环视鱼眼摄像头外参变化的自检测方法及装置
CN114332130A (zh) 高精图像的单目相机采集方法及装置
CN113538546A (zh) 用于自动驾驶的目标检测方法、装置及设备
CN116310174A (zh) 语义地图构建方法、装置及电子设备、存储介质
CN115657670A (zh) 一种基于计算机视觉的无人车巡检方法、系统及无人车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant