CN103499337A - 一种基于立式标靶的车载单目摄像头测距测高装置 - Google Patents
一种基于立式标靶的车载单目摄像头测距测高装置 Download PDFInfo
- Publication number
- CN103499337A CN103499337A CN201310446303.1A CN201310446303A CN103499337A CN 103499337 A CN103499337 A CN 103499337A CN 201310446303 A CN201310446303 A CN 201310446303A CN 103499337 A CN103499337 A CN 103499337A
- Authority
- CN
- China
- Prior art keywords
- point
- template
- angle
- pixel
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
Abstract
本发明公开了一种基于立式标靶的车载单目摄像头测距测高装置,属于智能车辆环境感知技术领域。所述测距测高装置包括建立映射关系单元、检测单元及计算单元。本发明不需要标定摄像头的内外部参数,也不需要多次放置标定板或参照物,降低了出现误差的可能性,既减少了操作环节,又提高了测量精度;与传统的角点检测相比,能够更准确地检测出标靶中的目标点,从而减少了后续聚类筛选的计算量;通过检测定位参考点使得亚像素级角点集的纵坐标与实际成像角度一一对应,用分段直线的方式拟合图像纵坐标与实际成像角度之间的映射关系,减少了用一条直线拟合所引起的误差,从而提高了测量精度。
Description
技术领域
本发明属于智能车辆环境感知技术领域,涉及一种基于机器视觉的测距及测高技术,具体涉及一种基于立式标靶的车载单目摄像头针对障碍物、桥洞或涵洞等的测距及测高装置。
背景技术
机器视觉作为智能车辆环境感知系统中最重要的组成部分,为决策层提供大量必要的环境信息,具有十分重要的意义。其中,物体的测距与测高分别为无人驾驶或辅助驾驶系统的防撞预警、路径规划及车辆分类、涵洞桥梁通过性检测等提供重要的参数信息。目前,智能车的机器视觉测量一般分为双目视觉测量和单目视觉测量两类。双目视觉测距容易受到特征点误匹配的影响,且计算量大,难以满足实时性要求。而单目视觉测距结构简单,运算速度快,具有广泛的应用前景。
目前单目视觉系统通常采用对应点标定法(简称标定法)来获取待测物体的深度信息。传统对应点标定法通常是利用棋盘格标定板标定出摄像头内外部参数后,结合投影模型,求解出图像坐标系与实际成像角度之间的对应关系,从而得到距离信息。此过程需要多次采集不同方位的标定板图像,并且需要精确记录每个点在世界坐标系和图像坐标系中的对应坐标,而且标定结果的误差会在测量中放大数十甚至上百倍,总体来说,过程复杂且误差较大。另外,通过在路面摆放参照物并测量其距离,利用参照物距离和像素数据直接拟合出距离与图像坐标间的数学模型,从而实现测距。此方法在工程中也有广泛的运用,但需要较大的场地,精度会受到实际测量和数据拟合误差的影响。而对于测高,主要还是运用激光雷达等传感器进行测量,仅用单目实时测高还鲜有发表的研究成果。
发明内容
本发明针对现有车载单目摄像头测距时测量精度达不到智能车辆系统要求,以及仅仅依靠一个摄像头测量高度的技术问题,提出了一种基于立式标靶的车载单目摄像头测距测高装置,以适用现有智能车辆,提高测量精度。
本发明的一种基于立式标靶的车载单目摄像头测距测高装置,包括:建立映射关系单元、检测单元及计算单元。建立映射关系单元是根据采集到的一次标靶图像,智能检测标靶图像中标靶角点的坐标,通过定位参考点对各角点定位,最终得到标靶图像纵坐标与实际成像角度之间的映射关系。检测单元为测距测高提供图像参数信息,所述图像参数信息包括被测物体底端与顶端的纵向坐标值。计算单元利用标靶图像纵坐标与实际成像角度之间的映射关系以及被测物体的图像参数信息,计算被测物体的距离及高度。
建立映射关系单元包括:安装测量模块、角点集检测模块、角点集定位模块及分段直线拟合模块。安装测量模块用于测量摄像头安装高度h及其与立式标靶靶面的水平距离D,采集标靶图像,并对所述标靶图像进行二值化处理。所述摄像头安装于车体上,立式标靶放置于摄像头正前方,且尽量靠近摄像头的同时,需满足采集的标靶图像中必须包含最低的角点,且角点总数大于8个;角点集检测模块是通过模板匹配法检测角点的候选点集CC后,经过聚类、筛选等操作得到初始角点集A。角点集定位模块是通过模板匹配法检测定位参考点后,结合初始角点集A将标靶角点补充完整得到角点集并对其各角点定位,最后运用openCV中的cvFindCornerSubPix()函数,以角点集为基准将其更新为亚像素级角点集。分段直线拟合模块利用各角点的垂直高度、测量摄像头安装高度h及其与立式标靶靶面的水平距离D计算各角点的实际成像角度,结合亚像素级角点集的纵坐标,采用分段直线模型拟合相邻映射点,得到实际成像角度与图像纵坐标的映射关系。
计算单元包括:距离计算模块和高度计算模块。距离计算模块将检测单元检测到的被测物体底端纵向坐标值作为输入代入建立映射关系单元得到的实际成像角度与图像纵坐标的映射关系计算出底端对应成像角度,再将摄像头安装高度h与底端对应成像角度作为输入,得到被测物体距离值。高度计算模块是在系统需要测高时,将检测单元检测到的被测物体顶端纵向坐标值作为输入,代入建立映射关系单元得到的实际成像角度与图像纵坐标的映射关系,计算出顶端对应成像角度,再将摄像头安装高度h、被测物体距离值及被测物体顶端对应成像角度作为输入,得到高度值。
本发明一种基于立式标靶的车载单目摄像头测距测高装置的优点在于:
(1)本发明不需要标定摄像头的内外部参数,也不需要多次放置标定板或参照物,降低了出现误差的可能性,既减少了操作环节,又提高了测量精度;
(2)设计了感兴趣区和四个模板,以模板匹配的方式检测立式标靶中的角点及定位参考点,与传统的角点检测相比,能够更准确地检测出标靶中的目标点,从而减少了后续聚类筛选的计算量;
(3)通过检测定位参考点使得亚像素级角点集的纵坐标与实际成像角度一一对应,用分段直线的方式拟合图像纵坐标与实际成像角度之间的映射关系,减少了用一条直线拟合所引起的误差,从而提高了测量精度;
(4)本发明无需雷达等其它传感器,在计算的实际成像角度及距离的基础上实现了单目摄像头测高,大大减低了成本。
附图说明
图1为本发明一种基于立式标靶的车载单目摄像头测距测高装置的整体结构示意图;
图2为本发明装置中角点集检测模块的匹配法检测角点执行流程图;
图3为本发明所用到的立式标靶的示意图;
图4为本发明中用于角点及定位参考点检测的四种模板示意图,且e=11。
具体实施方式
下面将结合附图对本发明的技术方案做进一步的详细说明。
本发明在于提供一种基于立式标靶的车载单目摄像头测距测高装置,主要是针对在车载单目摄像头已经检测到路面物体的情况下,计算物体距本车距离及其高度。车辆前方障碍物等物体距离及测高为无人驾驶或辅助驾驶系统的防撞预警、路径规划及车辆分类、涵洞桥梁通过性检测等的重要参数信息,具有较强的工程应用价值。本发明装置只需要一个摄像头则可实现单目测距及测高,而且具有较高的测量精度,操作简单可行。
如图1所示,本发明一种基于立式标靶的车载单目摄像头测距测高装置,主要包括如下单元:建立映射关系单元、检测单元及计算单元,所述检测单元用于检测障碍物、桥洞等被测物体;计算单元用于计算被测物体与车体的距离及被测物体高度。为了实现利用图像坐标直接计算对应的实际成像角度,设计了建立映射关系单元,主要是将摄像头及立式标靶安装及放置于合适位置后测量摄像头高度及其与立式标靶靶面的水平距离,然后采集一次标靶图像,智能检测图像中标靶角点的坐标,通过定位参考点对各角点定位,最终得到图像纵坐标与实际成像角度之间的映射关系。
检测单元用于为测距及测高提供被测物体的图像参数信息。主要是通过车辆检测、行人检测等视觉环境感知技术检测到障碍物、桥洞等被测物体在图像中的位置,一般为一个矩形区域,可以得到被测物体底端与顶端的纵向坐标值,作为图像参数信息提供给计算单元。计算单元是接收建立映射关系单元建立的图像纵坐标与实际成像角度之间的映射关系、摄像头高度、摄像头与标靶的水平距离以及检测单元提供的被测物体图像参数信息,通过计算公式计算被测物体的距离及高度。由于在不同系统中,需要的信息不同,例如在防撞预警中可能不需要高度信息,但在桥梁涵洞等通过性检测时必须得到高度信息,所以根据需要进行被测物体距离及高度的计算。
所述的实际成像角度是指:摄像头光轴的侧向平面与被测物体离车体最近的底线交点,将其与摄像头光心相连呈直线,此直线与摄像头光心垂直于地面的直线之间的夹角。
本发明的建立映射关系单元主要包括安装测量模块、角点集检测模块、角点集定位模块及分段直线拟合模块。所述安装测量模块用于测量摄像头安装高度h及其与立式标靶靶面的水平距离D,并采集标靶图像,分辨率为mm*nn;并对采集的标靶图像进行二值化处理。
设置图像坐标系:左上角点为坐标原点,水平向右为x轴正方向,垂直向下为y轴正方向。设置角点检测的感兴趣区:x方向为[mm/3-1,2*mm/3-1],y方向为[0,nn-1]。对感兴趣区进行分块,对每个块分别采用最大类间方差法进行自适应二值化处理,使感兴趣区内的图像转化为二值图像,其中块的大小s*v可以依据图像感兴趣区的宽高进行调整,但一般情况下s*v大于50*50,小于150*150,单位为pixel。所述摄像头安装于车体的合适位置,然后将立式标靶放置于摄像头正前方,且尽量靠近摄像头的同时,需满足摄像头采集的图像中必须包含立式标靶的最低角点,且角点总数大于8个。
所述角点集检测模块通过模板匹配法检测角点的候选点集和定位参考点。
模板匹配法中,在感兴趣区内分别利用模板(a)和(b)进行全搜索匹配,得到标靶角点的候选点集CC={(x1,y1),(x2,y2),…,(xk,yk)},其中k为匹配的子图总数,对候选点集CC中所有点进行聚类及筛选处理,得到初始角点集A,在初始角点集A中搜索出最大横坐标值xmax,利用模板(c)在横坐标小于xmax-e的感兴趣区内从上至下、从右至左搜索匹配的子图,一旦搜索到,则停止搜索。假设搜索到匹配的子图左上角点为(xf,yf),则角点的参考间隔ss=xmax-(xf+e),再利用模板(d)在点(xf,yf)左下方感兴趣区内从上至下、从右至左搜索匹配的子图,一旦搜索到,则停止搜索,记录匹配的子图左上角点为(xj,yj),还需判断是否存在已经检测到定位参考点(xf,yf)和(xj,yj),如果检测到则继续进行,否则需要重新开始。
所述模板包括四个尺寸大小相同的模板(a)、模板(b)、模板(c)和模板(d),都为2e*2e,如图4所示,模板(a)中左上角及右下角的e*e个像素的像素值为0(黑色),其余为255(白色);模板(b)中右上角及左下角的e*e个像素的像素值为0(黑色),其余为255(白色);模板(c)中右上角e*e个像素的像素值为0(黑色),其余为255(白色);模板(d)中右下角e*e个像素的像素值为0(黑色),其余为255(白色);而且,其用途也不相同,搜索标靶图像中的角点时用到模板(a)和(b),搜索定位参考点时用到模板(c)和(d)。
如图2所示,为本发明装置中角点集检测模块采用模板匹配法检测角点的执行过程如下:
第一步:初始化循环参数ii及jj,都设置为零;
第二步:以(mm/3-1+jj,ii)为左上角点,在感兴趣区中扩展出与模板大小相同的子图S;
第三步:计算子图S与模板的差值图像G;
所述的差值图像是指对子图S和模板(a)图像在相同位置像素点的像素值求差,并取绝对值后所得到的图像,即当两幅二值化图像对应像素点的像素值相等时,差值图像在对应像素点上的像素值为0(黑色),如果不相同,像素值为255(白色)。
第四步:对差值图像G中的每个白色像素点,进行如下处理:以该白色像素点为左上角点,沿向右和向下方向扩充为7像素×7像素大小的块,将该块作为统计单元,计算该块中白色像素点的密度值M;
所述的密度值M是指差值图像中以7像素×7像素大小的块为统计单元,其中像素值为255(白色)的像素点的个数gg除以像素点的总个数49,公式如下:
M=gg/49 (1)
第五步:对所述的密度值M进行如下判断:
(A)判断是否存在大于密度阈值的密度值M,如果存在某个区域的密度M大于设定的密度阈值,则认为模板(a)不匹配,进入步骤(B);否则,进入第六步;
(B)计算子图S与模板(b)差值图像,如果存在某个区域的密度M大于设定的密度阈值,则认为模板(b)不匹配,进入第七步,否则,进入第六步;
所述密度阈值设置为0.32,如果密度阈值过大就会将两幅有较大差异的图像认为匹配,增大了误匹配,反之,如果密度阈值过小就会把一些由于光线或路面不平造成标靶存在一定旋转角度而造成的小范围零散的不同点误判为不匹配。通过试验,本发明所设置的密度阈值可以实现较好的检测效果。
第六步:将子图S左上角点坐标(mm/3-1+jj,ii)存入候选点集CC中;
第七步:将ii加1,判断ii是否大于nn-1-2e,如果大于进入第八步,否则,返回第二步;
第八步:将jj加1,ii设为初始值0,判断jj是否大于mm/3-2e,如果大于则结束此模板的匹配,否则,返回第二步;
聚类:首先将候选点集CC中所有的点进行分类处理,此过程为:分别计算第一个点与第二个点的横坐标之差值及纵坐标之差值,如果两个差值同时小于阈值T1则将这两个点记为同一个小类w1,否则将这两个点分别记为两个小类w1和w2;然后逐点计算候选点集CC中其它点与已经分为小类的所有点的横坐标之差值及纵坐标之差值,如果与小类中某点的两个差值同时小于阈值T1,则将待分类点与该小类的点记为同一个小类,否则认为都不属于已经存在的类,则将增加一个新的小类。假设总共分成了g小类,则小类的集W={w1,w2,…,wg}。分别计算各小类的中心点坐标(xwi,ywi)(i=1,2,…,g),将任意中心点横坐标之差值小于阈值T1的小类记为同一个大类;
所述的计算个各小类中心点坐标是指将小类内所有点的横、纵坐标分别相加,再除以小类中点总的个数得到的x、y值作为此小类的中心点横、纵坐标值。
筛选:由于标靶垂直于地面,而摄像头平行安装,在感兴趣区内标靶的角点的连线应基本竖直,横坐标之差值应小于阈值T1,则应属于一个大类。而且由于属于同一大类的误匹配点小类相对于属于同一大类的角点处小类,数量较少,所以保留包含小类数目最多的大类,剔除其他大类,并将保留下来的小类的中心点坐标在x和y方向上分别加上模板宽度和高度的一半e,存为初始角点集A={(xa1,ya1),(xa2,ya2),…,(xaj,yaj)},其中j为保留下来的小类的个数,而且初始角点集A中各点的顺序是以ya1,ya2,…,yaj值从大到小排列。
所述的角点集定位模块采用模板匹配法检测定位参考点的过程包括匹配模板(c)和匹配模板(d)两部分,在匹配模板(c)时,在x方向[mm/3-1,xmax-2*e],y方向[0,nn-1-2*e]区域内,按照从上至下、从右至左的顺序逐点搜索,并进行匹配检测。方法是将搜索点作为左上角点,扩展出与模板大小相同的待检测子图S;然后计算子图S与模板(c)的差值图像G;最后将差值图像G中的每个白色像素点扩充为7像素×7像素大小的块,计算所有块中白色像素点的密度M,如果存在某个块的密度M大于设定的密度阈值则认为此子图S与模板(c)不匹配,继续搜索下一点作为左上角点进行检测,否则认为匹配,结束搜索。匹配模板(d)时,搜索区域改为x方向[mm/3-1,xf-2*e],y方向[yf+2*e,nn-1-2*e],同样按照从上至下、从右至左的顺序逐点搜索,并进行匹配检测。检测过程与模板(c)相同。
其中搜索到的定位参考点(xf,yf)有可能是图3所示的参考点①或者参考点②,因为如果标靶完全竖直或存在顺时针旋转,那首先搜索到的是参考点①,否则是参考点②,而(xj,yj)为参考点③。搜索定位参考点的目的为:(1)由于对立式标靶的靶面进行分析后发现在竖直角点集的左侧只有两处满足模板(c)的特征,而其左下方只有一处满足模板(d)的特征,所以搜索定位参考点可进一步确认检测到的初始角点集A的正确性;(2)由于参考点③及其与角点相对位置的唯一性,可以利用它对各角点进行定位。所以,如果由于摄像头安装或标靶放置不当,没有检测到两个定位参考点(xf,yf)和(xj,yj),则无法判断初始角点集A的准确性,更无法定位,则需要重新放置标靶。
将初始角点集A中纵坐标最大值ya1与yj进行比较,如果ya1-yj为ss的3倍左右,认为点(xa1,ya1)为标靶最低角点;否则,将点(xmax,yj+ss*3)作为标靶的最低角点,然后将角点补充完整,并得到角点集C={(xc1,yc1),(xc2,yc2),…,(xcn,ycn)},其中n表示图中标靶角点总数,且C中各点的顺序也以yc1,yc2,…,ycn值从大到小排列,最后运用openCV中的cvFindCornerSubPix()函数,以角点集C为基准将其更新为亚像素级角点集B={(xb1,yb1),(xb2,yb2),…,(xbn,ybn)}。
其中将角点补充完整的过程为:如果点(xa1,ya1)为标靶最低角点,则依次计算初始角点集A中相邻点纵坐标值之差yaii-ya(ii+1),当差值为ss的t倍左右,则需要在初始角点集A的第ii个点与第ii+1个点之间补充上t-1个点(如果t为1则不需要在这两点间补充),坐标分别为(xaii,yaii-jj*ss)(jj=1,…,t-1),当搜索到A中最后一个点(xaj,yaj)时,以yaj作为差值进行计算;如果点(xmax,yj+ss*2)为标靶最低角点,那么还需要计算差值yj+ss*2-ya1,以同样的方法将点(xmax,yj+ss*2)与点(xa1,ya1)之间的角点补充完整。所述分段直线拟合模块利用各角点的垂直高度、测量摄像头安装高度h及其与立式标靶靶面的水平距离D计算各角点的实际成像角度,结合亚像素级角点集的纵坐标,采用分段直线模型拟合相邻映射点,得到实际成像角度与图像纵坐标的映射关系。
标靶图像中n个角点的高度集HH:
HH={h1,h2,…,hn}={1.00,1.05,…,1.00+(n-1)*0.05},
利用参数h和D,通过式(2)计算得到各角点的实际成像角度集Q={q1,q2,…,qn},其中各角度值与亚像素级角点集B的纵坐标{yb1,yb2,…,ybn}按顺序一一对应,得到映射点集P={(yb1,q1),(yb2,q2),…,(ybn,qn)},以直线拟合相邻两映射点,得到相邻两映射点映射关系集F={f1,f2,…,fn-1},如式(3)所示;
qii=tan-1(D/(h-hii)) (2)
本发明的计算单元主要包括距离计算模块和高度计算模块。所述距离计算模块的具体计算过程为:将检测单元2得到的障碍物底部y方向坐标yz作为参数输入,首先判断出yz所属的映射关系fii(0<ii<n),利用fii的直线方程计算yz对应的实际成像角度qz,然后以qz作为输入通过测距方程(4)计算障碍物等的距离Lz;
Lz=h·tanqz (4)
其中,当yz小于等于yb2时,选择映射关系f1计算实际成像角度qz;当yz大于等于yb(n-1)时,选择映射关系fn-1计算实际成像角度qz;其他情况下,首先搜索到yz所在区间,即ybii<yz<yb(ii+1),然见选择映射关系fii计算实际成像角度qz。
所述高度计算模块的具体计算过程为:如果系统需要测量高度,首先利用测距同样的方法判断障碍物检测算法得到的障碍物顶部y方向坐标yd所属的映射关系fii(0<ii<n),利用fii的直线方程计算yd对应的实际成像角度qd,然后以qd和障碍物距离Lz作为输入通过测高方程(5)计算障碍物等的高度Hz。
Hz=h-a·Lz·tan(|90°-qd|) (5)
其中,当qd≥90°时a取-1,当qd<90°时a取1。
表5为利用此装置测距的实验结果及误差,选用的图像分辨率为752*480,摄像头安装高度为1.32m,标靶与摄像头的水平距离为1.8m,从表5可以看出,此装置测距总体误差很小,一般小于1%,虽然在80m时可能由于路面平整度或障碍物检测精度等影响,误差达到2.3029%,但也已经远远满足智能车辆的测距精度要求。
表6为利用此装置测高的实验结果及误差,图像分辨率、摄像头高度及标靶放置位置与测距实验相同,测高的实验对象是身高为1.77m的人,从表6可以看出,误差均保持在4%以内。由于测高会受到测距误差、障碍物检测及图像畸变等影响,所以测高误差一般比测距误差大,但可以基本满足车辆在桥梁、涵洞等通过性检测的要求。
表5测距的实验结果集误差
表6测高的实验结果及误差
Claims (9)
1.一种基于立式标靶的车载单目摄像头测距测高装置,其特征在于:所述测距测高装置,包括建立映射关系单元、检测单元及计算单元,建立映射关系单元根据采集到的一次标靶图像,智能检测标靶图像中标靶角点的坐标,通过定位参考点对各角点定位,最终得到标靶图像纵坐标与实际成像角度之间的映射关系;检测单元为测距测高提供图像参数信息,所述图像参数信息包括被测物体底端与顶端的纵向坐标值;计算单元利用标靶图像纵坐标与实际成像角度之间的映射关系以及被测物体的图像参数信息,计算被测物体的距离及高度。
2.根据权利要求1所述的一种基于立式标靶的车载单目摄像头测距测高装置,其特征在于:所述的建立映射关系单元包括安装测量模块、角点集检测模块、角点集定位模块及分段直线拟合模块,安装测量模块用于测量摄像头安装高度h及其与立式标靶靶面的水平距离D,采集标靶图像,并对所述标靶图像进行二值化处理;角点集检测模块是通过模板匹配法检测角点的候选点集CC后,经过聚类、筛选操作得到初始角点集A;角点集定位模块是通过模板匹配法检测定位参考点后,结合初始角点集A将标靶角点补充完整得到角点集并对其各角点定位,最后运用openCV中的cvFindCornerSubPix()函数,以角点集为基准将其更新为亚像素级角点集;分段直线拟合模块利用各角点的垂直高度、测量摄像头安装高度h及其与立式标靶靶面的水平距离D计算各角点的实际成像角度,结合亚像素级角点集的纵坐标,采用分段直线模型拟合相邻映射点,得到实际成像角度与图像纵坐标的映射关系。
3.根据权利要求1所述的一种基于立式标靶的车载单目摄像头测距测高装置,其特征在于:所述的计算单元包括距离计算模块和高度计算模块,距离计算模块将检测单元检测到的被测物体底端纵向坐标值作为输入代入建立映射关系单元得到的实际成像角度与图像纵坐标的映射关系计算出底端对应成像角度,再将摄像头安装高度h与底端对应成像角度作为输入,得到被测物体距离值Lz:
Lz=h·tanqz (4)
其中,当yz小于等于yb2时,选择映射关系f1计算实际成像角度qZ;当yz大于等于yb(n-1)时,选择映射关系fn-1计算实际成像角度qZ;其他情况下,首先搜索到yz所在区间,即ybii<yz<yb(ii+1),然后选择映射关系fii计算实际成像角度qZ;
高度计算模块是在系统需要测高时,将检测单元检测到的被测物体顶端纵向坐标值作为输入,代入建立映射关系单元得到的实际成像角度与图像纵坐标的映射关系,计算出顶端对应成像角度,再将摄像头安装高度h、被测物体距离值及被测物体顶端对应成像角度作为输入,得到高度值Hz:
Hz=h-a·Lz·tan(|90°-qd|) (5)
其中,当qd≥90°时a取-1,当qd<90°时a取1。
4.根据权利要求1所述的一种基于立式标靶的车载单目摄像头测距测高装置,其特征在于:所述的角点集检测模块采用模板匹配法检测角点的执行过程如下:
第一步:初始化循环参数ii及jj,都设置为零;
第二步:以(mm/3-1+jj,ii)为左上角点,在感兴趣区中扩展出与模板大小相同的子图S;
第三步:计算子图S与模板的差值图像G;
所述的差值图像是指对子图S和模板(a)图像在相同位置像素点的像素值求差,并取绝对值后所得到的图像,即当两幅二值化图像对应像素点的像素值相等时,差值图像在对应像素点上的像素值为0,如果不相同,像素值为255;
第四步:对差值图像G中的每个白色像素点,进行如下处理:以该白色像素点为左上角点,沿向右和向下方向扩充为7像素×7像素大小的块,将该块作为统计单元,计算该块中白色像素点的密度值M;
所述的密度值M是指差值图像中以7像素×7像素大小的块为统计单元,其中像素值为255的像素点的个数gg除以像素点的总个数49,公式如下:
M=gg/49 (1)
第五步:对所述的密度值M进行如下判断:
(A)判断是否存在大于密度阈值的密度值M,如果存在某个区域的密度M大于设定的密度阈值,则认为模板(a)不匹配,进入步骤(B);否则,进入第六步;
(B)计算子图S与模板(b)差值图像,如果存在某个区域的密度M大于设定的密度阈值,则认为模板(b)不匹配,进入第七步,否则,进入第六步;
第六步:将子图S左上角点坐标(mm/3-1+jj,ii)存入候选点集CC中;
第七步:将ii加1,判断ii是否大于nn-1-2e,如果大于进入第八步,否则,返回第二步;
第八步:将jj加1,ii设为初始值0,判断jj是否大于mm/3-2e,如果大于则结束此模板的匹配,否则,返回第二步。
5.根据权利要求4所述的一种基于立式标靶的车载单目摄像头测距测高装置,其特征在于:所述的密度阈值设置为0.32。
6.根据权利要求2所述的一种基于立式标靶的车载单目摄像头测距测高装置,其特征在于:所述的聚类具体为:首先将候选点集CC中所有的点进行分类处理,此过程为:分别计算第一个点与第二个点的横坐标之差值及纵坐标之差值,如果两个差值同时小于阈值T1则将这两个点记为同一个小类w1,否则将这两个点分别记为两个小类w1和w2;然后逐点计算候选点集CC中其它点与已经分为小类的所有点的横坐标之差值及纵坐标之差值,如果与小类中某点的两个差值同时小于阈值T1,则将待分类点与该小类的点记为同一个小类,否则认为都不属于已经存在的类,则将增加一个新的小类。假设总共分成了g小类,则小类的集W={w1,w2,…,wg},分别计算各小类的中心点坐标(xwi,ywi),i=1,2,…,g,将任意中心点横坐标之差值小于阈值T1的小类记为同一个大类;所述的计算个各小类中心点坐标是指将小类内所有点的横、纵坐标分别相加,再除以小类中点总的个数得到的x、y值作为此小类的中心点横、纵坐标值;
所述的筛选具体为:在感兴趣区内标靶的角点的横坐标之差值如果小于阈值T1,则划分为一个大类,保留包含小类数目最多的大类,剔除其他大类,并将保留下来的小类的中心点坐标在x和y方向上分别加上模板宽度和高度的一半e,存为初始角点集A={(xa1,ya1),(xa2,ya2),…,(xaj,yaj)},其中j为保留下来的小类的个数,而且初始角点集A中各点的顺序是以ya1,ya2,…,yaj值从大到小排列。
7.根据权利要求2所述的一种基于立式标靶的车载单目摄像头测距测高装置,其特征在于:所述的模板匹配法检测定位参考点,包括匹配模板(c)和匹配模板(d)两部分,在匹配模板(c)时,在x方向[mm/3-1,xmax-2*e],y方向[0,nn-1-2*e]区域内,按照从上至下、从右至左的顺序逐点搜索,并进行匹配检测,方法是将搜索点作为左上角点,扩展出与模板大小相同的待检测子图S;然后计算子图S与模板(c)的差值图像G;最后将差值图像G中的每个白色像素点扩充为7像素×7像素大小的块,计算所有块中白色像素点的密度M,如果存在某个块的密度M大于设定的密度阈值则认为此子图S与模板(c)不匹配,继续搜索下一点作为左上角点进行检测,否则认为匹配,结束搜索;匹配模板(d)时,搜索区域改为x方向[mm/3-1,xf-2*e],y方向[yf+2*e,nn-1-2*e],同样按照从上至下、从右至左的顺序逐点搜索,并进行匹配检测,检测过程与模板(c)相同。
8.根据权利要求2所述的一种基于立式标靶的车载单目摄像头测距测高装置,其特征在于:所述的标靶角点补充完整的过程为:如果点(xa1,ya1)为标靶最低角点,则依次计算初始角点集A中相邻点纵坐标值之差yaii-ya(ii+1),当差值为ss的t倍,则需要在初始角点集A的第ii个点与第ii+1个点之间补充上t-1个点,坐标分别为(xaii,yaii-jj*ss),jj=1,…,t-1,当搜索到A中最后一个点(xaj,yaj)时,以yaj作为差值进行计算;如果点(xmax,yj+ss*2)为标靶最低角点,那么还需要计算差值yj+ss*2-ya1,以同样的方法将点(xmax,yj+ss*2)与点(xa1,ya1)之间的角点补充完整。
9.根据权利要求1~8中任意一项权利要求所述的一种基于立式标靶的车载单目摄像头测距测高装置,其特征在于:所述模板包括四个尺寸大小相同的模板(a)、模板(b)、模板(c)和模板(d),都为2e*2e,模板(a)中左上角及右下角的e*e个像素的像素值为0,其余为255;模板(b)中右上角及左下角的e*e个像素的像素值为0,其余为255;模板(c)中右上角e*e个像素的像素值为0,其余为255;模板(d)中右下角e*e个像素的像素值为0,其余为255;搜索标靶图像中的角点时用到模板(a)和(b),搜索定位参考点时用到模板(c)和(d)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310446303.1A CN103499337B (zh) | 2013-09-26 | 2013-09-26 | 一种基于立式标靶的车载单目摄像头测距测高装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310446303.1A CN103499337B (zh) | 2013-09-26 | 2013-09-26 | 一种基于立式标靶的车载单目摄像头测距测高装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103499337A true CN103499337A (zh) | 2014-01-08 |
CN103499337B CN103499337B (zh) | 2015-07-15 |
Family
ID=49864568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310446303.1A Expired - Fee Related CN103499337B (zh) | 2013-09-26 | 2013-09-26 | 一种基于立式标靶的车载单目摄像头测距测高装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103499337B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104132818A (zh) * | 2014-07-11 | 2014-11-05 | 中国科学院深圳先进技术研究院 | 三维四轮定位仪及其测量方法 |
CN105405117A (zh) * | 2015-10-16 | 2016-03-16 | 凌云光技术集团有限责任公司 | 基于图像轮廓的角点提取方法及装置 |
CN106875448A (zh) * | 2017-02-16 | 2017-06-20 | 武汉极目智能技术有限公司 | 一种车载单目摄像头外部参数自标定方法 |
CN106908000A (zh) * | 2017-01-20 | 2017-06-30 | 中国矿业大学 | 一种液压支架顶梁支撑高度和姿态的测量系统及其方法 |
CN107003409A (zh) * | 2015-01-27 | 2017-08-01 | 宝马股份公司 | 在表面上的尺寸的测量 |
CN107621279A (zh) * | 2017-09-12 | 2018-01-23 | 歌尔股份有限公司 | 数据处理方法、传感器数据校准方法及装置 |
CN108416263A (zh) * | 2018-01-29 | 2018-08-17 | 华南农业大学 | 一种适用于农情低空遥感监测的低成本的无人机高度测量方法 |
CN109902696A (zh) * | 2019-03-06 | 2019-06-18 | 北京石油化工学院 | 基于分段直线拟合的危化品堆垛测距方法 |
CN110428430A (zh) * | 2019-07-03 | 2019-11-08 | 广州微林软件有限公司 | 一种区域内的直线定位拟合方法及应用 |
CN110926348A (zh) * | 2018-09-19 | 2020-03-27 | 天津大学青岛海洋技术研究院 | 基于细分驱动器两相混合式步进电机的单目测距系统 |
CN111238477A (zh) * | 2019-03-25 | 2020-06-05 | 武汉珈鹰智能科技有限公司 | 一种烟囱内无人机的定位方法及装置 |
CN113108757A (zh) * | 2021-03-12 | 2021-07-13 | 淮阴工学院 | 一种基于单目激光摄像测高装置、测高方法、测高系统、服务器以及可读存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020051128A1 (en) * | 2000-10-30 | 2002-05-02 | Chiaki Aoyama | Distance measuring apparatus and distance measuring method |
JP2007225403A (ja) * | 2006-02-22 | 2007-09-06 | Purex:Kk | 距離計測装置の調整機構およびそれを備えた立体形状認識システム |
CN101980292A (zh) * | 2010-01-25 | 2011-02-23 | 北京工业大学 | 一种基于正八边形模板的车载摄像机内参数的标定方法 |
CN201917332U (zh) * | 2010-11-30 | 2011-08-03 | 日立数字映像(中国)有限公司 | 一种基于单个一体化摄像机机芯的视频测距测高装置 |
CN102431552A (zh) * | 2011-09-05 | 2012-05-02 | 北京航空航天大学 | 一种基于双目立体视觉的车辆后方防撞安全预警装置 |
CN102661733A (zh) * | 2012-05-28 | 2012-09-12 | 天津工业大学 | 一种基于单目视觉的前方车辆测距方法 |
-
2013
- 2013-09-26 CN CN201310446303.1A patent/CN103499337B/zh not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020051128A1 (en) * | 2000-10-30 | 2002-05-02 | Chiaki Aoyama | Distance measuring apparatus and distance measuring method |
JP2007225403A (ja) * | 2006-02-22 | 2007-09-06 | Purex:Kk | 距離計測装置の調整機構およびそれを備えた立体形状認識システム |
CN101980292A (zh) * | 2010-01-25 | 2011-02-23 | 北京工业大学 | 一种基于正八边形模板的车载摄像机内参数的标定方法 |
CN201917332U (zh) * | 2010-11-30 | 2011-08-03 | 日立数字映像(中国)有限公司 | 一种基于单个一体化摄像机机芯的视频测距测高装置 |
CN102431552A (zh) * | 2011-09-05 | 2012-05-02 | 北京航空航天大学 | 一种基于双目立体视觉的车辆后方防撞安全预警装置 |
CN102661733A (zh) * | 2012-05-28 | 2012-09-12 | 天津工业大学 | 一种基于单目视觉的前方车辆测距方法 |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104132818B (zh) * | 2014-07-11 | 2016-07-06 | 中国科学院深圳先进技术研究院 | 三维四轮定位仪及其测量方法 |
CN104132818A (zh) * | 2014-07-11 | 2014-11-05 | 中国科学院深圳先进技术研究院 | 三维四轮定位仪及其测量方法 |
CN107003409A (zh) * | 2015-01-27 | 2017-08-01 | 宝马股份公司 | 在表面上的尺寸的测量 |
CN105405117A (zh) * | 2015-10-16 | 2016-03-16 | 凌云光技术集团有限责任公司 | 基于图像轮廓的角点提取方法及装置 |
CN105405117B (zh) * | 2015-10-16 | 2018-07-03 | 凌云光技术集团有限责任公司 | 基于图像轮廓的角点提取方法及装置 |
CN106908000A (zh) * | 2017-01-20 | 2017-06-30 | 中国矿业大学 | 一种液压支架顶梁支撑高度和姿态的测量系统及其方法 |
CN106908000B (zh) * | 2017-01-20 | 2019-05-17 | 中国矿业大学 | 一种液压支架顶梁支撑高度和姿态的测量系统及其方法 |
CN106875448B (zh) * | 2017-02-16 | 2019-07-23 | 武汉极目智能技术有限公司 | 一种车载单目摄像头外部参数自标定方法 |
CN106875448A (zh) * | 2017-02-16 | 2017-06-20 | 武汉极目智能技术有限公司 | 一种车载单目摄像头外部参数自标定方法 |
CN107621279A (zh) * | 2017-09-12 | 2018-01-23 | 歌尔股份有限公司 | 数据处理方法、传感器数据校准方法及装置 |
CN107621279B (zh) * | 2017-09-12 | 2020-01-10 | 歌尔股份有限公司 | 数据处理方法、传感器数据校准方法及装置 |
CN108416263A (zh) * | 2018-01-29 | 2018-08-17 | 华南农业大学 | 一种适用于农情低空遥感监测的低成本的无人机高度测量方法 |
CN108416263B (zh) * | 2018-01-29 | 2020-09-01 | 华南农业大学 | 一种适用于农情低空遥感监测的低成本的无人机高度测量方法 |
CN110926348A (zh) * | 2018-09-19 | 2020-03-27 | 天津大学青岛海洋技术研究院 | 基于细分驱动器两相混合式步进电机的单目测距系统 |
CN109902696A (zh) * | 2019-03-06 | 2019-06-18 | 北京石油化工学院 | 基于分段直线拟合的危化品堆垛测距方法 |
CN109902696B (zh) * | 2019-03-06 | 2021-01-15 | 北京石油化工学院 | 基于分段直线拟合的危化品堆垛测距方法 |
CN111238477A (zh) * | 2019-03-25 | 2020-06-05 | 武汉珈鹰智能科技有限公司 | 一种烟囱内无人机的定位方法及装置 |
CN110428430A (zh) * | 2019-07-03 | 2019-11-08 | 广州微林软件有限公司 | 一种区域内的直线定位拟合方法及应用 |
CN113108757A (zh) * | 2021-03-12 | 2021-07-13 | 淮阴工学院 | 一种基于单目激光摄像测高装置、测高方法、测高系统、服务器以及可读存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN103499337B (zh) | 2015-07-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103487034B (zh) | 一种基于立式标靶的车载单目摄像头测距测高方法 | |
CN103499337B (zh) | 一种基于立式标靶的车载单目摄像头测距测高装置 | |
CN109100741B (zh) | 一种基于3d激光雷达及图像数据的目标检测方法 | |
CN103559791B (zh) | 一种融合雷达和ccd摄像机信号的车辆检测方法 | |
CN110031829B (zh) | 一种基于单目视觉的目标精准测距方法 | |
Tao et al. | Lane marking aided vehicle localization | |
WO2018105179A1 (ja) | 車載用画像処理装置 | |
CN104700414A (zh) | 一种基于车载双目相机的前方道路行人快速测距方法 | |
CN109359409A (zh) | 一种基于视觉与激光雷达传感器的车辆可通过性检测系统 | |
CN112836737A (zh) | 一种基于车路数据融合的路侧组合感知设备在线标定方法 | |
CN103176185A (zh) | 用于检测道路障碍物的方法及系统 | |
TW202017781A (zh) | 道路標線之光達偵測方法及其系統 | |
CN107796373B (zh) | 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法 | |
CN110334678A (zh) | 一种基于视觉融合的行人检测方法 | |
CN108733053A (zh) | 一种基于机器人的智能道路检测方法 | |
CN105404844A (zh) | 一种基于多线激光雷达的道路边界检测方法 | |
CN104899855A (zh) | 三维障碍物检测方法和装置 | |
JP2004086779A (ja) | 障害物検出装置及びその方法 | |
CN109522804A (zh) | 一种道路边沿识别方法及系统 | |
CN110379168A (zh) | 一种基于Mask R-CNN的交通车辆信息获取方法 | |
CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
CN104751119A (zh) | 基于信息融合的行人快速检测跟踪方法 | |
CN112363167A (zh) | 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法 | |
US20170330453A1 (en) | Double stereoscopic sensor | |
JP2018077162A (ja) | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150715 Termination date: 20180926 |
|
CF01 | Termination of patent right due to non-payment of annual fee |