CN115507752B - 基于平行环境元素的单目视觉测距方法和系统 - Google Patents

基于平行环境元素的单目视觉测距方法和系统 Download PDF

Info

Publication number
CN115507752B
CN115507752B CN202211202264.6A CN202211202264A CN115507752B CN 115507752 B CN115507752 B CN 115507752B CN 202211202264 A CN202211202264 A CN 202211202264A CN 115507752 B CN115507752 B CN 115507752B
Authority
CN
China
Prior art keywords
distance
parallel
focal length
image
calibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211202264.6A
Other languages
English (en)
Other versions
CN115507752A (zh
Inventor
王远鹏
吴澄
盛洁
张瑾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou University
Original Assignee
Suzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou University filed Critical Suzhou University
Priority to CN202211202264.6A priority Critical patent/CN115507752B/zh
Publication of CN115507752A publication Critical patent/CN115507752A/zh
Application granted granted Critical
Publication of CN115507752B publication Critical patent/CN115507752B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/02Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/022Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/536Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Measurement Of Optical Distance (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及测距领域,公开一种基于平行环境元素的单目视觉测距方法和系统,方法包括:标定单目摄像机的横向像素焦距fx,根据fx得到测量距离和实际距离间的补充修正系数k和b;使用单目摄像机采集照片,获取照片中平行环境元素和待测目标在所述平行环境元素所成平面上的投影像点P;计算任意一组平行环境元素的消影点V;使用V和P构建直线l,计算l被该组平行环境元素的两条像直线截得的线段长度lx;根据fx、lx和两条平行像直线间的实际距离L计算原始距离测量值zr;使用k和b修正zr得到最终的距离测量值;系统包括预处理模块、采集模块、计算模块和修正模块。本发明实时性强、稳定性和可靠性高、有效降低测量误差。

Description

基于平行环境元素的单目视觉测距方法和系统
技术领域
本发明涉及测距技术领域,尤其是指一种基于平行环境元素的单目视觉测距方法和系统。
背景技术
人工智能自上世纪五十年代诞生,曲折发展至本世纪,即进入了蓬勃发展阶段,近年来更是被国家列入发展规划,受到了越来越多人的重视。国家发展规划不仅从学术研究的角度对人工智能的发展提出了明确的方向,也从经济发展的方向对人工智能的产业化过程给出了明晰的指导。
人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门计算机科学,主要有机器人、语言识别、图像识别、自然语言处理和专家系统等方向。在大数据、超级计算等技术以及社会发展的共同驱动下,人工智能呈现出深度学习、跨界融合、人机协同等新特征。在这其中,图像识别的具体任务包括图像处理、图像分析、图像理解等,利用视觉距离测定是其中一个细分热门研究方向。
目前,距离传感器的研究主要分为三类,分别是红外激光测距、超声波测距和可见光测距。红外激光测距的主要设备是激光雷达,可按照探测种类分为单点测距、二维测距和三维测距三种,其特点是精度极高、分辨率好、实时性极强、有效测量距离远;但是,红外激光测距的成本高、算法研发难度大。超声波测距是利用超声波接触到障碍物后会反弹的特点进行距离测定,其原理和红外测距相同,也因而具有成本低、实时性强、算法研发难度低等优点;但是,超声波测距由于难于精确限定超声波传播张角而容易受到噪声污染,且分辨率偏低,有效测量距离偏低。可见光测距即为视觉测距,是一种利用单目摄像机进行距离测定的方法,与其他两种方式相比精度、成本、实时性、算法研发难度、有效测量距离均介于二者之间,同时又可根据所依赖的视图数量分为双目测距和单目测距两种。其中,双目测距的精度较高,但实时性稍弱,标定复杂。单目测距实时性强、设备调试简单,具有非常广泛的应用前景,但是单目测距则精度偏低,需要依赖先验知识。
发明内容
为此,本发明所要解决的技术问题在于克服现有技术中的不足,提供一种基于平行环境元素的单目视觉测距方法和系统,可以增强实时性、稳定性和可靠性、有效降低测量误差、拓展单目视觉测距的应用场景。
为解决上述技术问题,本发明提供了一种基于平行环境元素的单目视觉测距方法,包括:
步骤1:标定单目摄像机的横向像素焦距,根据所述横向像素焦距得到测量距离和实际距离间的补充修正系数;
步骤2:使用单目摄像机采集场景照片,获取场景照片中平行环境元素和待测目标在所述平行环境元素所成平面上的投影像点;
步骤3:计算与平行环境元素垂线的方向上的消影点;
步骤4:使用所述消影点和待测目标在所述平行环境元素所成平面上的投影像点构建直线,计算所述直线被该组平行环境元素的两条像直线截得的线段长度;
步骤5:根据所述横向像素焦距、线段长度和两条平行像直线间的实际距离计算原始距离测量值;
步骤6:使用所述补充修正系数修正所述原始距离测量值得到最终的距离测量值。
作为优选的,所述标定单目摄像机的横向像素焦距,具体为:
步骤1-1:选取棱角分明并且长度已知的标定物;
步骤1-2:测量场景中平行环境元素的间距;
步骤1-3:获取待测目标出现的范围区间,测定范围区间的平均距离值,使用所述平均距离值划定标定范围;
步骤1-4:在所述标定范围中设置多个距离间距,在每个距离间距处横向放置标定物,在定点拍摄每个标定物并记录各个标定物与单目摄像机之间的距离,从拍摄的相片中提取出标定物的像素长度,将每张相片中标定物的像素长度和当前标定物与单目摄像机之间的距离作为标定数据对;
步骤1-5:根据标定数据对得到每张相片的像素焦距,将所有相片的像素焦距的平均值作为所述单目摄像机的横向像素焦距。
作为优选的,使用所述平均距离值划定标定范围,具体为:
以待测距离的预估平均值为基准,向近处和远处各延伸距离a米作为标定范围;
在所述标定范围中设置多个距离间距,具体为:
在所述标定范围中设置大于等于b个的距离间距。
作为优选的,所述根据标定数据对得到每张相片的像素焦距,具体为:
所述像素焦距
Figure GDA0004236844380000031
其中,lpixel为每张相片中标定物的像素长度,d为标定物与单目摄像机之间的距离,lc为标定物的实际横向长度。
作为优选的,根据所述横向像素焦距得到测量距离和实际距离间的补充修正系数,具体为:
建立使用单目摄像机拍摄的图像中物体的横向尺度x、物体的实际宽度w、物体与摄像机之间的距离z之间的比例关系式:
Figure GDA0004236844380000041
其中,fx为横向像素焦距;
将标定得到的单目摄像机的横向像素焦距fx代入关系式
Figure GDA0004236844380000042
多次执行步骤2-步骤5得到多次的原始距离测量值,将多次的原始距离测量值与实际测量距离进行线性拟合得到斜率值为k、截距值为b的直线方程表达式,将所述k和b作为所述补充修正系数。
作为优选的,所述获取场景照片中平行环境元素和待测目标在所述平行环境元素所成平面上的投影像点,具体为:
步骤2-1:建立当前场景照片的图像坐标系,接受外部传入环境中的平行环境元素并计算各个平行环境元素在图像坐标系下的直线方程表达式;
步骤2-2:根据直线方程表达式建立平行环境元素所成的平面,接受外部传入的待测目标并将待测目标投影到所述平行环境元素所成的平面上得到所述投影像点。
作为优选的,所述计算与平行环境元素垂线的方向上的消影点,具体为:
步骤3-1:从一组平行环境元素的两条像直线l1、l2中各取两像点得到像点集S={X1,X2,X3,X4},其中X1、X3属于l1,X2、X4属于l2,且X1的纵坐标大于X2、X3的纵坐标大于X4
步骤3-2:根据像点集S构建伪像点集S′={X′1,X′2,X′3,X′4},其中X′1=X1、X′3=X3,X′2和X′4的取值满足X′1、X′2、X′3、X′4四点构成矩形;
步骤3-3:计算满足X′=HX的单应矩阵H,
步骤3-4:记伪像点集S′中X′1、X′3所成线段为l1′,X′2、X′4成线段l2′,取l′1的垂线l′p1、取l2′的垂线l′p2,使用单应矩阵H将l′p1、l′p2转换到原像得到lp1和lp2,方法为:
lpi=HTl′pi(i=1,2);
步骤3-5:将lp1和lp2的交点作为所述消影点。
作为优选的,所述像点集S和伪像点集S′中的每个像点的坐标为齐次坐标。
作为优选的,所述原始距离测量值zr的计算方法为:
Figure GDA0004236844380000051
其中,fx为所述横向像素焦距,lx为所述线段长度;L为所述两条平行像直线间的实际距离;
所述最终的距离测量值z的计算方法为:
z=kzr+b;
其中,k和b为所述补充修正系数。
本发明还提供了一种基于平行环境元素的单目视觉测距系统,包括预处理模块、采集模块、计算模块和修正模块,所述采集模块包括单目摄像机;
所述预处理模块标定所述单目摄像机的横向像素焦距,将所述横向像素焦距传送给所述计算模块;
所述计算模块根据射影几何原理计算与平行环境元素垂直的方向上的消影点,使用所述消影点和待测目标在所述平行环境元素所成平面上的投影像点构建直线,计算所述直线被该组平行环境元素的两条像直线截得的线段长度,根据所述横向像素焦距、线段长度和两条平行像直线间的实际距离计算原始距离测量值;将所述横向像素焦距与多次计算得到的原始距离测量值进行线性拟合得到测量距离和实际距离间的补充修正系数,将所述补充修正系数和所述原始距离测量值传送给所述修正模块;
所述采集模块使用所述单目摄像机采集场景照片,获取场景照片中平行环境元素和待测目标在所述平行环境元素所成平面上的投影像点并传送给所述计算模块;
所述修正模块使用所述补充修正系数修正所述原始距离测量值得到最终的距离测量值。
本发明的上述技术方案相比现有技术具有以下优点:
本发明利用单张图片进行视觉测距,通过标定单目摄像机得到横向像素焦距、计算补充修正系数、获取平行环境元素的消影点,并在此基础上计算待测目标的深度实现单目测距;将耗时长的操作作为预处理步骤并一次性处理,增强了实时性;标定单目摄像机的过程简单清晰,因此稳定性和可靠性高;测量误差通过二次修正过程得到了有效降低,对环境的依赖程度仅限于平行环境元素不需要依赖先验知识,拓展了单目视觉测距的应用场景。
附图说明
为了使本发明的内容更容易被清楚的理解,下面根据本发明的具体实施例并结合附图,对本发明作进一步详细的说明,其中:
图1是本发明的流程图,
图2是本发明中预处理的流程图,
图3是本发明中计算消影点的流程图,
图4是本发明中处理标定数据对时构建的表格示意图,
图5是本发明中通过射影几何中的投影还原场景中平行环境元素的示意图,
图6是本发明实施例中补充修正系数的计算过程的示意图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明,以使本领域的技术人员可以更好地理解本发明并能予以实施,但所举实施例不作为对本发明的限定。
在本发明的描述中,需要理解的是,“多个”的含义是两个或两个以上,除非另有明确具体的限定。此外,术语“包括”意图在于覆盖不排他的包含,例如包含了一系列步骤或单元的过程、方法、系统、产品或设备,没有限定于已列出的步骤或单元而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
参照图1-3流程图所示,本发明公开了一种基于平行环境元素的单目视觉测距方法,包括:
步骤1:预处理步骤:标定单目摄像机的横向像素焦距fx,根据所述横向像素焦距得到测量距离和实际距离间的补充修正系数;标定使用的单目摄像机的横向像素焦距,并获取在计算距离时用于进一步提升距离测算精度的补充修正系数。这一过程耗时较长,但由于此过程只需进行一次并在实际测量过程之中不需要重复进行,操作过程也清晰简便,因此不影响本发明的实时性。
步骤1-1:选取一个棱角分明、长度已知的标定物,本实施例中标定物的选择满足:该标定物既能够比较清晰地从周围环境中剥离出来,同时还能精确测量其横向长度,横向长度的测量精度要求为达到厘米级。常见标定物可选择颜色明显异于周围环境的杆,或者常见标定板。
步骤1-2:测量场景中平行环境元素的间距;测量精度为分米级即可,最低要求是米级别,无需厘米级。本发明之所以能够接受偏低精度,是因为其提供在修正模块中使用的补充修正系数;如果补充修正系数不可用,则最好能够提供厘米级测量精度。
步骤1-3:获取待测目标可能出现的大致范围区间,测定范围区间的平均距离值,平均距离值是在进行实际测量时会遇到的全部距离值中的一个大致的平均距离值,无需精确测定。在实际操作时可以选择全部待测距离范围的中点,当该范围同样无法测定时可以选定一个出现得最频繁的那些待测距离所构成范围的中心,无需关注每个距离的实际出现的次数。
使用所述平均距离值划定标定范围:以所述待测距离的预估平均值为基准,向近处和远处各延伸距离a作为标定范围。本实施例中a的取值范围为10-20米,具体范围大小可以参照实际待测范围来确定,例如取标定范围为实际待测距离范围的五分之一。标定范围在计算出横向像素焦距的同时还被用于计算补充修正系数,当该标定范围的中心和实际待测距离范围的中心重合时,补充修正系数能够最大限度地限制距离计算的误差。
步骤1-4:在所述标定范围中设置多个距离间距,本实施例中在所述标定范围中随机或等间距地设置大于等于b个的距离间距。b的取值大于等于5,优选为10,b取值越大,间距数量越多,标定效果受到偶然误差的影响越小。
在每个距离间距处横向放置标定物,在定点拍摄每个标定物并记录各个标定物与单目摄像机之间的距离,从拍摄的相片中提取出标定物的像素长度,将每张相片中标定物的像素长度和当前标定物与单目摄像机之间的距离作为标定数据对;处理标定数据对时构建表格,罗列每个数据对的标定物的像素长度lpixel(设置相片中标定物左端点和右端点的像素坐标,从而计算像素长度)和标定物和单目摄像机之间的实际距离d(单位为米)。构建的表格如图4所示,其中(x1,y1)和(x2,y2)分别是照片中标定物左端点和右端点的像素坐标,lpixel是标定物的像素长度、通过计算左右端点的间距得到,d是标定物和单目摄像机之间的实际距离(单位为米)。
在每个距离间距处横向放置标定物中,横向放置标定物即标定物的已知长度需要平行于单目摄像机视野边界,以此保证能够计算得到横向像素焦距。如果标定物存在倾角,则计算所得的横向像素焦距将小于实际值,且偏差与倾角之间不呈现出简单的三角函数关系,大大影响标定质量。
步骤1-5:根据标定数据对得到每张相片的像素焦距,将所有相片的像素焦距的平均值作为所述单目摄像机的横向像素焦距。
根据标定数据对得到每张相片的像素焦距,具体为:
所述像素焦距
Figure GDA0004236844380000091
其中lpixel为每张相片中标定物的像素长度,单位为像素;d为标定物与单目摄像机之间的距离,单位为米;lc为标定物的实际横向长度,单位为米;如果标定物长度为1m,则像素焦距的计算公式中分母可忽略。对全部标定数据对所得的像素焦距取平均值,即得到最终的横向像素焦距fx,即标定结果。
步骤1-6:根据所述横向像素焦距得到测量距离和实际距离间的补充修正系数,具体为:
步骤1-6-1:建立使用单目摄像机拍摄的图像中物体的横向尺度x、物体的实际宽度w、物体与摄像机之间的距离z之间的比例关系式:
Figure GDA0004236844380000092
其中,fx即为所述横向像素焦距,x的单位为像素,w的单位为米,z的单位为米;
步骤1-6-2:将标定得到的单目摄像机的横向像素焦距fx代入关系式
Figure GDA0004236844380000093
多次执行步骤2-步骤5得到多次的原始距离测量值(即以缺省状态下的补充修正系数,其中缺省系数为截距0、斜率1、相当于不修正所得测距结果、运行本专利中介绍的单目测距算法得到计算距离值),对比计算距离值和实际测量距离可以发现二者之间存在一种简单的线性关系,因此将多次的原始距离测量值与实际测量距离进行线性拟合得到斜率值为k、截距值为b的直线方程表达式,将所述k和b作为所述补充修正系数。使用补充修正系数k和b修正距离测量能够明显提升本发明得到的距离的精度。
补充修正系数、即二次修正系数,是斜率值k和截距值b的组合,来自线性拟合过程,用于线性修正直接计算得到的距离值。之所以能够这样修正,是因为式
Figure GDA0004236844380000101
中物体的宽度w及其距离z分别作为同一分式的分子和分母,这意味着二者存在一个简单的线性关系,仿真实验中也充分说明了这种关系(参见图6)。由于这种修正是在计算出距离之后才进行的,所以也叫二次修正系数,即在第一次的原始距离计算之后进行第二次距离测算操作。
步骤2:使用单目摄像机采集场景照片,获取场景照片中平行环境元素和待测目标在所述平行环境元素所成平面上的投影像点P;本实施例中平行环境元素和待测目标在平行环境元素所成平面上的投影像点依赖外部传入。
获取场景照片中平行环境元素和待测目标在平行环境元素所成平面上的投影像点,具体为:
步骤2-1:建立当前场景照片的图像坐标系,接受外部传入环境中的平行环境元素(表现为一对对直线)并计算各个平行环境元素在图像坐标系下的直线方程表达式;平行环境元素可以利用环境中的直线的像也是径向修正后相片中的直线这一事实经过霍夫变换来获取,或者通过机器学习得到。同时,很多场景下的平行环境元素也是相对固定的,所以本实施例中使用的平行环境元素为从外部传入而不是自主提取。
步骤2-2:根据直线方程表达式建立平行环境元素所成的平面,接受外部传入的待测目标并将待测目标投影到所述平行环境元素所成的平面上得到所述投影像点。
尽管需要投影操作,但当实际环境中仅为平面环境时,投影像点即待测目标的落点,只有当实际环境非平面时才需要进行投影操作,所以投影并非必须步骤。如图5所示投影像点同样也可以通过射影几何中的投影还原场景中的平行环境元素,图5中a图是平行环境元素的投影像点,b图是还原后场景中的平行环境元素。
步骤3:计算与平行环境元素垂线的方向上的消影点V;当平行环境元素的消影点已知或该消影点已经存储在缓存中时,不用重新计算而是直接获取消影点并执行步骤4。
步骤3-1:从一组平行环境元素的两条像直线l1、l2中各取两像点得到像点集S={X1,X2,X3,X4}(提取的四个像点尽量能够使得所取的四点在世界中接近矩形),其中X1、X3属于l1,X2、X4属于l2,且X1的纵坐标大于X2、X3的纵坐标大于X4(即像点X1,X3在X2,X4上面);
像点Xi均为齐次坐标,即S={Xi,i=1,2,3,4},Xi=(x y w)T,T表示转置。齐次坐标X是在利用矩阵运算而进行在原本n维坐标后追加一维坐标之后形成的坐标结构,此时原本的坐标又可称为非齐次坐标x;也就是说,某点的齐次坐标永远比其对应的非齐次坐标多一个维度。尽管增加了一个维度,但坐标系空间本身的秩不变,其实现方式是前n维的每个坐标和最后一维坐标的比值来表示原非齐次坐标。例如这里像素点的齐次坐标X=(x,y,w)T相当于原非齐次坐标的x=(x/w,y/w)T,所以像素坐标空间的秩依旧为2。
步骤3-2:根据像点集X构建伪像点集S′={X′1,X′2,X′3,X′4},其中X′1=X1、X′3=X3,X′2和X′4的取值满足X′1、X′2、X′3、X′4四点构成矩形;伪像点X′i同样取齐次坐标、即所述像点集S和伪像点集S′中的每个元素当理解为相应点的齐次坐标。
步骤3-3:计算满足X′=HX的单应矩阵H:记
Figure GDA0004236844380000111
其中hi(i=1,2,3),hiT(i=1,2,3)为H的行向量,则其计算方法为:
Figure GDA0004236844380000121
其中0和0T表示零向量,x′i,y′i,w′i分别表示伪像点集S′中伪像点X′i的齐次坐标的三个分量(其中往往有w′=1),xi即像点的齐次坐标。
步骤3-4:记伪像点集S′中X′1、X′3所成线段为l1′,X′2、X′4成线段l2′,取l′1的垂线l′p1、取l2′的垂线l′p2,使用单应矩阵H将l′p1、l′p2转换到原像得到lp1和lp2,其方法为:lpi=HTl′pi(i=1,2);
步骤3-5:将lp1和lp2的交点V作为所述消影点并将存储到缓存中。
步骤4:使用所述消影点V和待测目标在所述平行环境元素所成平面上的投影像点P构建直线l,计算直线l被该组平行环境元素的两条像直线l1、l2截得的线段长度lx(单位为像素,根据坐标系下的常规距离计算公式得到)。
步骤5:根据所述横向像素焦距fx、线段长度lx和两条平行像直线间的实际距离L计算待测目标的深度,两条平行像直线l1、l2间的实际距离L是已知条件,根据实际测量得到。待测目标的深度,即原始距离测量值zr的计算方法为:
Figure GDA0004236844380000122
zr中下角标r代表raw,即原始距离测量值。
步骤6:使用所述补充修正系数修正所述原始距离测量值得到最终的距离测量值、即物体和摄像机之间的距离。
使用补充修正系数k和b对原始待测距离zr进行二次修正,修正结果即为本发明得到的最终的距离测量值z:
z=kzr+b;
其中,fx为所述横向像素焦距,lx为所述线段长度,单位为像素;L为所述两条平行像直线间的实际距离,单位为米;
本发明对所述平行环境元素的要求为该元素是沿着单目摄像机视线方向的延伸至少为10米的直线段(准确地说,应该从该直线段在图像中的像的角度来重新描述这个要求,即要求像直线至少有10个像素点,与在标定范围中设置10个的距离间距对应。此要求由此步骤所要进行的直线拟合角度得到,直线拟合对数据点的数量要求一般是越多越好,因为实际情况下数据点数量一般不会达到超过设备处理限度的程度。但由于从像直线的角度不够直观,故按照多次实验经验总结,将像素点要求转化为实际长度要求),此时即可通过近似手段、利用求解单应矩阵反向计算垂线段而得到所需要的信息,而更好的方式要求能够得到尺度已知的平行四边形环境元素,此时所得单应矩阵的精确度将大大提升,甚至提升至精确解,从而有效缓解近似过程所引入的误差。尽管这一过程存在近似过程,但实际实验中仅有极个别情况下会出现10%左右的误差,一般误差不超过5%,所以本发明中的此过程是一种可行的近似手段。
如图6所示,是本发明中实施例中计算补充修正系数的示意图,其中横坐标为得到的原始距离测量值(图中标记为计算距离),纵坐标为标定得到的实际距离,直线代表线性拟合结果,拟合得到截距b=-1.64、斜率k=1.07。从图6可以明显看出测量距离和实际距离之间的线性关系(表现为数据点与直线非常均接近),因此本发明中使用的补充修正系数是有效的。同时,一般过程中补充修正系数中的斜率往往很接近于1,且截距的绝对值也并非大到能够显著影响测距效果,所以当无法进行充分标定而不能得到补充修正系数时,还可以取缺省的补充修正系数即取截距为0而斜率为1(相当于取消步骤6而以一次距离测量值作为算法的最终结果)。
本发明公开了一种基于平行环境元素的单目视觉测距系统,包括预处理模块、采集模块、计算模块和修正模块,所述采集模块包括单目摄像机。所述预处理模块标定所述单目摄像机的横向像素焦距,将所述横向像素焦距传送给所述计算模块。所述计算模块根据射影几何原理计算与平行环境元素垂直的方向上的消影点,使用所述消影点和待测目标在所述平行环境元素所成平面上的投影像点构建直线,计算所述直线被该组平行环境元素的两条像直线截得的线段长度,根据所述横向像素焦距、线段长度和两条平行像直线间的实际距离计算原始距离测量值;将所述横向像素焦距与多次计算得到的原始距离测量值进行线性拟合得到测量距离和实际距离间的补充修正系数;将所述补充修正系数传送给所述修正模块,将所述原始距离测量值传送给所述修正模块。所述采集模块使用所述单目摄像机采集场景照片,获取场景照片中平行环境元素和待测目标在所述平行环境元素所成平面上的投影像点并传送给所述计算模块。所述修正模块使用所述补充修正系数修正所述原始距离测量值得到最终的距离测量值。其中在补充修正系数不可用、不进行修正时,确实存在一些使得所述系统得到的距离的误差比较大的场景,而一般情况下误差最大为10%;在辅以有效补充修正系数后,所述修正模块具有增加本系统测量精度的功能。
本发明利用单张图片进行视觉测距,通过标定单目摄像机得到横向像素焦距、计算补充修正系数、获取平行环境元素的消影点,并在此基础上计算待测目标的深度实现单目测距。将耗时长的操作作为预处理步骤并一次性处理,增强了实时性;标定单目摄像机的过程简单清晰,因此稳定性和可靠性高;本发明的测距范围可达百米,并且测量误差通过二次修正过程得到了有效降低(实施例中的误差不超过5%,场景合适时甚至小于1%)。从单目视觉测距角度,本发明对环境的依赖程度仅限于平行环境元素不需要依赖先验知识,从而拓展了单目视觉测距的应用场景,尤其是本发明所具有的高实时性与高稳定性的特点为其实际落地构成项目奠定了坚实的基础。
本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,上述实施例仅仅是为清楚地说明所作的举例,并非对实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (10)

1.一种基于平行环境元素的单目视觉测距方法,其特征在于,包括:
步骤1:标定单目摄像机的横向像素焦距,根据所述横向像素焦距得到测量距离和实际距离间的补充修正系数;
步骤2:使用单目摄像机采集场景照片,获取场景照片中平行环境元素和待测目标在所述平行环境元素所成平面上的投影像点;
步骤3:计算与平行环境元素垂线的方向上的消影点;
步骤4:使用所述消影点和待测目标在所述平行环境元素所成平面上的投影像点构建直线,计算所述直线被该组平行环境元素的两条像直线截得的线段长度;
步骤5:根据所述横向像素焦距、线段长度和两条平行像直线间的实际距离计算原始距离测量值;
步骤6:使用所述补充修正系数修正所述原始距离测量值得到最终的距离测量值。
2.根据权利要求1所述的基于平行环境元素的单目视觉测距方法,其特征在于:所述标定单目摄像机的横向像素焦距,具体为:
步骤1-1:选取棱角分明并且长度已知的标定物;
步骤1-2:测量场景中平行环境元素的间距;
步骤1-3:获取待测目标出现的范围区间,测定范围区间的平均距离值,使用所述平均距离值划定标定范围;
步骤1-4:在所述标定范围中设置多个距离间距,在每个距离间距处横向放置标定物,在定点拍摄每个标定物并记录各个标定物与单目摄像机之间的距离,从拍摄的相片中提取出标定物的像素长度,将每张相片中标定物的像素长度和当前标定物与单目摄像机之间的距离作为标定数据对;
步骤1-5:根据标定数据对得到每张相片的像素焦距,将所有相片的像素焦距的平均值作为所述单目摄像机的横向像素焦距。
3.根据权利要求2所述的基于平行环境元素的单目视觉测距方法,其特征在于:使用所述平均距离值划定标定范围,具体为:
以待测距离的预估平均值为基准,向近处和远处各延伸距离a米作为标定范围;
在所述标定范围中设置多个距离间距,具体为:
在所述标定范围中设置大于等于b个的距离间距。
4.根据权利要求2所述的基于平行环境元素的单目视觉测距方法,其特征在于:所述根据标定数据对得到每张相片的像素焦距,具体为:
所述像素焦距
Figure FDA0004236844370000021
其中,lpixel为每张相片中标定物的像素长度,d为标定物与单目摄像机之间的距离,lc为标定物的实际横向长度。
5.根据权利要求1所述的基于平行环境元素的单目视觉测距方法,其特征在于:根据所述横向像素焦距得到测量距离和实际距离间的补充修正系数,具体为:
建立使用单目摄像机拍摄的图像中物体的横向尺度x、物体的实际宽度w、物体与摄像机之间的距离z之间的比例关系式:
Figure FDA0004236844370000022
其中,fx为横向像素焦距;
将标定得到的单目摄像机的横向像素焦距fx代入关系式
Figure FDA0004236844370000031
多次执行步骤2-步骤5得到多次的原始距离测量值,将多次的原始距离测量值与实际测量距离进行线性拟合得到斜率值为k、截距值为b的直线方程表达式,将所述k和b作为所述补充修正系数。
6.根据权利要求1所述的基于平行环境元素的单目视觉测距方法,其特征在于:所述获取场景照片中平行环境元素和待测目标在所述平行环境元素所成平面上的投影像点,具体为:
步骤2-1:建立当前场景照片的图像坐标系,接受外部传入环境中的平行环境元素并计算各个平行环境元素在图像坐标系下的直线方程表达式;
步骤2-2:根据直线方程表达式建立平行环境元素所成的平面,接受外部传入的待测目标并将待测目标投影到所述平行环境元素所成的平面上得到所述投影像点。
7.根据权利要求1所述的基于平行环境元素的单目视觉测距方法,其特征在于:所述计算与平行环境元素垂线的方向上的消影点,具体为:
步骤3-1:从一组平行环境元素的两条像直线l1、l2中各取两像点得到像点集S={X1,X2,X3,X4},其中X1、X3属于l1,X2、X4属于l2,且X1的纵坐标大于X2、X3的纵坐标大于X4
步骤3-2:根据像点集S构建伪像点集S′={X′1,X′2,X′3,X′4},其中X′1=X1、X′3=X3,X′2和X′4的取值满足X′1、X′2、X′3、X′4四点构成矩形;
步骤3-3:计算满足X′=HX的单应矩阵H,
步骤3-4:记伪像点集S′中X′1、X′3所成线段为l1′,X′2、X′4成线段l2′,取l′1的垂线l′p1、取l2′的垂线l′p2,使用单应矩阵H将l′p1、l′p2转换到原像得到lp1和lp2,方法为:
lpi=HTl′pi(i=1,2);
步骤3-5:将lp1和lp2的交点作为所述消影点。
8.根据权利要求7所述的基于平行环境元素的单目视觉测距方法,其特征在于:所述像点集S和伪像点集S′中的每个像点的坐标为齐次坐标。
9.根据权利要求1-8任一项所述的基于平行环境元素的单目视觉测距方法,其特征在于:所述原始距离测量值zr的计算方法为:
Figure FDA0004236844370000041
其中,fx为所述横向像素焦距,lx为所述线段长度;L为所述两条平行像直线间的实际距离;
所述最终的距离测量值z的计算方法为:
z=kzr+b;
其中,k和b为所述补充修正系数。
10.一种基于平行环境元素的单目视觉测距系统,其特征在于,包括预处理模块、采集模块、计算模块和修正模块,所述采集模块包括单目摄像机;
所述预处理模块标定所述单目摄像机的横向像素焦距,将所述横向像素焦距传送给所述计算模块;
所述计算模块根据射影几何原理计算与平行环境元素垂直的方向上的消影点,使用所述消影点和待测目标在所述平行环境元素所成平面上的投影像点构建直线,计算所述直线被该组平行环境元素的两条像直线截得的线段长度,根据所述横向像素焦距、线段长度和两条平行像直线间的实际距离计算原始距离测量值;将所述横向像素焦距与多次计算得到的原始距离测量值进行线性拟合得到测量距离和实际距离间的补充修正系数,将所述补充修正系数和所述原始距离测量值传送给所述修正模块;
所述采集模块使用所述单目摄像机采集场景照片,获取场景照片中平行环境元素和待测目标在所述平行环境元素所成平面上的投影像点并传送给所述计算模块;
所述修正模块使用所述补充修正系数修正所述原始距离测量值得到最终的距离测量值。
CN202211202264.6A 2022-09-29 2022-09-29 基于平行环境元素的单目视觉测距方法和系统 Active CN115507752B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211202264.6A CN115507752B (zh) 2022-09-29 2022-09-29 基于平行环境元素的单目视觉测距方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211202264.6A CN115507752B (zh) 2022-09-29 2022-09-29 基于平行环境元素的单目视觉测距方法和系统

Publications (2)

Publication Number Publication Date
CN115507752A CN115507752A (zh) 2022-12-23
CN115507752B true CN115507752B (zh) 2023-07-07

Family

ID=84507827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211202264.6A Active CN115507752B (zh) 2022-09-29 2022-09-29 基于平行环境元素的单目视觉测距方法和系统

Country Status (1)

Country Link
CN (1) CN115507752B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116402871B (zh) * 2023-03-28 2024-05-10 苏州大学 一种基于场景平行要素的单目测距方法、系统及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110027460A (ko) * 2009-09-10 2011-03-16 부산대학교 산학협력단 모노 비전 기반의 팔레트 위치 및 자세 측정 방법
CN104616292A (zh) * 2015-01-19 2015-05-13 南开大学 基于全局单应矩阵的单目视觉测量方法
CN109146980A (zh) * 2018-08-12 2019-01-04 浙江农林大学 基于单目视觉的优化的深度提取和被动测距方法
CN110174088A (zh) * 2019-04-30 2019-08-27 上海海事大学 一种基于单目视觉的目标测距方法
CN111982072A (zh) * 2020-07-29 2020-11-24 西北工业大学 一种基于单目视觉的目标测距方法
CN111998772A (zh) * 2020-08-05 2020-11-27 浙江大学 一种基于激光与单目视觉融合的像素级目标定位方法
CN112902911A (zh) * 2019-12-03 2021-06-04 上海高德威智能交通系统有限公司 基于单目相机的测距方法、装置、设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114088088B (zh) * 2021-11-15 2023-08-04 贵州大学 一种基于单目视觉的角速率与角加速度测量方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110027460A (ko) * 2009-09-10 2011-03-16 부산대학교 산학협력단 모노 비전 기반의 팔레트 위치 및 자세 측정 방법
CN104616292A (zh) * 2015-01-19 2015-05-13 南开大学 基于全局单应矩阵的单目视觉测量方法
CN109146980A (zh) * 2018-08-12 2019-01-04 浙江农林大学 基于单目视觉的优化的深度提取和被动测距方法
CN110174088A (zh) * 2019-04-30 2019-08-27 上海海事大学 一种基于单目视觉的目标测距方法
CN112902911A (zh) * 2019-12-03 2021-06-04 上海高德威智能交通系统有限公司 基于单目相机的测距方法、装置、设备及存储介质
CN111982072A (zh) * 2020-07-29 2020-11-24 西北工业大学 一种基于单目视觉的目标测距方法
CN111998772A (zh) * 2020-08-05 2020-11-27 浙江大学 一种基于激光与单目视觉融合的像素级目标定位方法

Also Published As

Publication number Publication date
CN115507752A (zh) 2022-12-23

Similar Documents

Publication Publication Date Title
CN107063228B (zh) 基于双目视觉的目标姿态解算方法
CN108510551B (zh) 一种远距离大视场条件下相机参数的标定方法及系统
KR102249769B1 (ko) 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법
EP2901236B1 (en) Video-assisted target location
KR20140027468A (ko) 깊이 측정치 품질 향상
CN109523595A (zh) 一种建筑工程直线棱角间距视觉测量方法
CN104077760A (zh) 一种航空摄影测量的快速拼接系统及其实现方法
CN104392435A (zh) 鱼眼相机标定方法及标定装置
CN108917753B (zh) 基于从运动恢复结构的飞行器位置确定方法
CN104268880A (zh) 基于特征和区域匹配相结合的深度信息获取方法
GB2554796A (en) Testing 3D imaging systems
CN113327296B (zh) 基于深度加权的激光雷达与相机在线联合标定方法
JP2016217941A (ja) 3次元データ評価装置、3次元データ測定システム、および3次元計測方法
CN115507752B (zh) 基于平行环境元素的单目视觉测距方法和系统
CN111951339A (zh) 利用异构双目相机进行视差计算的图像处理方法
CN111833395B (zh) 一种基于神经网络模型的测向体制单目标定位方法和装置
CN105389819A (zh) 一种鲁棒的半标定下视图像极线校正方法及系统
CN106228593B (zh) 一种图像密集匹配方法
CN112991372B (zh) 一种基于多边形匹配的2d-3d相机外参标定方法
CN116245926A (zh) 一种确定岩体表面粗糙度的方法及相关组件
CN109886988A (zh) 一种微波成像仪定位误差的度量方法、系统、装置及介质
KR20090022486A (ko) 단일 카메라를 이용한 객체 정보 추정기 및 그 방법
CN114241022A (zh) 一种无人机图像自动配准方法及系统
CN109754412B (zh) 目标跟踪方法、目标跟踪装置及计算机可读存储介质
Ma et al. Geometric distortion correction for the underwater images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant