CN111288890A - 基于双目摄影测量技术的道路标志尺寸及高度自动测量方法 - Google Patents

基于双目摄影测量技术的道路标志尺寸及高度自动测量方法 Download PDF

Info

Publication number
CN111288890A
CN111288890A CN202010086065.8A CN202010086065A CN111288890A CN 111288890 A CN111288890 A CN 111288890A CN 202010086065 A CN202010086065 A CN 202010086065A CN 111288890 A CN111288890 A CN 111288890A
Authority
CN
China
Prior art keywords
road sign
camera
image
road
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010086065.8A
Other languages
English (en)
Inventor
罗文婷
胡辉
刘乐璇
陈泽斌
李林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujian Agriculture and Forestry University
Original Assignee
Fujian Agriculture and Forestry University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujian Agriculture and Forestry University filed Critical Fujian Agriculture and Forestry University
Priority to CN202010086065.8A priority Critical patent/CN111288890A/zh
Publication of CN111288890A publication Critical patent/CN111288890A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
    • G01B11/0608—Height gauges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045—Correction of measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Geometry (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明涉及一种基于双目摄影测量技术的道路标志尺寸及高度自动测量方法。利用车载双目摄影设备采集道路前景图像，通过摄影测量技术自动生成景深信息；利用Mask_RCNN模型对分类识别道路前景图像中的标注标牌，并获取标志在图像上的坐标信息；根据相机焦距和图像景深信息将图像坐标系转换为相机坐标系；利用标志在图像上的坐标信息计算标志的实际大小尺寸，再结合相机高度与标志在图像上的纵坐标，计算标志的实际离地高度；通过相机俯仰角、翻滚角、航向角对测量结果进行校正。本发明可以实现标志牌尺寸与高度的自动测量，为道路基础设施的统计维护，以及无人驾驶技术提供一定的技术基础。

Description

基于双目摄影测量技术的道路标志尺寸及高度自动测量方法
技术领域
本发明涉及道路基础设施检测领域，特别是一种基于双目摄影测量技术的道路标志尺寸及高度自动测量方法。
背景技术
随着社会的不断发展，人们的生活水平不断的提高，汽车作为出行工具已经成为人们生活中不可缺失的一部分。随着汽车保有量的增加，给交通管理带来了很大的挑战，同时也不可避免的造成了很多交通安全事故。交通安全事故发生的主要原因是驾驶员交通意识浅薄，无视道路交通信息。在这种背景下，道路标志识别成为了辅助驾驶和无人驾驶领域的关键技术。近年来，随着深度学习的迅速发展，卷积神经网络在图像分类和目标检测领域取得了令人瞩目的成绩，使人们对道路标志的检测与识别有了新的认识和突破。
在图像研究领域中，图像景深信息的研究一直是一个重点内容，目前通过相机获取图像景深信息的方法主要有两种：一种是移动的单目相机通过比较多帧差异获取景深信息，另一种是通过双目相机获取景深信息。由于单目相机在获取景深信息时存在盲点且精度相比双目相机较低等原因，现在获取图像景深信息时广泛采用双目相机，双目相机在采集图像过程中可以生成对应的景深图像。
卷积神经网络对道路前景图像进行处理后可以返回道路标志的类别和道路标志在图像上位置信息。但是在辅助驾驶和无人驾驶领域中，目标物在现实中的位置信息以及尺寸大小也极为重要，准确的位置信息和尺寸大小能够帮助计算机做出更好的决策。但目前关于道路标志尺寸和高度计算的研究较少。
发明内容
有鉴于此，本发明的目的是提出一种基于双目摄影测量技术的道路标志尺寸及高度自动测量方法。利用车载双目摄影设备采集道路前景图像，通过摄影测量技术自动生成景深信息；利用Mask_RCNN模型对分类识别道路前景图像中的标注标牌，并获取道路标志在图像上的坐标信息；根据相机焦距和图像景深信息将图像坐标系转换为相机坐标系；利用道路标志在图像上的坐标信息计算道路标志的实际大小尺寸，再结合相机高度与道路标志在图像上的纵坐标，计算道路标志的实际离地高度；通过相机俯仰角、翻滚角、航向角对测量结果进行校正。该发明能够自动计算图像中的道路标志的尺寸，降低了人工测量的造成的物力与财力的损失。
本发明采用以下方案实现：一种基于双目摄影测量技术的道路标志尺寸及高度自动测量方法，包括以下步骤：
步骤S1：通过车载双目摄影设备采集道路前景图像，并生成对应的景深信息；
步骤S2：通过Mask_RCNN模型自动分类识别道路前景图像中的道路标志，获取道路标志在图像上的位置坐标信息；
步骤S3：将图像坐标系转换为相机坐标系，并计算道路标志的实际尺寸和离地高度；
步骤S4：通过双目相机俯仰角、翻滚角和航向角，对获取的道路标志尺寸和高度进行校正；
进一步地，步骤S2中所述通过Mask_RCNN模型自动分类识别道路前景图像中的道路标志包括以下步骤：
步骤S21：训练神经网络模型：对采集到的道路前景图像进行标注，搭建道路标志自动识别模型训练库，进行Mask_RCNN模型训练，获取模型权重信息；
步骤S22：对道路前景图像进行道路标志识别并输出位置坐标信息：将采集到的道路前景图像导入训练好的权重进行道路标志识别，并导出已识别道路标志在图像上的位置信息。
进一步地，步骤S3中所述计算道路标志的尺寸和高度包括以下步骤：
步骤S31：图像景深信息的处理：在道路前景图像采集过程中，由于光照、图像识别误差等原因，在景深图中的会有部分区域无深度信息或者同一深度平面内的深度值会出现波动。针对这一情况，首先确定道路标志在图像上的位置区域，在这个区域内将深度信息有误(通常为景深信息为0)的像素点剔除，再计算该位置区域内景深信息的均值作为道路标志的景深。
步骤S32：图像坐标系与相机坐标系的转换：根据相似三角形原理，可得图像坐标系与相机坐标系的转换公式如(1)(2)所示；
Figure BDA0002383792550000031
Figure BDA0002383792550000032
式中，Xc、Yc分别为相机坐标系中的x、y坐标；x、y分别为图像坐标系中的x、y坐标；Zc为图像景深；f为相机焦距；
步骤S33：道路标志尺寸与离地高度计算：尺寸计算原理：根据得到的道路标志位置信息分别获取x和y方向上坐标的最大值与最小值点；然后将这些点转换到相机坐标系中，得到对应相机坐标系中点的坐标，转换后的x方向最大值与最小值的差即为道路标志的长度，y方向上的差值为宽度。高度计算原理：道路标志的实际离地高度为相机的高度和相机与道路标志之间的高度之和。相机与道路标志的高差计算方式是将图像上道路标志的最低点的纵坐标和相机主点的纵坐标转换到相机坐标系再求差值，道路标志尺寸和高度计算公式如(3)(4)(5)所示；
Figure BDA0002383792550000033
Figure BDA0002383792550000034
Figure BDA0002383792550000035
式中，X、Y分别为道路标志的长、宽；H为道路标志高度；uy为相机主点坐标的纵坐标；xmax、xmin、ymax、ymin分别为道路标志位置x和y方向上坐标的最大值与最小值点对应的坐标。
进一步地，步骤S4具体包括以下步骤：
步骤S41：针对相机俯仰角变化的道路标志尺寸和离地高度测量结果校正：
针对相机俯仰角变化的道路标志离地高度测量结果校正：假设当相机俯仰角为0时，道路标志处于图像的中心；此时给相机一个正的(镜头向上)俯仰角a，那么物体此时就会出现在图像中心的下方。此时通过公式6进行校正：
H’＝H+tan(a)*d (6)
式中，H’为俯仰角校正后高度；H为测量高度；a为俯仰角角度；d为道路标志景深值
针对相机俯仰角变化的道路标志尺寸测量结果校正：俯仰角对图像的长度不会产生影响，对图像的宽度会产生影响。此时，通过公式7进行校正：
Y’＝Y*cos(a) (7)
式中，Y’为俯仰角校正后宽度；Y为测量宽度；a为俯仰角角度；
步骤S42：针对相机翻滚角变化的道路标志尺寸和离地高度测量结果校正：
相机翻滚角是指由于相机左右高低不一致产生的角度，这样拍摄得到的图像相比翻滚角为0的相机拍摄的图像会呈现一定的角度。
针对相机翻滚角变化的道路标志离地高度测量结果的校正：假设翻滚角为b，需要通过翻转后的图像去计算物体在正常拍摄时道路标志纵坐标的最大值，此时通过公式8进行校正：
y1＝y”–丨(uy-y”)丨*(1-cos(b)) (8)
式中，y1为正常拍摄道路标志纵坐标最大值；y”为翻转后道路标志纵坐标最大值；uy为相机主点y轴坐标；b为翻滚角角度；
针对相机翻滚角变化的道路标志长度测量结果校正，如公式9所示：
X”＝X*cos(b) (9)
式中，X”为翻滚角校正后长度；X为测量长度；b为翻滚角角度；
针对相机翻滚角变化的道路标志宽度测量结果校正，如公式10所示：
Y”＝Y*(1-sin(b)) (10)
式中，Y”为翻滚角校正后宽度；Y为测量宽度；b为翻滚角角度；步骤S43：针对相机航向角变化的道路标志尺寸和离地高度测量结果校正：
相机航向角变化是指由于车辆转弯导致相机角度在水平方向发生变化产生的角度，设航向角为z。
相机航向角变化对离地高度没有影响，不需要校正。
针对相机航向角变化的道路标志长度测量结果的校正：
X”’＝X*cos(c) (11)
式中，X”’为航向角校正后长度；X为测量长度；c为航向角角度；
针对相机航向角变化的道路标志宽度测量结果的校正：
Y”’＝Y*cos(c) (12)
式中，Y”’为航向角校正后宽度；Y为测量宽度；c为航向角角度。本发明及其优选方案在获得双目景深图像的基础上，能够有效地计算出道路标志的实际尺寸和高度，减少人工测量带来的损失，为道路基础设施的统计维护，以及无人驾驶技术提供技术基础。
附图说明
图1为本发明实施例的图像坐标系与相机坐标系的关系图。
图2为本发明实施例的双目相机采集的景深图像。
图3为本发明实施例的俯仰角与尺寸和高度计算的关系图。
图4为本发明实施例的翻滚角与尺寸和高度计算的关系图1。
图5为本发明实施例的翻滚角与尺寸和高度计算的关系图2。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
在本实施例中，总体技术方案如下：
(1)基于Mask_RCNN模型的道路标志自动识别
本实施例为了获取道路标志在图像上的位置信息，使用了Mask_RCNN神经网络模型对高速道路前景图像进行道路标志识别。首先筛选一部分采集到的道路前景图像进行标注，根据道路标志的不同种类给不同的道路标志对应的英文名。将标注好的图像添加到训练模型的数据库；然后对模型进行训练，得到训练后的权重；最后根据训练好的权重，对采集到的道路前景图像进行道路标志的识别，并返回道路标志对应的位置信息。
(2)基于双目景深信息的尺寸和高度计算
本实施例对采集得到的道路景深图像进行处理，根据步骤道路标志自动识别技术确定道路标志的位置并返回到对应的景深图中，确定道路标志的深度信息；然后根据双目相机的内部参数，进行图像坐标系与相机坐标系的互换；最后将道路标志的坐标信息输入到相机坐标系中求出道路标志的实际大小与高度。
(3)双目相机角度对道路标志尺寸和高度计算的影响
本实施例探讨了双目相机不同角度对道路标志尺寸和高度计算的影响。双目相机的变换角度主要分为俯仰角、翻滚角、航向角三种类型，分别分析了每一种情况的成像原理与角度变化对成像的影响，并给出了对应的计算公式。
具体的，本实施例提供了一种基于双目摄影测量技术的道路标志尺寸及高度自动测量方法，包括以下步骤：
步骤S1：提供车载双目相机设备，并利用所述设备采集高速公路图像及其对应的景深信息；
步骤S2：通过Mask_RCNN模型对道路前景图像进行道路标志的识别，得到道路标志在图形上的位置信息；
步骤S3：将图像坐标系转换为相机坐标系，并计算道路标志的尺寸和高度；
步骤S4：计算双目相机俯仰角、翻滚角和航向角对道路标志尺寸和高度计算的影响；
在本实施例中，具体实施方式如下：
(1)设备参数及其工作原理
本实施例采用双目相机来采集高速公路道路标志图像。该设备由两个镜头组成，可以高精度地采集交通道路前景图像并获得与之对应的景深图像。双目相机的焦距为1399.17，基距为120.002mm,主点坐标为(639.093，1155.1)，双目相机能获取的最大景深范围为20m，采集的景深图像如图2所示。
(2)基于Mask_RCNN模型的道路标志自动识别
a.数据集的标注
步骤1：分析道路前景图像，确定道路信息道路标志种类：根据我国公路养护中心道路标志信息采集表，拟定道路标志的一级分类。再结合采集的道路前景图像，具体分析实际道路的道路标志种类，最终确定路段的道路标志种类为告示标志、禁令标志、警告标志、指路标志、指示标志、里程碑六大类；
步骤2：标注道路前景图像中的交通标志：首先按比例挑选含有各类道路标志的道路前景图像，在构建训练库时应考虑到每一种类型道路标志的标注数量均衡。在标注时为了后续处理的方便，使用英文名字对道路标志进行标注。告示标志、禁令标志、警告标志、指路标志、指示标志、里程碑对应的英文名称依次为notice、prohibition、warning、guide、indication、milestone。若一张道路前景图像上出现多个同一类型的道路标志，则在名称后加上序号。将标注完成的图像数据进行模型的训练得到训练后的权重。
b.模型的训练
将所有采集的道路前景图像，用模型训练得到的权重进行道路标志的识别与分类，具体内容为：将训练所得的结果保存到与采集图像对应的文件位置，然后将全部采集图像导入模型进行训练，自动生成有交通信息道路标志类别与位置信息的结果图像。
通过本实施例中所提模型，能够自动识别出样本图像中的道路标志类别和位置信息。
(3)基于双目景深信息的尺寸和高度计算
本实施例在获得道路标志深度信息的基础上，通过图像坐标系和相机坐标系的变换，计算道路标志的尺寸与高度。
a.道路标志景深信息的确定。
在道路前景图像采集过程中，由于光照、图像识别误差等原因，在景深图中的会有部分区域无深度信息或者同一深度平面内的深度值会出现波动。针对这一情况，首先确定道路标志在图像上的位置区域，在这个区域内将深度信息有误(通常为景深信息为0)的像素点剔除，再计算该位置区域内景深信息的均值作为道路标志的景深。
b.道路标志尺寸和离地高度的计算。
如图1所示，道路标志尺寸与离地高度计算：尺寸计算原理：根据得到的道路标志位置信息分别获取x和y方向上坐标的最大值与最小值点；然后将这些点转换到相机坐标系中，得到对应相机坐标系中点的坐标，转换后的x方向最大值与最小值的差即为道路标志的长度，y方向上的差值为宽度。高度计算原理：道路标志的实际离地高度为相机的高度和相机与道路标志之间的高度之和。相机与道路标志的高差计算方式是将图像上道路标志的最低点的纵坐标和相机主点的纵坐标转换到相机坐标系再求差值，道路标志尺寸和高度计算公式如(3)(4)(5)所示：
Figure BDA0002383792550000071
Figure BDA0002383792550000081
Figure BDA0002383792550000082
式中，X、Y分别为道路标志的长、宽；H为道路标志高度；uy为相机主点坐标的纵坐标；xmax、xmin、ymax、ymin分别为道路标志位置x和y方向上坐标的最大值与最小值点对应的坐标。
(4)针对相机欧拉角度变化的道路标志尺寸及离地高度测量结果校正
a.相机角度的分类
根据双目相机在道路上呈现出的不同状态将双目相机的角度变化分为俯仰角、翻滚角、航向角。俯仰角是指由于车辆绕Y轴方向上的角度变化而致使相机也相对周围环境发生相应的角度变化；翻滚角是指由于车辆在绕X轴方向上的角度变化致使相机相对周围环境发生相应的角度变化；航向角是指由于车辆在绕Z轴方向上的角度变化致使相机相对周围环境发生相应的角度变化。
b.针对相机欧拉角变化的道路标志尺寸和离地高度测量结果校正
根据相机未发生角度变换所得图像与发生角度变化后所得图像，目标物位置变化及角度变化，对道路标志尺寸及离地高度测量结果进行校正。
步骤1：如图3所示，针对相机俯仰角变化的道路标志离地高度测量结果校正，如公式(6)所示：
H’＝H+tan(a)*d (6)
式中，H’为俯仰角校正后高度；H为测量高度；a为俯仰角角度；d为道路标志景深值
针对相机俯仰角变化的道路标志尺寸测量结果校正：俯仰角对图像的长度不会产生影响，对图像的宽度会产生影响。此时，通过公式7进行校正：
Y’＝Y*cos(a) (7)
式中，Y’为俯仰角校正后宽度；Y为测量宽度；a为俯仰角角度；
步骤2：如图4、图5所示，针对相机翻滚角变化的道路标志尺寸和离地高度测量结果校正：
针对相机翻滚角变化的道路标志离地高度测量结果的校正：假设翻滚角为b，需要通过翻转后的图像去计算物体在正常拍摄时道路标志纵坐标的最大值，此时通过公式8进行校正：
y1＝y”–丨(uy-y”)丨*(1-cos(b)) (8)
式中，y1为正常拍摄道路标志纵坐标最大值；y”为翻转后道路标志纵坐标最大值；uy为相机主点y轴坐标；b为翻滚角角度；
针对相机翻滚角变化的道路标志长度测量结果校正，如公式9所示：
X”＝X*cos(b) (9)
式中，X”为翻滚角校正后长度；X为测量长度；b为翻滚角角度；
针对相机翻滚角变化的道路标志宽度测量结果校正，如公式10所示：
Y”＝Y*(1-sin(b)) (10)
式中，Y”为翻滚角校正后宽度；Y为测量宽度；b为翻滚角角度。步骤3：针对相机航向角变化的道路标志尺寸和离地高度测量结果校正：
相机航向角变化对离地高度没有影响，不需要校正。
针对相机航向角变化的道路标志长度测量结果的校正：
X”’＝X*cos(c) (11)
式中，X”’为航向角校正后长度；X为测量长度；c为航向角角度；
针对相机航向角变化的道路标志宽度测量结果的校正：
Y”’＝Y*cos(c) (12)
式中，Y”’为航向角校正后宽度；Y为测量宽度；c为航向角角度。本发明结合双目摄影设备，提出了一种高效、准确、自动化测量道路标志尺寸和离地高度的方法。该方法可以自动分类识别道路前景图像上道路标志，通过双目摄影测量技术获取的图像景深信息计算道路标志的尺寸和离地高度，并针对相机欧拉角的变化，对道路标志尺寸和离地高度测量结果进行校正。本实施例基于完全自动化的数据处理程序，该方法可以应用于道路基础设施信息的维护管理以及日常检测。
同时，本发明考虑了相机采集图像过程中容易受到光照影响和识别过程中精度等问题。对道路标志景深提取做出了数据优化，并将相机的角度影响，纳入了道路标志尺寸和高度测量结果的校正中，提高了测量结果的准确性。
本发明提出了一种用于道路标志自动分类识别的深度学习模型，该模型训练库由双目相机采集的道路前景图像数据所构建，能够自动识别道路标志，自动对道路标志进行分类，并返提取其在图像上的位置信息。
本发明根据相机的内部参数将图像坐标系转换到相机坐标系，并在已知景深信息的基础上，计算出道路前景图像中道路标志的实际尺寸和离地高度。
本发明考虑了相机角度对测量结果的影响，首先根据车辆在道路行驶过程中相机角度的变化情况将相机角度变化分为俯仰角、翻滚角、航向角。针对每一类别分析其成像的特点，然后针对相机欧拉角的变化，校正道路标志尺寸及离地高度测量的结果。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (4)

1.一种基于双目摄影测量技术的道路标志尺寸及高度自动测量方法，其特征在于：包括以下步骤：
步骤S1：通过车载双目摄影设备采集道路前景图像，并生成对应的景深信息；
步骤S2：通过Mask_RCNN模型分类识别道路前景图像中的道路标志，获取道路标志在图像上的位置坐标信息；
步骤S3：将图像坐标系转换为相机坐标系，并计算道路标志的实际尺寸和离地高度；
步骤S4：通过双目相机俯仰角、翻滚角和航向角，对获取的道路标志尺寸和高度进行校正。
2.根据权利要求1所述的基于双目摄影测量技术的道路标志尺寸及高度自动测量方法，其特征在于：步骤S2中所述通过Mask_RCNN模型自动分类识别道路前景图像中的道路标志具体包括以下步骤：
步骤S21：训练神经网络模型：对采集到的道路前景图像进行标注，搭建道路标志自动识别模型训练库，进行Mask_RCNN模型训练，获取模型权重信息；
步骤S22：对道路前景图像进行道路标志识别并输出位置坐标信息：将采集到的道路前景图像导入训练好的权重进行道路标志识别，并导出已识别道路标志在图像上的位置信息。
3.根据权利要求1所述的基于双目摄影测量技术的道路标志尺寸及高度自动测量方法，其特征在于：步骤S3具体包括以下步骤：
步骤S31：图像景深信息的处理：首先确定道路标志在图像上的位置区域，在该位置区域内将深度信息有误的像素点剔除，再计算该位置区域内景深信息的均值作为道路标志的景深；
步骤S32：图像坐标系与相机坐标系的转换：根据相似三角形原理，获得图像坐标系与相机坐标系的转换公式如(1)(2)所示；
Figure FDA0002383792540000011
Figure FDA0002383792540000012
式中，Xc、Yc分别为相机坐标系中的x、y坐标；x、y分别为图像坐标系中的x、y坐标；Zc为图像景深；f为相机焦距；
步骤S33：道路标志尺寸与离地高度计算：
其中尺寸计算的过程包括：根据得到的道路标志位置信息分别获取x和y方向上坐标的最大值与最小值点；然后将这些点转换到相机坐标系中，得到对应相机坐标系中点的坐标，转换后的x方向最大值与最小值的差即为道路标志的长度，y方向上的差值为宽度；
高度计算的过程包括：道路标志的实际离地高度为相机的高度和相机与道路标志之间的高度之和；相机与道路标志的高差计算方式是将图像上道路标志的最低点的纵坐标和相机主点的纵坐标转换到相机坐标系再求差值，道路标志尺寸和高度计算公式如(3)(4)(5)所示；
Figure FDA0002383792540000021
Figure FDA0002383792540000022
Figure FDA0002383792540000023
式中，X、Y分别为道路标志的长、宽；H为道路标志高度；uy为相机主点坐标的纵坐标；xmax、xmin、ymax、ymin分别为道路标志位置x和y方向上坐标的最大值与最小值点对应的坐标。
4.根据权利要求3所述的一种基于双目景深图像的道路标志尺寸和高度计算方法，其特征在于：步骤S4具体包括以下步骤：
步骤S41：针对相机俯仰角变化的道路标志尺寸和离地高度测量结果校正：
针对相机俯仰角变化的道路标志离地高度测量结果校正：设当相机俯仰角为0时，道路标志处于图像的中心；此时如果给相机一个正的俯仰角a，道路标志就会出现在图像中心的下方，即通过公式6进行校正：
H’＝H+tan(a)*d (6)
式中，H’为俯仰角校正后高度；H为测量高度；a为俯仰角角度；d为道路标志景深值；
针对相机俯仰角变化的道路标志尺寸测量结果校正：由于俯仰角对图像的长度不会产生影响，对图像的宽度会产生影响；即通过公式7进行校正：
Y’＝Y*cos(a) (7)
式中，Y’为俯仰角校正后宽度；Y为测量宽度；a为俯仰角角度；
步骤S42：针对相机翻滚角变化的道路标志尺寸和离地高度测量结果校正：
针对相机翻滚角变化的道路标志离地高度测量结果的校正：设翻滚角为b，通过翻转后的图像计算物体在正常拍摄时道路标志纵坐标的最大值，即通过公式8进行校正：
y1＝y”–丨(uy-y”)丨*(1-cos(b)) (8)
式中，y1为正常拍摄道路标志纵坐标最大值；y”为翻转后道路标志纵坐标最大值；uy为相机主点y轴坐标；b为翻滚角角度；
针对相机翻滚角变化的道路标志长度测量结果校正，如公式9所示：
X”＝X*cos(b) (9)
式中，X”为翻滚角校正后长度；X为测量长度；b为翻滚角角度；
针对相机翻滚角变化的道路标志宽度测量结果校正，如公式10所示：
Y”＝Y*(1-sin(b)) (10)
式中，Y”为翻滚角校正后宽度；Y为测量宽度；b为翻滚角角度；
步骤S43：针对相机航向角变化的道路标志尺寸和离地高度测量结果校正：
相机航向角变化是指由于车辆转弯导致相机角度在水平方向发生变化产生的角度，设航向角为c；
针对相机航向角变化的道路标志长度测量结果的校正：
X”’＝X*cos(c) (11)
式中，X”’为航向角校正后长度；X为测量长度；c为航向角角度；
针对相机航向角变化的道路标志宽度测量结果的校正：
Y”’＝Y*cos(c) (12)
式中，Y”’为航向角校正后宽度；Y为测量宽度；c为航向角角度。
CN202010086065.8A 2020-02-13 2020-02-13 基于双目摄影测量技术的道路标志尺寸及高度自动测量方法 Pending CN111288890A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010086065.8A CN111288890A (zh) 2020-02-13 2020-02-13 基于双目摄影测量技术的道路标志尺寸及高度自动测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010086065.8A CN111288890A (zh) 2020-02-13 2020-02-13 基于双目摄影测量技术的道路标志尺寸及高度自动测量方法

Publications (1)

Publication Number Publication Date
CN111288890A true CN111288890A (zh) 2020-06-16

Family

ID=71023589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010086065.8A Pending CN111288890A (zh) 2020-02-13 2020-02-13 基于双目摄影测量技术的道路标志尺寸及高度自动测量方法

Country Status (1)

Country Link
CN (1) CN111288890A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112325780A (zh) * 2020-10-29 2021-02-05 青岛聚好联科技有限公司 一种基于社区监控的距离测算方法及装置
CN113188465A (zh) * 2021-04-21 2021-07-30 中铁第四勘察设计院集团有限公司 一种基于视频学习的钻孔孔深识别方法及装置
CN113343782A (zh) * 2021-05-18 2021-09-03 东南大学 一种基于无人机遥感的高速公路标志标牌检测方法
CN113701678A (zh) * 2021-09-18 2021-11-26 武汉光谷卓越科技股份有限公司 一种基于线扫描三维的路面平整度检测方法
CN113851000A (zh) * 2021-09-10 2021-12-28 泰州蝶金软件有限公司 基于云计算的命令解析系统
CN114373158A (zh) * 2021-11-19 2022-04-19 海纳云物联科技有限公司 一种基于深度信息的消防通道占用检测方法及系统
CN114397900A (zh) * 2021-11-29 2022-04-26 国家电投集团数字科技有限公司 一种无人机航拍图片中心点经纬度误差优化方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011185777A (ja) * 2010-03-09 2011-09-22 Mitsubishi Electric Corp 地物検出システム
CN105588563A (zh) * 2016-01-15 2016-05-18 武汉光庭科技有限公司 一种自动驾驶中双目相机与惯性导航单元联合标定方法
CN106803073A (zh) * 2017-01-10 2017-06-06 江苏信息职业技术学院 基于立体视觉目标的辅助驾驶系统及方法
JP2017219356A (ja) * 2016-06-03 2017-12-14 Ｋｙｂ株式会社 ステレオカメラの設置パラメータ校正方法
CN109993734A (zh) * 2019-03-29 2019-07-09 北京百度网讯科技有限公司 用于输出信息的方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011185777A (ja) * 2010-03-09 2011-09-22 Mitsubishi Electric Corp 地物検出システム
CN105588563A (zh) * 2016-01-15 2016-05-18 武汉光庭科技有限公司 一种自动驾驶中双目相机与惯性导航单元联合标定方法
JP2017219356A (ja) * 2016-06-03 2017-12-14 Ｋｙｂ株式会社 ステレオカメラの設置パラメータ校正方法
CN106803073A (zh) * 2017-01-10 2017-06-06 江苏信息职业技术学院 基于立体视觉目标的辅助驾驶系统及方法
CN109993734A (zh) * 2019-03-29 2019-07-09 北京百度网讯科技有限公司 用于输出信息的方法和装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112325780A (zh) * 2020-10-29 2021-02-05 青岛聚好联科技有限公司 一种基于社区监控的距离测算方法及装置
CN113188465A (zh) * 2021-04-21 2021-07-30 中铁第四勘察设计院集团有限公司 一种基于视频学习的钻孔孔深识别方法及装置
CN113343782A (zh) * 2021-05-18 2021-09-03 东南大学 一种基于无人机遥感的高速公路标志标牌检测方法
CN113343782B (zh) * 2021-05-18 2024-04-23 东南大学 一种基于无人机遥感的高速公路标志标牌检测方法
CN113851000A (zh) * 2021-09-10 2021-12-28 泰州蝶金软件有限公司 基于云计算的命令解析系统
CN113701678A (zh) * 2021-09-18 2021-11-26 武汉光谷卓越科技股份有限公司 一种基于线扫描三维的路面平整度检测方法
CN113701678B (zh) * 2021-09-18 2024-07-12 武汉光谷卓越科技股份有限公司 一种基于线扫描三维的路面平整度检测方法
CN114373158A (zh) * 2021-11-19 2022-04-19 海纳云物联科技有限公司 一种基于深度信息的消防通道占用检测方法及系统
CN114397900A (zh) * 2021-11-29 2022-04-26 国家电投集团数字科技有限公司 一种无人机航拍图片中心点经纬度误差优化方法
CN114397900B (zh) * 2021-11-29 2024-02-09 国家电投集团数字科技有限公司 一种无人机航拍图片中心点经纬度误差优化方法

Similar Documents

Publication Publication Date Title
CN111288890A (zh) 基于双目摄影测量技术的道路标志尺寸及高度自动测量方法
CN106919915B (zh) 基于adas系统的地图道路标记及道路质量采集装置及方法
CN111144388B (zh) 一种基于单目影像的道路标志标线的更新方法
CN102208013B (zh) 风景匹配参考数据生成系统和位置测量系统
CN112380317B (zh) 高精地图更新方法、装置、电子设备和存储介质
CN108388641B (zh) 一种基于深度学习的交通设施地图生成方法与系统
CN115424232B (zh) 一种路面坑槽的识别和评价方法、电子设备及存储介质
US9129163B2 (en) Detecting common geographic features in images based on invariant components
CN110929710B (zh) 一种基于视觉的仪表指针读数自动识别方法与系统
CN104766058A (zh) 一种获取车道线的方法和装置
CN111275960A (zh) 一种交通路况分析方法、系统及摄像机
CN113255578B (zh) 交通标识的识别方法及装置、电子设备和存储介质
CN115717894A (zh) 一种基于gps和普通导航地图的车辆高精度定位方法
CN112070756B (zh) 一种基于无人机倾斜摄影的路面立体病害测量方法
CN110197157B (zh) 一种基于历史裂纹数据的路面裂纹生长检测方法
CN108846333A (zh) 标志牌地标数据集生成及车辆定位方法
CN114359181A (zh) 一种基于图像和点云的智慧交通目标融合检测方法及系统
CN106980855A (zh) 交通标志快速识别定位系统及方法
CN114299247A (zh) 道路交通标志标线快速检测与问题排查方法
CN112432650A (zh) 高精地图数据的获取方法、车辆控制方法以及设备
CN110018503B (zh) 车辆的定位方法及定位系统
CN115035251B (zh) 一种基于领域增强合成数据集的桥面车辆实时追踪方法
CN111383286B (zh) 定位方法、装置、电子设备及可读存储介质
CN115497036A (zh) 一种内涝积水深度计算方法、系统及可读存储介质
CN112017213B (zh) 一种目标对象的位置更新方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200616

RJ01 Rejection of invention patent application after publication