CN111144388A - 一种基于单目影像的道路标志标线的更新方法 - Google Patents

一种基于单目影像的道路标志标线的更新方法 Download PDF

Info

Publication number
CN111144388A
CN111144388A CN202010256909.9A CN202010256909A CN111144388A CN 111144388 A CN111144388 A CN 111144388A CN 202010256909 A CN202010256909 A CN 202010256909A CN 111144388 A CN111144388 A CN 111144388A
Authority
CN
China
Prior art keywords
image
road
model
street view
marking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010256909.9A
Other languages
English (en)
Other versions
CN111144388B (zh
Inventor
徐忠建
朱必亮
李俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Speed China Technology Co Ltd
Original Assignee
Speed Space Time Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Speed Space Time Information Technology Co Ltd filed Critical Speed Space Time Information Technology Co Ltd
Priority to CN202010256909.9A priority Critical patent/CN111144388B/zh
Publication of CN111144388A publication Critical patent/CN111144388A/zh
Application granted granted Critical
Publication of CN111144388B publication Critical patent/CN111144388B/zh
Priority to PCT/CN2021/084079 priority patent/WO2021197341A1/zh
Priority to US17/914,770 priority patent/US11798228B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于单目影像的道路标志标线的更新方法，具体包括以下步骤：S1通过移动数据采集设备采集城市道路的街道影像，及与街道影像对应的GPS相位中心坐标和空间姿态数据；S2对街道影像依次进行预处理和畸变纠正，再语义分割纠正后影像上的要素，转换成二值影像图，提取道路标志标线图像坐标；S3构建稀疏三维模型，再生成街景影像深度图；S4根据图像的语义及深度值以及共线方程和空间距离关系，计算道路标志标线的空间位置；S5若同一道路标志线在多视图均可见时，采用多视前方交会的方法求解道路标志标线的位置信息；S6矢量化步骤S4和S5得到的道路标志标线位置信息，并融合到原始数据中实现道路标志标线数据的更新。

Description

一种基于单目影像的道路标志标线的更新方法
技术领域
本发明涉及测绘地理信息技术领域，具体涉及一种基于单目影像的道路标志标线的更新方法。
背景技术
高精度、现势性强的城市道路交通信息对于城市道路维护、交通导航和规划建设等具有重要的作用。目前道路标志标线信息主要通过外业采集或人工在遥感影像上采集获得，采集工作量大，更新周期长，难以满足城市快速更新的数据需求。
相较于传统的道路数据采集工作，采用影像或激光点云重建高速公路三维模型的技术取得了一定的进展，但重建的模型不具有单体语义信息，难以用于城市道路规划与管理，仍需要人工进一步的数字化采集，以生成满足要求的城市道路标志标线。
为了解决上述数据更新精度与周期问题，对此，国内学者展开了相关的研究。如中国专利文献CN106023207B公开了一种基于移动测量系统双全景的城市部件采集方法，该方法在当前全景影像中确定待提取的城市部件后，通过自动搜索该全景相邻全景影像；交互获取当前全景影像中的城市部件的像素位置，经坐标变换等步骤，采用全景射线交会法，计算城市部件的平面坐标。但该发明的工作创新仍然需要人机交互协同采集城市部件信息，同时基于立体像对的方法在重叠度不大的情形下，无法获取所有的城市部件位置。
专利CN204347921U公开了一种城市部件普查内外业采集一体化方法，选用以北斗卫星导航技术为依托的地理信息三星采集设备于部件普查项目中，减少了人力资源的利用；数据字典技术应用于部件普查属性数据录入，节省了属性录入时间；野外一体化采集完成即完成入库，节省了内业录入数据的时间。专利CN106683131A提出了一种城市部件自动化测量方法，通过采集点云、近景影像等数据，采用点云滤波、分割等方法，提取城市部件的平面几何中心位置。专利CN110763203A提供了一种城市部件的定位方法、装置及车载移动测量系统，该方法通过获取当前街景影像和相邻街景影像，以及对应的GPS相位中心坐标和空间姿态数据，通过提取至少一个指定的城市部件；采用影像模板匹配的方法在当前街景影像和所述相邻街景影像中提取同名像点；基于前方交会法计算城市部件的空间地理坐标。上述专利逐步将城市部件的外业采集转换到内业半自动化生产，大大较少了外业采集的效率，缩短了数据采集的周期。
以上研究极大地提高了城市部件自动化采集效率，解决了道路上标志标牌等附属设施的更新问题。然而，随着云存储和“众包”技术的发展，基于单目街景影像的方法自动化采集城市部件技术将成为未来发展的主流方向，该技术既降低了激光雷达和传统外业测绘面临的采集成本，而且提供了更加丰富的影像语义信息。
因此，有必要研发一种基于单目影像的道路标志标线智能更新方法，该技术不仅解决了城市部件的数据更新问题，且将在城市道路标志标线采集领域取得一定的应用。
发明内容
本发明要解决的技术问题是提供一种适用于基于单目影像的道路标志标线的更新方法，该技术不仅解决了城市道路标志标线的数据更新问题，且将在导航电子地图数据生产领域取得一定的应用。
为了解决上述技术问题，本发明采用的技术方案是：该基于单目影像的道路标志标线的更新方法，具体包括以下步骤：
S1通过移动数据采集设备采集城市道路的街道影像，以及与所述街道影像对应的GPS相位中心坐标和空间姿态数据；
S2对所述步骤S1获得的所述街景影像依次进行预处理和畸变纠正，再对纠正后的所述街景影像采用深度学习的语义分割技术按类别分割影像上的要素，并将分割后的街景影像中的道路标志标线要素的街景影像图转换成二值影像图，再提取所述二值影像图中的道路标志的骨架点图像坐标和道路标线的图像位置；
S3构建稀疏三维模型，计算移动数据采集设备的姿态数据和稀疏三维点云空间位置，再根据所述重建的稀疏三维点云和移动数据采集设备的内外参数，基于多视图密集重建技术生成街景影像深度图；
S4根据图像的语义及深度值，以及共线方程和空间距离关系，计算道路标志标线的空间位置；
S5若同一道路标志线在多视图中均可见时，采用多视前方交会的方法求解道路标志标线的位置信息；
S6矢量化步骤S4和步骤S5得到的道路标志标线位置信息，并融合到原始数据中，以实现道路标志标线数据的更新。
采用上述技术方案，通过移动数据采集设备采集街景影像及GPS/IMU数据，再通过增量式SFM算法，逐步融合GPS/IMU数据提高模型重建的准确率，并将区域网模型坐标纳入到真实的大地坐标系下，以便后续基于多视图密集重建算法的深度图精确构建。
作为本发明的优选技术方案，所述步骤S1中的移动数据采集设备中集成了单目相机和GPS/IMU设备，并将所述移动数据采集设备安装在车辆的前视车窗内，再通过检校获取所述单目相机与GPS/IMU设备间的相对位姿关系及所述单目相机的内参信息。单目相机与GPS/IMU设备间存在位姿不一致主要是由安装过程中各轴线不平行所致， 相机内参检校主要是为了解决相机镜头存在的径向和切向畸变问题。此类检校数据将直接决定了后续深度图计算的精度。
作为本发明的优选技术方案，所述步骤S2的具体步骤为：
S21采用图像增强和去噪技术对所述街景影像进行预处理，以减少图像噪声对街景影像的影响；
S22结合所述单目相机的内参，对预处理后的所述街景影像进行畸变纠正；
S23对经过畸变纠正后的街景影像基于数据标签工具制作成DeeplabV3+网络训练数据集，采用GeoAI深度学习框架，实现模型的训练、验证和测试，并按类别分割街景影像上的标签要素，所述标签要素包括天空、树木、道路标志、道路标线和车道面；
S24基于上述语义分割的标签数据，运用图像掩膜技术，将畸变纠正后的影像中的天空、树木进行要素剔除；
S25语义分割出街景影像中道路标志标线要素，并转换影像为二值图像，对所述二值图像采用不同的视觉算法提取道路标志标线图像坐标信息；
S251针对道路标志要素，提取二值图像的连通区域，计算连通区域的形状描述符，以提取道路标志的骨架点的图像坐标；
S252针对道路标线要素，采用霍夫变换算法提取道路标线的图像位置。
其中所述步骤S2中图像增强、去噪等过程，主要解决车辆在道路上采集数据时，受不同入射角太阳光线影响，导致照片曝光强度不一致的问题。 DeeplabV3+网络模型是采用的论文《Encoder-Decoder with Atrous Separable Convolution for Semantic ImageSegmentation》中提及的网络模型；霍夫变换算法是采用的论文《Generalizing the Houghtransform to detect arbitrary shapes》中提出的霍夫变换算法。
作为本发明的优选技术方案，所述步骤S4根据共线方程和空间距离关系，以物方成像于单目相机前方为约束条件，计算道路标志标线的空间位置，计算公式如下式 （1）：
Figure 1522DEST_PATH_IMAGE002
（1）
其中，[x, f, y]为道路杆件的标志标线的骨架点在像平面坐标系下坐标；[x 0, y 0]为像主点坐标；λ为投影系数；[a 11, a 12, a 13, b 11, b 12 , b 13, c 11, c 12, c 13]为像空间辅助坐标系到像平面坐标系转换矩阵；[a 21, a 22, a 23, b 21, b 22 , b 23, c 21, c 22, c 23]为大地坐标系到像空间辅助坐标系转换矩阵；[X A , Y A , Z A ]为道路杆件标志标线的骨架点在大地坐标系下坐标，为本计算方法的待求量；[X S1 , Y S1 , Z S1 ]和[X S2 , Y S2 , Z S2 ]为前后摄站相机摄影中心坐标即GPS值；d为物方点离相机摄影中心距离；α为前后视单目相机的中心连线
Figure 449821DEST_PATH_IMAGE004
与物方点和前视单目相机的摄影中心连线
Figure 619771DEST_PATH_IMAGE006
间的夹角平面投影值。
作为本发明的优选技术方案，所述步骤S3具体过程包括：
S31通过SIFT算法提取所述街景影像的特征点，对原始的街景影像采用图像掩膜、特征提取和匹配，生成多视几何关系图；
S32基于增量式SFM算法，选取初始匹配像对，构建区域网模型；在所述区域网模型构建中，不断迭代加入新的序列影像，生成新的稀疏三维模型；当稀疏三维模型中街景影像数小于3张时，则继续加入新的序列影像，直至稀疏三维模型中街景影像数大于3张；
S33当稀疏三维模型中街景影像数大于3张时，融合GPS/IMU先验约束数据，降低模型误差累积，并以绝对定向方法将区域网模型坐标纳入到真实大地坐标系下，采用公式（2）求解与绝对定向模型的误差，若误差大于10cm，则舍去此重建的区域网模型，循环步骤S32~步骤S33继续初始化构建下一个区域网模型，直至误差小于10cm；
S34当误差小于10cm，则采用局部光束法平差进一步优化单目相机的姿态信息，待所有街景影像均完成构建，再以全局光束法平差进一步优化，求解稀疏三维点云和相机的内外参数信息；
S35采用多视密集重建方法，重建街景影像深度图。
在步骤S3中，本发明提出了逐步融合GPS/IMU数据，以解决SFM重建的模型扭曲或相机姿态重建错误的问题，实现区域网模型坐标到真实大地坐标的转换。
其中SIFT算法在Lowe论文《Distinctive image features from scale-invariant keypoints》中 提出的，本发明中采用的SFM算法是Johannes L. Schönberger在论文《Structure-from-Motion Revisited》提出的增量式三维重建算法（简称SFM）基础上，融合GPS/IMU数据，并引入摄影测量中光束法平差模型，以控制区域网模型误差的累计；在全部影像完成构建后，采用全局光束法平差模型进一步优化，构建精度更高的稀疏三维点云和单目相机内外参数。再根据所述重建的稀疏三维点云和相机的内外参数，基于Johannes L. Schönberger论文《Pixelwise View Selection for Unstructured Multi-View Stereo》中提出的多视图的密集重建算法（简称MVS），生成街景影像深度图。
作为本发明的优选技术方案，所述步骤S33中的公式（2）为：
Figure 546139DEST_PATH_IMAGE008
（2）
其中[X i , Y i , Z i ]为第i个检查点的模型坐标；λ, [a 1, a 2, a 3, b 1, b 2, b 3, c 1, c 2,c 3]和[X 0, Y 0, Z 0]为绝对定向7参数模型；[X i t , Y i t , Z i t ]为第i个检查点的真实的大地坐标；[σ xi , σ yi , σ zi ]为第i个检查点对应的中误差各分量值，σ为点位中误差，n为检查点数。
作为本发明的优选技术方案，所述步骤S5中当同一道路标志标线在多视图中均可见时，采用最小二乘拟合出准确的位置信息，如公式（3）所示，
Figure 767036DEST_PATH_IMAGE010
（3）
其中，[x 1, y 1, x n , y n ]为物方同一道路标志或标线在多视图上投影的图像坐标；[x 0,y 0]为像主点坐标；f为相机焦距；[X A , Y A , Z A ]为道路标志标线待求的物方坐标；[X Si , Y Si , Z Si ]为第i张影像对应相机位置，1≤ i ≤ n；[a 11, a 12, a 13, b 11, b 12 , b 13, c 11, c 12,c 13]和[a n1, a n2, a n3, b n1, b n2 , b n3, c n1, c n2, c n3]均表示为像空间辅助坐标系到对应影像的像平面坐标系转换矩阵；[a 1, a 2, a 3, b 1, b 2 , b 3, c 1, c 2, c 3]为大地坐标系到像空间辅助坐标系转换矩阵；d i 为待求道路标志标线距第i张街景影像摄影中心的空间距离。
作为本发明的优选技术方案，所述步骤S4中还包括针对所述道路杆件标志在所述街景影像上是纵向成像问题，则当所述单目相机的摄影中心与所述道路杆件标志的待定位置的连线
Figure 42028DEST_PATH_IMAGE004
与车辆行驶方向
Figure 840220DEST_PATH_IMAGE006
间平面投影夹角α< 90°，选取此坐标作为所述道路杆件标志的空间位置。当所述道路杆件的标志在影像上是纵向成像时，提取的所述道路杆件的骨架点随所述道路杆件的高度不同而不同，则存在高于所述单目相机的安装位置和低于所述单目相机的安装位置两种情形，导致步骤S4中求解的道路标志的空间位置信息存在多解的取舍问题，因此通过加入车辆行驶方向的约束，即相机摄影中心与杆件待定位置的连线
Figure 180066DEST_PATH_IMAGE004
与车辆行驶方向
Figure 380103DEST_PATH_IMAGE006
间平面投影夹角α，若α < 90°，则选取此坐标作为杆件的空间位置。
作为本发明的优选技术方案，所述步骤S23中对经过畸变纠正后的街景影像按类别进行要素分割的具体步骤为：
S231数据准备：参考开源数据集格式规范，将街景影像的数据结构化，导入数据标签；
S232采用GeoAI深度学习框架，结合DeeplabV3+神经网络模型，进行模型训练、验证和测试；
S2321设置参数，导入预训练模型；
S2322 进行模型训练；
S2323若得到的模型为全局的优值，则进行模型验证；若不是返回步骤S2322，重新进行模型训练，直至得到的模型为全局的优值；
S2324若模型验证结果满足精度，则输出模型；若不满足精度则返回步骤S2321，循环步骤S2321~步骤S2324，直至模型验证结果满足精度后输出模型；
S2325将输出模型的测试结果可视化，判定是否满足泛化性，若满足则进行模型的部署及应用；若不满足，则返回步骤S231，循环S231~S2325，直至满足泛化性；
S233模型部署及应用：保存模型到本地，并部署模型到服务端，实现场景语义分割。
与现有技术相比，本发明具有的有益效果为：设计了外业数据采集方式，使用了单目相机的影像图，以更低的成本实现数据众包采集；结合了深度学习技术，实现图像语义分割，完成了道路标志标线的提取；在SFM算法的基础上，融合了GPS/IMU数据，提高了相机内外参数和稀疏三维点云的解算精度，并以多视图密集重建技术实现深度图构建；提出了多视几何下，采用共线方程和空间距离关系约束条件拟合求解道路标志标线的空间位置，使得街景影像图中的标志标线定位更准确。
附图说明
图1是本发明基于单目影像的道路标志标线的更新方法流程示意图；
图2是本发明基于单目影像的道路标志标线的更新方法中基于GeoAI的图像语义分割流程示意图；
图3是本发明基于单目影像的道路标志标线的更新方法的基于单目的深度图构建流程示意图；
图4是本发明基于单目影像的道路标志标线的更新方法中的多视图密集重建算法MVS的流程图。
图5是本发明基于单目影像的道路标志标线的更新方法的效果图。
具体实施方式
下面将结合本发明的实施例图中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。
实施例：如图1所示，该基于单目影像的道路标志标线的更新方法，具体包括以下步骤：
S1设备安装、检校及外业采集：通过移动数据采集设备采集城市道路的街道影像，以及与所述街道影像对应的GPS相位中心坐标和空间姿态数据；所述步骤S1中的移动数据采集设备中集成了单目相机和GPS/IMU设备，并将所述移动数据采集设备安装在车辆的前视车窗内，再采用二三维检校场检校获取所述单目相机与GPS/IMU设备间的相对位姿关系及所述单目相机的内参信息；单目相机与GPS/IMU设备间存在位姿不一致主要是由安装过程中各轴线不平行所致， 相机内参检校主要是为了解决相机镜头存在径向和切向畸变问题。此类检校数据将直接决定了后续深度图计算的精度；
S2影像畸变纠正及语义分割：对所述步骤S1获得的所述街景影像依次进行预处理和畸变纠正，再对纠正后的所述街景影像采用深度学习的语义分割技术按类别分割影像上的要素；针对语义分割出道路标志标线要素的街景影像，将街景影像转换为二值图像，再提取所述二值影像图中的道路标志的骨架点图像坐标和道路标线的图像位置；
所述步骤S2的具体步骤为：
S21采用图像增强和去噪技术对所述街景影像进行预处理，以减少图像噪声对街景影像的影响；
S22结合所述单目相机的内参，对预处理后的所述街景影像进行畸变纠正；
S23对经过畸变纠正后的街景影像基于数据标签工具制作DeeplabV3+网络训练数据集，采用GeoAI深度学习框架，实现模型的训练、验证和测试进行按类别分割影像上的要素，所述要素包括天空、树木、道路标志、道路标线和车道面；
如图2所示，所述步骤S23中对经过畸变纠正后的街景影像按类别进行要素分割的具体步骤为：
S231数据准备：将街景影像数据按照开源数据集（如Mapillary，KITTI等）进行数据结构化，分样本批次导入数据标签；
S232 采用GeoAI深度学习框架，结合DeeplabV3+神经网络模型，进行模型训练、验证和测试；
S2321设置参数，导入预训练模型；
S2322 进行模型训练；
S2323若得到的模型为全局的优值，则进行模型验证；若不是返回步骤S2322，重新进行模型训练，直至得到的模型为全局的优值；
S2324若模型验证结果满足精度，则输出模型；若不满足精度则返回步骤S2321，循环步骤S2321~步骤S2324，直至模型验证结果满足精度后输出模型；
S2325将输出模型的测试结果可视化，判定是否满足泛化性，若满足则进行模型的部署及应用；若不满足，则返回步骤S231，循环S231~S2325，直至满足泛化性；
S233模型部署及应用：保存模型到本地，并部署模型到服务端，批量预测街景影像的分割结果，实现场景语义分割；
S24运用图像掩膜技术，将畸变纠正后的影像中的天空、树木进行要素剔除；S25将分割后的街景影像中的道路标志标线要素的街景影像图转换成二值影像图，对所述二值图像采用不同的视觉算法提取道路标志骨架点信息；
S251针对道路标志要素，提取二值图像的连通区域，计算连通区域的形状描述符，以提取道路标志的骨架点的图像坐标；
S252针对道路标线要素，采用论文《Generalizing the Hough transform to detectarbitrary shapes》中提出的霍夫变换算法提取道路标线的图像位置；
其中所述步骤S2中图像增强、去噪等过程，主要解决车辆在道路上采集数据时，受不同入射角太阳光线影响，导致照片曝光强度不一致的问题。
S3图像掩膜、稀疏点云重建及深度图构建：基于增量式SFM算法，融合GPS/IMU数据，重建稀疏三维点云，计算相机的内外参数和稀疏三维点云信息，再根据所述重建的稀疏三维点云和相机的内外参数，基于多视图密集重建算法生成街景影像深度图；
如图3所示，所述步骤S3具体过程包括：
S31通过SIFT算法提取所述街景影像的特征点，对原始的街景影像采用图像掩膜、特征提取和匹配，生成多视几何关系图；
S32设置参数，基于增量式SFM算法，选取初始匹配像对，构建相对定向模型，然后逐步加入未构建的街景影像，构建区域网模型；在所述区域网模型中不断迭代加入新的序列影像，生成新的稀疏三维模型；当稀疏三维模型中街景影像数小于3张时，则继续加入新的序列影像，直至稀疏三维模型中街景影像数大于3张；则进行一下步GPS/IMU数据融合构建绝对定向模型；
S33当稀疏三维模型中街景影像数大于3张时，则融合GPS/IMU先验约束数据，降低模型误差累积，并以绝对定向方法将区域网模型坐标纳入到真实大地坐标系下，采用公式（2）求解绝对定向模型的误差，若误差大于10cm，则舍去此重建的区域网模型，循环步骤S32~步骤S33继续初始化构建下一个区域网模型，直至误差小于10cm；所述步骤S33中的公式（2）为：
Figure 831856DEST_PATH_IMAGE011
（2）
其中[X i , Y i , Z i ]为第i个检查点的模型坐标；λ, [a 1, a 2, a 3, b 1, b 2, b 3, c 1, c 2,c 3]和[X 0, Y 0, Z 0]为绝对定向7参数模型；[X i t , Y i t , Z i t ]为第i个检查点的真实的大地坐标；[σ xi , σ yi , σ zi ]为第i个检查点对应的中误差各分量值，σ为点位中误差，n为检查点数。
S34当误差小于10cm，则采用局部光束法平差进一步优化单目相机的姿态信息，待所有街景影像均完成构建，再以全局光束法平差进一步优化，求解稀疏三维点云及相机的内外参数信息；
S35采用多视图密集重建方法，重建街景影像深度图；如图4所示；
S351输入影像、单目相机内外参数与稀疏点云；
S352群集观点多视立体：合并稀疏点云，再过滤多余影像，判断是否满足分类条件，若满足分类条件，则进行区块立体匹配；若不满足分类条件，则在群集影像满组分类容器大小的情况下，再加入街景影像，重新判断是否满足分类条件，若仍不满足分类条件，重复在群集影像满组分类容器大小的情况下，再加入街景影像，直至满足分类条件；
S353区块立体匹配：先进行匹配，再循环进行多次扩散和过滤，直至生成密集点云及街景影像深度图；
在步骤S3中，本发明提出了逐步融合GPS/IMU数据，并引入局部光束法平差模型，以解决SFM重建的模型扭曲或相机姿态错误的问题，实现区域网模型坐标到真实大地坐标的转换。
S4道路标志标线初始位置求解：根据图像的语义及深度值，以及共线方程和空间距离关系，计算道路标志标线的空间位置；
所述步骤S4根据共线方程和空间距离关系，以物方成像于单目相机前方为约束条件，计算道路标志标线的空间位置，即实现道路杆件的标志的空间位置求解，计算公式如下公式 （1）：
Figure 992710DEST_PATH_IMAGE012
（1）
其中，[x, f, y]为道路杆件的标志标线的骨架点在像平面坐标系下坐标；[x 0, y 0]为像主点坐标；λ为投影系数；[a 11, a 12, a 13, b 11, b 12 , b 13, c 11, c 12, c 13]为像空间辅助坐标系到像平面坐标系转换矩阵；[a 21, a 22, a 23, b 21, b 22 , b 23, c 21, c 22, c 23]为大地坐标系到像空间辅助坐标系转换矩阵；[X A , Y A , Z A ]为道路杆件标志标线的骨架点在大地坐标系下坐标，为本计算方法的待求量；[X S1 , Y S1 , Z S1 ]和[X S2 , Y S2 , Z S2 ]为前后摄站相机摄影中心坐标即GPS值；d为物方点离相机摄影中心距离；α为前后视单目相机的中心连线
Figure 260880DEST_PATH_IMAGE004
与物方点和前视单目相机的摄影中心连线
Figure 440058DEST_PATH_IMAGE013
间的夹角平面投影值；所述步骤S4中还包括针对所述道路杆件标志在所述街景影像上是纵向成像问题，则当所述单目相机的摄影中心与所述道路杆件标志的待定位置的连线
Figure 401060DEST_PATH_IMAGE004
与车辆行驶方向
Figure 49211DEST_PATH_IMAGE013
间平面投影夹角α< 90°，选取此坐标作为所述道路杆件标志的空间位置。当所述道路杆件的标志在影像上是纵向成像时，提取的所述道路杆件的骨架点随所述道路杆件的高度不同而不同，则存在高于所述单目相机的安装位置和低于所述单目相机的安装位置两种情形，导致步骤S4中求解的道路标志的空间位置信息存在多解的取舍问题，因此通过加入车辆行驶方向的约束，即相机摄影中心与杆件待定位置的连线
Figure 855493DEST_PATH_IMAGE004
与车辆行驶方向
Figure 233384DEST_PATH_IMAGE013
间平面投影夹角α，若α < 90°，则选取此坐标作为杆件的空间位置；
S5多视重叠下的道路标志标线位置拟合：若同一道路标志线在多视图中均可见时，采用多视前方交会的方法求解道路标志标线的位置信息；
所述步骤S5中当同一道路标志标线在多视图中均可见时，采用最小二乘拟合出准确的位置信息，如公式（3）所示，
Figure 224343DEST_PATH_IMAGE014
（3）
其中，[x 1, y 1, x n , y n ]为物方同一道路标志或标线在多视图上投影的图像坐标；[x 0,y 0]为像主点坐标；f为相机焦距；[X A , Y A , Z A ]为道路标志标线待求的物方坐标；[X Si , Y Si , Z Si ]为第i张影像对应相机位置，1≤ i ≤ n；[a 11, a 12, a 13, b 11, b 12 , b 13, c 11, c 12,c 13]和[a n1, a n2, a n3, b n1, b n2 , b n3, c n1, c n2, c n3]均表示为像空间辅助坐标系到对应影像的像平面坐标系转换矩阵；[a 1, a 2, a 3, b 1, b 2 , b 3, c 1, c 2, c 3]为大地坐标系到像空间辅助坐标系转换矩阵；d i 为待求道路标志标线距第i张街景影像摄影中心的空间距离；
S6 数据融合更新：在GIS软件中，矢量化步骤（4）和步骤（5）得到的道路标志标线位置信息，并融合到原始数据中，以实现道路标志标线数据的更新。
图5为该实施例采用本方法进行道路标志标线自动化采集的软件界面图，其中以白色红绿灯符号渲染的要素表示道路杆状标志，因图像语义分割时，未作实例分割，需进一步对照街景图像录入其类型属性；白色的线表示的是道路标线及停止线，此处仍然未对标线类别作进一步区分，需根据实际情况进一步整饰；整个软件功能的执行过程大致为：随着视频的播放，实时求解道路标志标线的空间位置，并渲染到地图上；当用户发现当前路段未有要素变化时，可以拖动视频进度条，更新已变化的路段。
以上所述仅为本发明的较佳实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于单目影像的道路标志标线的更新方法，其特征在于，具体包括以下步骤：
S1通过移动数据采集设备采集城市道路的街景影像，以及与所述街景影像对应的GPS相位中心坐标和空间姿态数据；
S2对所述步骤S1获得的所述街景影像依次进行预处理和畸变纠正，再对纠正后的所述街景影像采用深度学习的语义分割技术按类别分割影像上的要素，并将分割后的街景影像中的道路标志标线要素的街景影像图转换成二值影像图，再提取所述二值影像图中的道路标志的骨架点图像坐标和道路标线的图像位置；
S3构建稀疏三维模型，计算移动数据采集设备的姿态和稀疏三维点云空间位置，再根据所述重建的稀疏三维点云和移动数据采集设备的内外参数，基于多视图密集重建技术生成街景影像深度图；
S4根据图像的语义及深度值，以及共线方程和空间距离关系，计算道路标志标线的空间位置；
S5若同一道路标志标线在多视图中均可见时，采用多视前方交会的方法求解道路标志标线的位置信息；
S6矢量化步骤S4和步骤S5得到的道路标志标线位置信息，并融合到原始数据中，以实现道路标志标线数据的更新。
2.根据权利要求1所述的基于单目影像的道路标志标线的更新方法，其特征在于，所述步骤S1中的移动数据采集设备中集成了单目相机和GPS/IMU设备，并将所述移动数据采集设备安装在车辆的前视车窗内，再通过检校获取所述单目相机与GPS/IMU设备间的相对位姿关系及所述单目相机的内参信息。
3.根据权利要求2所述的基于单目影像的道路标志标线的更新方法，其特征在于，所述步骤S2的具体步骤为：
S21采用图像增强和去噪技术对所述街景影像进行预处理，以减少图像噪声对街景影像的影响；
S22结合所述单目相机的内参，对预处理后的所述街景影像进行畸变纠正；
S23对经过畸变纠正后的街景影像基于数据标签工具制作成DeeplabV3+网络训练数据集，采用GeoAI深度学习框架，实现模型的训练、验证和测试，并按类别分割街景影像上的标签要素，所述标签要素包括天空、树木、道路标志、道路标线和车道面；
S24基于上述语义分割的标签数据，运用图像掩膜技术，将畸变纠正后的影像中的天空、树木进行要素剔除；
S25语义分割出街景影像中道路标志标线要素，并转换影像为二值图像，对所述二值图像采用不同的视觉算法提取道路标志标线图像坐标信息；
S251针对道路标志要素，提取二值图像的连通区域，计算连通区域的形状描述符，以提取道路标志的骨架点的图像坐标；
S252针对道路标线要素，采用霍夫变换算法提取道路标线的图像位置。
4.根据权利要求3所述的基于单目影像的道路标志标线的更新方法，其特征在于，所述步骤S4根据共线方程和空间距离关系，以物方成像于单目相机前方为约束条件，计算道路标志标线的空间位置，计算公式如下式 （1）：
Figure 188006DEST_PATH_IMAGE002
（1）
其中，[x, f, y]为道路杆件的标志标线的骨架点在像平面坐标系下坐标；[x 0, y 0]为像主点坐标；λ为投影系数；[a 11, a 12, a 13, b 11, b 12 , b 13, c 11, c 12, c 13]为像空间辅助坐标系到像平面坐标系转换矩阵；[a 21, a 22, a 23, b 21, b 22 , b 23, c 21, c 22, c 23]为大地坐标系到像空间辅助坐标系转换矩阵；[X A , Y A , Z A ]为道路杆件标志标线的骨架点在大地坐标系下坐标，为本计算方法的待求量；[X S1 , Y S1 , Z S1 ]和[X S2 , Y S2 , Z S2 ]为前后摄站相机摄影中心坐标即GPS值；d为物方点离相机摄影中心距离；α为前后视单目相机的中心连线
Figure 532399DEST_PATH_IMAGE004
与物方点和前视单目相机的摄影中心连线
Figure 499218DEST_PATH_IMAGE006
间的夹角平面投影值。
5.根据权利要求3所述的基于单目影像的道路标志标线的更新方法，其特征在于，所述步骤S3具体过程包括：
S31通过SIFT算法提取所述街景影像的特征点，对原始的街景影像采用图像掩膜、特征提取和匹配，生成多视几何关系图；
S32设置参数，基于增量式SFM算法，选取初始匹配像对，构建区域网模型；在所述区域网模型构建中，不断迭代加入新的序列影像，生成新的稀疏三维模型；当稀疏三维模型中街景影像数小于3张时，则继续加入新的序列影像，直至稀疏三维模型中街景影像数大于3张；
S33当稀疏三维模型中街景影像数大于3张时，融合GPS/IMU先验约束数据，降低模型误差累积，并以绝对定向方法将区域网模型坐标纳入到真实大地坐标系下，采用公式（2）求解与绝对定向模型的误差，若误差大于10cm，则舍去此重建的区域网模型，循环步骤S32~步骤S33继续初始化构建下一个区域网模型，直至误差小于10cm；
S34当误差小于10cm，则采用局部光束法平差进一步优化单目相机的姿态信息，待所有街景影像均完成构建，再以全局光束法平差进一步优化，求解稀疏三维点云和单目相机的内外参数信息；
S35采用多视密集重建方法，重建街景影像深度图。
6.根据权利要求5所述的基于单目影像的道路标志标线的更新方法，其特征在于，所述步骤S33中的公式（2）为：
Figure 739707DEST_PATH_IMAGE008
（2）
其中[X i , Y i , Z i ]为第i个检查点的模型坐标；λ, [a 1, a 2, a 3, b 1, b 2, b 3, c 1, c 2,c 3]和[X 0, Y 0, Z 0]为绝对定向7参数模型；[X i t , Y i t , Z i t ]为第i个检查点的真实的大地坐标；[σ xi , σ yi , σ zi ]为第i个检查点对应的中误差各分量值，σ为点位中误差，n为检查点数。
7.根据权利要求3所述的基于单目影像的道路标志标线的更新方法，其特征在于，所述步骤S5中当同一道路标志标线在多视图中均可见时，采用最小二乘拟合出准确的位置信息，如公式（3）所示，
Figure 408454DEST_PATH_IMAGE010
（3）
其中，[x 1, y 1, x n , y n ]为物方同一道路标志或标线在多视图上投影的图像坐标；[x 0,y 0]为像主点坐标；f为相机焦距；[X A , Y A , Z A ]为道路标志标线待求的物方坐标；[X Si , Y Si , Z Si ]为第i张影像对应相机位置，1≤ i ≤ n；[a 11, a 12, a 13, b 11, b 12 , b 13, c 11, c 12,c 13]和[a n1, a n2, a n3, b n1, b n2 , b n3, c n1, c n2, c n3]均表示为像空间辅助坐标系到对应影像的像平面坐标系转换矩阵；[a 1, a 2, a 3, b 1, b 2 , b 3, c 1, c 2, c 3]为大地坐标系到像空间辅助坐标系转换矩阵；d i 为待求道路标志标线距第i张街景影像摄影中心的空间距离。
8.根据权利要求5所述的基于单目影像的道路标志标线的更新方法，其特征在于，所述步骤S4中还包括针对所述道路杆件标志在所述街景影像上是纵向成像问题，则当所述单目相机的摄影中心与所述道路杆件标志的待定位置的连线
Figure 494222DEST_PATH_IMAGE004
与车辆行驶方向
Figure 315548DEST_PATH_IMAGE006
间平面投影夹角α< 90°，选取此坐标作为所述道路杆件标志的空间位置。
9.根据权利要求5所述的基于单目影像的道路标志标线的更新方法，其特征在于，所述步骤S23中对经过畸变纠正后的街景影像按类别进行要素分割的具体步骤为：
S231数据准备：参考开源数据集格式规范，将街景影像的数据结构化，导入数据标签；
S232采用GeoAI深度学习框架，结合DeeplabV3+神经网络模型，进行模型训练、验证和测试；
S2321设置参数，导入预训练模型；
S2322 进行模型训练；
S2323若得到的模型为全局的优值，则进行模型验证；若不是返回步骤S2322，重新进行模型训练，直至得到的模型为全局的优值；
S2324若模型验证结果满足精度，则输出模型；若不满足精度则返回步骤S2321，循环步骤S2321~步骤S2324，直至模型验证结果满足精度后输出模型；
S2325将输出模型的测试结果可视化，判定是否满足泛化性，若满足则进行模型的部署及应用；若不满足，则返回步骤S231，循环S231~S2325，直至满足泛化性；
S233模型部署及应用：保存模型到本地，并部署模型到服务端，实现场景语义分割。
CN202010256909.9A 2020-04-03 2020-04-03 一种基于单目影像的道路标志标线的更新方法 Active CN111144388B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010256909.9A CN111144388B (zh) 2020-04-03 2020-04-03 一种基于单目影像的道路标志标线的更新方法
PCT/CN2021/084079 WO2021197341A1 (zh) 2020-04-03 2021-03-30 一种基于单目影像的道路标志标线的更新方法
US17/914,770 US11798228B2 (en) 2020-04-03 2021-03-30 Method for updating road signs and markings on basis of monocular images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010256909.9A CN111144388B (zh) 2020-04-03 2020-04-03 一种基于单目影像的道路标志标线的更新方法

Publications (2)

Publication Number Publication Date
CN111144388A true CN111144388A (zh) 2020-05-12
CN111144388B CN111144388B (zh) 2020-07-14

Family

ID=70528801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010256909.9A Active CN111144388B (zh) 2020-04-03 2020-04-03 一种基于单目影像的道路标志标线的更新方法

Country Status (3)

Country Link
US (1) US11798228B2 (zh)
CN (1) CN111144388B (zh)
WO (1) WO2021197341A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353483A (zh) * 2020-05-25 2020-06-30 深圳大学 一种杆状设施结构特征提取方法及相关设备
CN112116524A (zh) * 2020-09-21 2020-12-22 胡翰 一种街景图像立面纹理的纠正方法及装置
WO2021197341A1 (zh) * 2020-04-03 2021-10-07 速度时空信息科技股份有限公司 一种基于单目影像的道路标志标线的更新方法
CN114638038A (zh) * 2022-03-23 2022-06-17 河南高速公路试验检测有限公司 一种路标修正方法、系统、终端以及存储介质
CN114972506A (zh) * 2022-05-05 2022-08-30 武汉大学 一种基于深度学习和街景图像的图像定位方法
CN117078982A (zh) * 2023-10-16 2023-11-17 山东建筑大学 基于深度学习的大倾角立体像对准密集特征匹配方法

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022602B (zh) * 2021-11-09 2024-02-23 西安交通大学 一种基于渲染的三维物体检测器训练方法
CN114155253B (zh) * 2021-12-09 2023-04-07 电子科技大学 一种基于遥感影像分割的狭长条带状要素断裂的连接方法
CN114120289B (zh) * 2022-01-25 2022-05-03 中科视语(北京)科技有限公司 一种行车区域与车道线识别方法及系统
CN114170535A (zh) * 2022-02-11 2022-03-11 北京卓翼智能科技有限公司 目标检测定位方法、装置、控制器及存储介质和无人机
CN114708218B (zh) * 2022-03-31 2024-04-09 中电建路桥集团有限公司 一种路面平整度检测方法及系统
CN114723885B (zh) * 2022-04-06 2024-06-21 浙江大学 一种基于rgbd图像稠密三维重建的植物耐寒性分析的方法
CN115438133B (zh) * 2022-05-07 2023-05-30 泰瑞数创科技(北京)股份有限公司 一种基于语义关系的地理实体几何表达方法
CN114821511B (zh) * 2022-06-21 2022-09-23 小米汽车科技有限公司 杆体检测方法、装置、车辆、存储介质及芯片
CN114896679B (zh) * 2022-07-13 2022-10-04 深圳大学 一种建筑物的三维模型优化方法、智能终端及存储介质
CN115170970B (zh) * 2022-08-02 2024-04-23 重庆市设计院有限公司 一种用于检测城市街道景观破损的方法
CN115359346B (zh) * 2022-10-19 2023-03-07 北京市城市规划设计研究院 基于街景图片的小微空间识别方法、装置及电子设备
CN115578472B (zh) * 2022-12-07 2023-04-28 深圳普达核工业数字测控有限公司 基于图像的动态标定测量方法、装置和计算机设备
CN115631308B (zh) * 2022-12-15 2023-03-31 北京集度科技有限公司 人造杆重建方法、装置、车辆及介质
CN115690334B (zh) * 2023-01-03 2023-04-21 中国人民解放军63921部队 一种基于共面约束的三维重建整体优化方法
CN115830246B (zh) * 2023-01-09 2023-04-28 中国地质大学（武汉） 一种基于增量式sfm的球面全景影像三维重建方法
CN116456048B (zh) * 2023-06-19 2023-08-18 中汽信息科技(天津)有限公司 一种基于场景适配的汽车影像记录方法及系统
CN116524160B (zh) * 2023-07-04 2023-09-01 应急管理部天津消防研究所 基于ar识别的产品一致性辅助核实系统及方法
CN116597150B (zh) * 2023-07-14 2023-09-22 北京科技大学 基于深度学习的倾斜摄影模型全要素单体化方法及装置
CN116721094B (zh) * 2023-08-03 2023-12-19 济南邦德激光股份有限公司 一种复杂背景下的视觉图形识别方法、系统及激光切割机
CN117169121B (zh) * 2023-09-05 2024-01-30 南京交科数智科技发展有限公司 一种基于云边端架构的交通道路病害检测系统及方法
CN117095005B (zh) * 2023-10-20 2024-02-02 山东龙拓新材料有限公司 一种基于机器视觉的塑料母粒质检方法及系统
CN117784160B (zh) * 2023-12-21 2024-07-19 中国核工业华兴建设有限公司 一种基于深度学习的预埋件位置检查方法及检查设备
CN117853883B (zh) * 2024-03-07 2024-05-31 深圳市万物云科技有限公司 一种街道清洁度分析方法、装置、计算机设备及存储介质
CN118037965B (zh) * 2024-04-15 2024-07-23 南京航空航天大学 多目视觉下基于自动变分校正的人体内3d姿态分析方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281022A (zh) * 2008-04-08 2008-10-08 上海世科嘉车辆技术研发有限公司 基于单目机器视觉的车辆距离测量方法
US10359518B2 (en) * 2016-12-30 2019-07-23 DeepMap Inc. Vector data encoding of high definition map data for autonomous vehicles

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2899363B1 (fr) * 2006-03-31 2009-05-29 Imra Europ Sas Soc Par Actions Procede et dispositif de detection de mouvement d'objets sur des images d'une scene
CN204347921U (zh) 2014-06-23 2015-05-20 潍坊市勘察测绘研究院 一种城市部件普查内外业采集一体化系统
CN106683131A (zh) 2015-11-10 2017-05-17 星际空间（天津）科技发展有限公司 一种城市部件自动化测量方法
CN105719284B (zh) * 2016-01-18 2018-11-06 腾讯科技（深圳）有限公司 一种数据处理方法、装置及终端
EP3223237B1 (en) * 2016-03-22 2020-05-27 Tata Consultancy Services Limited Systems and methods for detecting and tracking a marker
CN106023207B (zh) 2016-05-23 2019-02-26 青岛秀山移动测量有限公司 一种基于移动测量系统双全景的城市部件采集方法
CN117824676A (zh) * 2016-12-09 2024-04-05 通腾全球信息公司 用于基于视频的定位及映射的方法及系统
CN110648389A (zh) * 2019-08-22 2020-01-03 广东工业大学 基于无人机和边缘车辆协同的城市街景3d重建方法和系统
CN110763203A (zh) 2019-11-05 2020-02-07 西安航天天绘数据技术有限公司 一种城市部件的定位方法、装置及车载移动测量系统
US11873123B2 (en) * 2020-01-05 2024-01-16 United States Of America As Represented By The Secretary Of The Air Force Aerospace vehicle navigation and control system comprising terrestrial illumination matching module for determining aerospace vehicle position and attitude
CN111274976B (zh) * 2020-01-22 2020-09-18 清华大学 基于视觉与激光雷达多层次融合的车道检测方法及系统
CN111144388B (zh) 2020-04-03 2020-07-14 速度时空信息科技股份有限公司 一种基于单目影像的道路标志标线的更新方法
CN112270251B (zh) * 2020-10-26 2021-07-06 清华大学 一种基于互信息的自适应多传感器数据融合方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101281022A (zh) * 2008-04-08 2008-10-08 上海世科嘉车辆技术研发有限公司 基于单目机器视觉的车辆距离测量方法
US10359518B2 (en) * 2016-12-30 2019-07-23 DeepMap Inc. Vector data encoding of high definition map data for autonomous vehicles

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
邹斌等: "面向智能交通的单目视觉测距方法研究", 《交通运输系统工程与信息》 *
金勇等: "智能驾驶中的车道检测及应用综述", 《传动技术》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021197341A1 (zh) * 2020-04-03 2021-10-07 速度时空信息科技股份有限公司 一种基于单目影像的道路标志标线的更新方法
US11798228B2 (en) 2020-04-03 2023-10-24 Speed Technology Co., Ltd. Method for updating road signs and markings on basis of monocular images
CN111353483A (zh) * 2020-05-25 2020-06-30 深圳大学 一种杆状设施结构特征提取方法及相关设备
CN111353483B (zh) * 2020-05-25 2020-10-16 深圳大学 一种杆状设施结构特征提取方法及相关设备
CN112116524A (zh) * 2020-09-21 2020-12-22 胡翰 一种街景图像立面纹理的纠正方法及装置
CN114638038A (zh) * 2022-03-23 2022-06-17 河南高速公路试验检测有限公司 一种路标修正方法、系统、终端以及存储介质
CN114638038B (zh) * 2022-03-23 2024-05-28 河南高速公路试验检测有限公司 一种路标修正方法、系统、终端以及存储介质
CN114972506A (zh) * 2022-05-05 2022-08-30 武汉大学 一种基于深度学习和街景图像的图像定位方法
CN114972506B (zh) * 2022-05-05 2024-04-30 武汉大学 一种基于深度学习和街景图像的图像定位方法
CN117078982A (zh) * 2023-10-16 2023-11-17 山东建筑大学 基于深度学习的大倾角立体像对准密集特征匹配方法
CN117078982B (zh) * 2023-10-16 2024-01-26 山东建筑大学 基于深度学习的大倾角立体像对准密集特征匹配方法

Also Published As

Publication number Publication date
US11798228B2 (en) 2023-10-24
CN111144388B (zh) 2020-07-14
WO2021197341A1 (zh) 2021-10-07
US20230135512A1 (en) 2023-05-04

Similar Documents

Publication Publication Date Title
CN111144388B (zh) 一种基于单目影像的道路标志标线的更新方法
CN103377476B (zh) 使用三维地理弧的多模型数据的图像配准
CN112465970B (zh) 导航地图构建方法、装置、系统、电子装置和存储介质
CN105160702A (zh) 基于LiDAR点云辅助的立体影像密集匹配方法及系统
CN104077760A (zh) 一种航空摄影测量的快速拼接系统及其实现方法
KR20090064679A (ko) 이종 센서 통합 모델링에 의한 수치 사진 측량 방법 및장치
CN109596121B (zh) 一种机动站自动目标检测与空间定位方法
KR20200110120A (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
CN111008660A (zh) 语义地图的生成方法、装置、系统、存储介质及电子设备
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
CN112767461A (zh) 激光点云与序列全景影像自动配准方法
CN114663852A (zh) 车道线图的构建方法、装置、电子设备及可读存储介质
Jafarzadeh et al. Crowddriven: A new challenging dataset for outdoor visual localization
CN115982806A (zh) 基于倾斜摄影的矮塔斜拉转体桥bim建模方法、设备及介质
CN117456136A (zh) 一种基于多模态视觉识别的数字孪生场景智能生成方法
CN115031744A (zh) 一种基于稀疏点云-纹理信息的认知地图定位方法及系统
Sun et al. Geographic, geometrical and semantic reconstruction of urban scene from high resolution oblique aerial images.
CN116664855A (zh) 适用于行星探测车影像的深度学习三维稀疏重建方法及系统
CN115468576A (zh) 一种基于多模态数据融合的自动驾驶定位方法及系统
CN113487741B (zh) 稠密三维地图更新方法及装置
WO2022021209A9 (zh) 电子地图生成方法、装置、计算机设备和存储介质
CN114494625A (zh) 高精度地形图制作方法、装置和计算机设备
Lee et al. Semi-automatic framework for traffic landmark annotation
Di Stefano et al. Point cloud classification of an urban environment using a semi-automatic approach
CN116222592B (zh) 一种基于多源数据的高精地图生成方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: 210042 8 Blocks 699-22 Xuanwu Avenue, Xuanwu District, Nanjing City, Jiangsu Province

Patentee after: Speed Technology Co.,Ltd.

Address before: 210042 8 Blocks 699-22 Xuanwu Avenue, Xuanwu District, Nanjing City, Jiangsu Province

Patentee before: SPEED TIME AND SPACE INFORMATION TECHNOLOGY Co.,Ltd.

CP01 Change in the name or title of a patent holder