CN115457215A - 一种应用于自动驾驶的相机传感器建模方法 - Google Patents

一种应用于自动驾驶的相机传感器建模方法 Download PDF

Info

Publication number
CN115457215A
CN115457215A CN202211227563.5A CN202211227563A CN115457215A CN 115457215 A CN115457215 A CN 115457215A CN 202211227563 A CN202211227563 A CN 202211227563A CN 115457215 A CN115457215 A CN 115457215A
Authority
CN
China
Prior art keywords
camera
image data
simulation
error
automatic driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211227563.5A
Other languages
English (en)
Inventor
陶耀东
王旭亚
余飞
孙小进
刘海亮
钱迟
周彪
王景溢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
No 214 Institute of China North Industries Group Corp
Original Assignee
No 214 Institute of China North Industries Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by No 214 Institute of China North Industries Group Corp filed Critical No 214 Institute of China North Industries Group Corp
Priority to CN202211227563.5A priority Critical patent/CN115457215A/zh
Publication of CN115457215A publication Critical patent/CN115457215A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及自动驾驶技术领域，且公开了一种应用于自动驾驶的相机传感器建模方法，包括以下步骤，通过基准相机，采集测试场景的基准图像数据，然后数据实例分割预处理，需要获得经过实例分割的RGB图像和深度信息的先验，将视觉的信息区域分为稳定静态区域和非稳定的动态区域，该过程中，将从相机传感器获得的图像，采用实例分割算法处理后。本发明通过实例分割算法预处理得到先验语义信息，然后分别使用图像中的静态区域进行相机位姿解算获得初步的相机的位姿，使用潜在动态目标区域进行目标跟踪和得到运动目标的位姿，其仿真相机所采集到的仿真图像数据的误差指标，并通过误差指标计算相似度，从而提高仿真相机的验证准确度。

Description

一种应用于自动驾驶的相机传感器建模方法
技术领域
本发明涉及自动驾驶技术领域，具体为一种应用于自动驾驶的相机传感器建模方法。
背景技术
自动驾驶，又称无人驾驶、电脑驾驶或轮式移动机器人，是依靠计算机与人工智能技术在没有人为操纵的情况下，完成完整、安全、有效的驾驶的一项前沿科技。在21世纪，由于汽车用户的不断增加，公路交通面临的拥堵、安全事故等问题越发严重。自动驾驶技术在车联网技术和人工智能技术的支持下，能够协调出行路线与规划时间，从而大程度提高出行效率，并在一定程度上减少能源消耗。自动驾驶同时还能帮助避免醉驾，疲劳驾驶等安全隐患，减少驾驶员失误，提升安全性。自动驾驶也因此成为各国近年的一项研发重点。作为自动化载具，自动驾驶汽车不需要人类操作即能感测其环境及导航。作为一种可行的自动驾驶环境感知硬件，仿真相机是指自动驾驶的仿真系统中的感知输入的设备。
目前现有的自动驾驶的相机传感器在对环境进行感知时，容易受到干扰导致感知容易出现偏差的现象，从而影响相机传感器在对环境进行感知的精准性。
发明内容
(一)解决的技术问题
针对现有技术的不足，本发明提供了一种应用于自动驾驶的相机传感器建模方法，具备抗干扰性强，感知精准性高等优点，解决了自动驾驶的相机传感器在对环境进行感知时，容易受到干扰导致感知容易出现偏差的现象，从而影响相机传感器在对环境进行感知的精准性的问题。
(二)技术方案
为实现上述目的，本发明提供如下技术方案：一种应用于自动驾驶的相机传感器建模方法，包括以下步骤：
S1、通过基准相机，采集测试场景的基准图像数据，然后数据实例分割预处理，需要获得经过实例分割的RGB图像和深度信息的先验，将视觉的信息区域分为稳定静态区域和非稳定的动态区域，该过程中，将从相机传感器获得的图像，采用实例分割算法处理后，分别得到掩膜的动态区域和未被掩膜的静态区域，并将其中的多个动态区域标记序号，最后将这两部分区域的图像作为新的输入分别给到下一阶段的跟踪算法中。
S2、针对测试场景进行三维建模，得到测试场景的场景模型，通过仿真相机，对所述场景模型进行图像采集，得到所述测试场景的仿真图像数据，其中，所述仿真相机至少包括在自动驾驶的仿真系统中的相机，所述仿真相机的相机参数与所述基准相机的相机参数相同。
S3、基于ORB-SLAM2的RGB-D的输入的开发框架，将连续两帧RGB-D图像中的静态区域预先进行轻量级的里程计跟踪，获得初步粗略的相机位姿，然后通过基于直方图统计的评分算法HBOS进一步剔除由于实例分割失败或者误分割导致的异常点，最后，将获得的精确结果放入后端优化的步骤中。
S4、利用恒速运动模型和区域重叠确定连续帧之间的不同的多个目标的跟踪区域，利用针对大运动优化的金字塔LK光流算法获取对应的光流跟踪，通过直接法计算出相机坐标系下的相对的目标位姿，将运动目标位姿放入后端优化方程中联合解算。
S5、针对所述仿真图像数据和所述基准图像数据，确定出误差指标，依据所述误差指标，确定出所述基准相机和所述仿真相机之间的相似度，完成仿真相机验证。
优选的，所述步骤S5中误差指标包括分辨率误差，针对仿真图像数据和基准图像数据，确定出误差指标，包括对仿真图像数据的像素数量和基准图像数据的像素数量进行差异计算，得到数量差值，将数量差值占据基准图像数据的像素数量的比例，确定为分辨率误差。
优选的，所述步骤S1中数据实例分割预处理，其输入采用的传感器为RGB-D相机，其每秒帧数为10帧，需将传感器所获得RGB图像输入到实例分割网络中，获得静态区域图像和动态区域图像。
优选的，所述误差指标包括畸变误差，针对所述仿真图像数据和基准图像数据，确定出误差指标，包括从仿真图像数据中，确定出多个仿真畸变检测区域，以及从基准图像数据中，确定出多个基准畸变检测区域。
优选的，所述步骤S3中静态区域，其所采用的特征提取方法为ORB特征点，并采用基于四叉树的网格法均匀采样。
优选的，所述仿真畸变检测区域包括仿真畸变检测线条，针对每个仿真畸变检测区域计算出仿真归一化值。
优选的，所述步骤S5中误差指标包括颜色误差，针对仿真图像数据和基准图像数据，确定出误差指标。
优选的，所述步骤S5中误差指标包括距离误差，针对仿真图像数据和所述基准图像数据，确定出误差指标，包括基于仿真图像数据，计算出仿真相机与场景模型中的虚拟对象的仿真距离。
(三)有益效果
与现有技术相比，本发明提供了一种应用于自动驾驶的相机传感器建模方法，具备以下有益效果：
该应用于自动驾驶的相机传感器建模方法，通过实例分割算法预处理得到先验语义信息，然后分别使用图像中的静态区域进行相机位姿解算获得初步的相机的位姿，使用潜在动态目标区域进行目标跟踪和得到运动目标的位姿，其仿真相机所采集到的仿真图像数据的误差指标，并通过误差指标计算相似度，从而提高仿真相机的验证准确度。
具体实施方式
下面将结合本发明的实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种技术方案：一种应用于自动驾驶的相机传感器建模方法，包括以下步骤：
S1、通过基准相机，采集测试场景的基准图像数据，然后数据实例分割预处理，需要获得经过实例分割的RGB图像和深度信息的先验，将视觉的信息区域分为稳定静态区域和非稳定的动态区域，该过程中，将从相机传感器获得的图像，采用实例分割算法处理后，分别得到掩膜的动态区域和未被掩膜的静态区域，并将其中的多个动态区域标记序号，最后将这两部分区域的图像作为新的输入分别给到下一阶段的跟踪算法中，其中数据实例分割预处理，其输入采用的传感器为RGB-D相机，其每秒帧数为10帧，需将传感器所获得RGB图像输入到实例分割网络中，获得静态区域图像和动态区域图像。
S2、针对测试场景进行三维建模，得到测试场景的场景模型，通过仿真相机，对场景模型进行图像采集，得到测试场景的仿真图像数据，其中，仿真相机至少包括在自动驾驶的仿真系统中的相机，仿真相机的相机参数与基准相机的相机参数相同。
S3、基于ORB-SLAM2的RGB-D的输入的开发框架，将连续两帧RGB-D图像中的静态区域预先进行轻量级的里程计跟踪，获得初步粗略的相机位姿，然后通过基于直方图统计的评分算法HBOS进一步剔除由于实例分割失败或者误分割导致的异常点，最后，将获得的精确结果放入后端优化的步骤中，所进行的主要特征采样区域为静态区域，其所采用的特征提取方法为ORB特征点，并采用基于四叉树的网格法均匀采样。
S4、利用恒速运动模型和区域重叠确定连续帧之间的不同的多个目标的跟踪区域，利用针对大运动优化的金字塔LK光流算法获取对应的光流跟踪，通过直接法计算出相机坐标系下的相对的目标位姿，将运动目标位姿放入后端优化方程中联合解算。
S5、针对仿真图像数据和基准图像数据，确定出误差指标，依据误差指标，确定出基准相机和仿真相机之间的相似度，完成仿真相机验证，其中误差指标包括分辨率误差，针对仿真图像数据和基准图像数据，确定出误差指标，包括对仿真图像数据的像素数量和基准图像数据的像素数量进行差异计算，得到数量差值，将数量差值占据基准图像数据的像素数量的比例，确定为分辨率误差，误差指标包括畸变误差，针对仿真图像数据和基准图像数据，确定出误差指标，包括从仿真图像数据中，确定出多个仿真畸变检测区域，以及从基准图像数据中，确定出多个基准畸变检测区域。
仿真畸变检测区域包括仿真畸变检测线条，针对每个仿真畸变检测区域计算出仿真归一化值，其中误差指标包括颜色误差，针对仿真图像数据和基准图像数据，确定出误差指标，误差指标包括距离误差，针对仿真图像数据和基准图像数据，确定出误差指标，包括基于仿真图像数据，计算出仿真相机与场景模型中的虚拟对象的仿真距离，通过实例分割算法预处理得到先验语义信息，然后分别使用图像中的静态区域进行相机位姿解算获得初步的相机的位姿，使用潜在动态目标区域进行目标跟踪和得到运动目标的位姿，其仿真相机所采集到的仿真图像数据的误差指标，并通过误差指标计算相似度，从而提高仿真相机的验证准确度。
本发明的有益效果是：通过实例分割算法预处理得到先验语义信息，然后分别使用图像中的静态区域进行相机位姿解算获得初步的相机的位姿，使用潜在动态目标区域进行目标跟踪和得到运动目标的位姿，其仿真相机所采集到的仿真图像数据的误差指标，并通过误差指标计算相似度，从而提高仿真相机的验证准确度。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种应用于自动驾驶的相机传感器建模方法，其特征在于，包括以下步骤：
S1、通过基准相机，采集测试场景的基准图像数据，然后数据实例分割预处理，需要获得经过实例分割的RGB图像和深度信息的先验，将视觉的信息区域分为稳定静态区域和非稳定的动态区域，该过程中，将从相机传感器获得的图像，采用实例分割算法处理后，分别得到掩膜的动态区域和未被掩膜的静态区域，并将其中的多个动态区域标记序号，最后将这两部分区域的图像作为新的输入分别给到下一阶段的跟踪算法中；
S2、针对测试场景进行三维建模，得到测试场景的场景模型，通过仿真相机，对所述场景模型进行图像采集，得到所述测试场景的仿真图像数据，其中，所述仿真相机至少包括在自动驾驶的仿真系统中的相机，所述仿真相机的相机参数与所述基准相机的相机参数相同；
S3、基于ORB-SLAM2的RGB-D的输入的开发框架，将连续两帧RGB-D图像中的静态区域预先进行轻量级的里程计跟踪，获得初步粗略的相机位姿，然后通过基于直方图统计的评分算法HBOS进一步剔除由于实例分割失败或者误分割导致的异常点，最后，将获得的精确结果放入后端优化的步骤中；
S4、利用恒速运动模型和区域重叠确定连续帧之间的不同的多个目标的跟踪区域，利用针对大运动优化的金字塔LK光流算法获取对应的光流跟踪，通过直接法计算出相机坐标系下的相对的目标位姿，将运动目标位姿放入后端优化方程中联合解算；
S5、针对所述仿真图像数据和所述基准图像数据，确定出误差指标，依据所述误差指标，确定出所述基准相机和所述仿真相机之间的相似度，完成仿真相机验证。
2.根据权利要求1所述的一种应用于自动驾驶的相机传感器建模方法，其特征在于：所述步骤S5中误差指标包括分辨率误差，针对仿真图像数据和基准图像数据，确定出误差指标，包括对仿真图像数据的像素数量和基准图像数据的像素数量进行差异计算，得到数量差值，将数量差值占据基准图像数据的像素数量的比例，确定为分辨率误差。
3.根据权利要求1所述的一种应用于自动驾驶的相机传感器建模方法，其特征在于：所述步骤S1中数据实例分割预处理，其输入采用的传感器为RGB-D相机，其每秒帧数为10帧，需将传感器所获得RGB图像输入到实例分割网络中，获得静态区域图像和动态区域图像。
4.根据权利要求2所述的一种应用于自动驾驶的相机传感器建模方法，其特征在于：所述误差指标包括畸变误差，针对所述仿真图像数据和基准图像数据，确定出误差指标，包括从仿真图像数据中，确定出多个仿真畸变检测区域，以及从基准图像数据中，确定出多个基准畸变检测区域。
5.根据权利要求1所述的一种应用于自动驾驶的相机传感器建模方法，其特征在于：所述步骤S3中所进行的主要特征采样区域为静态区域，其所采用的特征提取方法为ORB特征点，并采用基于四叉树的网格法均匀采样。
6.根据权利要求4所述的一种应用于自动驾驶的相机传感器建模方法，其特征在于：所述仿真畸变检测区域包括仿真畸变检测线条，针对每个仿真畸变检测区域计算出仿真归一化值。
7.根据权利要求1所述的一种应用于自动驾驶的相机传感器建模方法，其特征在于：所述步骤S5中误差指标包括颜色误差，针对仿真图像数据和基准图像数据，确定出误差指标。
8.根据权利要求1所述的一种应用于自动驾驶的相机传感器建模方法，其特征在于：所述步骤S5中误差指标包括距离误差，针对仿真图像数据和所述基准图像数据，确定出误差指标，包括基于仿真图像数据，计算出仿真相机与场景模型中的虚拟对象的仿真距离。
CN202211227563.5A 2022-10-09 2022-10-09 一种应用于自动驾驶的相机传感器建模方法 Pending CN115457215A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211227563.5A CN115457215A (zh) 2022-10-09 2022-10-09 一种应用于自动驾驶的相机传感器建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211227563.5A CN115457215A (zh) 2022-10-09 2022-10-09 一种应用于自动驾驶的相机传感器建模方法

Publications (1)

Publication Number Publication Date
CN115457215A true CN115457215A (zh) 2022-12-09

Family

ID=84309730

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211227563.5A Pending CN115457215A (zh) 2022-10-09 2022-10-09 一种应用于自动驾驶的相机传感器建模方法

Country Status (1)

Country Link
CN (1) CN115457215A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228756A (zh) * 2023-05-08 2023-06-06 常州星宇车灯股份有限公司 一种自动驾驶中相机坏点的检测方法及检测系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116228756A (zh) * 2023-05-08 2023-06-06 常州星宇车灯股份有限公司 一种自动驾驶中相机坏点的检测方法及检测系统

Similar Documents

Publication Publication Date Title
EP3633615A1 (en) Deep learning network and average drift-based automatic vessel tracking method and system
WO2022141910A1 (zh) 一种基于行车安全风险场的车路激光雷达点云动态分割及融合方法
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
CN110738121A (zh) 一种前方车辆检测方法及检测系统
CN110379168B (zh) 一种基于Mask R-CNN的交通车辆信息获取方法
CN105373135A (zh) 一种基于机器视觉的飞机入坞引导和机型识别的方法及系统
CN106558080A (zh) 一种单目相机外参在线标定系统及方法
CN110378210B (zh) 一种基于轻量化YOLOv3的车辆和车牌检测及长短焦融合测距方法
CN114970321A (zh) 一种基于动态轨迹流的场景流数字孪生方法及系统
CN111881790A (zh) 一种高精度地图制作中道路人行横道自动化提取方法和装置
CN107808524B (zh) 一种基于无人机的道路交叉口车辆检测方法
CN108009494A (zh) 一种基于无人机的道路交叉口车辆跟踪方法
CN111967360A (zh) 基于车轮的目标车辆姿态检测方法
CN114488194A (zh) 一种智能驾驶车辆结构化道路下目标检测识别方法
CN106446785A (zh) 基于双目视觉的可行道路检测方法
CN113516664A (zh) 一种基于语义分割动态点的视觉slam方法
CN107796373A (zh) 一种基于车道平面几何模型驱动的前方车辆单目视觉的测距方法
Li et al. Judgment and optimization of video image recognition in obstacle detection in intelligent vehicle
CN111462140A (zh) 一种基于区块拼接的实时图像实例分割方法
CN115457215A (zh) 一种应用于自动驾驶的相机传感器建模方法
CN114332394A (zh) 一种基于语义信息辅助的动态场景三维重建方法
CN107220632B (zh) 一种基于法向特征的路面图像分割方法
CN110415299B (zh) 一种运动约束下基于设定路牌的车辆位置估计方法
CN115273005A (zh) 一种基于改进yolo算法的视觉导航车环境感知方法
CN115482282A (zh) 自动驾驶场景下具有多目标追踪能力的动态slam方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication