CN113763560B - 点云数据的生成方法、系统、设备及计算机可读存储介质 - Google Patents

点云数据的生成方法、系统、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113763560B
CN113763560B CN202110881869.1A CN202110881869A CN113763560B CN 113763560 B CN113763560 B CN 113763560B CN 202110881869 A CN202110881869 A CN 202110881869A CN 113763560 B CN113763560 B CN 113763560B
Authority
CN
China
Prior art keywords
image
point
point cloud
cloud data
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110881869.1A
Other languages
English (en)
Other versions
CN113763560A (zh
Inventor
王云鹏
张笑东
穆鸽
马鹏维
王凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zongmu Technology Shanghai Co Ltd
Original Assignee
Zongmu Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zongmu Technology Shanghai Co Ltd filed Critical Zongmu Technology Shanghai Co Ltd
Priority to CN202110881869.1A priority Critical patent/CN113763560B/zh
Publication of CN113763560A publication Critical patent/CN113763560A/zh
Application granted granted Critical
Publication of CN113763560B publication Critical patent/CN113763560B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30264—Parking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种点云数据的生成方法、系统、设备及计算机可读存储介质，所述点云数据的生成方法包括：基于车辆的车身信号，获取于同一摄像头下相邻两帧图像时间戳下的车辆位姿转换关系；利用环视标定数据，对所采集的图像进行图像处理，以提取所述图像中物体边缘点；根据相邻两帧图像时间戳时刻的车辆位姿转换关系和所述物体边缘点生成点云数据；所述点云数据用于还原物体轮廓在实际场景中的位置坐标。本发明利用车身信号求得图像帧间转换关系，相比于现有技术优化了求位姿的方案，运行速度优势非常明显，不存在尺度缩放的问题，且由于数据来源是车身信号，且不存在场景退化问题，生成的点云数据性能更鲁棒。

Description

点云数据的生成方法、系统、设备及计算机可读存储介质
技术领域
本发明属于图像处理技术领域，涉及一种生成方法及系统，特别是涉及一种点云数据的生成方法、系统、设备及计算机可读存储介质。
背景技术
目前，随着人们对交通安全的重视，高级驾驶辅助系统(ADAS)在汽车中成为了重要的功能。自主泊车是其中一个重要的产品，主要功能是帮助司机自动检测车位和泊入车位。
基于视觉的静态物体点云技术是指基于摄像头传感器还原周围真实场景中静态物体的三维坐标值，构成点云数据。在自主泊车等产品中，图像点云数据可以帮助汽车感知周围的障碍物，正确的进行路径规则和感知避障。
在现有技术中，基于视觉定位和建图方法和三维场景重建技术可构成点云数据，但是，现有技术存在以下几个问题：
第一，基于图像同时得到摄像头三维位姿变换数据和点云数据，计算量较大，尤其大量的算力用于计算位姿。
第二，缺少尺度信息，单目SLAM通常计算到的点云精度不高，不适用于检测自主泊车场景的障碍物。
第三，VIO方法需要精度较高的IMU传感器，而普通乘用车大多没办法给出高精度的IMU数据。
第四，基于视觉定位的方案存在场景退化问题，如果图像中纹理区域较少，或者周围运动物体较多，都会让视觉定位的方法失效。
因此，如何提供一种点云数据的生成方法、系统、设备及计算机可读存储介质，以解决现有技术存在的尺度缩放及场景退化等缺陷，实已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种点云数据的生成方法、系统、设备及计算机可读存储介质，用于解决现有技术中存在的尺度缩放及场景退化的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种点云数据的生成方法，包括：基于车辆的车身信号，获取于同一摄像头下相邻两帧图像时间戳下的车辆位姿转换关系；利用环视标定数据，对所采集的图像进行图像处理，以提取所述图像中物体边缘点；根据相邻两帧图像时间戳时刻的车辆位姿转换关系和所述物体边缘点生成点云数据；所述点云数据用于还原物体轮廓在实际场景中的位置坐标。
于本发明的一实施例中，所述基于车辆的车身信号，获取于同一摄像头下相邻两帧图像时间戳下的车辆位姿转换关系的步骤包括：计算车身信号时刻下初始时刻到当前时刻的车辆位姿转换关系；以当前图像时间戳为基准，获取当前图像时间戳下的车辆位姿转换关系；根据当前图像时间戳下的车辆位姿转换关系，计算相邻两帧图像时间戳时刻的车辆位姿转换关系。
于本发明的一实施例中，所述以当前图像时间戳为基准，获取当前图像时间戳下的车辆位姿转换关系的步骤包括：以当前图像时间戳为基准，确定与之对应的当前车身信号时刻，于车身信号时刻下初始时刻到当前时刻的车辆位姿转换关系中，查找所述当前车身信号时刻的上一车身信号时刻的车辆位姿转换关系和下一车身信号时刻的车辆位姿转换关系；根据不同车身信号时刻与上一车身信号时刻/下一车身信号时刻的时间差，计算当前图像时间戳下的车辆位姿转换关系。
于本发明的一实施例中，所述利用环视标定数据，对所采集的图像进行图像处理，以提取所述图像中物体边缘点的步骤包括：根据图像采集设备的环视标定数据，对所述图像进行畸变校正，以形成底层图像；基于底层图像，构建图像金字塔；对所述图像金字塔中每一层图像进行像素遍历，计算像素点的梯度值；将像素点的梯度值与预设梯度阈值进行比较，将梯度值大于所述预设梯度阈值的像素点定义为物体边缘点，并从所述图像金字塔的底层由低到高依次提取。
于本发明的一实施例中，图像采集设备的环视标定数据包括图像采集设备的内参数据和外参数据；其中，所述内参数据用于去除图像中的鱼眼畸变和矫正图像偏心；所述外参数据用于将通过内参数据矫正后的图像投影至垂直于地面的平面上，形成所述底层图像。
于本发明的一实施例中，所述根据相邻两帧图像时间戳时刻的车辆位姿转换关系和所述物体边缘点生成点云数据的步骤包括：基于相邻两帧图像时间戳时刻的车辆位姿转换关系对所述物体边缘点的运动进行预测，并获取一基线；对所述物体边缘点进行特征描述；从所述基线上搜索每个像素点，并根据特征描述的方式比较搜索的像素点的特征与物体边缘点的特征之间的匹配度，选择所述基线上与所述物体边缘点的特征匹配度最高的点为匹配点；从第三帧图像开始，对匹配点进行跟踪，以获取跟踪成功的有效点；遍历所有跟踪成功的有效点，计算所述有效点的三维坐标，并将该三维坐标转换至图像采集设备的坐标系下，生成所述点云数据。
于本发明的一实施例中，所述遍历所有跟踪成功的有效点，计算所述有效点的三维坐标的步骤包括：从跟踪成功的有效点存在的多幅图像中任意选取两幅图像；基于相邻两帧图像时间戳时刻的车辆位姿转换关系，将连接有效点在第一幅图像中的的点坐标与第一幅图像时间戳时刻摄像头坐标的直线，投影为第二幅图像所在坐标系中的一条直线；跟踪点在第二幅图像上的点坐标与第二幅图像时间戳时刻摄像头坐标组成另一条直线；获取两直线的交点坐标，该交点坐标为该有效点在第二幅图像时间戳时刻摄像头坐标系下的三维坐标；对于每一有效点，根据所在任意的两幅图像求取的三维坐标，若位于预设误差范围内时，则将落于预设误差范围内的有效点组成有效收敛点集合，构成点云数据的原始数据；将所有点云数据的原始数据投影在同一坐标系下，生成了最终的点云数据。
本发明另一方面提供一种点云数据的生成系统包括：获取模块，用于基于车辆的车身信号，获取于同一摄像头下相邻两帧图像时间戳下的车辆位姿转换关系；提取模块，用于利用环视标定数据，对所采集的图像进行图像处理，以提取所述图像中物体边缘点；数据生成模块，用于根据相邻两帧图像时间戳时刻的车辆位姿转换关系和所述物体边缘点生成点云数据；所述点云数据用于还原物体轮廓在实际场景中的位置坐标。
本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述点云数据的生成方法。
本发明最后一方面提供一种点云数据的生成设备，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述生成设备执行如权利要求1至7中任一项所述点云数据的生成方法；该生成设备与多目图像采集设备连接。
如上所述，本发明所述的点云数据的生成方法、系统、设备及计算机可读存储介质，具有以下有益效果：
第一，本发明利用车身信号求得图像帧间转换关系，相比于现有技术优化了求位姿的方案，在测距精度误差<2％的基础上，运行速度优势非常明显，不存在尺度缩放的问题。
第二，本发明由于数据来源是车身信号，且不存在场景退化问题，生成的点云数据性能更鲁棒。
第三，本发明利用四路摄像头进行点云生成，可检测空间中更全的范围。
第四，本发明对计算力要求较小，可无障碍运行在嵌入式平台上。
附图说明
图1显示为本发明的应用场景示意图。
图2显示为本发明的点云数据的生成方法于一实施例中的流程示意图。
图2A显示为本发明的点云数据的生成方法中S21的流程示意图。
图2B显示为本发明的点云数据的生成方法中S23的流程示意图。
图3显示为本发明的获取当前图像时间戳下的车辆位姿转换关系的过程示意图。
图4显示为本发明的三角化求点的原理。
图5显示为本发明的摄像头采集原始图像。
图5A显示为本发明的摄像头采集原始图像中生成的点云数据效果的前视图。
图5B显示为本发明的摄像头采集原始图像中生成的点云数据效果的俯视图。
图6显示为本发明的点云数据的生成系统于一实施例中的原理结构示意图。
元件标号说明
6 点云数据的生成系统
61 获取模块
62 提取模块
63 数据生成模块
S21～S23 步骤
S211～S213 步骤
S231～S235 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明所述点云数据的生成方法、系统、设备及计算机可读存储介质的技术原理如下：
基于车身信号，求得同一摄像头在相邻两帧图像时间戳下的车辆位姿转换矩阵，车辆位姿包括车辆的位置信息和姿态信息。
基于每路摄像头进行图像采集和图像处理，从图像中提取得到物体边缘点(边缘点描述了物体的轮廓信息)；其中图像处理包括基于环视标定数据(指摄像头的内外参，内参包含了摄像头的偏心参数和畸变参数；外参表示了摄像头在车身的安装位置)对图像进行畸变矫正；
基于车辆位姿转换矩阵和物体边缘点生成点云数据，点云数据还原了物体轮廓在实际场景中的位置坐标值。
实施例一
本实施例提供一种点云数据的生成方法，包括：
基于车辆的车身信号，获取于同一摄像头下相邻两帧图像时间戳下的车辆位姿转换关系；
对所采集的图像进行图像处理，以提取所述图像中物体边缘点；
根据相邻两帧图像时间戳时刻的车辆位姿转换关系和所述物体边缘点生成点云数据；所述点云数据用于还原物体轮廓在实际场景中的位置坐标。
以下将结合图示对本实施例所提供的点云数据的生成方法进行详细描述。本实施例所述点云数据的生成方法应用于如图1所示的车辆，通过生成的点云数据帮助汽车感知周围的障碍物，正确的进行路径规则和感知避障。
请参阅图2，显示为点云数据的生成方法于一实施例中的流程示意图。如图2所示，所述点云数据的生成方法具体包括以下步骤：
S21，基于车辆的车身信号，获取于同一摄像头下相邻两帧图像时间戳下的车辆位姿转换关系。在本实施例中，利用自车常用的车身信号(轮速脉冲，车速，轮转角)可快速精准的计算不同时刻两帧图片之间的变换矩阵。
车辆常有的车身信号信息包括车轮脉冲、车速、轮转角等信息，每个信号信息中都包含时间戳信息。同样地，车辆的某一个摄像头在不同时刻可以获取多帧图像信息，每帧图像信息中也包含时间戳信息，且图像信号中的时间戳信息起始时刻与车身信号的时间戳信息起始时刻是一致的，所以，任一当前图像时刻与当前车身信号时刻是一致的。
请参阅图2A，显示为S21的流程示意图。如图2A所示，所述S21具体包括以下步骤：
S211，计算车身信号时刻下初始时刻到当前时刻的车辆位姿转换关系。
在本实施例中，对车身信号在时间上进行积分运算来计算车身信号时刻下初始时刻到当前时刻的车辆位姿转换关系，并记作TcarInfo_init_to_cur。
S212，以当前图像时间戳t为基准，获取当前图像时间戳下的车辆位姿转换关系。
请参阅图3，显示为获取当前图像时间戳下的车辆位姿转换关系的过程示意图。所述S212具体包括：
首先，以当前图像时间戳t为基准，确定与之对应的当前车身信号时刻t，于车身信号时刻下初始时刻到当前时刻的车辆位姿转换关系中，查找所述当前车身信号时刻的上一车身信号时刻ttimeM的车辆位姿转换关系TcarInfo_init_to_timeM和下一车身信号时刻ttimeM+1的车辆位姿转换关系TcarInfo_init_to_timeM+1。
例如，如图3所示，查找所述当前车身信号时刻的上一车身信号时刻t4的车辆位姿转换关系TcarInfo_init_to_timeM和下一车身信号时刻t5的车辆位姿转换关系TcarInfo_init_to_timeM+1。
接着，根据当前车身信号时刻t与上一车身信号时刻ttimeM/下一车身信号时刻ttimeM+1的时间差t1/t2，计算当前图像时间戳下的车辆位姿转换关系。
在本实施例中，通过插值算法计算当前图像时间戳下的车辆位姿转换关系TcarInfo_init_to_t，即
S213，根据不同图像时间戳下的车辆位姿转换关系，计算相邻两帧图像时间戳下的车辆位姿转换关系。
在本实施例中，相邻两帧图像中前一帧图像时间戳为tm，其对应的车辆位姿转换关系为
相邻两帧图像中后一帧图像时间戳为tm+1，其对应的车辆位姿转换关系为
相邻两帧图像时间戳下的车辆位姿转换关系其中，/>表示/>的逆变换。
以下通过具体实施方式描述步骤S21。
获取一组从初始时刻0ms开始记录的初始时刻到当前时刻的车辆位姿转换关系表：
表1：初始时刻到当前时刻的车辆位姿转换关系示例表
时间戳 0ms 20ms 40ms 60ms 80ms 100ms 120ms
pos.x(cm) 0.0 10.0 18.0 27.0 38.0 48.0 58.0
pos.y(cm) 0.0 30.0 61.0 92.0 121.0 152.0 182.0
theta 0.0 0.0 0.0 0.0 0.0 0.0 0.0
若有两帧相邻图像，第一帧图像时间戳为33ms，第二帧图像时间戳为73ms，
对于第一帧图像，其时间戳为33ms，通过查表找到与其时间戳最接近的前一车身信号时刻和后一车身信号时刻为20ms和40ms，对应地，初始时刻0ms到20ms的车辆位姿转换关系为：
同理，初始时刻0ms到40ms的车辆位姿转换关系为：
由图像时间戳与上一车身信号的时间差值为33ms-20ms＝13ms，下一车身信号时刻与图像时间戳差值为40ms-33ms＝7ms，通过插值运算，计算得到初始时刻到第一帧图像时间戳时刻的车辆位姿转换关系为：
其中，theta部分的插值方法应该遵从线性代数对矩阵的插值计算，不直接对应元素插值。
同理，对于第二帧图像，其时间戳为73ms，通过查表找到与其时间戳最接近的车身信号时间戳，为60ms和80ms，参照第一帧图像时间戳的车辆位姿转换关系的计算过程，计算得到初始时刻0ms到第二帧图像时间戳的车辆位姿转换关系为：
因此，第一帧图像时间戳时刻33ms到第二帧图像时间戳时刻73ms的车辆位姿转换关系为：
S22，利用环视标定数据，对所采集的图像进行图像处理，以提取所述图像中物体边缘点。本步骤利用环视标定数据将图像投影到垂直于地面的平面上，也可以直接在去除内参畸变后的图像上进行特征点检测和匹配，但垂直于地面的平面更符合实际中的立体物在本实施例中，对四目摄像头中每路所采集的图像都进行图像处理。利用四路摄像头进行点云生成，可检测空间中更全的范围。
具体地，所述S22包括以下步骤：
首先，根据图像采集设备的环视标定数据，对所述图像进行畸变校正，以形成底层图像；所述图像采集设备的环视标定数据包括图像采集设备的内参数据和外参数据(内参数据和外参数据为矩阵)。
所述内参数据用于去除图像中的鱼眼畸变和矫正图像偏心，包含了摄像头坐标系和图像之间的转换关系。
例如，摄像头坐标系可以定义为摄像头光轴方向为x轴正方向，与图像水平轴平行朝左为y轴正方向，与图像竖直轴平行超上为z轴正方向。在不考虑畸变情况下，内参矩阵表示了焦距参数(200,200)和偏心参数(320,240)，单位为像素。摄像头坐标系中任意点坐标(Xc,Yc,Zc)，按照Zc归一化后，由K可以转换为图像坐标(x,y)：
所述外参数据用于将通过内参数据矫正后的图像投影至垂直于地面的平面上，形成所述底层图像，描述摄像头坐标系和车身坐标系之间的关系。
例如，车身坐标系定义为后轮中心为原点，车头方向为x轴正方向，左后轮方向为y轴正方向，正上方方向为z轴正方向。例如，外参矩阵表示车身坐标系中的点(Xw,Yw,Zw)经过旋转R和t，可以转换为摄像头坐标系下的点(Xc,Yc,Zc)。
接着，基于底层图像，构建图像金字塔，以便于后续图像处理。
具体地，本实施例所述图像金字塔分三层，其中底层图像最大，对底层图像中对应2*2方格的4个像素值插值得到第二层图像每个坐标位置的像素值，因此，第二层图像大小缩小为底层图像大小的(1/2)*(1/2)；以此递推，顶层图像再由第二层插值得到。
然后，对所述图像金字塔中每一层图像进行像素遍历，计算像素点的梯度值。在本实施例中，可以采用Canny算子、Roberts算子、Sobel算子等方法计算像素的梯度值。
例如，采用Sobel算子计算像素的梯度值，Sobel算子在水平方向和垂直方向求图像梯度和/>再求梯度值G＝sqrt(Gx 2+Gy 2)。
最后，将像素点的梯度值与预设梯度阈值进行比较，将梯度值大于所述预设梯度阈值的像素点定义为物体边缘点，并从所述图像金字塔的底层由低到高依次提取。其中，预设梯度阈值的设定可以是基于整幅图像灰度平均值统计的全局动态阈值，也可以是基于局部区域灰度平均值统计的局部动态阈值。
S23，根据相邻两帧图像时间戳时刻的车辆位姿转换关系和所述物体边缘点生成点云数据；所述点云数据用于还原物体轮廓在实际场景中的位置坐标。
请参阅图2B，显示为S23的流程示意图。如图2B所示，所述S23具体包括以下步骤：
S231，基于相邻两帧图像时间戳时刻的车辆位姿转换关系对所述物体边缘点的运动进行预测，并获取一基线。该基线是通过相邻两帧图像时间戳时刻的车辆位姿转换关系求解物体边缘点落于下一帧图像中的一条直线上，该直线为所述基线。
S232，对所述物体边缘点进行特征描述。在本实施例中，特征描述是指点周边邻域方块的灰度值，也可以是梯度值大小和梯度方向，也可以是其他特征描述方法。
S233，从所述基线上搜索每个像素点，并根据特征描述的方式比较搜索的像素点的特征与物体边缘点的特征之间的匹配度，选择所述基线上与所述物体边缘点的特征匹配度最高的点为匹配点；并保存在下一帧图像上所有有效的匹配点集合，且记录了匹配点集合中每个点在上一帧图像中的位置，用于下一步跟踪。
S234，从第三帧图像开始，对匹配点进行跟踪，以获取跟踪成功的有效点。
跟踪的过程如下：
遍历有效的匹配点集合中的所有匹配点，基于匹配点在最后一帧图像中的位置坐标，根据车身位姿转换关系计算得到该匹配点在新的一帧图像中的基线方程；
遍历基线上每个点坐标，基于特征描述方法计算当前点与匹配点的匹配值，匹配值最高的点被认为是最佳匹配点。若最佳匹配点的匹配值高于设定的阈值，认为是有效的匹配点。所有有效的匹配点组成了跟踪成功的有效点集合。
S235，遍历所有跟踪成功的有效点，计算所述有效点的三维坐标，并将该三维坐标转换至图像采集设备的坐标系下，生成所述点云数据。
具体地，所述S235包括：
从跟踪成功的有效点存在的多幅图像中任意选取两幅图像；
基于相邻两帧图像时间戳时刻的车辆位姿转换关系，将连接有效点在第一幅图像中的的点坐标与第一幅图像时间戳时刻摄像头坐标的直线，投影为第二幅图像所在坐标系中的一条直线；
跟踪点在第二幅图像上的点坐标与第二幅图像时间戳时刻摄像头坐标组成另一条直线；
获取两直线的交点坐标，该交点坐标为该有效点在第二幅图像时间戳时刻摄像头坐标系下的三维坐标P＝(x,y,z)。
对于每一有效点，根据所在任意的两幅图像求取的三维坐标，若位于预设误差范围内时，则将落于预设误差范围内的有效点组成有效收敛点集合，构成点云数据的原始数据；
将所有点云数据的原始数据投影在同一坐标系下，生成了最终的点云数据。
以下通过具体实施方式描述上述S23：
遍历第一帧图像中的所有物体边缘点，例如，坐标为(160,120)的像素点，根据内参矩阵可将像素点反投影到摄像机坐标系下因为(X,Y,Z)单位不是实际测量单位(例如米、厘米)，所以只是一条直线。
假设点在摄像机坐标系中的深度值Z的范围为50cm≤Z＜+∞。由转换矩阵TcarInfo_33_to_73可将直线(X,Y,Z)投影到第二帧图像上，为一条线段。
第一帧图像中的物体边缘点进行特征描述，例如，该点3×3邻域上的灰度值为在第二帧图像上的线段上遍历每个物体边缘点，利用点3×3邻域上的灰度值相减再求绝对值的和为两个点的差异值，例如，当前点为/>求得差异值为对的元素相加等于38。线段上差异值最小的点坐标，就是最佳匹配点，例如最佳匹配点的坐标(168,120)，匹配差异值15。若最佳匹配点的差异值小于阈值(例如20)，被认为是有效的匹配点。
从第三帧图像开始，遍历所有有效的匹配点进行跟踪。跟踪过程也就是两帧图像的匹配，求最佳匹配点，判断是否是有效的匹配点。如果是有效匹配点，被认为跟踪成功。
遍历所有跟踪成功的有效点，进行三角化求点在三维空间中的坐标值。请参阅图4，显示为三角化求点的原理。如图4所示，两个摄像头C0和C1，看到空间中点P，投影到各自图像中的像素点坐标为p0和p1。由内参矩阵K和p0点反投影可求出直线C0p0在以C0为原点的摄像机坐标系中坐标，再由TcarInfo_33_to_73转换矩阵可将直线C0p0转换到以C1为原点的摄像机坐标系中。下一步，在以C1为原点的摄像机坐标系中，对直线C0p0和直线C1p1求交点，可求出P点在以C1为原点的摄像机坐标系中的坐标值。
最后，遍历所有有效的跟踪点，三角化求跟踪点的三维坐标值。通过累计，可得到如图5所示摄像头采集原始图像中生成的5A和图B5所示的点云数据效果的前视图和俯视图。
本实施例所述点云数据的生成方法具有以下有益效果：
第一，利用车身信号求得图像帧间转换关系，相比于现有技术优化了求位姿的方案，在测距精度误差<2％的基础上，运行速度优势非常明显，不存在尺度缩放的问题。
第二，由于数据来源是车身信号，且不存在场景退化问题，生成的点云数据性能更鲁棒。
第三，利用四路摄像头进行点云生成，可检测空间中更全的范围。
第四，对计算力要求较小，可无障碍运行在嵌入式平台上。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述点云数据的生成方法。
本领域普通技术人员可以理解计算机可读存储介质：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
实施例二
本实施例提供一种点云数据的生成系统，其特征在于，包括：
获取模块，用于基于车辆的车身信号，获取于同一摄像头下相邻两帧图像时间戳下的车辆位姿转换关系；
提取模块，用于利用环视标定数据，对所采集的图像进行图像处理，以提取所述图像中物体边缘点；
数据生成模块，用于根据相邻两帧图像时间戳时刻的车辆位姿转换关系和所述物体边缘点生成点云数据；所述点云数据用于还原物体轮廓在实际场景中的位置坐标。
以下将结合图示对本实施例所提供的点云数据的生成系统进行详细描述。请参阅图6，显示为点云数据的生成系统于一实施例中的原理结构示意图。如图6所示，所述点云数据的生成系统6包括获取模块61、提取模块62及数据生成模块63。
所述获取模块61用于基于车辆的车身信号，获取于同一摄像头下相邻两帧图像时间戳下的车辆位姿转换关系。
具体地，所述获取模块61计算车身信号时刻下初始时刻到当前时刻的车辆位姿转换关系；以当前图像时间戳为基准，获取当前图像时间戳下的车辆位姿转换关系；根据当前图像时间戳下的车辆位姿转换关系，计算相邻两帧图像时间戳时刻的车辆位姿转换关系。
其中，所述获取模块61以当前图像时间戳为基准，获取当前图像时间戳下的车辆位姿转换关系的过程包括：
以当前图像时间戳为基准，确定与之对应的当前车身信号时刻，于车身信号时刻下初始时刻到当前时刻的车辆位姿转换关系中，查找所述当前车身信号时刻的上一车身信号时刻的车辆位姿转换关系和下一车身信号时刻的车辆位姿转换关系；
根据不同车身信号时刻与上一车身信号时刻/下一车身信号时刻的时间差，计算当前图像时间戳下的车辆位姿转换关系。
所述提取模块62用于利用环视标定数据，对所采集的图像进行图像处理，以提取所述图像中物体边缘点。
具体地，所述提取模块62根据图像采集设备的环视标定数据，对所述图像进行畸变校正，以形成底层图像；基于底层图像，构建图像金字塔；对所述图像金字塔中每一层图像进行像素遍历，计算像素点的梯度值；将像素点的梯度值与预设梯度阈值进行比较，将梯度值大于所述预设梯度阈值的像素点定义为物体边缘点，并从所述图像金字塔的底层由低到高依次提取。其中，图像采集设备的环视标定数据包括图像采集设备的内参数据和外参数据；其中，所述内参数据用于去除图像中的鱼眼畸变和矫正图像偏心；所述外参数据用于将通过内参数据矫正后的图像投影至垂直于地面的平面上，形成所述底层图像。
所述数据生成模块63用于根据相邻两帧图像时间戳时刻的车辆位姿转换关系和所述物体边缘点生成点云数据；所述点云数据用于还原物体轮廓在实际场景中的位置坐标。
具体地，所述数据生成模块63基于相邻两帧图像时间戳时刻的车辆位姿转换关系对所述物体边缘点的运动进行预测，并获取一基线；对所述物体边缘点进行特征描述；从所述基线上搜索每个像素点，并根据特征描述的方式比较搜索的像素点的特征与物体边缘点的特征之间的匹配度，选择所述基线上与所述物体边缘点的特征匹配度最高的点为匹配点；从第三帧图像开始，对匹配点进行跟踪，以获取跟踪成功的有效点；遍历所有跟踪成功的有效点，计算所述有效点的三维坐标，并将该三维坐标转换至图像采集设备的坐标系下，生成所述点云数据。
具体地，所述数据生成模块63遍历所有跟踪成功的有效点，计算所述有效点的三维坐标的过程包括：从跟踪成功的有效点存在的多幅图像中任意选取两幅图像；基于相邻两帧图像时间戳时刻的车辆位姿转换关系，将连接有效点在第一幅图像中的的点坐标与第一幅图像时间戳时刻摄像头坐标的直线，投影为第二幅图像所在坐标系中的一条直线；跟踪点在第二幅图像上的点坐标与第二幅图像时间戳时刻摄像头坐标组成另一条直线；获取两直线的交点坐标，该交点坐标为该有效点在第二幅图像时间戳时刻摄像头坐标系下的三维坐标；对于每一有效点，根据所在任意的两幅图像求取的三维坐标，若位于预设误差范围内时，则将落于预设误差范围内的有效点组成有效收敛点集合，构成点云数据的原始数据；将所有点云数据的原始数据投影在同一坐标系下，生成了最终的点云数据。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
实施例三
本实施例提供一种点云数据的生成设备，该设备包括：处理器、存储器、收发器、通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使点云数据的生成设备执行如实施例一所述点云数据的生成方法的各个步骤。在本实施例中，所述该生成设备与多目图像采集设备(例如，四目摄像头)连接，所述点云数据的生成设备具体为车载终端。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明所述的点云数据的生成方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明还提供一种点云数据的生成系统，所述点云数据的生成系统可以实现本发明所述的点云数据的生成方法，但本发明所述的点云数据的生成方法的实现装置包括但不限于本实施例列举的点云数据的生成系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明所述点云数据的生成方法、系统、设备及计算机可读存储介质具有以下有益效果：
第一，本发明利用车身信号求得图像帧间转换关系，相比于现有技术优化了求位姿的方案，在测距精度误差<2％的基础上，运行速度优势非常明显，不存在尺度缩放的问题。
第二，本发明由于数据来源是车身信号，且不存在场景退化问题，生成的点云数据性能更鲁棒。
第三，本发明利用四路摄像头进行点云生成，可检测空间中更全的范围。
第四，本发明对计算力要求较小，可无障碍运行在嵌入式平台上。
本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (8)

1.一种点云数据的生成方法，其特征在于，包括：
基于车辆的车身信号，获取于同一摄像头下相邻两帧图像时间戳下的车辆位姿转换关系；
利用环视标定数据，对所采集的图像进行图像处理，以提取所述图像中物体边缘点；
根据相邻两帧图像时间戳时刻的车辆位姿转换关系和所述物体边缘点生成点云数据，其中，所述根据相邻两帧图像时间戳时刻的车辆位姿转换关系和所述物体边缘点生成点云数据的步骤包括：基于相邻两帧图像时间戳时刻的车辆位姿转换关系对所述物体边缘点的运动进行预测，并获取一基线；对所述物体边缘点进行特征描述；从所述基线上搜索每个像素点，并根据特征描述的方式比较搜索的像素点的特征与物体边缘点的特征之间的匹配度，选择所述基线上与所述物体边缘点的特征匹配度最高的点为匹配点；从第三帧图像开始，对匹配点进行跟踪，以获取跟踪成功的有效点；遍历所有跟踪成功的有效点，计算所述有效点的三维坐标，并将该三维坐标转换至图像采集设备的坐标系下，生成所述点云数据，其中，计算所述有效点的三维坐标的步骤包括：从跟踪成功的有效点存在的多幅图像中任意选取两幅图像；基于相邻两帧图像时间戳时刻的车辆位姿转换关系，将连接有效点在第一幅图像中的的点坐标与第一幅图像时间戳时刻摄像头坐标的直线，投影为第二幅图像所在坐标系中的一条直线；跟踪点在第二幅图像上的点坐标与第二幅图像时间戳时刻摄像头坐标组成另一条直线；获取两直线的交点坐标，该交点坐标为该有效点在第二幅图像时间戳时刻摄像头坐标系下的三维坐标；对于每一有效点，根据所在任意的两幅图像求取的三维坐标，若位于预设误差范围内时，则将落于预设误差范围内的有效点组成有效收敛点集合，构成点云数据的原始数据；将所有点云数据的原始数据投影在同一坐标系下，生成了最终的点云数据；所述点云数据用于还原物体轮廓在实际场景中的位置坐标。
2.根据权利要求1所述的点云数据的生成方法，其特征在于，所述基于车辆的车身信号，获取于同一摄像头下相邻两帧图像时间戳下的车辆位姿转换关系的步骤包括：
计算车身信号时刻下初始时刻到当前时刻的车辆位姿转换关系；
以当前图像时间戳为基准，获取当前图像时间戳下的车辆位姿转换关系；
根据当前图像时间戳下的车辆位姿转换关系，计算相邻两帧图像时间戳时刻的车辆位姿转换关系。
3.根据权利要求2所述的点云数据的生成方法，其特征在于，所述以当前图像时间戳为基准，获取当前图像时间戳下的车辆位姿转换关系的步骤包括：
以当前图像时间戳为基准，确定与之对应的当前车身信号时刻，于车身信号时刻下初始时刻到当前时刻的车辆位姿转换关系中，查找所述当前车身信号时刻的上一车身信号时刻的车辆位姿转换关系和下一车身信号时刻的车辆位姿转换关系；
根据不同车身信号时刻与上一车身信号时刻/下一车身信号时刻的时间差，计算当前图像时间戳下的车辆位姿转换关系。
4.根据权利要求1所述的点云数据的生成方法，其特征在于，所述利用环视标定数据，对所采集的图像进行图像处理，以提取所述图像中物体边缘点的步骤包括：
根据图像采集设备的环视标定数据，对所述图像进行畸变校正，以形成底层图像；
基于底层图像，构建图像金字塔；
对所述图像金字塔中每一层图像进行像素遍历，计算像素点的梯度值；
将像素点的梯度值与预设梯度阈值进行比较，将梯度值大于所述预设梯度阈值的像素点定义为物体边缘点，并从所述图像金字塔的底层由低到高依次提取。
5.根据权利要求4所述的点云数据的生成方法，其特征在于，图像采集设备的环视标定数据包括图像采集设备的内参数据和外参数据；其中，所述内参数据用于去除图像中的鱼眼畸变和矫正图像偏心；所述外参数据用于将通过内参数据矫正后的图像投影至垂直于地面的平面上，形成所述底层图像。
6.一种点云数据的生成系统，其特征在于，包括：
获取模块，用于基于车辆的车身信号，获取于同一摄像头下相邻两帧图像时间戳下的车辆位姿转换关系；
提取模块，用于利用环视标定数据，对所采集的图像进行图像处理，以提取所述图像中物体边缘点；
数据生成模块，用于根据相邻两帧图像时间戳时刻的车辆位姿转换关系和所述物体边缘点生成点云数据，其中，所述根据相邻两帧图像时间戳时刻的车辆位姿转换关系和所述物体边缘点生成点云数据的步骤包括：基于相邻两帧图像时间戳时刻的车辆位姿转换关系对所述物体边缘点的运动进行预测，并获取一基线；对所述物体边缘点进行特征描述；从所述基线上搜索每个像素点，并根据特征描述的方式比较搜索的像素点的特征与物体边缘点的特征之间的匹配度，选择所述基线上与所述物体边缘点的特征匹配度最高的点为匹配点；从第三帧图像开始，对匹配点进行跟踪，以获取跟踪成功的有效点；遍历所有跟踪成功的有效点，计算所述有效点的三维坐标，并将该三维坐标转换至图像采集设备的坐标系下，生成所述点云数据，其中，计算所述有效点的三维坐标的步骤包括：从跟踪成功的有效点存在的多幅图像中任意选取两幅图像；基于相邻两帧图像时间戳时刻的车辆位姿转换关系，将连接有效点在第一幅图像中的的点坐标与第一幅图像时间戳时刻摄像头坐标的直线，投影为第二幅图像所在坐标系中的一条直线；跟踪点在第二幅图像上的点坐标与第二幅图像时间戳时刻摄像头坐标组成另一条直线；获取两直线的交点坐标，该交点坐标为该有效点在第二幅图像时间戳时刻摄像头坐标系下的三维坐标；对于每一有效点，根据所在任意的两幅图像求取的三维坐标，若位于预设误差范围内时，则将落于预设误差范围内的有效点组成有效收敛点集合，构成点云数据的原始数据；将所有点云数据的原始数据投影在同一坐标系下，生成了最终的点云数据；所述点云数据用于还原物体轮廓在实际场景中的位置坐标。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5中任一项所述点云数据的生成方法。
8.一种点云数据的生成设备，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述生成设备执行如权利要求1至5中任一项所述点云数据的生成方法；
该生成设备与多目图像采集设备连接。
CN202110881869.1A 2021-08-02 2021-08-02 点云数据的生成方法、系统、设备及计算机可读存储介质 Active CN113763560B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110881869.1A CN113763560B (zh) 2021-08-02 2021-08-02 点云数据的生成方法、系统、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110881869.1A CN113763560B (zh) 2021-08-02 2021-08-02 点云数据的生成方法、系统、设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113763560A CN113763560A (zh) 2021-12-07
CN113763560B true CN113763560B (zh) 2024-02-09

Family

ID=78788333

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110881869.1A Active CN113763560B (zh) 2021-08-02 2021-08-02 点云数据的生成方法、系统、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113763560B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729882A (zh) * 2013-12-30 2014-04-16 浙江大学 一种基于三维曲线匹配的点云相对位姿估计方法
CN108090435A (zh) * 2017-12-13 2018-05-29 深圳市航盛电子股份有限公司 一种可停车区域识别方法、系统及介质
CN108759833A (zh) * 2018-04-25 2018-11-06 中国科学院合肥物质科学研究院 一种基于先验地图的智能车辆定位方法
CN110470232A (zh) * 2019-09-04 2019-11-19 合肥市极点科技有限公司 一种测量高度差的方法、装置、测量系统及电子设备
CN110910453A (zh) * 2019-11-28 2020-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN111192303A (zh) * 2020-04-09 2020-05-22 北京三快在线科技有限公司 一种点云数据处理方法及装置
KR20200102108A (ko) * 2019-02-21 2020-08-31 현대모비스 주식회사 차량의 객체 검출 장치 및 방법
CN111750853A (zh) * 2020-06-24 2020-10-09 国汽(北京)智能网联汽车研究院有限公司 一种地图建立方法、装置及存储介质
CN112241007A (zh) * 2020-07-01 2021-01-19 北京新能源汽车技术创新中心有限公司 自动驾驶环境感知传感器的标定方法、布置结构及车辆
WO2021035669A1 (zh) * 2019-08-30 2021-03-04 深圳市大疆创新科技有限公司 位姿预测方法、地图构建方法、可移动平台及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078790B2 (en) * 2017-02-16 2018-09-18 Honda Motor Co., Ltd. Systems for generating parking maps and methods thereof

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103729882A (zh) * 2013-12-30 2014-04-16 浙江大学 一种基于三维曲线匹配的点云相对位姿估计方法
CN108090435A (zh) * 2017-12-13 2018-05-29 深圳市航盛电子股份有限公司 一种可停车区域识别方法、系统及介质
CN108759833A (zh) * 2018-04-25 2018-11-06 中国科学院合肥物质科学研究院 一种基于先验地图的智能车辆定位方法
KR20200102108A (ko) * 2019-02-21 2020-08-31 현대모비스 주식회사 차량의 객체 검출 장치 및 방법
WO2021035669A1 (zh) * 2019-08-30 2021-03-04 深圳市大疆创新科技有限公司 位姿预测方法、地图构建方法、可移动平台及存储介质
CN110470232A (zh) * 2019-09-04 2019-11-19 合肥市极点科技有限公司 一种测量高度差的方法、装置、测量系统及电子设备
CN110910453A (zh) * 2019-11-28 2020-03-24 魔视智能科技(上海)有限公司 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
CN111192303A (zh) * 2020-04-09 2020-05-22 北京三快在线科技有限公司 一种点云数据处理方法及装置
CN111750853A (zh) * 2020-06-24 2020-10-09 国汽(北京)智能网联汽车研究院有限公司 一种地图建立方法、装置及存储介质
CN112241007A (zh) * 2020-07-01 2021-01-19 北京新能源汽车技术创新中心有限公司 自动驾驶环境感知传感器的标定方法、布置结构及车辆

Also Published As

Publication number Publication date
CN113763560A (zh) 2021-12-07

Similar Documents

Publication Publication Date Title
CN112785702B (zh) 一种基于2d激光雷达和双目相机紧耦合的slam方法
JP5926228B2 (ja) 自律車両用の奥行き検知方法及びシステム
CN108520536B (zh) 一种视差图的生成方法、装置及终端
CN110910453B (zh) 基于无重叠视域多相机系统的车辆位姿估计方法及其系统
US10909395B2 (en) Object detection apparatus
US9361696B2 (en) Method of determining a ground plane on the basis of a depth image
JP6574611B2 (ja) 立体画像に基づいて距離情報を求めるためのセンサシステム
US20120308114A1 (en) Voting strategy for visual ego-motion from stereo
JP7502440B2 (ja) 環境のトポグラフィを測定するための方法
CN114179788B (zh) 自动泊车方法、系统、计算机可读存储介质及车机端
KR20090103165A (ko) 모노큘러 모션 스테레오 기반의 주차 공간 검출 장치 및방법
EP3293700A1 (en) 3d reconstruction for vehicle
KR20150074544A (ko) 차량 검출 방법
CN115410167A (zh) 目标检测与语义分割方法、装置、设备及存储介质
CN116310673A (zh) 一种基于点云与图像特征融合的三维目标检测方法
KR20100066952A (ko) 스테레오 비전을 이용하여 장애물을 추적하는 장치 및 방법
CN114648639B (zh) 一种目标车辆的检测方法、系统及装置
CN113763560B (zh) 点云数据的生成方法、系统、设备及计算机可读存储介质
Al-Harasis et al. On the design and implementation of a dual fisheye camera-based surveillance vision system
WO2022141262A1 (en) Object detection
CN115222815A (zh) 障碍物距离检测方法、装置、计算机设备和存储介质
CN113269857A (zh) 坐标系关系获取方法及装置
CN113281770A (zh) 坐标系关系获取方法及装置
EP4345750A1 (en) Position estimation system, position estimation method, and program
Mennillo et al. Multibody reconstruction of the dynamic scene surrounding a vehicle using a wide baseline and multifocal stereo system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant