CN114820392B - 激光雷达检测的运动目标畸变补偿方法、设备及存储介质 - Google Patents
激光雷达检测的运动目标畸变补偿方法、设备及存储介质 Download PDFInfo
- Publication number
- CN114820392B CN114820392B CN202210738509.0A CN202210738509A CN114820392B CN 114820392 B CN114820392 B CN 114820392B CN 202210738509 A CN202210738509 A CN 202210738509A CN 114820392 B CN114820392 B CN 114820392B
- Authority
- CN
- China
- Prior art keywords
- correction
- moving target
- target
- information
- compensation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000001514 detection method Methods 0.000 title abstract description 5
- 238000012937 correction Methods 0.000 claims abstract description 117
- 239000011159 matrix material Substances 0.000 claims description 22
- 238000004364 calculation method Methods 0.000 claims description 11
- 125000004432 carbon atom Chemical group C* 0.000 claims description 10
- 238000013519 translation Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 238000007796 conventional method Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 2
- 238000000280 densification Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本发明涉及激光雷达技术领域，具体提供一种激光雷达检测的运动目标畸变补偿方法、设备及存储介质，旨在解决现有方法由于运动目标畸变可能导致的运动目标的形状估计不准确的技术问题。为此目的，本发明的激光雷达检测的运动目标畸变补偿方法包括：获取运动目标的运动信息及轮廓信息；基于运动信息判断是否需要对运动目标进行目标畸变补偿；若是，基于轮廓信息和拼接点云图像的拼接信息确定修正区间范围和非修正区间范围；基于修正区间范围确定需要补偿修正的边界轮廓点；对需要进行补偿修正的边界轮廓点进行补偿修正。如此，提高了运动目标形状估计的准确度，使得运动目标的形状估计更加贴近真实障碍物形状。
Description
技术领域
本发明涉及激光雷达技术领域，具体提供一种激光雷达检测的运动目标畸变补偿方法、设备及存储介质。
背景技术
目前，随着自动驾驶感知技术的发展，激光雷达的运用越发广泛。激光雷达通过发射激光来测量周围事物的距离。发射的激光线束越多，感知的区域以及细节就越多，通过让反射的激光转动扫描，就能得到一片区域的三维形态。但是激光雷达成本随着激光线束的增多而提高，如何通过低线束，稀疏的激光呈像来得到良好的检测性能是一个研究方向。
在现有技术中，通过相邻帧点云拼接来使点云稠密化是一种常见处理方式。由于激光雷达低帧率时不能忽视自车运动，需要进行运动畸变矫正，也就是自车运动补偿。常见的方法包括配准算法或者定位传感器辅助方法。这种方式去除了自车运动造成的畸变，但是对于运动目标来说，由于其存在速度，多帧拼接会造成点云膨胀，特别是在运动方向尾部会形成拖影的效果，这就是运动目标畸变。运动目标畸变会导致运动目标的形状估计不准确，甚至高速运动物体可能会分裂成多个障碍物。
相应地，本领域需要一种新的激光雷达检测的运动目标畸变补偿方案来解决上述问题。
发明内容
为了克服上述缺陷，提出了本发明，以提供解决或至少部分地解决现有方法由于运动目标畸变可能导致的运动目标的形状估计不准确的技术问题。本发明提供了一种激光雷达检测的运动目标畸变补偿方法、设备及存储介质。
在第一方面，本发明提供一种激光雷达检测的运动目标畸变补偿方法，其特征在于，包括：获取运动目标的运动信息及轮廓信息，其中，获取所述运动目标的轮廓信息包括获得所述运动目标的相邻多帧点云图像拼接后的拼接点云图像，基于所述拼接点云图像获得所述运动目标的轮廓信息，所述轮廓信息包括多个边界轮廓点；基于所述运动信息判断是否需要对所述运动目标进行目标畸变补偿；若是，基于所述轮廓信息和所述拼接点云图像的拼接信息确定修正区间范围和非修正区间范围；基于所述修正区间范围确定需要补偿修正的所述边界轮廓点；对需要进行补偿修正的所述边界轮廓点进行补偿修正。
在一个实施方式中，所述运动信息包括所述运动目标的速度、速度置信度和跟踪时长，基于所述运动信息判断是否需要对运动目标进行目标畸变补偿包括：在所述运动目标的速度、速度置信度和跟踪时长满足预设条件的情况下，确定需要对运动目标进行目标畸变补偿。
在一个实施方式中，“基于所述轮廓信息和所述拼接点云图像的拼接信息确定修正区间范围和非修正区间范围”包括：基于所述轮廓信息和所述拼接点云图像的拼接信息确定固定距离，所述固定距离的计算公式如下所示：
上式中，
为固定距离，
为所述相邻多帧点云图像进行拼接时上一帧点云图像采集时间至当前帧点云图像采集时间差，
为所述运动目标沿速度方向的轮廓长度，
为所述多帧点云图像采集时间总时长；基于所述固定距离确定可变距离，所述可变距离的计算公式为：
上式中，
为可变距离；基于所述可变距离确定修正区间范围和非修正区间范围。
在一个实施方式中，“对需要进行补偿修正的所述边界轮廓点进行补偿修正”包括：基于所述运动信息和所述拼接信息确定理论修正距离，所述理论修正距离的计算公式如下所示：
上式中，
为所述运动目标的相对速度大小，
为所述多帧点云图像采集时间总时长；基于所述理论修正距离和修正区间范围对需要进行补偿修正的所述边界轮廓点的当前坐标进行修正。
在一个实施方式中，基于所述理论修正距离和修正区间范围对需要进行补偿修正的所述边界轮廓点的当前坐标进行修正包括：确定需要进行补偿修正的所述边界轮廓点的当前坐标是否位于所述修正区间范围；在需要进行补偿修正的所述边界轮廓点的当前坐标位于所述修正区间范围的情况下，以所述当前坐标与所述理论修正距离之和更新所述边界轮廓点的坐标。
在一个实施方式中，在更新后的所述坐标位于所述非修正区间范围的情况下，以所述可变距离作为所述边界轮廓点的最终坐标，在更新后的所述坐标位于所述修正区间范围的情况下，以更新后的所述坐标作为所述边界轮廓点的最终坐标。
在一个实施方式中，还包括：对所述运动目标进行目标畸变补偿之前，将所述运动目标的轮廓信息由大地坐标系转换至局部坐标系，以及在对运动目标进行目标畸变补偿之后，将目标畸变补偿后得到的轮廓信息由局部坐标系转换至大地坐标系。
在一个实施方式中，所述运动目标的运动信息还包括运动目标的速度矢量，所述轮廓信息还包括中心点坐标；对运动目标进行目标畸变补偿之前，将所述运动目标的轮廓信息由大地坐标系转换至局部坐标系包括：以所述运动目标的中心点坐标为坐标原点，速度方向为所述局部坐标系的y坐标方向，垂直于所述速度方向为所述局部坐标系的x坐标方向，以及垂直于xy轴构成的平面方向为所述局部坐标系的z坐标建立局部坐标系；基于旋转矩阵和平移矩阵对所述运动目标的边界轮廓点集合进行转换计算，得到局部坐标系下的边界轮廓点集合，所述旋转矩阵和平移矩阵表示为：
上式中，
为旋转矩阵，
为平移矩阵，
为运动目标的速度矢量，
、
和
分别为运动目标中心点的坐标，
为运动目标沿速度方向轮廓长度。
在第二方面，提供一种电子设备，该电子设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行前述任一项所述的运动目标畸变补偿方法。
在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行前述任一项所述的运动目标畸变补偿方法。
本发明上述一个或多个技术方案，至少具有如下一种或多种有益效果：
本发明中的激光雷达检测的运动目标畸变补偿方法，通过获取的运动信息来判断是否需要对运动目标进行目标畸变补偿，并且在需要进行目标畸变补偿的情况下，首先基于轮廓信息和拼接点云图像的拼接信息确定修正区间范围和非修正区间范围，接着基于修正区间范围确定需要补偿修正的边界轮廓点，最后对需要进行补偿修正的边界轮廓点进行补偿修正，从而得到较为精确地目标边界轮廓，提高了运动目标形状估计的准确度，使得运动目标的形状估计更加贴近真实障碍物形状。
对运动目标进行边界修正之前，将运动目标的轮廓信息由大地坐标系转换至局部坐标系，以使后续对运动目标的边界轮廓点进行修正都是基于局部坐标系来实现，简化了运算操作，提高了目标畸变补偿的执行效率。
附图说明
参照附图，本发明的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本发明的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
图1是根据本发明的一个实施例的运动目标畸变补偿方法的主要步骤流程示意图；
图2是根据本发明的一个实施例的运动目标畸变补偿方法的整体流程示意图；
图3是根据本发明的一个实施例的对运动目标进行边界修正示意图；
图4（a）是根据本发明的一个实施例的对运动目标进行畸变补偿的一个效果示意图；
图4（b）是根据本发明的一个实施例的对运动目标进行畸变补偿的另一个效果示意图；
图4（c）是根据本发明的一个实施例的对运动目标进行畸变补偿的另一个效果示意图；
图5是根据本发明的一个实施例的运电子设备的主要结构框图示意图。
附图标记列表：
11：处理器；12：存储装置。
具体实施方式
下面参照附图来描述本发明的一些实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
在本发明的描述中，“模块”、“处理器”可以包括硬件、软件或者两者的组合。一个模块可以包括硬件电路，各种合适的感应器，通信端口，存储器，也可以包括软件部分，比如程序代码，也可以是软件和硬件的组合。处理器可以是中央处理器、微处理器、图像处理器、数字信号处理器或者其他任何合适的处理器。处理器具有数据和/或信号处理功能。处理器可以以软件方式实现、硬件方式实现或者二者结合方式实现。非暂时性的计算机可读存储介质包括任何合适的可存储程序代码的介质，比如磁碟、硬盘、光碟、闪存、只读存储器、随机存取存储器等等。术语“A和/或B”表示所有可能的A与B的组合，比如只是A、只是B或者A和B。术语“至少一个A或B”或者“A和B中的至少一个”含义与“A和/或B”类似，可以包括只是A、只是B或者A和B。单数形式的术语“一个”、“这个”也可以包含复数形式。
目前传统的方法中，通过相邻帧点云拼接来使点云稠密化是一种常见处理方式。由于激光雷达低帧率时不能忽视自车运动，需要进行运动畸变矫正，也就是自车运动补偿。常见的方法包括配准算法或者定位传感器辅助方法。这种方式去除了自车运动造成的畸变，但是对于运动目标来说，由于其存在速度，多帧拼接会造成点云膨胀，特别是在运动方向尾部会形成拖影的效果，这就是运动目标畸变。运动目标畸变会导致运动目标的形状估计不准确，甚至高速运动物体可能会分裂成多个障碍物。为此，本申请提供了一种激光雷达检测的运动目标畸变补偿方法、设备及存储介质，通过获取的运动信息来判断是否需要对运动目标进行目标畸变补偿，并且在需要进行目标畸变补偿的情况下，首先基于轮廓信息和拼接点云图像的拼接信息确定修正区间范围和非修正区间范围，接着基于修正区间范围确定需要补偿修正的边界轮廓点，最后对需要进行补偿修正的边界轮廓点进行补偿修正，从而得到较为精确地目标边界轮廓，提高了运动目标形状估计的准确度，使得运动目标的形状估计更加贴近真实障碍物形状。
参阅附图1，图1是根据本发明的一个实施例的运动目标畸变补偿方法的主要步骤流程示意图。如图1所示，本发明实施例中的运动目标畸变补偿方法主要包括下列步骤S101-步骤S105。
步骤S101：获取运动目标的运动信息及轮廓信息。具体来说，本申请中的运动目标可以是常见的障碍物目标，该步骤中获取的可以是当前时刻常见的障碍物的运动信息及轮廓信息，其中运动信息包括但不限于运动目标的速度、速度置信度和跟踪时长等，其中速度置信度表示在目标运动估计中速度估计准确性的可信程度。跟踪时长表示对运动目标稳定跟踪的时间长度。其中，运动目标的速度包括运动目标的速度矢量和速度大小。获取运动目标的轮廓信息包括获得运动目标的相邻多帧点云图像拼接后的拼接点云图像，基于拼接点云图像获得运动目标的轮廓信息，轮廓信息包括多个边界轮廓点，这些边界轮廓点的集合组成了边界轮廓，轮廓信息还包括中心点坐标。该步骤中获取运动目标的运动信息及轮廓信息，为后续进行运动目标畸变补偿提供了基础。
通常来说，运动目标的运动信息及轮廓信息以大地坐标系或者车体坐标系表示，为方便计算，可以在对运动目标进行目标畸变补偿之前，将运动目标的轮廓信息由大地坐标系转换至局部坐标系。具体来说，以运动目标的中心点坐标为坐标原点，速度方向为局部坐标系的y坐标方向，垂直于速度方向为局部坐标系的x坐标方向，以及垂直于xy轴构成的平面方向为局部坐标系的z坐标建立局部坐标系。接着基于旋转矩阵和平移矩阵对运动目标的边界轮廓点集合进行转换计算，从而得到局部坐标系下的边界轮廓点集合，在实际应用中，具体的转换也可以采用常规的转换方法来实现，此处不赘述。后续步骤中对于边界轮廓点的坐标修正可以是基于局部坐标系来实现。其中旋转矩阵和平移矩阵表示为：
上式中，
为旋转矩阵，
为平移矩阵，
为运动目标的速度矢量，
、
和
分别为运动目标中心点的坐标。
为运动目标沿速度方向轮廓长度，具体是将运动目标的轮廓信息投影至xy轴组成的平面上得到多边形框图，该多边形框图在y轴投影的最大长度即可认为其是运动目标沿运动方向轮廓长度。
对运动目标进行边界修正之前，将运动目标的轮廓信息由大地坐标系转换至局部坐标系，以使后续对运动目标的边界轮廓点进行修正都是基于局部坐标系来实现，简化了运算操作，提高了目标畸变补偿的执行效率。
步骤S102：基于运动信息判断是否需要对运动目标进行目标畸变补偿。在一个实施方式中，基于运动信息判断是否需要对运动目标进行目标畸变补偿，就是在运动目标的速度、速度置信度和跟踪时长满足预设条件的情况下，确定需要对运动目标进行目标畸变补偿。具体来说，在基于运动信息判断是否需要对运动目标进行目标畸变补偿的过程中，可以首先判断运动目标的速度、速度置信度和跟踪时长是否同时满足预设条件，在目标速度、速度置信度和跟踪时长同时满足预设条件的情况下，则确定需要对运动目标进行目标畸变补偿。这里的预设条件可以是判断目标速度大小是否大于运动目标临界速度阈值、速度置信度是否大于速度置信度阈值以及跟踪时长是否大于跟踪时长阈值，例如，其中，运动目标临界速度阈值、速度置信度阈值以及跟踪时长阈值可以是预先根据试验测量得到的。当然，在一些实施例中，也可以是判断运动目标的速度、速度置信度和跟踪时长中的至少一个满足预设条件即认定为需要对运动目标进行目标畸变补偿，而不是仅限于前述所说的目标速度大小、速度置信度和跟踪时长同时满足预设条件的情况下才确定需要对运动目标进行目标畸变补偿。
具体的当运动目标的速度大于运动物体临界速度阈值，速度置信度大于速度置信度阈值，跟踪时长大于跟踪时长阈值时，该运动目标判定为需要进行目标畸变补偿，执行接下来的步骤，否则，退出。
步骤S103：若是，基于轮廓信息和拼接点云图像的拼接信息确定修正区间范围和非修正区间范围。在一个实施方式中，在基于轮廓信息和拼接点云图像的拼接信息确定修正区间范围和非修正区间范围的过程中，首先基于轮廓信息和拼接点云图像的拼接信息确定固定距离，接着基于固定距离确定可变距离，最后基于可变距离确定修正区间范围和非修正区间范围。其中固定距离和可变距离的计算公式分别如下所示：
上式中，
为固定距离，
为可变距离，
为相邻多帧点云图像进行拼接时上一帧点云图像采集时间至当前帧点云图像采集时间差，
为运动目标沿速度方向的轮廓长度，
为多帧点云图像采集时间总时长。具体的，可以将运动目标边界沿着运动方向分为两个部分，运动方向上头部区域的点是当前时刻实际检测到的部分，不需要去做运动补偿修正，尾部的区域是目标运动造成的畸变，需要去做补偿修正。因此，基于可变距离计算得到修正区间（尾部）的范围为
以及非修正区间（头部）范围为
。
步骤S104：基于修正区间范围确定需要补偿修正的边界轮廓点，具体是判断尾部部分中任一边界轮廓点的y坐标是否位于修正区间范围内，若是，则该边界轮廓点为需要补偿修正的点。
步骤S105：对需要进行补偿修正的边界轮廓点进行补偿修正。在一个实施方式中，对需要进行补偿修正的边界轮廓点进行补偿修正的过程中，首先基于运动信息和拼接信息确定理论修正距离，接着基于理论修正距离和修正区间范围对需要进行补偿修正的边界轮廓点的当前坐标进行修正。其中理论修正距离的计算公式如下所示：
上式中，
为运动目标的相对速度大小，也就是运动目标相对于车体坐标系原点的速度，
为多帧点云图像采集时间总时长。
具体来说，在基于理论修正距离和修正区间范围对需要进行补偿修正的边界轮廓点的当前坐标进行修正的过程中，首先确定需要进行补偿修正的所述边界轮廓点的当前坐标是否位于修正区间范围；在需要进行补偿修正的边界轮廓点的当前坐标位于修正区间范围的情况下，以当前坐标与理论修正距离之和更新边界轮廓点的坐标。具体是在更新后的坐标位于非修正区间范围的情况下，以可变距离作为边界轮廓点的最终坐标，在更新后的坐标位于修正区间范围的情况下，以更新后的坐标作为边界轮廓点的最终坐标。
在一个实施方式中，在基于理论修正距离和修正区间范围对需要进行补偿修正的边界轮廓点的当前坐标进行修正的过程中，首先确定需要进行补偿修正的边界轮廓点的当前纵坐标是否位于修正区间范围；在需要进行补偿修正的边界轮廓点的当前纵坐标位于修正区间范围的情况下，以当前纵坐标与理论修正距离之和更新边界轮廓点的纵坐标。具体是在更新后的纵坐标位于非修正区间范围的情况下，以可变距离作为边界轮廓点的最终纵坐标，在更新后的纵坐标位于修正区间范围的情况下，以更新后的纵坐标作为边界轮廓点的最终纵坐标。示例性地，对于获取的运动目标的所有边界轮廓点，以第
个边界轮廓点作为所有边界轮廓点的示例进行说明，如果当前第
个边界轮廓点的当前纵坐标（
坐标）位于修正区间范围内，计算当前第
个边界轮廓点的修正纵坐标为
，如果
位于非修正区间范围内，则当前第
个边界轮廓点的最终纵坐标为
，如果
位于修正区间范围内，则当前第
个边界轮廓点的最终纵坐标为
。
基于上述步骤S101-步骤S105，通过获取的运动信息来判断是否需要对运动目标进行目标畸变补偿，并且在需要进行目标畸变补偿的情况下，基于获取的运动信息及轮廓信息对运动目标进行目标畸变补偿，从而得到较为精确地目标边界轮廓，提高了运动目标形状估计的准确度，使得运动目标的形状估计更加贴近真实障碍物形状。
如图2所示，对运动目标进行目标畸变补偿之后，还可以将目标畸变补偿后的轮廓信息由局部坐标系转换至大地坐标系并输出给后续模块以执行相应的操作。
示例性地，以图3为例对运动目标边界轮廓点的修正进行举例说明。具体如图3所示，运动目标的轮廓信息为A´ABCD构成的五边形框，其头部部分AA´是当前时刻实际检测到的部分，因此不需要做运动补偿修正。在轮廓信息A´ABCD中除去头部部分AA´的剩余部分为尾部部分，需要对其做畸变补偿。具体是先判断尾部部分中任一边界轮廓点的y坐标是否位于修正区间范围内，若是，则该边界轮廓点为需要补偿修正的点。经过判断可知，边界轮廓点B、C和D三个点是需要进行补偿修正的边界轮廓点。在对边界轮廓点B、C和D进行补偿修正时，先通过公式
分别计算该三个边界轮廓点的修正纵坐标，由于边界轮廓点B的修正纵坐标
位于非修正区间范围内，则其边界轮廓点的最终纵坐标为
，由于边界轮廓点C和D的修正纵坐标
位于修正区间范围内，则边界轮廓点C和D的最终纵坐标为
，最终得到运动目标修正后的边界轮廓为A´A B´C´D´，据此得到的运动目标的边界轮廓更加接近实际形状。
根据本申请中的补偿方法对外部多个障碍物的边界轮廓点进行补偿修正后的效果图可以如图4（a）、4（b）以及4（c）所示，其中，任一图中包含一个带箭头的多边形框，其是对障碍物的边界轮廓点进行修正后得到，通过本申请中的补偿方法进行修正后的障碍物的边界轮廓更加接近真实障碍物的形状。
需要指出的是，尽管上述实施例中将各个步骤按照特定的先后顺序进行了描述，但是本领域技术人员可以理解，为了实现本发明的效果，不同的步骤之间并非必须按照这样的顺序执行，其可以同时（并行）执行或以其他顺序执行，这些变化都在本发明的保护范围之内。
进一步，本发明还提供了一种电子设备。在根据本发明的一个电子设备实施例中，如图5所示，电子设备包括处理器11和存储装置12，存储装置12可以被配置成存储执行上述方法实施例的运动目标畸变补偿方法的程序，处理器11可以被配置成用于执行存储装置中的程序，该程序包括但不限于执行上述方法实施例的运动目标畸变补偿方法的程序。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。
进一步，本发明还提供了一种计算机可读存储介质。在根据本发明的一个计算机可读存储介质实施例中，计算机可读存储介质可以被配置成存储执行上述方法实施例的运动目标畸变补偿方法的程序，该程序可以由处理器加载并运行以实现上述运动目标畸变补偿方法。为了便于说明，仅示出了与本发明实施例相关的部分，具体技术细节未揭示的，请参照本发明实施例方法部分。该计算机可读存储介质可以是包括各种电子设备形成的存储装置设备，可选的，本发明实施例中计算机可读存储介质是非暂时性的计算机可读存储介质。
进一步，应该理解的是，由于各个模块的设定仅仅是为了说明本发明的装置的功能单元，这些模块对应的物理器件可以是处理器本身，或者处理器中软件的一部分，硬件的一部分，或者软件和硬件结合的一部分。因此，图中的各个模块的数量仅仅是示意性的。
本领域技术人员能够理解的是，可以对装置中的各个模块进行适应性地拆分或合并。对具体模块的这种拆分或合并并不会导致技术方案偏离本发明的原理，因此，拆分或合并之后的技术方案都将落入本发明的保护范围内。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (9)
1.一种激光雷达检测的运动目标畸变补偿方法，其特征在于，包括：
获取运动目标的运动信息及轮廓信息，其中，获取所述运动目标的轮廓信息包括获得所述运动目标的相邻多帧点云图像拼接后的拼接点云图像，基于所述拼接点云图像获得所述运动目标的轮廓信息，所述轮廓信息包括多个边界轮廓点；
基于所述运动信息判断是否需要对所述运动目标进行目标畸变补偿；
若是，基于所述轮廓信息和所述拼接点云图像的拼接信息确定修正区间范围和非修正区间范围；
“基于所述轮廓信息和所述拼接点云图像的拼接信息确定修正区间范围和非修正区间范围”包括：
基于所述轮廓信息和所述拼接点云图像的拼接信息确定固定距离，所述固定距离的计算公式如下所示：
上式中，
为固定距离，
为所述相邻多帧点云图像进行拼接时上一帧点云图像采集时间至当前帧点云图像采集时间差，
为所述运动目标沿速度方向的轮廓长度，
为所述多帧点云图像采集时间总时长；
基于所述固定距离确定可变距离，所述可变距离的计算公式为：
上式中，
为可变距离；
基于所述可变距离确定修正区间范围和非修正区间范围；
基于所述修正区间范围确定需要补偿修正的所述边界轮廓点；
对需要进行补偿修正的所述边界轮廓点进行补偿修正。
2.根据权利要求1所述的运动目标畸变补偿方法，其特征在于，所述运动信息包括所述运动目标的速度、速度置信度和跟踪时长，基于所述运动信息判断是否需要对运动目标进行目标畸变补偿包括：
在所述运动目标的速度、速度置信度和跟踪时长满足预设条件的情况下，确定需要对运动目标进行目标畸变补偿。
3.根据权利要求1所述的运动目标畸变补偿方法，其特征在于，“对需要进行补偿修正的所述边界轮廓点进行补偿修正”包括：
基于所述运动信息和所述拼接信息确定理论修正距离，所述理论修正距离的计算公式如下所示：
上式中，
为理论修正距离，
为所述运动目标的相对速度大小，
为所述多帧点云图像采集时间总时长；
基于所述理论修正距离和修正区间范围对需要进行补偿修正的所述边界轮廓点的当前坐标进行修正。
4.根据权利要求3所述的运动目标畸变补偿方法，其特征在于，基于所述理论修正距离和修正区间范围对需要进行补偿修正的所述边界轮廓点的当前坐标进行修正包括：
确定需要进行补偿修正的所述边界轮廓点的当前坐标是否位于所述修正区间范围；
在需要进行补偿修正的所述边界轮廓点的当前坐标位于所述修正区间范围的情况下，以所述当前坐标与所述理论修正距离之和更新所述边界轮廓点的坐标。
5.根据权利要求4所述的运动目标畸变补偿方法，其特征在于，在更新后的所述坐标位于所述非修正区间范围的情况下，以所述可变距离作为所述边界轮廓点的最终坐标，在更新后的所述坐标位于所述修正区间范围的情况下，以更新后的所述坐标作为所述边界轮廓点的最终坐标。
6.根据权利要求1所述的运动目标畸变补偿方法，其特征在于，还包括：对所述运动目标进行目标畸变补偿之前，将所述运动目标的轮廓信息由大地坐标系转换至局部坐标系，以及
在对运动目标进行目标畸变补偿之后，将目标畸变补偿后得到的轮廓信息由局部坐标系转换至大地坐标系。
7.根据权利要求6所述的运动目标畸变补偿方法，其特征在于，所述运动目标的运动信息还包括运动目标的速度矢量，所述轮廓信息还包括中心点坐标；对运动目标进行目标畸变补偿之前，将所述运动目标的轮廓信息由大地坐标系转换至局部坐标系包括：
以所述运动目标的中心点坐标为坐标原点，速度方向为所述局部坐标系的y坐标方向，垂直于所述速度方向为所述局部坐标系的x坐标方向，以及垂直于xy轴构成的平面方向为所述局部坐标系的z坐标建立局部坐标系；
基于旋转矩阵和平移矩阵对所述运动目标的边界轮廓点集合进行转换计算，得到局部坐标系下的边界轮廓点集合，所述旋转矩阵和平移矩阵表示为：
上式中，
为旋转矩阵，
为平移矩阵，
为运动目标的速度矢量，
、
和
分别为运动目标中心点的坐标，
为运动目标沿速度方向轮廓长度。
8.一种电子设备，包括处理器和存储装置，所述存储装置适于存储多条程序代码，其特征在于，所述程序代码适于由所述处理器加载并运行以执行权利要求1至7中任一项所述的运动目标畸变补偿方法。
9.一种计算机可读存储介质，其中存储有多条程序代码，其特征在于，所述程序代码适于由处理器加载并运行以执行权利要求1至7中任一项所述的运动目标畸变补偿方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210738509.0A CN114820392B (zh) | 2022-06-28 | 2022-06-28 | 激光雷达检测的运动目标畸变补偿方法、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210738509.0A CN114820392B (zh) | 2022-06-28 | 2022-06-28 | 激光雷达检测的运动目标畸变补偿方法、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114820392A CN114820392A (zh) | 2022-07-29 |
| CN114820392B true CN114820392B (zh) | 2022-10-18 |
Family
ID=82523521
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210738509.0A Active CN114820392B (zh) | 2022-06-28 | 2022-06-28 | 激光雷达检测的运动目标畸变补偿方法、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114820392B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5638129A (en) * | 1995-03-20 | 1997-06-10 | Daewoo Electronics Co. Ltd. | Image processing apparatus using a pixel-by-pixel motion estimation based on feature points |
| JP2001357409A (ja) * | 2000-06-13 | 2001-12-26 | Canon Inc | 画像処理装置及び画像処理方法並びに記憶媒体 |
| CN108628808A (zh) * | 2018-04-04 | 2018-10-09 | 华南农业大学 | 相机采样点的坐标转换方法 |
| CN110118974A (zh) * | 2019-05-31 | 2019-08-13 | 哈尔滨工业大学（深圳） | 一种基于三维激光增稠机构的多帧融合方法 |
| CN111352112A (zh) * | 2020-05-08 | 2020-06-30 | 泉州装备制造研究所 | 基于视觉、激光雷达和毫米波雷达的目标检测方法 |
| CN112859051A (zh) * | 2021-01-11 | 2021-05-28 | 桂林电子科技大学 | 激光雷达点云运动畸变的矫正方法 |
| CN112882059A (zh) * | 2021-01-08 | 2021-06-01 | 中国船舶重工集团公司第七0七研究所 | 一种基于激光雷达的无人船内河障碍物感知方法 |
| WO2022061850A1 (zh) * | 2020-09-28 | 2022-03-31 | 深圳市大疆创新科技有限公司 | 点云运动畸变修正方法和装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7065242B2 (en) * | 2000-03-28 | 2006-06-20 | Viewpoint Corporation | System and method of three-dimensional image capture and modeling |
| US20050084147A1 (en) * | 2003-10-20 | 2005-04-21 | Groszmann Daniel E. | Method and apparatus for image reconstruction with projection images acquired in a non-circular arc |
| US8953024B2 (en) * | 2012-02-21 | 2015-02-10 | Intellectual Ventures Fund 83 Llc | 3D scene model from collection of images |
| CN116659376A (zh) * | 2021-09-30 | 2023-08-29 | 深圳市速腾聚创科技有限公司 | 动态目标外观尺寸的确定方法及装置 |
-
2022
- 2022-06-28 CN CN202210738509.0A patent/CN114820392B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5638129A (en) * | 1995-03-20 | 1997-06-10 | Daewoo Electronics Co. Ltd. | Image processing apparatus using a pixel-by-pixel motion estimation based on feature points |
| JP2001357409A (ja) * | 2000-06-13 | 2001-12-26 | Canon Inc | 画像処理装置及び画像処理方法並びに記憶媒体 |
| CN108628808A (zh) * | 2018-04-04 | 2018-10-09 | 华南农业大学 | 相机采样点的坐标转换方法 |
| CN110118974A (zh) * | 2019-05-31 | 2019-08-13 | 哈尔滨工业大学（深圳） | 一种基于三维激光增稠机构的多帧融合方法 |
| CN111352112A (zh) * | 2020-05-08 | 2020-06-30 | 泉州装备制造研究所 | 基于视觉、激光雷达和毫米波雷达的目标检测方法 |
| WO2022061850A1 (zh) * | 2020-09-28 | 2022-03-31 | 深圳市大疆创新科技有限公司 | 点云运动畸变修正方法和装置 |
| CN112882059A (zh) * | 2021-01-08 | 2021-06-01 | 中国船舶重工集团公司第七0七研究所 | 一种基于激光雷达的无人船内河障碍物感知方法 |
| CN112859051A (zh) * | 2021-01-11 | 2021-05-28 | 桂林电子科技大学 | 激光雷达点云运动畸变的矫正方法 |
Non-Patent Citations (4)
| Title |
|---|
| 基于深度学习的全景图像和点云融合目标检测与定位系统;王康;《中国优秀博硕士学位论文全文数据库(硕士)工程科技Ⅱ辑》;20211015;全文 * |
| 基于激光点云的动态目标位姿估计研究;卢云鹏;《中国优秀硕士论文电子期刊网 信息科技》;20220315(第03期);全文 * |
| 基于近景工业摄影的三维视觉测量;李云雷等;《制造业自动化》;20150325(第06期);全文 * |
| 相干调频连续波激光雷达畸变补偿技术研究;蔡新雨等;《中国激光》;20201231(第09期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114820392A (zh) | 2022-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107167826B (zh) | 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法 | |
| CN111413721B (zh) | 车辆定位的方法、装置、控制器、智能车和系统 | |
| US8698875B2 (en) | Estimation of panoramic camera orientation relative to a vehicle coordinate frame | |
| KR102054455B1 (ko) | 이종 센서 간의 캘리브레이션 장치 및 방법 | |
| US11227395B2 (en) | Method and apparatus for determining motion vector field, device, storage medium and vehicle | |
| CN110807809A (zh) | 基于点线特征和深度滤波器的轻量级单目视觉定位方法 | |
| CN114217665B (zh) | 一种相机和激光雷达时间同步方法、装置及存储介质 | |
| CN113012197B (zh) | 一种适用于动态交通场景的双目视觉里程计定位方法 | |
| CN114140527B (zh) | 一种基于语义分割的动态环境双目视觉slam方法 | |
| CN110570449A (zh) | 一种基于毫米波雷达与视觉slam的定位与建图方法 | |
| CN113240813B (zh) | 三维点云信息确定方法及装置 | |
| CN111080784A (zh) | 一种基于地面图像纹理的地面三维重建方法和装置 | |
| CN110766761A (zh) | 用于相机标定的方法、装置、设备和存储介质 | |
| US20220277480A1 (en) | Position estimation device, vehicle, position estimation method and position estimation program | |
| KR20230003803A (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
| CN114241062A (zh) | 自动驾驶的相机外参确定方法、装置和计算机可读存储介质 | |
| CN115239822A (zh) | 分体式飞行车辆多模块间实时视觉识别定位方法及系统 | |
| CN113763481B (zh) | 一种移动场景中多相机视觉三维地图构建与自标定方法 | |
| CN113566817B (zh) | 一种车辆定位方法及装置 | |
| US20220390607A1 (en) | Collaborative estimation and correction of lidar boresight alignment error and host vehicle localization error | |
| CN114820392B (zh) | 激光雷达检测的运动目标畸变补偿方法、设备及存储介质 | |
| CN115236643B (zh) | 一种传感器标定方法、系统、装置、电子设备及介质 | |
| CN114485574B (zh) | 基于卡尔曼滤波模型的三线阵影像pos辅助对地定位方法 | |
| CN113126117B (zh) | 一种确定sfm地图绝对尺度的方法及电子设备 | |
| WO2022133986A1 (en) | Accuracy estimation method and system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230712 Address after: 200120, 1st and 2nd floors, No. 7, Lane 999, Haike Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai Patentee after: Neolithic Zhongyan (Shanghai) Technology Co.,Ltd. Address before: 100176 room 613, 6 / F, area 2, building a, 12 Hongda North Road, Beijing Economic and Technological Development Zone, Daxing District, Beijing Patentee before: NEOLIX TECHNOLOGIES Co.,Ltd. |