CN114119724A - 一种调整用于自动驾驶的高度图的网格间距的方法 - Google Patents

一种调整用于自动驾驶的高度图的网格间距的方法 Download PDF

Info

Publication number
CN114119724A
CN114119724A CN202110984397.2A CN202110984397A CN114119724A CN 114119724 A CN114119724 A CN 114119724A CN 202110984397 A CN202110984397 A CN 202110984397A CN 114119724 A CN114119724 A CN 114119724A
Authority
CN
China
Prior art keywords
grid
mesh
height map
height
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110984397.2A
Other languages
English (en)
Inventor
李建畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Kia Corp
Original Assignee
Hyundai Motor Co
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Kia Corp filed Critical Hyundai Motor Co
Publication of CN114119724A publication Critical patent/CN114119724A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009—Priority selection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/50—Barriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/28—Force feedback

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Aviation & Aerospace Engineering (AREA)

Abstract

本发明涉及一种调整用于自动驾驶的高度图的网格间距的方法可以包括：获取车辆前方区域的2D图像，使用存在于2D图像中的物体的深度信息来生成深度图，将生成的深度图转换为3D点云，通过将3D点云映射到具有预定大小的网格上来生成高度图，并考虑车辆与物体之间的行驶状态来调整高度图的网格间距。

Description

一种调整用于自动驾驶的高度图的网格间距的方法
技术领域
本发明涉及一种调整用于自动驾驶的高度图的网格间距的方法。
背景技术
最近，自动驾驶车辆使用通过融合从传感器输出的各种信息将二维(2D)图像转换为基于占用网格的三维(3D)高度图来识别物体的技术。本高度图基于与具有预定大小的占用网格的每个单元相关的高度信息，通过划分为车辆的自由空间区域以及物体所占用的空间区域来识别物体。
在本高度图中，根据占用网格的间距来确定物体识别的准确度。占用网格的间距越大，视差(disparity)分辨率越低，从而导致关于远处物体的3D位置的信息变得不准确，这导致了使用该信息的自动驾驶控制的可靠性降低。
相反，占用网格的间距越小，物体的识别准确度越高。然而，由于需要执行实时计算的车辆软件的数据吞吐量有限，因此无法无限地提高视差的分辨率。当在自动驾驶期间计算处理延迟时，可能无法及时执行判断和控制，这会导致事故发生。
因此，需要开发一种调整高度图的网格间距的方法，以在不降低系统计算速度的情况下提高物体识别的准确度。
本发明背景部分中包括的信息仅仅用于增强对本发明的一般背景的理解，并且不能被视为对该信息形成本领域技术人员已知的现有技术的承认或任何形式的暗示。
发明内容
本发明的各个方面旨在提供一种调整用于自动驾驶的高度图的网格间距的方法，该方法基本上消除了由于现有技术的限制和缺点而造成的一个或多个问题。
实施例提供了一种用于自动驾驶的高度图的网格间距的方法，其根据车辆的行驶状态适当地调整高度图的网格间距，从而准确地识别位于目标区域内的物体运动，并提高系统的计算速度。
然而，示例性实施例将要实现的目的不限于上述目的，并且本领域技术人员通过以下描述将清楚地理解本文未提及的其它目的。
一种根据本发明各个示例型实施例的调整用于自动驾驶的高度图的网格间距的方法可以包括以下步骤：获取车辆前方区域的2D图像，使用存在于2D图像中的物体的深度信息来生成深度图，将生成的深度图转换为3D点云，通过将3D点云映射到具有预定大小的网格上来生成高度图，并考虑车辆与物体之间的行驶状态来调整高度图的网格间距。
该生成步骤可以包括以下步骤：使用映射到高度图的每个网格上的3D点云的数量以及高度信息来计算平均高度。
该方法可以进一步包括以下步骤：根据车辆的运动信息，通过在高度图的当前帧上累积前一帧来判断物体是否为动态障碍物。
该判断步骤可以包括以下步骤：执行形成网格的各单元的平均高度的随机变量标准化，并将随机变量标准化的值与特定标准偏差的边界值进行比较，以检测动态障碍物所在的单元。
该方法可以进一步包括以下步骤：计算动态障碍物与车辆之间的相对距离和车辆与动态障碍物的碰撞时间中的至少一个。
该调整步骤可以包括以下步骤：当相对距离小于或等于预定的第一阈值时，以第一网格调整阶段调整动态障碍物所在单元的网格间距以及与该单元相邻的相邻单元的网格间距。
该调整步骤可以进一步包括以下步骤：当碰撞时间小于或等于预定的第二阈值时，以第二网格调整阶段调整动态障碍物所在单元的网格间距以及与该单元相邻的相邻单元的网格间距。
第一网格调整阶段的网格间距与第二网格调整阶段的网格间距可以彼此不同。
当动态障碍物为多个，即包括多个动态障碍物时，该调整步骤可以包括：考虑动态障碍物的每个运动方向来确定动态障碍物中的每一个的优先级；并且根据所确定的优先级，以不同的方式来调整单元中的每一个的网格间距。
一种根据本发明各个示例型实施例的调整高度图的网格间距的设备可以包括：传感器，被配置为获取车辆前方区域的2D图像；图像处理器，被配置为使用存在于2D图像中的物体的深度信息来生成深度图，将生成的深度图转换为3D点云，并通过将3D点云映射到具有预定大小的网格上来生成高度图；以及网格间距调整器，被配置为考虑车辆与物体之间的行驶状态来调整高度图的网格间距。
本发明的方法和设备具有其它特征和优点，这些特征和优点通过附图将变得显而易见或在附图中更详细地阐述，这些附图并入本文并且与以下的具体实施方式一起用于解释本发明的某些原理。
附图说明
图1是示出根据本发明的各个示例性实施例的调整高度图的网格间距的设备的框图；
图2是示出根据本发明的各个示例性实施例的利用立体三角测量方案来检测存在于2D图像中的物体的深度信息的过程的示图；
图3和图4是示出根据本发明的各个示例性实施例的生成高度图的过程的示图；
图5是示出用于说明根据本发明的各个示例性实施例的使用高度图识别物体的过程的示图；
图6是示出用于说明根据本发明的各个示例性实施例的在高度图的每个单元中累积的高度信息的标准正态分布的示图；
图7是示出根据本发明的各个示例性实施例的调整高度图的网格间距的过程的示图；
图8是示出根据本发明另一示例性实施例的调整高度图的网格间距的过程的示图；以及
图9是根据本发明的各个示例性实施例的调整高度图的网格间距的方法的流程图。
可以理解，附图不一定按比例绘制，其在一定程度上简化了说明本发明的基本原理的各种特征的表示。如本文所包括的本发明的具体设计特征，包括例如具体的大小、方向、位置和形状，将部分地由特别预期的应用和使用环境确定。
在附图中，附图标记指代本发明在整个附图中相同或等同的部分。
具体实施方式
现在将详细参照本发明的各个实施例，其示例在附图中示出并在以下进行描述。虽然将结合本发明的示例性实施例来描述本发明，但是应当理解，本描述并非旨在将本发明限制于那些示例性实施例。另一方面，本发明旨在不仅涵盖本发明的示例性实施例，而且还涵盖可以包括在如所附权利要求所定义的本发明的精神和范围内的各种替代、修改、等同形式和其它实施例。
现在将详细参照实施例，其示例在附图中示出。虽然本发明易于进行各种修改和替代形式，但在附图中通过示例示出了其具体实施例。然而，本发明不应被解释为限于本文阐述的示例性实施例，但另一方面，本发明将涵盖落入实施例的精神和范围内的所有修改、等同和替代形式。
可以理解的是，尽管本文可以使用术语“第一”、“第二”等来描述各种元件，但是这些元件不受这些术语的限制。这些术语通常仅仅用于将一个元件与另一元件区分开。此外，考虑示例性实施例的构造和操作而定义的术语仅仅用于描述实施例，而非定义实施例的范围。
本文使用的术语仅仅用于描述各个示例性实施例，而非旨在限制示例性实施例。除非上下文另外明确指示，否则如本文所使用的，单数形式“一个”、“一种”和“该”也旨在包括复数形式。将进一步理解的是，当在本文中使用术语“包括”、“包括有”“包含”和/或“包含有”时，指定存在所述特征、整体(integer)、步骤、操作、元件、组件或其组合，但不排除存在或添加一个或多个其它特征、整体、步骤、操作、元件、组件或其组合。
除非另外定义，否则本文使用的、包括技术或科学术语的所有术语具有与本领域技术人员通常理解的相同的含义。术语(例如，常用词典中定义的术语)应被解释为具有与相关技术上下文中的术语相同的含义，并且除非在说明书中明确定义，否则不应解释为具有理想化的或过于正式的含义。
在下文中，将参照附图来描述根据示例性实施例的调整高度图的网格间距的设备。
图1是示出根据本发明的各个示例性实施例的调整高度图的网格间距的设备的框图。
参照图1，调整高度图的网格间距的设备100可以包括传感器110、图像处理器120、地图(map)分析器130、计算器140和网格间距调整器150。
传感器110可以包括用于检测存在于车辆附近的物体并测量到物体的距离的外部传感器以及用于实时测量车辆的行驶状态的内部传感器。
外部传感器可以包括用于测量关于物体的深度信息的摄像头以及测距传感器。当外部传感器被配置为用于检测物体和测量距离时，示例性实施例不限于任何特定类型的外部传感器。
摄像头是用于拍摄车辆周围的图像的装置。例如，摄像头可以是设置在车辆的前侧的立体视觉传感器。摄像头可以将车辆前方区域的立体图像传输到图像处理器120。此时，图像处理器120可以将从摄像头传输的立体图像传输到地图分析器130。
测距传感器可以测量车辆到物体的距离或车辆与物体的相对速度，并且可以被实施为雷达传感器或激光雷达(Light Detection and Ranging，LiDAR)传感器。雷达传感器使用电磁波来测量与存在于车辆附近的物体之间的距离、物体的航向、相对速度和物体的高度，并且可以实现远距离识别以及在恶劣天气下执行其功能。LiDAR传感器在道路上向车辆前方的区域发射激光脉冲，并根据从物体等反射的激光脉冲而生成点状LiDAR数据。这种LiDAR雷达传感器具有精确的分辨率，因此主要用于检测存在于车辆附近的物体。
内部传感器可以包括分别用于收集车辆的速度、加速度和转向角的速度传感器、加速度传感器和转向角传感器，并且可以周期性地测量关于各种致动器的状态的信息。
内部传感器可以包括用于测量车辆行驶速度的速度传感器，并且可以进一步包括用于检测6个自由度的运动信息的加速度计和陀螺仪传感器。内部传感器可以周期性地检测关于各种致动器的状态的信息。加速度计可以测量与X、Y和Z轴上的平移自由度相关联的车辆的运动位移(movement displacement)。陀螺仪传感器可以检测与三个轴上的旋转自由度相关联的滚转角速度、俯仰角速度和偏航角速度。加速度计可以设置在三个轴中的每一个上，陀螺仪传感器也可以设置在三个轴中的每一个上。
图像处理器120可以从传感器110的摄像头获得车辆前方区域的2D图像，并且可以使用关于从摄像头或测距传感器获得的前方物体的信息来生成深度图。
在此，图像处理器120可以使用关于前方物体的位置和深度信息将深度图转换为高度图。图像处理器120可以基于由摄像头或测距传感器检测到的前方物体的深度信息来将前方区域的2D图像转换为深度图，并且可以进一步使用关于前方物体的2D位置和深度信息来将深度图转换为3D高度图。
在此，图像处理器120可以将深度图转换为3D点云，并且可以进一步将3D点云转换为高度图。
换言之，图像处理器120可以基于前方区域的2D图像以及关于前方物体的深度信息来检测关于前方物体的3D位置信息，并且可以基于检测到的3D位置信息来将深度图转换为3D点云。
此时，图像处理器120可以使用立体三角测量方案来检测存在于2D图像中的物体的深度信息。这将参照图2进行描述。
图2是示出根据本发明的各个示例性实施例的使用立体三角测量方案来检测存在于2D图像中的物体的深度信息的过程的示图。
如图2所示，立体三角测量方案可以检测立体图像的图像中心点Cl和Cr(即，左图像Ileft和右图像Iright)、分别对应于图像中心点Cl和Cr的摄像头中心点Ol和Or以及分别将摄像头中心点Ol和Or连接到左图像Ileft和右图像Iright的对应点Pl和Pr的线段相交处的点P，作为对应点。
在这种情况下，图像处理器120可以提取从点P到每个摄像头的垂直距离作为深度信息Z。在图2中，深度信息Z可以定义为如下等式1。
[等式1]
Figure BDA0003230105040000071
在等式1中，f代表每个摄像头的焦距，b代表左摄像头和右摄像头之间的距离，d代表左摄像头和右摄像头之间的视差。
按照本方式，图像处理器160可以基于通过从2D图像获得的深度信息而检测的3D位置信息来将深度图转换为3D点云。
此外，图像处理器120可以将3D点云映射到具有预定大小的网格上，计算3D点云的平均高度值，并且将平均高度值作为高度信息添加到网格上，从而生成高度图。在下文中，将参照图3和图4描述从3D点云生成高度图的过程。
图3和图4是示出根据本发明的各个示例性实施例的生成高度图的过程的示图。
参照图3，图像处理器120可以通过将与3D点云的坐标(X，Y)相对应的点映射到具有预定大小的网格的坐标(I，J)上来生成高度图。此处，I代表高度图的X轴坐标，J代表高度图的Y轴坐标。I和J可以定义为如下等式2和等式3。
[等式2]
I＝Floor(PointCloud(X)-HeightMap(Xrange min))×Grid Size
[等式3]
J＝Floor(PointCloud(Y)-HeightMap(Yrange min))×Grid Size
在等式2和3中，Point Cloud代表3D点云的坐标，Xrange min代表X坐标区域的最小值，Yrange min代表Y坐标区域的最小值，Grid Size代表形成高度图网格的单元中的每一个的大小。
当3D点云映射到高度图上时，一些坐标可能没有被映射到高度图的整数坐标上。在这种情况下，这些坐标可以通过将向下取整来映射到高度图的整数坐标上(参照图3中的“向下取整点(Floor Point)”)。
同时，当3D点云映射到高度图上时，存在于3D点云的Z轴上的高度信息可以表示为平均高度信息。
参照图4，如以下等式4所示，图像处理器120可以使用映射到高度图的网格上的3D点云的数量及其高度信息来计算平均高度。
[等式4]
Figure BDA0003230105040000081
在等式4中，K代表高度图的Z轴坐标，Number of Points代表3D点云的数量，PointCloud(Z)代表3D点云的高度信息。
地图分析器130对图像处理器120所生成的高度图进行分析以识别可行驶区域和物体。这将参照图5进行描述。
图5是示出用于说明根据本发明的各个示例性实施例的使用高度图识别物体的过程的示图。
参照图5，地图分析器130可以通过提取存在于高度图中最低位置处的点来估计道路。如果道路是平坦的，则地图分析器130可以使用随机抽样一致(RANSAC)算法来导出表示存在于高度图中最低位置处的点的平面的等式。
地图分析器130基于从高度图估计的道路来识别可行驶区域，并将存在于高于道路的位置处的点识别为物体。此处，地图分析器130可以在与前方区域的图像相关联的高度图上显示可行驶区域和物体。
此外，地图分析器130可以通过使用车辆的运动信息在高度图的当前帧上累积前一帧来判断物体的动态特性。例如，如果在将前一帧累积在当前帧上的状态下观察高度图，则静态障碍物总是位于同一位置，而与静态障碍物不同，动态障碍物不在同一位置。
地图分析器130可以使用内部传感器在6个自由度上检测车辆的运动信息，并且可以通过旋转/运动变换矩阵[R|t]在高度图的当前帧上累积前一帧。此处，旋转/运动变换矩阵[R|t]可以定义为如下等式5。
[等式5]
Figure BDA0003230105040000091
在等式5中，(X′，Y′，Z′)代表当前帧中车辆在3D正交坐标系中的位置，(X，Y，Z)代表前一帧中车辆在3D正交坐标系中的位置，R代表三个轴(滚动、俯仰和偏航)上的旋转自由度，t代表三个轴上的平移自由度(运动位移)。
地图分析器130可以生成关于高度图的累积了前一帧和当前帧的每个单元的高度信息的标准正态分布，并且当存在于特定标准偏差范围之外的高度信息被输入时，判断为相应的单元中存在动态障碍物。这将参照图6进行描述。
图6是示出用于说明根据本发明的各个示例性实施例的在高度图的每个单元中累积的高度信息的标准正态分布的示图。
参照图6，地图分析器130生成在高度图的每个单元中累积的高度信息的标准正态分布，并且当存在于特定标准偏差范围Nσ之外的高度信息被输入时，判断相应的单元中存在动态障碍物。
通常，由于物体存在于路面上，因此物体的高度大于可行驶区域的高度。在观察前一帧和当前帧累积的高度图时，如果前一帧中的可行驶区域由于动态障碍物而变为当前帧中的不可行驶区域，则在相应单元中累积的高度的平均值会增加。因此，当生成关于高度图的每个单元中累积的高度信息的标准正态分布时，关于动态障碍物的当前所在的单元的高度信息位于标准偏差σ较大的标准正态分布中。
地图分析器130可以执行关于形成高度图的各单元的高度信息的随机变量标准化(random variable standardization)Z，并检测满足以下等式6的单元。
[等式6]
Figure BDA0003230105040000101
在等式6中，Z代表随机变量标准化的值，X代表随机变量，μ代表关于可行驶区域或静态障碍物的高度信息的平均值，σ代表关于可行驶区域或静态障碍物的高度信息的标准偏差，N代表标准偏差的边界值。此时，通过实验来设置用于检测动态障碍物的标准偏差的边界值N。
如图所示，关于对应于可行驶区域或静态障碍物的单元的高度信息分布在平均值附近，而关于对应于动态障碍物的单元的高度信息位于标准偏差较大的特定区域(图6中右下角处的阴影区域)。地图分析器130可以通过每个单元上的高度信息的标准正态分布来检测动态障碍物。
同时，计算器140可以计算由地图分析器130检测到的动态障碍物与车辆之间的距离以及碰撞时间(TTC)。此处，TTC可以定义为如下等式7。
[等式7]
Figure BDA0003230105040000111
在等式7中，d代表相对距离，Vego代表车辆的速度，Vobject代表检测到的动态障碍物的速度。
网格间距调整器150可以考虑车辆的行驶状态来调整高度图的网格间距。减小高度图的网格间距提高了分辨率，从而提高了对运动较少的动态障碍物的检测准确度，但增加了计算量。因此，网格间距调整器150根据车辆的行驶状态适当地调整动态障碍物所在单元的相邻单元的网格间距，而不是减小高度图的每个单元的网格间距。这将参照图7和图8进行描述。
图7是示出根据本发明的各个示例性实施例的调整高度图的网格间距的过程的示图。
参照图7，网格间距调整器150从地图分析器130接收关于累积了多个帧的高度图以及动态障碍物所在的单元的信息。此外，网格间距调整器150从计算器140接收与到动态障碍物之间的距离和碰撞时间(TTC)相关的计算信息。网格间距调整器150可以可变地调整动态障碍物所在单元的网格间距以及与相应单元相邻的相邻单元的网格间距。
此时，网格调整阶段(Grid Status)总共包括n个阶段(其中n是2或更大的整数)。根据网格调整阶段的网格间距和网格调整范围可以定义为如下等式8。
[等式8]
Grid Sizeadj＝Grid Sizeint/n
Grid Range＝n2×9
此处，Grid Sizeadj代表调整后的网格间距，Grid Sizeint代表初始网格间距，GridRange代表网格调整范围，n代表网格调整阶段(即，网格调整阶段的数量)的上限值。网格调整阶段的上限值n可以由系统设计者通过实验直接确定，并且网格间距调整器150可以考虑传感器的估计误差和简化为高度图的信息量，基于相应的单元来设置网格调整范围(GridRange)。
如图7所示，随着网格调整阶段设置得更高，网格调整范围增大，调整后的网格间距(Grid Sizeadj)减小，从而可以提高动态障碍物的检测准确度或分辨率。例如，当网格调整阶段被设置为2(Grid Status＝2)时，网格调整范围为36。另一方面，当网格调整阶段被设置为4(Grid Status＝4)时，网格调整范围大大增加到了144。
因此，网格间距调整器150可以以随着与动态障碍物碰撞的风险变高而将网格调整阶段Grid Status设置为更高的方式来提高分辨率。这将参照图8进行描述。
图8是示出根据本发明另一示例性实施例的调整高度图的网格间距的过程的示图。
参照图8，网格间距调整器150可以通过在高度图的当前帧上累积前一帧来估计动态障碍物的运动方向，并且可以考虑动态障碍物的运动方向，根据碰撞的风险来可变地调整网格调整阶段。
网格间距调整器150可以将预测动态障碍物从动态障碍物当前所在的单元未来将移动到的单元的网格调整阶段设置为“n”，并且可以对动态障碍物已经经过的单元应用第n-1个或更低的网格调整阶段。也就是说，网格间距调整器150可以根据车辆的行驶状态适当地调整高度图的网格间距，以便于准确地识别位于目标区域内的物体运动并减少计算量，从而提高系统的计算速度。
另一方面，当车辆前方存在多个动态障碍物时，网格间距调整器150考虑到车辆与每个动态障碍物之间的距离以及车辆与动态障碍物的碰撞时间来确定优先级。对于优先级较高的动态障碍物设置较高的网格调整阶段，对于优先级较低的动态障碍物设置较低的网格调整阶段。
在下文中，将参照图9描述调整高度图的网格间距的方法。
图9是根据本发明的各个示例性实施例的调整高度图的网格间距的方法的流程图。
参照图9，可以使用传感器110来获取车辆前方区域的2D图像(S910)。
此后，可以使用存在于2D图像中的物体的深度信息来生成深度图，并且可以将深度图转换为3D点云(S920)。
随后，可以将3D点云映射到具有预定大小的网格上以生成高度图(S930)。
此后，可以在所生成的高度图的当前帧上累积前一帧以判断物体是否为动态障碍物(S940)。
当物体为静态障碍物(S940中为“否”)时，高度图的网格间距可以保持在初始状态(S942)。
另一方面，当物体为动态障碍物(S940中为“是”)时，可以计算车辆与动态障碍物之间的相对距离，并且判断相对距离是否小于或等于第一阈值(S950)。
当相对距离大于第一阈值(S950中为“否”)时，可以将高度图网格调整阶段设置为“n-2”，并且基于动态障碍物所在的单元来调整网格间距(S952)。此处，n代表网格调整阶段的上限值。
另一方面，当相对距离小于或等于第一阈值(S950中为“是”)时，可以计算车辆与动态障碍物之间的碰撞时间(TTC)，并且判断碰撞时间是否小于或等于第二阈值(S960)。
当碰撞时间大于第二阈值(S950中为“否”)时，可以将高度图网格调整阶段设置为“n-1”，并且基于动态障碍物所在的单元来调整网格间距(S962)。
另一方面，当碰撞时间小于或等于第二阈值(S950中为“是”)时，可以将高度图网格调整阶段设置为“n”，并且基于动态障碍物所在的单元来调整网格间距(S964)。
上述第一阈值和第二阈值以及网格调整阶段的上限值n可以由系统设计者通过实验直接确定。
在本发明的示例性实施例中，图像处理器120、地图分析器130、计算器140和网格间距调整器150可以集成到单个控制器中。
根据上述实施例的调整高度图的网格间距的方法可以被实施为在计算机中运行的程序，并且可以存储在计算机可读记录介质中，计算机可读记录介质的示例可包括只读存储器(ROM)、随机存取存储器(RAM)、光盘ROM(CD-ROM)、磁带、软盘和光学数据存储器件。
计算机可读记录介质还可以分布在联网的计算机系统上，从而以分布式方式存储和运行计算机可读代码。而且，示例性实施例所属领域的程序员可以容易地设计用于完成上述方法的功能程序、代码和代码段。
从以上描述中可以明显看出，根据至少如上所述配置的示例性实施例，可以根据车辆的行驶状态适当地调整高度图的网格间距，以便于准确地识别位于目标区域内的物体运动，并减少计算量，从而提高系统的计算速度。
然而，通过本发明可实现的效果不限于上述效果，本领域技术人员通过以上描述将清楚地理解本文未提及的其它效果。
尽管以上仅仅描述了有限数量的实施例，但是可以存在各种其它实施例。上述实施例的技术内容只要不相互不兼容，就可以组合成各种形式，因此可以在新的实施例中实施。
此外，与诸如“控制器”、“控制单元”、“控制装置”或“控制模块”等的控制装置相关的术语是指包括存储器和处理器的硬件装置，该硬件装置被配置为运行解释为算法结构的一个或多个步骤。存储器存储算法步骤，处理器运行算法步骤以执行根据本发明各个示例性实施例的方法的一个或多个过程。根据本发明的示例性实施例的控制装置可以通过非易失性存储器和处理器来实施，该非易失性存储器被配置为存储用于控制车辆各种组件的操作的算法或存储关于用于运行算法的软件命令的数据，并且该处理器被配置为使用存储在存储器中的数据来执行上述操作。存储器和处理器可以是单独的芯片。可选地，存储器和处理器可以集成在单个芯片中。处理器可以被实施为一个或多个处理器。处理器可以包括各种逻辑电路和运算电路，可以根据从存储器提供的程序来处理数据，并且可以根据处理结果来生成控制信号。
控制装置可以是由预定程序所操作的至少一个微处理器，该预定程序可以包括用于执行本发明的上述各个示例性实施例中包括的方法的一系列命令。
上述发明还可以被实现为计算机可读记录介质上的计算机可读代码。计算机可读记录介质是可以存储随后可以由计算机系统读取的数据的任何数据存储装置。计算机可读记录介质的示例包括硬盘驱动器(HDD)、固态磁盘(SSD)、固态驱动器(SDD)、只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置等，以及作为(例如，通过互联网传输的)载波的实施方案。
在本发明的各个示例性实施例中，上述每个操作可以由控制装置执行，并且控制装置可以由多个控制装置或集成后的单个控制装置配置。
在本发明的各个示例性实施例中，控制装置可以以硬件或软件的形式来实施，或者可以以硬件和软件的组合来实施。
为了便于解释和准确定义所附的权利要求，术语“上”、“下”、“内”、“外”、“上面”、“下面”、“向上”、“向下”、“前”、“后”、“后面”、“内部”、“外部”、“向内地”、“向外地”、“内部的”、“外部的”、“内置”、“外置”、“向前”、“向后”用于参照附图所示的这些特征的位置来描述示例性实施例的特征。将进一步理解的是，术语“连接”或其派生词既指直接连接又指间接连接。
出于说明和描述的目的，已经展示了本发明的特定示例性实施例的前述描述。它们并非旨在穷举或将本发明限制于所公开的精确形式，并且显然可以根据上述教导进行许多修改和变型。选择和描述示例性实施例是为了解释本发明的某些原理及其实际应用，以使本领域的其它技术人员能够实现和利用本发明的各个示例性实施例，以及其各种替代和修改形式。本发明的范围旨在由所附的权利要求及其等同形式来定义。

Claims (19)

1.一种调整用于自动驾驶的高度图的网格间距的方法，所述方法包括以下步骤：
获取车辆前方区域的2D图像；
使用存在于所述2D图像中的物体的深度信息来生成深度图，并且将生成的深度图转换为3D点云；
通过将所述3D点云映射到具有预定大小的网格上来生成高度图；并且
根据车辆与所述物体之间的行驶状态来调整所述高度图的网格间距。
2.根据权利要求1所述的方法，其中，生成步骤包括以下步骤：
使用映射到所述高度图的每个网格上的3D点云的数量以及高度信息来计算平均高度。
3.根据权利要求2所述的方法，进一步包括以下步骤：
根据车辆的运动信息，通过在所述高度图的当前帧上累积前一帧来判断所述物体是否为动态障碍物。
4.根据权利要求3所述的方法，其中，判断所述物体是否为动态障碍物的步骤包括以下步骤：
执行形成网格的各单元的平均高度的随机变量标准化；并且
将所述随机变量标准化的值与特定标准偏差的边界值进行比较，以检测单元之中所述动态障碍物所在的单元。
5.根据权利要求4所述的方法，进一步包括以下步骤：
计算所述动态障碍物与车辆之间的相对距离和车辆与所述动态障碍物的碰撞时间中的至少一个。
6.根据权利要求5所述的方法，其中，调整所述高度图的网格间距的步骤包括以下步骤：
当所述相对距离小于或等于预定的第一阈值时，以第一网格调整阶段调整单元之中的所述动态障碍物所在单元的网格间距以及与所述单元相邻的相邻单元的网格间距。
7.根据权利要求6所述的方法，其中，调整所述高度图的网格间距的步骤进一步包括以下步骤：
当所述碰撞时间小于或等于预定的第二阈值时，以第二网格调整阶段调整单元之中的所述动态障碍物所在单元的网格间距以及与所述单元相邻的相邻单元的网格间距。
8.根据权利要求7所述的方法，其中，所述第一网格调整阶段的网格间距与所述第二网格调整阶段的网格间距彼此不同。
9.根据权利要求4所述的方法，其中，
所述动态障碍物为多个，包括多个所述动态障碍物，并且
调整所述高度图的网格间距的步骤包括：
考虑所述动态障碍物的每个运动方向，确定所述动态障碍物中的每一个的优先级；并且
根据所确定的优先级来不同地调整单元中的每一个的网格间距。
10.一种非暂时性计算机可读记录介质，所述非暂时性计算机可读记录介质中记录了为由处理器运行以执行权利要求1的方法的程序。
11.一种调整高度图的网格间距的设备，所述设备包括：
传感器，获取车辆前方区域的2D图像；
图像处理器，使用存在于所述2D图像中的物体的深度信息来生成深度图，将生成的深度图转换为3D点云，并且通过将所述3D点云映射到具有预定大小的网格上来生成高度图；以及
网格间距调整器，根据车辆与所述物体之间的行驶状态来调整所述高度图的网格间距。
12.根据权利要求11所述的设备，其中，所述图像处理器使用映射到所述高度图的每个网格上的3D点云的数量以及高度信息来计算平均高度。
13.根据权利要求12所述的设备，进一步包括：
地图分析器，根据车辆的运动信息，通过在所述高度图的当前帧上累积前一帧来判断所述物体是否为动态障碍物。
14.根据权利要求13所述的设备，其中，所述地图分析器执行形成网格的各单元的平均高度的随机变量标准化，并且将所述随机变量标准化的值与特定标准偏差的边界值进行比较，以检测单元之中所述动态障碍物所在的单元。
15.根据权利要求14所述的设备，进一步包括：
计算器，计算所述动态障碍物与车辆之间的相对距离和车辆与所述动态障碍物的碰撞时间中的至少一个。
16.根据权利要求15所述的设备，其中，当所述相对距离小于或等于预定的第一阈值时，所述网格间距调整器以第一网格调整阶段调整单元之中的所述动态障碍物所在单元的网格间距以及与所述单元相邻的相邻单元的网格间距。
17.根据权利要求16所述的设备，其中，当所述碰撞时间小于或等于预定的第二阈值时，所述网格间距调整器以第二网格调整阶段调整单元之中的所述动态障碍物所在单元的网格间距以及与所述单元相邻的相邻单元的网格间距。
18.根据权利要求17所述的设备，其中，所述第一网格调整阶段的网格间距与所述第二网格调整阶段的网格间距彼此不同。
19.根据权利要求14所述的设备，其中，
所述动态障碍物为多个，包括多个所述动态障碍物，并且
所述网格间距调整器考虑所述动态障碍物的每个运动方向来确定所述动态障碍物中的每一个的优先级，并且根据所确定的优先级来不同地调整单元中的每一个的网格间距。
CN202110984397.2A 2020-08-26 2021-08-25 一种调整用于自动驾驶的高度图的网格间距的方法 Pending CN114119724A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200108024A KR20220027359A (ko) 2020-08-26 2020-08-26 자율주행을 위한 높이 맵 격자간격 조정방법
KR10-2020-0108024 2020-08-26

Publications (1)

Publication Number Publication Date
CN114119724A true CN114119724A (zh) 2022-03-01

Family

ID=80357129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110984397.2A Pending CN114119724A (zh) 2020-08-26 2021-08-25 一种调整用于自动驾驶的高度图的网格间距的方法

Country Status (3)

Country Link
US (1) US11587286B2 (zh)
KR (1) KR20220027359A (zh)
CN (1) CN114119724A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331131A (zh) * 2022-10-17 2022-11-11 四川腾盾科技有限公司 一种无人机任务规划辅助决策方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2617062A (en) * 2022-03-23 2023-10-04 Aptiv Tech Ltd Sensor processing method, apparatus, computer program product, and automotive sensor system

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004062980A (ja) * 2002-07-29 2004-02-26 Toyota Gakuen 磁性合金、磁気記録媒体、および磁気記録再生装置
JP4539348B2 (ja) * 2004-09-07 2010-09-08 日産自動車株式会社 衝突時間算出装置および障害物検出装置
US20140074614A1 (en) * 2012-09-12 2014-03-13 Globys, Inc. Time series-based entity behavior classification
WO2016077798A1 (en) * 2014-11-16 2016-05-19 Eonite Perception Inc. Systems and methods for augmented reality preparation, processing, and application
US9796390B2 (en) * 2016-02-29 2017-10-24 Faraday&Future Inc. Vehicle sensing grid having dynamic sensing cell size
WO2018035711A1 (zh) * 2016-08-23 2018-03-01 深圳市速腾聚创科技有限公司 目标检测方法及系统
KR102406502B1 (ko) 2016-12-14 2022-06-10 현대자동차주식회사 차량의 협로 주행 안내 장치 및 방법
US11077756B2 (en) * 2017-11-23 2021-08-03 Intel Corporation Area occupancy determining device
US20200049511A1 (en) * 2018-08-07 2020-02-13 Ford Global Technologies, Llc Sensor fusion
US11353577B2 (en) * 2018-09-28 2022-06-07 Zoox, Inc. Radar spatial estimation
US11733353B2 (en) * 2019-11-14 2023-08-22 Nio Technology (Anhui) Co., Ltd. Object detection using local (ground-aware) adaptive region proposals on point clouds
US11625009B2 (en) * 2020-03-26 2023-04-11 Intel Corporation Non-uniform occupancy grid manager

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115331131A (zh) * 2022-10-17 2022-11-11 四川腾盾科技有限公司 一种无人机任务规划辅助决策方法

Also Published As

Publication number Publication date
US20220068017A1 (en) 2022-03-03
KR20220027359A (ko) 2022-03-08
US11587286B2 (en) 2023-02-21

Similar Documents

Publication Publication Date Title
CN112292711B (zh) 关联lidar数据和图像数据
KR102399963B1 (ko) 측방향 경사가 있는 도로 평면 출력
US8564657B2 (en) Object motion detection system based on combining 3D warping techniques and a proper object motion detection
EP3637313A1 (en) Distance estimating method and apparatus
CN109074490B (zh) 通路检测方法、相关装置及计算机可读存储介质
US10074021B2 (en) Object detection apparatus, object detection method, and program
WO2021052403A1 (zh) 一种移动机器人感知障碍信息的方法、装置
US9513108B2 (en) Sensor system for determining distance information based on stereoscopic images
US11062153B2 (en) Apparatus and method for converting image
US11443151B2 (en) Driving assistant system, electronic device, and operation method thereof
CN114119724A (zh) 一种调整用于自动驾驶的高度图的网格间距的方法
CN108021899A (zh) 基于双目相机的车载智能前车防撞预警方法
CN112927309A (zh) 一种车载相机标定方法、装置、车载相机及存储介质
US20220205804A1 (en) Vehicle localisation
JP3633469B2 (ja) 車間距離設定装置
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
WO2022049880A1 (ja) 画像処理装置
US20230294729A1 (en) Method and system for assessment of sensor performance
JP7064400B2 (ja) 物体検知装置
KR102655800B1 (ko) 차량 및 장애물 검출 방법
WO2022160101A1 (zh) 朝向估计方法、装置、可移动平台及可读存储介质
US20230102186A1 (en) Apparatus and method for estimating distance and non-transitory computer-readable medium containing computer program for estimating distance
US20220343536A1 (en) Three-dimensional map estimation apparatus and obstacle detection apparatus
WO2021106510A1 (ja) 障害物認識装置
WO2023285254A1 (en) Generating a filtered point cloud and guiding a vehicle at least in part automatically

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination