CN117377888A - 用于校准车辆的传感器信息的方法以及驾驶辅助系统 - Google Patents
用于校准车辆的传感器信息的方法以及驾驶辅助系统 Download PDFInfo
- Publication number
- CN117377888A CN117377888A CN202280037066.0A CN202280037066A CN117377888A CN 117377888 A CN117377888 A CN 117377888A CN 202280037066 A CN202280037066 A CN 202280037066A CN 117377888 A CN117377888 A CN 117377888A
- Authority
- CN
- China
- Prior art keywords
- information
- sensor
- dimensional representation
- environment
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000007613 environmental effect Effects 0.000 claims description 66
- 238000012937 correction Methods 0.000 claims description 43
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 2
- 230000003068 static effect Effects 0.000 description 11
- 238000001514 detection method Methods 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000001914 filtration Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Landscapes
- Traffic Control Systems (AREA)
Abstract
本发明涉及一种用于在线校准车辆(1)的传感器信息的方法,其中,所述车辆(1)具有至少一个第一传感器类型的传感器(2)和至少一个与所述第一传感器类型不同的第二传感器类型的传感器(3)。
Description
技术领域
本发明涉及一种用于在线校准车辆的传感器信息的方法以及一种驾驶辅助系统。
背景技术
对于自主驾驶,尽可能可靠的环境感知是绝对必要的。在此,借助不同传感器类型的传感器、比如至少一个雷达传感器、一个或多个摄像机和优选地还有至少一个激光雷达传感器来检测环境。优选全面地360°来3D地检测环境,从而可以检测车辆环境中的所有静态对象和动态对象。
为了确保可靠的环境检测,尤其是需要传感器彼此间的精确校准。在此,在驾驶期间对于高度自动化的驾驶功能而言,持续地监测传感器系统的校准状态以及(如果需要)重新校准是绝对必要的,这是因为否则会导致自主驾驶功能的失效。
在已知的方法中,传感器相对于车辆的固定点被单独地校准,但整个传感器组并不相对于彼此被校准。这具有的缺点是,通常不能实现自动驾驶功能所需的精确度。
发明内容
由此出发,本发明的任务是,提出一种用于校准车辆的传感器信息的方法,所述方法能够实现可靠的并且高精确度的在线传感器校准,即在车辆驾驶期间能够实现相对于彼此对不同传感器类型的传感器信息的校准。
该任务通过具有独立权利要求1的特征的方法解决。优选的实施方式是从属权利要求的主题。驾驶辅助系统是并列的权利要求15的主题。
根据第一方面,本发明涉及一种用于校准车辆的传感器信息的方法。车辆具有至少一个第一传感器类型的传感器和至少一个与第一传感器类型不同的第二传感器类型的传感器。在此,“不同的传感器类型”意味着,传感器使用不同的方法或技术用于环境检测,例如基于不同类型的电磁波(雷达、激光雷达、超声波、可见光等)来检测环境。
该方法包括以下步骤:
首先,在车辆驾驶期间通过至少一个第一传感器类型的传感器检测环境。在此,通过第一传感器类型的传感器提供第一传感器信息。
同样地,在车辆驾驶期间通过第二传感器类型的至少一个传感器检测环境。在此,通过第二传感器类型的传感器提供第二传感器信息。第一和第二传感器信息的检测可以同时或至少暂时地与时间上的重叠进行。不言而喻,第一和第二传感器信息至少部分地涉及相同的周围区域并且因此至少部分地具有相同的检测区域。
随后,由第一传感器信息产生环境信息的第一三维表示。环境信息的第一三维表示尤其是3D点状云,其基于三维空间中的多个点来反映车辆环境。
此外,由第二传感器信息产生环境信息的第二三维表示。环境信息的第二三维表示尤其又是3D点状云,其基于三维空间中的多个点来反映车辆环境。
随后,将环境信息的第一三维表示和第二三维表示或由其导出的信息进行比较。在本公开文本的上下文中,“比较”特别是被理解为第一三维表示和第二三维表示彼此相关,以便能够检验环境信息的第一三维表示和第二三维表示的重合度。这尤其可以意味着在环境信息的第一三维表示和第二三维表示中确定彼此对应的区域。“由其导出的信息”理解为可以从第一三维表示和第二三维表示中通过任何类型的数据处理获得的任何信息,例如通过数据简化、滤波等。
然后,确定环境信息的第一三维表示和第二三维表示或由其导出的信息之间的偏差。尤其是,可以检验第一三维表示和第二三维表示中的多个对应区域之间是否整体上存在偏差,该偏差可以归因于传感器的不正确校准。因此,例如随着距车辆的距离而增加的第一三维表示和第二三维表示中的对应区域的偏移可能由传感器的滚动、俯仰和/或偏航角中的不正确校准引起。
在确定偏差之后,基于所确定的偏差来计算关于至少一个传感器的校准参数的校正信息。校正信息可以尤其是指示一个或多个传感器的校准需要如何改变,以便实现环境信息的第一三维表示和第二三维表示的改进的重合精确度。
最后,基于所计算的校正信息相对于彼此校准车辆的传感器。传感器的校准尤其包括软件方面的校准,也就是说,由一个或多个传感器提供的传感器信息基于校正信息被适配,使得实现环境信息的第一三维表示和第二三维表示的改善的重合。
应当理解,基于所提出的方法也能够实现多于两种不同的传感器类型的传感器的校准。
所提出的方法的技术优点在于,通过将多个不同的传感器信息转变为环境信息的三维表示,传感器信息彼此可比较并且在此基于在车辆驾驶期间获得的环境信息能够实现传感器的在线校准。由此可以实现传感器的高精确度的校准,该校准对于车辆的自主驾驶功能的安全且精确的环境检测是必要的。
根据一个实施例,环境信息的第一三维表示和第二三维表示是时间离散的信息。换言之,传感器不提供时间连续的信息,而是在离散时间点提供环境信息,例如以特定的时钟速率。在比较环境信息的第一三维表示和第二三维表示或由其导出的信息之前,进行信息彼此的时间同步。由此可以实现,减小环境信息的第一三维表示和第二三维表示之间的重合不精确性,所述重合不精确性由于环境信息通过不同传感器的时间偏移、例如通过不同的时钟速率或不同的检测时间点产生。
对于环境信息的第一三维表示和第二三维表示不能在时间上同步的情况,可以在比较环境信息的第一三维表示和第二三维表示或由其导出的信息之前,在时间离散的信息的两个时间步之间进行信息的插值。由此,可以获得传感器信息或环境信息的三维表示在两个彼此相继的时间步之间的中间值,借助所述中间值可以实现改善的重合精确度。
根据一个实施例,分别将在相同的时间点反映车辆环境的环境信息的第一三维表示和第二三维表示相互比较,并且使用环境信息的第一三维表示和第二三维表示之间的偏差来计算校正信息。尤其是,检验在环境信息的第一三维表示和第二三维表示中的对应信息之间存在多个偏差的情况下,是否可以确定归因于一个或多个传感器的校准误差的这种偏差。如果发现这样的偏差,则可以尝试这样适配一个或多个传感器的校准,使得减小偏差,即增加环境信息的第一三维表示和第二三维表示的重合精确度。
根据一个实施例,关于校准参数的校正信息的计算迭代地进行,并且是这样进行的,即在多个迭代步骤中分别将环境信息的至少一个第一三维表示和第二三维表示相互比较,所述环境信息在相同的时间点反映车辆环境,计算校正信息,并且在将校正信息应用到至少一个传感器的校准参数之后确定关于环境信息的第一三维表示和第二三维表示的重合度的信息。由此可以迭代地改善传感器的校准。
根据一个实施例,在彼此相继的迭代步骤中,迭代地改变校正信息,使得减小环境信息的第一三维表示和第二三维表示之间的重合度误差。例如,在确定校正信息之后在迭代步骤中应用校正信息并且由此改变传感器校准。由此优选地产生环境信息的修改的第一三维表示和/或第二三维表示,所述第一三维表示和/或第二三维在重合度方面被检验。该循环被多次运行,直至达到中断标准。由此可以迭代地改善传感器校准。
根据一个实施例,为了减小重合度误差,应用最小化方法或优化方法。这种方法的一个示例是迭代最近点算法。在执行算法时例如尝试借助旋转和平移使环境信息的第一三维表示和第二三维表示尽可能好地相互重合。例如,确定环境信息的第一三维表示和第二三维表示的彼此对应的点,并且随后例如在所有这些点对上形成距离的平方的和。由此可以获得关于环境信息的三维表示和3D点状云之间的一致性的品质标准。算法的目的是通过改变变换参数(即旋转和平移参数)来最小化该品质标准。由此,可以逐渐地改善通过不同的传感器确定的环境信息的三维表示的重合度。
根据一个实施例,借助在不同时间点所确定的环境信息的多个第一三维表示和第二三维表示来计算关于校准参数的校正信息,以此方式,使得环境信息的多对第一三维表示和第二三维表示相互比较并且计算校正信息,其中一对的环境信息分别在相同的时间点反映车辆环境。通过跨多个时间点的环境信息的第一三维表示和第二三维表示的比较,可以进一步提高传感器校准的精确度。
根据一个实施例,第一传感器类型的传感器是摄像机。摄像机尤其可以构造用于产生二维图像。也可以设置多个第一传感器类型的传感器,以便检测车辆的环境的较大区域。尤其是可以借助第一传感器类型的传感器产生环境的360°表示,即在水平平面中的全方位视野表示。
根据一个实施例,摄像机是单目摄像机,并且从通过摄像机提供的图像信息,从单个图像或时间上彼此相继的二维图像序列计算环境信息的三维表示。
在此,例如可以使用运动结构法、焦点形状法或阴影形状法。替代地,也可以借助神经网络进行深度估计。由此可以获得关于摄像机的二维图像信息的深度信息,所述深度信息被考虑用于产生环境信息的三维表示。运动结构法在此通常从静态环境开始。
替代地,可以使用一个或多个立体摄像机来获得关于二维图像信息的深度信息。
根据一个实施例,基于至少一个摄像机的在时间上彼此相继的图像信息、尤其是二维图像信息的序列,对包含在图像信息中的运动对象进行分割,并且例如在使用专利申请DE 102019 208 216A1中的方法的情况下对分割的对象和静止环境的三维结构和相对运动进行估计。由此,即使在动态环境中也能够以高的精确度确定分割信息和结构信息。所确定的关于环境和运动对象的相对运动的信息可以有利地被引入到所有对象的三维表示的同步中,或者在两个时间步之间的插值中,这导致在确定用于校准参数的校正信息时的更高的精确度。
根据一个实施例,第二传感器类型的传感器是雷达传感器或激光雷达传感器。
根据一个实施例,从环境信息的第一三维表示和第二三维表示中滤除运动对象,使得校正信息的计算仅基于静止对象进行。通过对运动对象进行滤除可以提高传感器校准的精确度,因为在静止对象的情况下可以从环境信息的第一三维表示和第二三维表示之间的偏差中直接推断出传感器之间的校准不精确性。
根据另一实施例,基于仅包含静止对象的环境信息的第一三维表示和第二三维表示的比较以及基于仅包含运动对象的环境信息的第一三维表示和第二三维表示的比较来计算校正信息。由此,除了静止对象之外也可以将运动对象用于计算用于传感器校准的校正信息。然而优选地,应当针对运动对象已知运动信息、例如轨迹或速度,以便能够在计算校正信息时补偿对象的运动。
根据另一方面,本发明涉及一种用于车辆的驾驶辅助系统。驾驶辅助系统具有第一传感器类型的传感器和与第一传感器类型不同的第二传感器类型的至少一个传感器。该驾驶辅助系统被构造用于执行以下步骤:
-在车辆驾驶期间通过至少一个第一传感器类型的传感器检测环境并且通过该第一传感器类型的传感器提供第一传感器信息;
-在车辆驾驶期间通过至少一个第二传感器类型的传感器检测环境并且通过该第二传感器类型的传感器提供第二传感器信息;
-由第一传感器信息创建环境信息的第一三维表示;
-由第二传感器信息创建环境信息的第二三维表示;
-比较环境信息的第一三维表示和第二三维表示或由其导出的信息;
-确定环境信息的第一三维表示和第二三维表示或由其导出的信息之间的偏差;
-基于所确定的偏差计算关于至少一个传感器的校准参数的校正信息;
-基于所计算的校正信息相对于彼此校准所述车辆的传感器。
“环境信息的三维表示”被理解为环境信息在三维坐标系中的任何表示,例如三维空间中的对象区域的离散的空间表示。
在本公开文本的上下文中的术语“3D点状云”被理解为三维空间中的一组点,其中每个点指示对象区域位于该点在三维空间中所处的位置上。
在本公开文本的上下文中的术语“传感器类型”理解为借助根据预给定的检测原理确定环境信息的传感器种类。传感器类型例如可以是摄像机、雷达传感器、激光雷达传感器、超声波传感器等。
表述“近似”、“基本上”或“大约”在本公开文本的上下文中表示分别与精确的值存在+/-10%、优选+/-5%的偏差和/或表示呈对于功能不重要的变化的形式的偏差。
本发明的改进方案、优点和应用可行方案也可以从以下实施例的描述和附图中获得。在此,所有描述的和/或图示的特征本身或以任意的组合原则上是本发明的主题,而与其在权利要求中的概括或其引用无关。权利要求的内容也成为说明书的组成部分。
附图说明
下面借助附图根据实施例详细解释本发明。其中示出:
图1示例性地示出具有驾驶辅助系统的车辆的示意图,所述驾驶辅助系统具有用于检测车辆的环境的不同传感器类型的多个传感器;
图2示例性示出用于阐释用来校准摄像机的传感器信息和雷达和/或UDARS的传感器信息的方法步骤的流程图;并且
图3示例性地示出了用于对不同传感器类型的传感器信息进行在线校准的方法步骤的示意图。
具体实施方式
图1示例性地且示意性地示出了具有驾驶辅助系统的车辆1,所述驾驶辅助系统能够借助不同传感器类型的多个传感器2、3、4实现环境检测。传感器2、3、4的至少一部分能够实现环绕式环境检测(360°环境检测)。
车辆1特别是包括第一传感器类型的至少一个传感器2,所述传感器是雷达传感器。因此,第一传感器类型基于雷达原理。传感器2例如可以设置在车辆的前部区域中。应当理解,第一传感器类型的多个传感器2可以设置成分布在车辆1周围,例如在车辆1的前部区域、后部区域和/或侧部区域中。第一传感器类型的至少一个传感器2产生第一传感器信息。这例如是由雷达传感器提供的原始信息。由这些第一传感器信息产生环境信息的第一三维表示。这尤其可以是3D点状云。在使用第一传感器类型的多个传感器2的情况下,可以基于来自多个或所有这些传感器2的传感器信息来产生环境信息的第一三维表示。
车辆1进一步包括第二传感器类型的至少一个传感器3,其是摄像机。因此,第二传感器类型是“摄像机”类型,即图像获取传感器。传感器3例如可以设置在车辆1的挡风玻璃区域中。应当理解,第二传感器类型的多个传感器3可设置成分布在车辆1周围,例如在车辆1的前部区域、后部区域和/或侧部区域中。第二传感器类型的至少一个传感器3产生第二传感器信息。这些第二传感器信息例如是由摄像机提供的图像信息。摄像机可以提供环境的二维图像信息,即不包含深度信息的图像信息。在这种情况下,可以进一步处理第二传感器信息,即由图像序列的彼此相继的图像中的图像信息的改变获得关于图像信息的深度信息。可以使用对于本领域技术人员而言已知的方法来产生二维图像序列的空间关系。其示例是运动结构法、焦点形状法或阴影形状法。原则上也可以考虑借助神经网络进行深度估计。对于摄像机是立体摄像机的情况,第二传感器信息也可以直接是三维信息,即对于图像的一部分像素或每个像素也具有深度信息。由这些第二传感器信息产生环境信息的第二三维表示。这尤其可以是3D点状云。在使用第二传感器类型的多个传感器3的情况下,可以基于来自多个或所有这些传感器3的传感器信息来产生环境信息的第二三维表示。
车辆1优选地还包括第三传感器类型的至少一个传感器4,其是激光雷达传感器。因此,第三传感器类型基于激光雷达原理。传感器4例如可以设置在车辆1的车顶区域中。应当理解,第三传感器类型的多个传感器4可设置为分布在车辆1上方。第三传感器类型的至少一个传感器4产生第三传感器信息。这些第三传感器信息例如是由激光雷达传感器提供的原始信息。如果第三传感器信息还没有提供环境信息,则从该第三传感器信息产生环境信息的第三三维表示。这尤其可以是3D点状云。在使用第三传感器类型的多个传感器4的情况下,可以基于来自多个或全部传感器4的传感器信息来产生环境信息的第三三维表示。
此外,车辆还包括计算单元5,该计算单元被构造用于进一步处理由传感器2、3、4提供的数据。计算单元可以如图1所示是中央计算单元,或者可以设置多个去中心的计算单元,从而在多个计算单元上分布式地执行下面描述的方法的子任务。
图2示出流程图,其阐释用于相对于彼此校准不同传感器2、3、4的传感器信息的方法的方法步骤。
在步骤S10中,接收至少一个雷达传感器和/或至少一个激光雷达传感器的传感器信息。如果存在雷达传感器和激光雷达传感器,则对于每种传感器类型分开地首先提供传感器信息。
如果这些传感器尚未提供环境信息的三维表示,尤其是3D点状云,则由传感器信息来形成这种三维表示。如果存在雷达传感器和激光雷达传感器,则针对每种传感器类型分开地提供环境信息的三维表示,尤其是3D点状云。3D点状云可由单个传感器的传感器信息形成,或者可通过融合来自相同传感器类型的多个传感器的传感器信息形成。
优选地,在步骤S11中,从雷达传感器的传感器信息获得的3D点状云和(如果存在的话)从激光雷达传感器的传感器信息获得的3D点状云根据静态内容和动态内容进行分开。这尤其是意味着,对于每种传感器类型,分别创建仅包括静态对象的第一3D点状云和仅包括运动对象的第二3D点状云。由此可以从静态对象和运动对象中产生关于校准参数的分开的校正信息。
另外,在步骤S12中,从摄像机接收第二传感器信息。在步骤S13中,由第二传感器信息产生3D点状云。
例如,通过分析一个或多个摄像机的图像序列的时间上彼此相继的图像来进行车辆1的环境的三维重构,例如借助运动结构重构方法进行。
优选地,使用在德国专利申请DE 10 2019 208 216 A1中公开的方法。该专利申请的公开内容全部作为本公开内容的主题。优选地,根据该方法,既完成环境的3D重构或3D点状云的输出,又完成运动对象的分割。由此可以在由至少一个摄像机提供的图像信息中将运动对象和静止对象分开(S14)。此外,借助该方法可以确定运动对象的轨迹以及摄像机系统相对于静止环境的轨迹。通过了解对象的运动,包含运动对象的不同传感器类型的3D点状云也可以彼此相关,并且由此导出用于校准的校正信息。在此,尤其简化了同步和插值步骤,其于是也提供更精确的结果。
在由雷达传感器和/或激光雷达传感器的传感器信息以及由摄像机的传感器信息产生的3D点状云中分开静态内容和动态内容之后,可以仅基于包含静态对象的3D点状云执行进一步的方法步骤,或者产生分别具有静态对象或动态对象的分开的3D点状云,并且针对静态对象和动态对象分开地执行进一步的方法过程,即,将具有静态对象的3D点状云和具有动态对象的3D点状云进行比较并且用于产生用于传感器校准的校正信息。因此,对于具有动态对象的3D点状云和具有静态对象的3D点状云,可以并行地执行下面描述的步骤。
步骤S10/S11和S12/S13/S14,即,由雷达传感器或激光雷达传感器提供的传感器信息和由摄像机提供的传感器信息的处理,可以至少部分地并行地完成。
在步骤S15中,优选地使3D点状云彼此同步,以此方式,使得可以检查它们是否重合。这一方面可以是时间上的同步。可以在不同的时间点生成相应的传感器类型的3D点状云,使得3D点状云中的环境信息由于车辆的运动而在位置上彼此偏移。该偏移可以通过3D点状云的关于时间的同步来校正。此外,可以从多个时间上彼此相继的3D点状云计算中间信息,例如通过插值,以补偿相应传感器类型的3D点状云之间的时间偏移。
随后,在步骤S16中,将3D点状云彼此比较,并且确定3D点状云之间的差异。例如,在待比较的点状云中相互对应的点(即代表环境的场景的相同区域的点)可以相互比较并且确定在这些点之间的距离或其彼此的位置偏移。因此,可以在步骤S18中确定,在驾驶辅助系统的传感器之间存在哪些校准不精确以及哪些校准参数必须改变(例如由于扭转的传感器引起的线性偏移或者偏差)。
随后,在步骤S18中,应用校正信息,即,在基于校正信息修改校准参数之后再次检查3D点状云的重合度,并且对该重合度进行评价。
然后,在步骤S19中,判断是否已经达到足够的重合度。如果否,则重新进行步骤S16至S19。在此,可以执行具有线性梯度下降的最小化方法,例如迭代最近点方法(ICP法)。
在3D点状云之间实现足够的重合度之后,在步骤S20中进行关于传感器的校准参数的校正信息的输出和/或将其应用于传感器校准。
图3示出了阐释用于在线校准车辆传感器的传感器信息的方法的步骤的流程图。
首先,在车辆驾驶期间通过至少一个第一传感器类型的传感器检测环境。此外,通过第一传感器类型的传感器提供第一传感器信息(S30)。
此外,在车辆驾驶期间通过至少一个第二传感器类型的传感器检测环境。在此,通过第二传感器类型的传感器提供第二传感器信息(S31)。步骤S31和S32同时或至少暂时在时间上重叠地予以实施。
随后,由第一传感器信息创建环境信息的第一三维表示(S32)。
与步骤S32同时地或者至少在时间上重叠地,由第二传感器信息产生环境信息的第二三维表示(S33)。
然后,将环境信息的第一三维表示和第二三维表示或由其导出的信息彼此比较(S34)。“导出的信息”在此理解为如下信息,所述信息可以通过修改从第一三维表示或第二三维表示中获得,例如通过滤波、限制到静止的或非静止对象等。
基于比较结果,确定环境信息的第一三维表示和第二三维表示或由其导出的信息之间的偏差(S35)。
基于所确定的偏差,计算关于至少一个传感器的校准参数的校正信息(S36)。
最后,基于所计算的校正信息相对于彼此对车辆的传感器进行校准(S37)。这尤其意味着,不修改车辆上的传感器的位置或定向,而是通过基于校正信息修改3D点状云来进行间接校准。
本发明在前文借助实施例来描述。应当理解,可以进行大量的改变以及变型而不会由此脱离通过权利要求限定的保护范围。
附图标记列表
1车辆
2传感器
3传感器
4传感器
5计算单元
Claims (15)
1.一种用于校准车辆(1)的传感器信息的方法,其中,所述车辆(1)具有第一传感器类型的至少一个传感器(2)和与所述第一传感器类型不同的第二传感器类型的至少一个传感器(3),其中,所述方法包括以下步骤:
-在车辆(1)驾驶期间通过第一传感器类型的至少一个传感器(2)检测环境并且通过第一传感器类型的传感器(2)提供第一传感器信息(S10);
-在车辆(1)驾驶期间通过第二传感器类型的至少一个传感器(3)检测环境并且通过第二传感器类型的传感器(3)提供第二传感器信息(S11);
-由第一传感器信息创建环境信息的第一三维表示(S12);
-由第二传感器信息创建环境信息的第二三维表示(S13);
-比较环境信息的第一三维表示和第二三维表示或由其导出的信息(S14);
-确定环境信息的第一三维表示和第二三维表示或由其导出的信息之间的偏差(S15);
-基于所确定的偏差计算关于至少一个传感器的校准参数的校正信息(S16);
-基于所计算的校正信息相对于彼此校准所述车辆(1)的传感器(2、3)(S17)。
2.根据权利要求1所述的方法,其特征在于,环境信息的第一三维表示和第二三维表示是时间离散的信息,并且,在比较环境信息的第一三维表示和第二三维表示或由其导出的信息之前,进行所述信息彼此间关于时间的同步。
3.根据权利要求1或2所述的方法,其特征在于,环境信息的第一三维表示和第二三维表示是时间离散的信息,并且,在比较环境信息的第一三维表示和第二三维表示或由其导出的信息之前,在所述时间离散的信息的两个时间步之间对信息进行插值。
4.根据前述权利要求中任一项所述的方法,其特征在于,分别将在相同时间点反映车辆环境的环境信息的第一三维表示和第二三维表示相互比较,并且使用环境信息的第一三维表示和第二三维表示之间的偏差来计算校正信息。
5.根据前述权利要求中任一项所述的方法,其特征在于,迭代地计算关于校准参数的校正信息,并且这样进行,即在多个迭代步骤中分别将在相同的时间点反映车辆环境的环境信息的至少一个第一三维表示和第二三维表示相互比较,计算校正信息,并且在将所述校正信息应用于至少一个传感器的校准参数之后确定关于环境信息的第一三维表示和第二三维表示的重合度的信息。
6.根据权利要求5所述的方法,其特征在于,在彼此相继的迭代步骤中,迭代地改变所述校正信息,以此方式减小环境信息的第一三维表示和第二三维表示之间的重合度误差。
7.根据权利要求6所述的方法,其特征在于,使用最小化方法或优化方法以减小重合度误差。
8.根据前述权利要求中任一项所述的方法,其特征在于,借助在不同时间点确定的环境信息的多个第一三维表示和第二三维表示来计算关于校准参数的校正信息,以此方式将环境信息的多对第一三维表示和第二三维表示相互比较并且计算校正信息,其中,一对的环境信息分别在相同时间点反映车辆环境。
9.根据前述权利要求中任一项所述的方法,其特征在于,第一传感器类型的传感器(2)是摄像机。
10.根据权利要求9所述的方法,其特征在于,所述摄像机是单目摄像机,并且由所述摄像机提供的图像信息,由单个图像或时间上彼此相继的二维图像序列来计算环境信息的三维表示。
11.根据权利要求9或10所述的方法,其特征在于,基于至少一个摄像机的在时间上彼此相继的图像信息的序列对包含在所述图像信息中的运动对象进行分割,并且对所分割的对象和静止环境的三维结构和相对运动进行估计。
12.根据前述权利要求中任一项所述的方法,其特征在于,第二传感器类型的传感器(3)是雷达传感器或激光雷达传感器。
13.根据前述权利要求中任一项所述的方法,其特征在于,从环境信息的第一三维表示和第二三维表示中滤除运动对象,使得仅基于静止对象计算校正信息。
14.根据权利要求1至12中任一项所述的方法,其特征在于,基于仅包含静止对象的环境信息的第一三维表示和第二三维表示的比较以及基于仅包含运动对象的环境信息的第一三维表示和第二三维表示的比较来计算校正信息。
15.一种用于车辆(1)的驾驶辅助系统,具有第一传感器类型的传感器(2)和与第一传感器类型不同的第二传感器类型的至少一个传感器(3),其中,所述驾驶辅助系统构造用于执行以下步骤:
-在车辆(1)驾驶期间通过第一传感器类型的至少一个传感器(2)检测环境并且通过第一传感器类型的传感器(2)提供第一传感器信息;
-在车辆(1)驾驶期间通过第二传感器类型的至少一个传感器(3)检测环境并且通过第二传感器类型的传感器(3)提供第二传感器信息;
-由第一传感器信息创建环境信息的第一三维表示;
-由第二传感器信息创建环境信息的第二三维表示;
-比较环境信息的第一三维表示和第二三维表示或由其导出的信息;
-确定环境信息的第一三维表示和第二三维表示或由其导出的信息之间的偏差;
-基于所确定的偏差计算关于至少一个传感器(2、3)的校准参数的校正信息;
-基于所计算的校正信息相对于彼此校准所述车辆(1)的传感器(2、3)。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021109010.5 | 2021-04-12 | ||
DE102021113111.1A DE102021113111A1 (de) | 2021-04-12 | 2021-05-20 | Verfahren zur Kalibrierung von Sensorinformationen eines Fahrzeugs sowie Fahrassistenzsystem |
DE102021113111.1 | 2021-05-20 | ||
PCT/EP2022/059207 WO2022218795A1 (de) | 2021-04-12 | 2022-04-07 | Verfahren zur kalibrierung von sensorinformationen eines fahrzeugs sowie fahrassistenzsystem |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117377888A true CN117377888A (zh) | 2024-01-09 |
Family
ID=89396994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280037066.0A Pending CN117377888A (zh) | 2021-04-12 | 2022-04-07 | 用于校准车辆的传感器信息的方法以及驾驶辅助系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117377888A (zh) |
-
2022
- 2022-04-07 CN CN202280037066.0A patent/CN117377888A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10750150B2 (en) | Methods for automatic registration of 3D image data | |
CN106529495B (zh) | 一种飞行器的障碍物检测方法和装置 | |
EP3367677B1 (en) | Calibration apparatus, calibration method, and calibration program | |
EP3203724B1 (en) | Camera calibration device and camera calibration system | |
US20170339397A1 (en) | Stereo auto-calibration from structure-from-motion | |
JP5049300B2 (ja) | 障害物検出表示装置 | |
US8120644B2 (en) | Method and system for the dynamic calibration of stereovision cameras | |
JP6126809B2 (ja) | エゴモーション概算システムおよび方法 | |
KR102249769B1 (ko) | 2차원 영상의 픽셀별 3차원 좌표값 추정 방법 및 이를 이용한 자율주행정보 추정 방법 | |
CN110751685B (zh) | 深度信息确定方法、确定装置、电子装置和车辆 | |
CN114514412B (zh) | 误差估计装置、误差估计方法、存储介质 | |
CN104075659A (zh) | 一种基于rgb结构光源的三维成像识别方法 | |
JP6396499B2 (ja) | 三次元情報の規模測定 | |
CN115144828A (zh) | 一种智能汽车多传感器时空融合的自动在线标定方法 | |
CN114556157A (zh) | 同步装置、同步方法、同步程序 | |
CN117377888A (zh) | 用于校准车辆的传感器信息的方法以及驾驶辅助系统 | |
WO2021063756A1 (en) | Improved trajectory estimation based on ground truth | |
EP3866110A1 (en) | Target detection method, target detection apparatus and unmanned aerial vehicle | |
US20240192316A1 (en) | Method for calibrating sensor information from a vehicle, and vehicle assistance system | |
KR101042171B1 (ko) | 입체영상 카메라의 관심물체 주시각 제어방법 및 장치 | |
JPH0981790A (ja) | 三次元形状復元装置および方法 | |
US20230298474A1 (en) | Method for Safely Determining a Flight Path of an Unmanned Aerial Vehicle, and Unmanned Aerial Vehicle | |
US20230421739A1 (en) | Robust Stereo Camera Image Processing Method and System | |
CN117649619B (zh) | 无人机视觉导航定位回收方法、系统、装置及可读存储介质 | |
CN116052121B (zh) | 一种基于距离预估的多传感目标检测融合方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |