CN114252887A - 求取环境感测系统运行参数的方法、环境感测系统和控制器 - Google Patents

Abstract

本发明涉及一种用于求取用于运行车辆(100)的环境感测系统(105)的运行参数的方法，其中，所述环境感测系统(105)具有投影装置(110)和图像感测装置(115)。所述方法(200)包括给至所述投影装置(110)的接口提供投影信号的步骤，其中，所述投影信号具有控制参数用以将光图案(125)投影到所述车辆(100)的环境区域(130)中。在读入步骤中，通过至所述图像感测装置(115)的接口读入图像数据，其中，所述图像数据包括被投影到所述环境区域(130)中的光图案(125)。此外，所述方法包括通过使用处理规程来处理所述图像数据的步骤，以便求取所述运行参数。本发明还涉及一种控制器、环境感测系统和存储介质。

Description

求取环境感测系统运行参数的方法、环境感测系统和控制器

技术领域

本发明从一种用于求取用于运行车辆的环境感测系统的运行参数的方法和控制器以及一种环境感测系统出发。本发明的主题也涉及一种计算机程序。

背景技术

就自主或者高度自动化行驶而言，现今的车辆具有大量的驾驶辅助系统，这些驾驶辅助系统通常是基于摄像机的，使得这样的车辆具有至少一个摄像机或者至少一个摄像机模块。

发明内容

在此背景下，通过在这里所提出的方案，提出一种用于求取用于运行车辆的环境感测系统的运行参数的改进方法，此外提出一种使用该方法的控制器以及最后提出一种相应的计算机程序和一种改进的环境感测系统。通过优选实施方式中所列举的措施实现本发明的有利拓展方案和改进方案。

通过这里所提出的方案实现一种在车辆的环境感测系统中改进例如运行误差或运行损害或者参数偏差的识别和补偿的可能性。此外，例如可以改进尤其在可见度条件差的情况下的环境感测系统运行功能。同时，通过这里所提出的方案可以提高行驶安全性或交通安全性。

提出一种用于求取用于运行车辆的环境感测系统的运行参数的方法。环境感测系统具有投影装置及图像感测装置。该方法包括给至投影装置的接口提供投影信号的步骤，其中，该投影信号具有控制参数，用以将光图案投影到车辆的环境区域中。此外，该方法包括通过至图像感测装置的接口读入图像数据的步骤，其中，图像数据(尤其)包括被投影到环境区域中的光图案。在处理步骤中，通过使用处理规程(Verarbeitungsvorschrift)处理图像数据，以便求取运行参数。

例如，环境感测系统可以实现为在车辆中与驾驶员辅助系统相关联。车辆例如可以成形为乘用车、载重车或者例如商用车。替代地，车辆也可以实现为单车辙的行驶工具。投影装置例如可以包括至少一个光源、例如基于激光的光源。例如，图像感测装置可以实现为摄像机。

根据一种实施方式，在处理步骤中可以求取运行参数，所述运行参数可以构造为用于，引起图像感测装置的补充聚焦、由图像数据代表的图像的补充锐化和附加地或替代地引起图像感测装置的补充校准。有利地，可以由此求取例如图像感测装置的当前状态和因而求取其功能。

根据一种实施方式，在提供步骤中可以提供投影信号，以便投影光图案，该光图案可以代表光点结构、光带结构和附加地或者替代地代表光点云或者其他几何结构。在此，光图案可以投影到车辆外部区域中。光图案可以具有至少一个预限定的几何特性。有利地，可以可靠地求取和消除图像感测装置的功能中的非期望偏差。

此外，在处理步骤中，处理规程可以引起图像数据的至少一个图像参数与所保存的期望值的比较，以便得到比较结果，其中，可以通过使用比较结果来求取运行参数。期望值可以与投影信号的控制参数处于预限定的关联中。有利地，由此可以确定：图像感测装置例如在大量图像区域中是否调设得清晰。

根据一种实施方式，在处理步骤中，处理规程可以引起对由图像数据代表的图像中的至少一个不清晰值的计算，其中，可以通过使用不清晰值求取运行参数。由此，接着可以有利地通过操纵自动聚焦装置来克服现有的不清晰。

此外，在处理步骤中，处理规程可以构造为用于，求取脉冲响应函数。有利地，可以求取点扩散函数和附加地或者替代地求取针对至少一个光点的脉冲响应函数。

根据一种实施方式，在提供步骤中可以提供投影信号，以便能够将光图案投影到车辆环境中的对象空间中。尤其，对象空间可以布置在车辆外部。

根据一种实施方式，该方法的步骤可以重复地和附加地或替代地连续执行。由此，可以例如按时间间隔重新校准图像感测装置并且附加地或替代地可以更新图像感测装置的调设。

该方法例如可以以软件或者硬件或者以软件和硬件的混合形式例如在控制器中实现。

此外，在这里提出的方案实现了一种控制器，该控制器构造为用于，在相应的装置中执行、操控或实现在这里所提出的方法的变型的步骤。通过本发明的呈控制器形式的这种实施方式变型也可以快速且有效地解决本发明所基于的任务。

为此，控制器可以具有至少一个用于处理信号或数据的计算单元、至少一个用于存储信号或数据的存储器单元、至少一个用于从传感器读入传感器信号或者用于将控制信号输出给促动器的接口和/或至少一个用于读入或者输出被嵌入到通信协议中的数据的通信接口。计算单元例如可以是信号处理器、微控制器或者类似物，其中，存储器单元可以是闪存、EEPROM或磁性存储器单元。通信接口可以构造为用于，无线地和/或有线地读入或者输出数据，其中，可以有线地读入或输出数据的通信接口例如可以以电学或光学方式从相应的数据传输导线读入这些数据或将这些数据输出到相应的数据传输导线中。

当前，控制器可以理解电器具，所述电器具处理传感器信号并且根据这些传感器信号输出控制信号和/或数据信号。控制器可以具有可以以硬件方式和/或软件方式构造的接口。在以硬件方式构造的情况下，这些接口例如可以是所谓的系统ASIC的包含控制器的各种功能的部分。然而也可能的是，接口是自身的集成电路或者至少部分地由分立的结构元件组成。在以软件方式构造的情况下，接口可以是例如在微控制器上与其他软件模块并存的软件模块。

有利地，也提出一种计算机程序产品或具有程序代码的计算机程序，所述程序代码可以存储在机器可读的载体或者存储介质，例如半导体存储器、硬盘存储器或光学存储器上，并且所述程序代码被用于，尤其当该程序产品或程序在计算机或者设备上实施时，执行、实现和/或操控根据前述实施方式中任一项所述的方法的步骤。

此外，提出一种车辆的环境感测系统，其中，该环境感测系统具有用于将光图案投影到车辆的环境区域中的投影装置、用于感测代表被投影到环境区域中的光图案的图像数据的图像感测装置和先前所提到的变型中的控制器，其中，该控制器能传输信号地与投影装置和图像感测装置连接。

有利地，控制器可以构造为用于运行环境感测系统。此外，环境感测系统可以有利地低成本地实现，因为例如构件数量保持不变。

根据一个实施例，投影装置可以实施为激光雷达系统。有利地，投影装置可以例如在车辆中被用于多种功能。

此外，投影装置可以与车辆的前照灯相邻地布置，例如集成在车辆的前照灯中，或者与图像感测装置相邻地布置。有利地，通过投影装置的合适位置和附加地或替代地图像感测装置的合适位置可以照射和感测待照明的对象空间。

附图说明

在附图中示出并且在下面的说明书中更详尽地阐述这里所提出的方案的实施例。附图示出：

图1示出具有环境感测系统的车辆的部分示意性示图；

图2示出用于求取用于运行车辆的环境感测系统的运行参数的方法的实施例的流程图；和

图3示出根据一个实施例的控制器的方框图。

具体实施方式

在下面对本发明的有利实施例的说明中，对于在不同附图中示出且相似起作用的元件使用相同或者相似的附图标记，其中，省去对这些元件的重复说明。

图1示出具有环境感测系统105的车辆100的部分示意性示图。根据该实施例，车辆100实现为轿车。替代地，车辆100也可以实现为商用车或者载重车。环境感测系统105例如可以与移动电话相关联地使用在消费领域中，但例如也可以与安全性系统相关联地使用或者用于科学应用。在这里所示出的图示中，环境感测系统105与车辆100的至少一个驾驶员辅助系统结合地使用。为此，环境感测系统105具有投影装置110、图像感测装置115以及控制器120。投影装置110构造为用于，将光图案125投影到车辆100的环境区域130中。图像感测装置115构造为用于，感测代表被投影到环境区域130中的光图案125的图像数据。控制器120能传递信号地与投影装置110和图像感测装置115连接并且构造为用于，操控或者执行用于求取用于运行环境感测系统105的运行参数的方法，如在后面的附图中详尽地阐述的那样。根据该实施例，投影装置110仅可选地实施为激光雷达系统并且例如与图像感测装置115相邻地布置。替代地，投影装置110可以与车辆100的前照灯135相邻地布置或者集成地布置在其中。

换言之，通过在这里所提出的方案提出一种可能性，以便通过使用在这里被称为光图案125的投影光结构来调设或者执行图像感测装置115的自动聚焦和/或校准和/或例如基于软件对摄像机图像的补充锐化。

根据该实施例，在这里被称为图像感测装置115的摄像机用于驾驶员辅助系统和/或与高度自动化驾驶相关联地使用。因此，该图像感测装置在非常长的使用寿命上给进行进一步处理的算法提供清晰的图像。尤其当图像感测装置115的物镜的图像平面与摄像机传感器重合时，图像是清晰的。如果这没有达到足够的程度，则可以在后续的图像处理中补充地使用滤波器，以提高图像清晰度，以便改进算法的探测品质。如果图像平面例如位于该传感器的上方或下方，则图像清晰度下降。但是，在图像还足够清晰的图像平面周围存在被称为聚焦深度(“Depth of Focus”，缩写DOF)的公差范围。

在校准程序期间，应知道图像信息和真实世界几何形状之间的关系。这例如通过在工厂中的内部校准和在客户处的外部校准来确保，使得将图像中的每个像素配属给一个真实的角度区域。例如，为了校准图像感测装置115，对地点已知的光源的图像进行拍摄，这被称作内部校准。在此，应以足够高的精度知道光源的空间位置。最后，通过光源位置和在摄像机图像中成像的光源的位置的比较来建立校准参考。

在此背景下，通过所提出的方案，提出用于车辆100的图像感测装置115，其中，图像感测装置115例如包括自动聚焦功能。此外，通过在这里提出的方案，通过软件来修正光具的不同成像误差。为此，求取成像特性和成像误差，例如与视场角有关的脉冲响应函数。

根据该实施例，投影装置110具有发射器。发射器发射例如具有已知位置的点云，所述点云由图像感测装置115探测并且例如用于校准和/或用于补充锐化。用于结构化的光图案125的发射器例如实施为车辆100中已实现的激光雷达系统，这也被称作“传感器融合”。该激光雷达系统例如具有经校准的红外光源并且可以根据激光雷达信号的传播时间测量生成3D点云。这可能使得能在行驶期间或者在每次车辆起动时实现视频系统的校准。为了例如实现为视频系统的图像感测装置115可以用激光雷达信号来工作，光具应设计为例如借助于物镜和滤色罩而对于激光雷达系统的也被称作NIR光波长的红外光波长是透射的和/或摄像机传感器应设计为是吸收的。可以设想，激光雷达和摄像机相互间校准和进行可信性检验。激光雷达光源向大空间角区域中发射对于人类不可见的激光束。激光雷达系统测量激光脉冲的传播时间并且由此对每个激光脉冲计算被反射的表面的精确的地点坐标。现代的激光雷达系统能发射非常多的激光点，例如借助于合适的局部扫描率来发射，使得通过密集的点云在三个维度中描述周围环境。

替代地，用于结构化的光图案125的发射器成形为例如布置在图像感测装置115旁边或者布置在前照灯135上的自身元件。如果该元件紧挨着图像感测装置115安装，则减少在进行发射的器具和图像感测装置115之间的视差。可选地，例如在车辆100的每个开动过程中，发射器可选地在可见光谱范围内运行。在激光雷达的变型中可证实，摄像机传感器的物镜以及滤色罩对激光雷达波长来说是可透过的。因此，通过传感器的物镜和滤色器阵列的透射特性可证实在视频摄像机中接收到激光雷达信号。

此外，替代地，用于结构化的光图案125的发射器不是固定地安装在车辆100上，而是可取下地已成形或者可成形。在这种情况下，在车辆100上存在着相应地准确的固定架。在去到车间的情况下，能临时地安装例如相应的投影器具并且随后再将其移除，以便校准图像感测装置115。

图2示出根据一个实施例的用于求取用于运行车辆的环境感测系统的运行参数的方法200的流程图。在此，方法200可在如图1中已说明的那样具有环境感测系统的车辆中执行。方法200包括提供步骤205、读入步骤210和处理步骤215。在提供步骤205中，给至投影装置的接口提供投影信号。在此，投影信号具有控制参数用以将光图案投影到车辆的环境区域中。在读入步骤210中，通过至图像感测装置的接口读入图像数据。在此，图像数据尤其包括被投影到环境区域中的光图案。此外，在处理步骤215中，通过使用处理规程来处理图像数据，以便求取运行参数。

根据该实施例，重复和/或连续重复地执行方法200的步骤205，210，215。由此，例如能够按时间间隔实现更新，使得保持运行参数是实时的。例如换言之，通过重复步骤205、210、215实现调节循环。可选地，在提供步骤205中，提供投影信号，以便将光图案投影到车辆环境中的对象空间中。在此，对象空间布置在车辆外部，例如布置在车辆前部。在此，光图案例如代表光点结构、光带结构和/或光点云，或者其他几何结构。此外可选地，在处理步骤215中求取运行参数，所述运行参数构造为用于，引起图像感测装置的补充聚焦、由图像数据代表的图像的补充锐化和/或图像感测装置的补充校准。为此，例如，处理规程在处理步骤215中引起图像数据的至少一个图像参数与所保存的期望值的比较，以便得到比较结果。根据该实施例，通过使用比较结果来求取运行参数。附加地或替代地，处理规程引起对由图像数据所代表的图像中的至少一个不清晰值的计算。在这种情况下，通过使用不清晰值求取运行参数。处理规程例如构造为用于，求取脉冲响应函数。根据该实施例，这些运行参数分别针对对象空间中的至少一个光点来求取。

图3示出根据一个实施例的控制器120的方框图。控制器120例如可以在如图1中所说明那样的车辆中使用并且与此相应地例如成形为环境感测装置105的一部分。在此，控制器120构造为用于，实施和/或操控例如图2中所说明的方法的步骤。为此，根据该实施例，控制器120具有提供单元305、读入单元310和处理单元315。提供单元305构造为用于，给至投影装置110的接口提供投影信号320。投影信号320具有控制参数用以将光图案投影到车辆的环境区域中。读入单元310构造为用于，通过至图像感测装置115的接口读入图像数据325。在此，图像数据325还包含被投影到环境区域中的光图案。此外，处理单元315构造为用于，通过使用处理规程330处理图像数据325，以便求取运行参数335。

参照以上所说明的附图，随后用另外的语言并且概括地再次解释或者提出一些实施例和这些实施例的背景。

例如，环境感测系统105可以与车辆100的安全性相关的功能相关联地使用。根据一个实施例，光源例如作为投影装置110的一部分安装在车辆100中，所述光源将在此被称为光图案125的精确结构，例如点、点云或带，投影到外部世界。光图案125又被例如用于驾驶员辅助系统或高度自动化行驶的图像感测装置115探测到，并且例如将所成像结构的清晰度与所保存的期望值比较。例如，根据所获得的信息计算出图像中的不清晰度或者至少一个成像误差。因此，环境感测系统105求取不同的图像区域中的清晰性能。所获得的信息例如被用于，判断：是否应使图像感测装置115补充聚焦。补充聚焦的过程也可用调节循环来监控。

可选地，通过使用光图案125例如求取光具的近似PSF(Point Spread Function，点扩散函数、脉冲响应函数；或PSF的量值)。这可同时对对象空间中的多个点来执行。所获得的信息，例如地点相关的PSF例如被用于图像的更好的补充锐化。

换言之，光源安装在车辆100中，所述光源将精确结构投影到外部世界，这些精确结构可选地在车辆100的整个使用寿命上又被用于驾驶员辅助系统或者高度自动化行驶的图像感测装置115探测到。也被称作计算单元的控制器120可以根据摄像机图像中的光点的图像位置信息在图像感测装置115的内部校准和/或外部校准中进行修正。因此，可以将光点位置的应有值与例如出厂时的实际值比较。图像感测装置115探测到这些结构并将它们例如与它们的期望值比较，所述期望值例如已通过经由集成在车辆100中的激光雷达系统通过激光脉冲传播时间测量来感测。因此，图像感测装置115根据激光雷达信号被校准，并且检查其校准是否继续正确。此外可选地，该图像感测装置例如在由个人使用期间在现场连续地补充校准。

优点例如在于，在考虑整个系统而不是仅考虑物镜的背景下通过软件提高了补充锐化的质量。此外有利的是，整个系统的连续散射具有较小影响，因为每个系统自行校准，并且总是求取当前状态而不是制造日期的状态。此外有利地，能够提高例如在夜间和/或对比度低的情况下的自动聚焦可用性。此外，提高关于“图像感测装置115在所有图像区域中足够清晰”的置信度。此外，通过在这里所提出的方案使得还能识别摄像机缺陷或者失效的图像区域，例如成像问题以及通过例如更简单的整个系统校准来提高精确度。此外，例如通过更高的算法置信度能够实现驾驶员辅助功能的较高安全性和改进的舒适性。仅可选地，能对由于温度和使用寿命效应引起的内在特性改变进行修正，由此也实现在使用寿命上的较高精度。

通过所提出的方案能实现对于至今所使用的内部校准的替代方案。至今，内部校准是成本密集的且与费事的测量台相关联。此外，这种内部校准是耗时的且受技术限制。例如挡风玻璃板的影响，例如外观面、粗略的公差和玻璃形状的和/或玻璃质量的工艺波动可能降低校准精度。这种效果-尤其在视场角度

大的情况下-特别强烈地出现在摄像机图像的“边缘区域”中。然而为了确保校准的精度，由此可以省去降低挡风玻璃效应的、费事且附加的校准方法。如果例如在车间内更换图像感测装置115或挡风玻璃，则费事的校准方法不会是一种选择，因为每个车间都必须准备好昂贵且复杂的设备。因此，也不需要接受较低精度的校准。因此，可以提高或者至少保持在估测真实世界坐标时的算法结论的置信度或精确度，使得图像感测装置115可以有利地有助于事故避免。此外，图像感测装置115的内部校准随温度改变。一般的解决方案例如是，模拟内在特性随温度的典型改变，并将其存储在摄像机中并且借助于例如温度传感器对其补充调节。内在特性也可能在整个使用寿命上不可逆地改变，例如由于潮湿和/或老化而改变。

图像清晰度的软件修正通常会遭受技术限制。如果每个图像感测装置115设计为具有相同的修正滤波器，则不能或几乎不能由校准除去物镜的连续散射，使得可能损失图像修正和补充锐化的质量，这通过这里所提出的方案来避免。此外，通过这里所提出的方案来降低例如由于对每个图像感测装置115进行校准而与自身修正的存储会有关联的耗费。通过所说明的方案可以由校准除去不同的光学影响。例如，这些光学影响是(光学的)机械式改变，这种机械式改变例如随使用寿命引起或者由于环境条件改变而引起，例如摄像机系统前面的挡风玻璃或遮盖玻璃产生的寄生成像特性、或者例如由于空气中的颗粒和液滴，例如轻雾、烟雾和/或灰尘的散射而引起的不清晰。

在图像区域提供较少甚至没有对比度的背景下，这里所提出的方案是有利的。这意味着，环境感测系统105也可以在照明差的状况下使用，例如在夜间行驶时使用，使得例如借助于制动辅助或者车道变换辅助继续得到行驶安全性。

如果一个实施例包括第一特征和第二特征之间的“和/或”关联，则这应解读为：该实施例根据一种实施方式不但具有第一特征而且具有第二特征，并且根据另一实施方式或者仅具有第一特征或者仅具有第二特征。

Claims (14)

1.用于求取用于运行车辆(100)的环境感测系统(105)的运行参数(335)的方法(200)，其中，所述环境感测系统(105)具有投影装置(110)和图像感测装置(115)，其中，所述方法(200)包括以下步骤：

-给至所述投影装置(110)的接口提供(205)投影信号(320)，其中，所述投影信号(320)具有控制参数，用以将光图案(125)投影到所述车辆(100)的环境区域(130)中；

-通过至所述图像感测装置(115)的接口读入(210)图像数据(325)，其中，所述图像数据(325)包括被投影到所述环境区域(130)中的光图案(125)；和

-通过使用处理规程(330)处理(215)所述图像数据(325)，以便求取所述运行参数(335)。

2.根据权利要求1所述的方法(200)，其中，在所述处理步骤(215)中，求取所述运行参数(335)，所述运行参数构造为用于，引起所述图像感测装置(115)的补充聚焦、由所述图像数据(325)代表的图像的补充锐化和/或所述图像感测装置(115)的补充校准。

3.根据以上权利要求中任一项所述的方法(200)，其中，在所述提供步骤(205)中，提供所述投影信号(320)，以便投影所述光图案(125)，所述光图案代表光点结构、光带结构和/或光点云或者其它几何结构。

4.根据以上权利要求中任一项所述的方法(200)，其中，在所述处理步骤(215)中，所述处理规程(330)引起所述图像数据(325)的至少一个图像参数与所保存的期望值的比较，以便得到比较结果，其中，通过使用所述比较结果来求取所述运行参数(335)。

5.根据以上权利要求中任一项所述的方法(200)，其中，在所述处理步骤(215)中，所述处理规程(330)引起对由所述图像数据(325)代表的图像中的至少一个不清晰值的计算，其中，通过使用所述不清晰值求取所述运行参数。

6.根据权利要求5所述的方法(200)，其中，在所述处理步骤(215)中，所述处理规程(330)构造为用于，求取脉冲响应函数。

7.根据以上权利要求中任一项所述的方法(200)，其中，在所述提供步骤(205)中提供所述投影信号(320)，以便将所述光图案(325)投影到所述车辆(100)的环境中的对象空间中。

8.根据以上权利要求中任一项所述的方法(200)，其中，所述方法(200)的步骤(205，210，215)重复地和/或连续地执行。

9.控制器(120)，所述控制器设置为用于，在相应的单元(305，310，315)中实施和/或操控根据以上权利要求中任一项所述的方法(200)的步骤(205，210，215)。

10.计算机程序，所述计算机程序设置为用于，实施和/或操控根据权利要求1至8中任一项所述的方法(200)的步骤(205，210，215)。

11.机器可读的存储介质，根据权利要求10所述的计算机程序存储在所述存储介质上。

12.用于车辆(100)的环境感测系统(105)，其中，所述环境感测系统(105)具有以下的特征：

-用于将光图案(125)投影到所述车辆(100)的环境区域(130)中的投影装置(110)；

-用于感测图像数据(325)的图像感测装置(115)，所述图像数据代表被投影到所述环境区域(130)中的光图案(125)；和

-根据权利要求9所述的控制器(120)，其中，所述控制器(120)能传输信号地与所述投影装置(110)和所述图像感测装置(115)连接。

13.根据权利要求12所述的环境感测系统(105)，其中，所述投影装置(110)构造为激光雷达系统。

14.根据权利要求12或13所述的环境感测系统(105)，其中，所述投影装置(110)与所述车辆(100)的前照灯(135)相邻地布置或者集成地布置在所述车辆的前照灯中，或者与所述图像感测装置(115)相邻地布置。

Images