CN116368533A

CN116368533A - 避免在晨昏和夜间时因野生动物出没造成的事故的系统

Info

Publication number: CN116368533A
Application number: CN202180067290.XA
Authority: CN
Inventors: C·斯查芬贝格; M·卡格
Original assignee: Continental Zhixing Germany Co ltd
Current assignee: Continental Zhixing Germany Co ltd
Priority date: 2020-10-21
Filing date: 2021-10-19
Publication date: 2023-06-30
Also published as: KR20230048429A; EP4233017A1; WO2022083833A1; DE102020213270A1; US20230394844A1

Abstract

本发明涉及一种用于借助车载摄像系统(K)避免在晨昏和夜间时因野生动物出没造成的事故的方法和装置。用于从摄像装置(K)的输入图像数据到输出图像数据的亮度转换的方法包括以下步骤：a)在晨昏或夜间时，借助车载摄像系统(K)检测车道和车道侧面的相邻的区域的当前亮度的输入图像数据(Ini)，b)借助经训练的人工神经网络(CNN1、CNN10、CNN11、CNN12)，将输入图像数据(Ini)转换为带有亮度偏差的输出图像数据(Opti)，以及c)输出输出图像数据(Opti)，从而能够将输出图像数据显示给车辆驾驶员以避免野生动物事故，或从而可以借助图像识别功能从输出图像数据识别野生动物。

Description

避免在晨昏和夜间时因野生动物出没造成的事故的系统

技术领域

本发明涉及一种用于借助车载摄像系统避免在晨昏和夜间时因野生动物出没造成的事故的方法和装置。

背景技术

如今的车辆配备有基于摄像装置的驾驶辅助系统，其监控车辆前方、旁边或后面的区域。这要么用于识别对象以避免碰撞，识别道路边界，要么用于使车辆保持在车道内。

这类系统利用高分辨率的摄像装置工作，如今，这类摄像装置具有日益增大的动态范围。在具有不同的亮度水平和对比度的情况下，显示和识别功能尤其受益于高分辨率的摄像装置。

基于这类摄像系统的识别算法已经部分结合了经典的图像处理方法和机器学习方法(尤其是深度学习方法)。在图像处理框架内，识别对象或结构的经典的方法以手动选择特性(特征)为基础，而基于深度学习的方法确定并且优化训练方法本身中的相关的特性。

最近，对象识别的重点扩展到车道上的动物和野生动物出没的识别。由此，DE102004050597 A1例如示出了一种用于警告交通道路上的活物的野生动物出没警告装置和方法。

该识别主要用于避免尤其在晨昏或夜间时因与野生动物的碰撞造成的损害。为此使用的摄像装置通常具有朝道路指向的视野，从而主要可识别位于道路上的动物、例如鹿。这类系统在晨昏或夜间时由车辆前照灯支持，其可以充分照明道路区域。

所使用的系统在被日光、路灯或车辆前照灯充分照明的场景中示出非常好的性能。在晨昏或夜间时，可以相对较好地识别位于道路上的动物。然而，在这类摄像系统中出现以下问题：

1)由于摄像装置的狭窄的视场，只能识别车道上的动物。然而，在野生动物突然出没时，这类动物可以在看不见的情况下跑到离车辆前方很近的道路上，并且突然出现在视野中。因此，反应、如刹车仅能极为困难地实现，并且可能发生碰撞。

2)该问题在晨昏或夜间时，在没有灯光照明的州县公路上更为严重，在那里，由于缺乏光线，驾驶员很难看到，甚至根本不可能看到接近道路的动物，并且动物会突然出现在车灯下，这时已为时过晚。

随着未来对周围环境识别和驾驶辅助系统的要求，广角摄像装置的使用将日益普及，因为其能够使交叉路口辅助装置识别交叉路口的交通。广角摄像装置可以监控道路和道路旁的大的区域，并且因此非常适用于识别野生动物出没。

EP 3073465 A1示出了一种用于车辆的基于全方位视野摄像系统和定位系统的动物检测系统。

一旦在某个情形下仅有少量的，甚至根本没有用于照亮场景的环境光，那么会恶化对如野生动物的对象的识别和对周围环境的示出。如果车辆前照灯只照亮道路区域，但不照亮道路旁的区域，那么会出现上述情况。在夜间时，当前的照明和摄像系统只能提供极为不充分的支持。

这可以通过在车辆侧面安装的附加的灯来解决，其照明车辆前方和旁边的相关的区域。然而，需要大量的灯来实现全面的照明，这除了不受欢迎的设计限制以外还导致大量的额外费用。

此外，通过诸如伽玛校正、自动白平衡或直方图均衡(Histogram Equalization)的算法方法可以增亮并改善摄像装置图像。然而，由于图像中的色彩信息的缺失，摄像装置图像尤其在昏暗时示出了明显的性能损失。另外的挑战是图像区域的照明不均匀，其中，一些图像区域是非常明亮的，其他的图像区域是极为昏暗的。图像的全局或局部的增亮会使已充分照明的区域过度增亮，或使昏暗的区域增亮不充分。这可以导致与识别功能相关的伪影，并且例如导致“假阳性”或“假阴性”。因此，一种系统是期望的。

因此，一种系统是期望的，该系统在没有附加的照明的情况下，通过算法能够实现对无照明的区域的良好的升级，并且能够实现用于在晨昏或夜间时提前识别野生动物出没的功能。

发明内容

本发明的任务是，提供这方面的解决方案。

该任务由独立权利要求的主题解决。有利的实施方式是从属权利要求、以下的描述和附图的主题。

用于避免在晨昏和夜间时因野生动物出没造成的事故的方法包括以下步骤：

a)在晨昏或夜间时，借助车载摄像系统检测车道和车道侧面的相邻的区域的当前亮度的输入图像数据，

b)借助经训练的人工神经网络，将输入图像数据转换为带有亮度偏差的输出图像数据，以及

c)输出输出图像数据，从而能够将输出图像数据显示给车辆驾驶员以避免野生动物事故，或从而可以借助图像识别功能从输出图像数据识别野生动物。

车载摄像系统的示例是布置在挡风玻璃后的车内的广角摄像装置，其可以透过挡风玻璃检测和成像车辆周围环境的位于车前和车侧的区域。

广角摄像装置包括广角光学器件。广角光学器件例如设计有与光轴的例如至少+/-50度，尤其是至少+/-70度和/或+/-100度的水平(和/或竖直)视角。借助广角光学器件，例如可以检测周边环境、例如车辆所行驶的车道的侧面的区域或交叉口区域，以便对动物或穿越道路的交通参与者提前进行对象识别。视角确定摄像装置的视场(Field of view，简称FOV)。

替代地或累积地，车载摄像系统可以包括具有多个车载摄像装置的全方位视野摄像系统。全方位视野摄像系统例如可以具有四个车载摄像装置，其中，一个车载摄像装置可以向前看，一个车载摄像装置可以向后看，一个车载摄像装置可以向左看，一个车载摄像装置可以向右看。

方法的优点是：

-避免因野生动物事故对车辆造成的损害。

-避免由于其他的车辆撞上由于野生动物出没而必须执行紧急刹车的自己的车辆导致的间接损失。

-在显示夜间图像时，明显改善图像质量。

-不需要增亮车辆区域、例如具有缺少照明的侧面区域的附加的照明。这可以是高级驾驶辅助系统(ADAS)的独有特征。

-从网络中生成用于人员和计算机视觉的图像数据流，以识别穿越的野生动物，从而避免事故。

人工神经网络的训练(或机器学习)可以利用多个训练图像对进行，方式是在人工神经网络的输入处分别提供第一亮度或亮度分布的图像，并且提供具有偏差的第二亮度或亮度分布的同一场景的图像作为额定输出图像。术语“亮度转换”还可以包括颜色转换和对比度改善，从而实现尽可能全面的“视野改善”。颜色转换例如可以通过调整颜色分布来进行。人工神经网络例如可以是Convolutional Neural Network(“卷积神经网络”，简称CNN)。

可以通过分别在同一时间或直接连续以不同的曝光时间拍摄具有第一亮度的第一图像和具有第二亮度的第二图像来生成训练图像对。较短的第一曝光时间导致较暗的训练图像，较长的第二曝光时间导致较亮的训练图像。生成训练数据期间，摄像装置例如是相对于要检测的周围环境静止(不动)的。为此，训练数据例如可以利用静止的车辆的摄像装置来检测。由摄像装置检测到的场景例如可以包括静态的周围环境，即没运动对象的周围环境。

至少一个因子d可以被确定为训练图像对的第二和第一亮度之间的差异的度量，并且在训练框架内提供给人工神经网络。

因子d例如可以被确定为第二亮度与第一亮度的比率。亮度尤其可以被确定为图像的平均亮度或根据图像的照度直方图被确定。

在实施方式中，转换导致车道侧面的区域和车道区域的照明的平衡或均衡性。

在实施方式中，针对两个独立的输出接口，人工神经网络具有共同的输入接口。共同的输入接口具有共享的特征表现层。亮度经转换的图像数据在第一输出接口处被输出。在第二输出接口处输出至少一个高级驾驶辅助系统(ADAS)检测功能的与高级驾驶辅助系统(ADAS)相关的检测结果。高级驾驶辅助系统(ADAS)是指用于辅助或自动驾驶的高级系统(英语：Advanced Driver Assistance Systems)。因此，与高级驾驶辅助系统(ADAS)相关的检测结果例如是对象、物体、动物、交通参与者，它们是对于高级驾驶辅助系统(ADAS)/自动驾驶(AD)系统重要的输入变量。人工神经网络包括高级驾驶辅助系统(ADAS)检测功能、例如对象识别、野生动物识别、车道识别、深度识别(图像组成部分的三维估计)、语义识别等。在训练框架中，两个输出接口的输出被优化。

亮度优化的输出图像数据能够有利地在输出图像数据上实现更好的机器的对象识别和/或动物识别、例如传统的动物检测/对象检测/车道检测或交通标志检测。

在实施方式中，在步骤a)中，附加地向经训练的人工神经网络提供因子d，并且在步骤b)中，根据因子d对转换(的强度或程度)进行控制。基于因子d可以调控加强的程度。

根据实施方式，在步骤b)中以如下方式进行转换，即鉴于过度曝光实现视野改善。例如，在训练框架中学会降低过度曝光的图像的亮度。

在实施方式中，在步骤b)中，具有当前亮度的输入图像数据被转换为具有较长的(虚拟的)曝光时间的输出图像数据。这提供了避免运动模糊(“motion blur”)的优点。

根据实施方式，对因子d进行估计，并且在该估计中考虑当前检测到的图像数据的亮度(例如照度直方图或平均亮度)或先前检测到的图像数据的亮度。

过高的亮度例如表示过度曝光，过低的亮度表示曝光不足。这两种情况都可以借助相应的阈值确定，并通过相应的转换来消除。

在实施方式中，在识别到当前检测到的图像的至少两个图像区域具有(明显)不同的图像亮度后，为每个图像区域估计或确定不同的因子d。在存在具有不同的照明强度的图像区域的情况下，因子d由此可以在图像内变化，并且具有不同的因子d的图像区域通过亮度估计确定。因此，亮度改善可以适配于各个图像区域。

根据实施方式，在确定或估计因子d时，可以考虑因子d的随时间的发展。

为此，因子d的随时间的发展和输入图像的序列被纳入估计中。关于亮度的随时间的发展的信息也可以用于具有不同的因子d的图像区域。

为此，根据实施方式，可以为每个车载摄像装置(2-i)估计或确定自己的因子d。

根据具有车载周围环境检测摄像装置的实施方式，在确定因子d时对关于车辆的当前周围环境的信息加以考虑。

对因子d的估计可以考虑其他的场景信息、例如周围环境信息(州县公路、城市、高速公路、隧道、地下通道)，这些信息通过图像处理从传感器数据或导航系统(例如带有数字地图的GPS接收器)的数据获取。

因子d例如可以基于周围环境信息并且从图像的时间序列以及因子d的历史被估计。

由此，在使用经训练的人工神经网络时对因子d的估计可以动态进行。

在实施方式中，摄像系统的经转换的图像数据被输出到至少一个高级驾驶辅助系统(ADAS)检测功能，该功能确定并输出与高级驾驶辅助系统(ADAS)相关的检测结果。高级驾驶辅助系统(ADAS)检测功能可以包括已知的边缘或模式识别方法以及可借助人工神经网络识别并可选地分类相关的图像对象、例如野生动物的识别方法。

在替代的实施方式中，方法可以被扩展，并且用于图像数据的亮度转换的人工神经网络可以与用于高级驾驶辅助系统(ADAS)检测功能、例如车道识别、对象识别、深度识别、语义识别的神经网络相结合。因此，几乎不会在计算时间中造成附加的耗费。在训练后，用于输出经转换的图像数据的(第一)输出接口可以被取消，从而在车辆中使用时，仅存在用于高级驾驶辅助系统(ADAS)检测的(第二)输出接口。

此外，本发明还涉及一种装置，该装置具有至少一个数据处理单元，其配置用于从摄像装置的输入图像数据到输出图像数据的亮度转换。该装置包括：输入接口，经训练的人工神经网络，和(第一)输出接口。

输入接口配置用于接收由摄像装置检测到的当前亮度的输入图像数据。经训练的人工神经网络配置用于，将具有第一亮度的输入图像数据转换成具有不同的输出亮度的输出图像数据。

(第一)输出接口配置用于输出经转换的图像数据。

换句话说，装置(或辅助系统)包括可监控道路和道路旁的区域的至少一个摄像系统。尽管存在昏暗、照明非常不均衡以及缺失的颜色信息，但辅助系统通过算法将基础的摄像系统的图像数据转换为对应于在充分照明或日光时的拍摄的图示。然后，经转换的图像要么用于纯粹的显示目的，要么作为用于识别野生动物出没的基于CNN或基于特征的识别算法的输入。

装置或数据处理单元尤其可以包括微控制器或微处理器、中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、ASIC(专用集成电路)、FPGA(现场可编程门阵列)等，以及用于执行相应的方法步骤的软件。

根据实施方式，数据处理单元在基于硬件的图像预处理阶段(图像信号处理器，缩写为ISP)中实现。

在实施方式中，用于亮度转换的经训练的人工神经网络是车辆侧的高级驾驶辅助系统(ADAS)检测神经网络的组成部分，例如用于语义分割、车道检测或对象检测，具有共享的输入接口(输入层或特征表现层)，以及两个独立的输出接口(输出层)，其中，第一输出接口配置用于输出经转换的输出图像数据，第二输出接口配置用于输出高级驾驶辅助系统(ADAS)检测结果(图像识别数据)。

此外，本发明还涉及一种计算机程序单元，如果数据处理单元利用该计算机程序单元编程，那么该计算机程序单元促使数据处理单元执行用于摄像装置的输入图像数据到输出图像数据的亮度转换的方法。

此外，本发明还涉及一种存储有这类程序单元的计算机可读存储介质。

另一观点涉及一种用于摄像装置的输入图像数据到输出图像数据的亮度转换的机器学习的方法的用途，以用于训练具有至少一个数据处理单元的装置的人工神经网络。

因此，本发明可以在数字电子电路、计算机硬件、固件或软件中实现。

附图说明

随后对实施例和附图进行更详细的描述。在此：

图1示意性示出了带有摄像系统K和前照灯S的车辆；

图2示出了用于摄像装置图像的视野改善的系统；

图3示出了具有用于改善视野的第一神经网络和下游的用于检测功能的第二神经网络的系统；

图4示出了具有组合的视野改善和检测功能的系统；

图5示出了经修改的系统，其中，改善视野仅在训练框架中被计算和输出；

图6示出了带有用于全方位视野检测的摄像系统的装置的第一示意图；以及

图7示出了车辆中的带有用于全方位视野检测的摄像系统的装置的第二示意图。

具体实施方式

图1示意性示出了带有摄像系统K的车辆F，所述摄像系统例如是布置在车辆的在挡风玻璃后方的内部空间中的广角摄像装置，通过该广角摄像装置对车辆F的周边环境或周围环境进行检测。在昏暗时，车辆F的前照灯S对由摄像系统K检测的车辆前方的周边环境进行照明，车辆周边环境的照明的强度取决于前照灯S的特性。因为强度随着与前照灯的距离的增加而减小(大约与距离的平方成正比)，所以更远的周围环境区域在摄像装置图像中显得更暗。尤其地，车辆周围环境的侧面区域被前照灯S照亮的程度不如车辆F的正前方的区域。不同的照明可以导致，由摄像装置采集的图像不包含与驾驶员、驾驶辅助系统或自动驾驶系统相关的所有信息。这可能在晨昏或夜间时的野生动物出没的情况下造成危险情形。为此，视野经改善的图像是期望的，其中，(太)暗的图像区域得到自动的光照增强。

在实施方式中，在用于避免野生动物事故的系统中，计算例如以神经网络为基础，神经网络在检测单元或显示单元的上游，将具有少的对比度和颜色信息的很暗的输入图像或照明不均衡的输入图像转换为明亮如白昼的表现。

对于该任务，人工神经网络利用由“昏暗的和照明技术不均衡的输入图像”和相应的“明亮如白昼的图像”组成的数据集进行训练。根据训练类型，神经网络可以以理想的方式复制诸如白平衡、伽玛校正和直方图均衡化的方法，并利用存储在网络架构中的附加信息自动填补缺失的颜色信息或对比度信息。然后将计算出的图像用作输入，以用于在野生动物出没时显示、警告或主动避免与动物的碰撞。

如从图6可看出，用于避免在晨昏和夜间时因动物出没造成的事故的装置1的实施方式可以具有包括全方位视野系统的多个车载摄像装置的摄像系统K。多个单元或电路元器件可以设置用于将多个车载摄像装置的输入图像数据转换为经优化的输出图像数据。在图6所示的实施例中，自适应图像校正装置具有多个分别生成摄像装置图像或视频数据的车载摄像装置2-i。在图6所示的实施例中，装置1具有用于生成摄像装置图像的四个车载摄像装置2-i。对于不同的应用，车载摄像装置2-i的数量可能会有所变化。根据本发明的装置1具有至少两个用于生成摄像装置图像的车载摄像装置。相邻的车载摄像装置2-i的摄像装置图像通常具有重叠的图像区域。

装置1包含数据处理单元3，它将由车载摄像装置2-i生成的摄像装置图像组合为整体图像。如图1所示，数据处理单元3有图像转换系统4。图像转换系统4从车载摄像装置(2-i)的输入图像数据(Ini)中生成具有经优化的亮度或颜色分布的输出图像数据(Opti)。单个车载摄像装置的经优化的输出图像数据被组合为经组合的整体图像(所谓的拼接)。然后，由图像处理单元3从经优化的图像数据(Opti)组合的整体图像通过显示单元5向用户显示。通过在图像数据转换时的视野改善，用户可在晨昏或夜间提前识别野生动物，并且由此有效地在避免因野生动物出没造成的事故方面得到支持。

在可能的实施方式中，图像转换系统4由执行亮度或颜色分布的转换的独立的硬件电路形成。在替代的实施方式中，系统在实施图像转换方法时执行程序指令。

数据处理单元3可以具有一个或多个图像处理处理器，其中，数据处理单元转换从不同的车载摄像装置2-i接收的摄像装置图像或视频数据，并且然后将它们组合成经组合的整体图像。在可能的实施方式中，图像转换系统4由为此设置的处理器形成，该处理器与数据处理单元3的一个或多个其他的处理器并行执行亮度或颜色分布的转换。通过并行数据处理减少了处理图像数据所需的时间。

图7示出了在设计方案中的用于避免在晨昏和夜间时因野生动物出没造成的事故的装置1的另一示意图。图7所示的装置1安装在车辆10、尤其是乘用车或卡车的环视系统中。在此，摄像系统K的四个不同的车载摄像装置2-1、2-2、2-3、2-4可以位于车辆10的不同的侧面上，并且在车辆10的前面V、后面H、左边L和右边R具有相应的视野(虚线)。

例如，第一车载摄像装置2-1位于车辆10的前侧，第二车载摄像装置2-2位于车辆10的后侧，第三车载摄像装置2-3位于车辆10的左侧，并且第四车载摄像装置2-4位于车辆10的右侧。相邻的两个车载摄像装置2-i的摄像装置图像具有重叠的图像区域VL、VR、HL、HR。在可能的实施方式中，车载摄像装置2-i是所谓的鱼眼摄像装置，其具有至少185度的视角。在可能的实施方式中，车载摄像装置2-i可以通过以太网连接将摄像装置图像或摄像装置图像帧或视频数据传输到数据处理单元3。数据处理单元3从车载摄像装置2-i的摄像装置图像计算出经组合的环视摄像装置图像，该环视摄像装置图像在车辆10的显示装置5上向驾驶员和/或乘客显示。

在车辆10的昏暗的周围环境中，启动的前照灯以白光和相对较高的强度照亮车辆10前面的前方区域V，后照灯以红光和中等强度照亮车辆后面的后方区域H。相反，车辆10左边L和右边R的区域几乎没有被照亮。

为了识别在晨昏或夜间时的野生动物出没，一方面可以利用环视系统的图像识别野生动物出没，另一方面可以利用由不同的照明配置文件构成的信息计算出具有均衡照明的整体图像。作为示例提到，在未经照明的州县公路中，在显示屏或显示装置5上显示车辆周围环境，在那里，前和后摄像装置的区域被车灯照明，但侧面区域没有被车灯增亮。由此，可以实现带有野生动物的区域的均匀的显示，并且可以及时对驾驶员提出警告。

在另外的实施方案中，图像转换系统4可以利用神经网络进行训练，从而其利用来自更好照明的区域的信息进一步改善针对未照明区域的换算。在此，网络较少地利用每个单一摄像装置2-1、2-2、2-3、2-4的各个单一图像单独被训练，而是作为由多个摄像系统构成的整体系统被训练。

在利用昏暗图像(例如侧面摄像装置2-3、2-4的图像)和明亮图像(例如前方摄像装置2-1和后视摄像装置2-2的图像)对人工神经网络进行同时训练或共同训练时，神经网络学习最佳参数。

在用于多个车载摄像装置2-i的共同训练中，地面实况数据优选用于第一应用中，所述地面实况数据具有用于所有目标摄像装置2-1、2-2、2-3、2-4的亮度和平衡。换句话说，所有目标摄像装置2-1、2-2、2-3、2-4的地面实况数据的平衡方式是，例如在环视应用中，在地面实况数据中不能识别亮度差异。利用作为参考的地面实况数据和目标摄像装置2-1、2-2、2-3、2-4(其可以具有不同的亮度)的输入数据，鉴于网络的最佳的参数集，对神经网络CNN1、CNN10、CNN11、CNN12进行训练。该数据集例如可以由以前摄像装置2-1和后摄像装置2-2的白色和红色的车灯灯光拍摄的图像，和侧面摄像装置2-3、2-4拍摄的昏暗图像构成。例如如果车辆10位于路灯旁或车辆10在一侧具有附加的光源，那么同样可想到的是不同照明的侧面区域L、R的数据。

在另外的应用中，神经网络可以针对共同的摄像装置2-i被训练，使得在摄像装置、例如侧面摄像装置2-3或2-4的训练数据和地面实况数据缺失的情况下，网络也会基于其他的摄像装置2-1、2-2和2-4或2-3的训练数据，对具有缺失的数据的摄像装置2-3或2-4的参数进行训练和优化。这例如可以作为网络训练中的限制(或制约)实现，例如作为校正和训练由于侧面摄像装置2-3和2-4的类似的光线条件必须始终相同的假设实现。

在最后的示例中，神经网络使用在时间上不同的且与摄像装置2-i相关联的训练数据和地面实况数据，这些数据已由不同的摄像装置2-i在不同时间点拍摄。为此，可以使用例如在时间点t由前摄像装置2-1和在时间点t+n由侧面摄像装置2-3、2-4拍摄的特征或对象和其地面实况数据的信息。当这些特征或对象和其地面实况数据用于其他的摄像装置2-i的图像中并且随后由网络用作训练数据时，这些特征或对象和其地面实况数据可以替代相应其他的摄像装置的训练数据和地面实况数据中的缺失的信息。以该方式，网络可以优化所有侧面摄像装置2-3、2-4的参数，并在必要时补偿训练数据中的缺失的信息。

在使用多个车载摄像装置2-i时，这导致所有车载摄像装置2-i的经适配的亮度和平衡，因为室外空间中的个性化的照明配置文件在整个网络中被明确检测和训练。

即使在全方位视野摄像系统情况下，也可在摄像系统K的图像数据上进行野生动物的机器检测。为此，可以根据检测方法的设计方案，使用输入图像数据或经转换的优化的输出图像数据。

图2示意性示出了图像转换系统4或用于摄像装置图像的视野改善的系统的总体概况。主要的组成部分是人工神经网络CNN1，它在训练阶段中学习将一组训练图像In(In1、In2、In3、......)分配给一组相对应的视野经改善的图像Out(Out1、Out2、Out3、......)。在此，分配意味着，神经网络CNN1学习生成视野经改善的图像。训练图像(In1、In2、In3、......)例如可以包含晨昏时的道路场景，在训练图像上，利用人眼仅可看到直接处于车辆前方的另外的辆车和天空。在相对应的视野经改善的图像(Out1、Out2、Out3、......)上，附加地可看到其他车辆的轮廓、作为车道边界的人行道和相邻的建筑物。

因子d优选用作神经网络CNN1的附加的输入变量。因子d是视野改善程度的度量。在训练时，针对由训练图像和视野经改善的图像(In1、Out1；In2、Out2；In3、Out3；......)组成的图像对可以事先确定因子d，并将其提供给神经网络CNN1。在使用经训练的神经网络CNN1时，可通过预设因子d来控制神经网络CNN1对强地将图像“变亮”或“变暗”，也可以将因子d设想为外部回归参数(不仅是亮暗，而且还具有任意的渐变)。由于因子d可能受到+/-10％的范围内的可能的波动，因此在训练期间要考虑到这一点。在训练期间(例如在训练神经网络的不同的时期)，因子d可能衰减大约+/-10％，以便在车辆内的推导期间，相对于因子d在大约+/-10％的范围内的错误估计是稳定的。换句话说，因子d的所需的精度在+/-10％的范围内，因此，神经网络CNN1相对于在该参数的估计中的偏差是稳定的。

用于生成训练数据(训练图像In1、In2、In3、......)和视野经改善的图像(Out1、Out2、Out3、......)的可能性是拍摄场景的图像数据，场景分别具有短的曝光时间并且同时或直接连续具有长的曝光时间。此外，对于场景，可以利用不同的因子d拍摄图像对(In1、Out1；In2、Out2；In3、Out3；......)，以便根据参数或因子d学习改善视野的连续频谱。摄像系统K在生成训练数据期间优选相对于要检测的周围环境是静止(不动)的。训练数据例如可以借助静止的车辆F的摄像系统K被检测。由摄像系统K检测的场景尤其可以包括静态的周围环境，即没有运动对象的静态的周围环境。

当训练神经网络CNN1时，根据以下方案改善视野：

输入图像→CNN1

因子d→CNN1

CNN1→视野经改善的输出图像。

图3至图5示出了用于改善视野的第一网络与用于驾驶员辅助功能和自动驾驶功能的一个或多个网络的可能的组合的实施例，这些组合按计算资源的消耗分类。

图3示出了系统，其具有用于改善视野的第一神经网络CNN1和下游的用于检测功能(fn1、fn2、fn3、fn4)的第二神经网络CNN2。在此，检测功能(fn1、fn2、fn3、fn4)是图像处理功能，其检测图像数据中的与高级驾驶辅助系统(ADAS)或自动驾驶(AD)功能相关的对象、结构、特性(一般称为：特征)。基于机器学习的多个这种检测功能(fn1、fn2、fn3、fn4)已开发出或是当前开发的主题(例如对象分类、交通标志分类、语义分割、深度估计、车道标识识别和定位)。在视野经改善的图像(Opti)上，第二神经网络CNN2的检测功能(fn1、fn2、fn3、fn4)在视线情况不良的情况下提供比在原始的输入图像数据(Ini)上更好的结果。由此，在车道旁的在晨昏或夜间时照明不良的区域中，仍然可靠且提前对野生动物进行检测和分类。在识别车辆即将与进入行驶通道的鹿发生碰撞的情况下，可以以声学和光学方式向驾驶员发出警告。如果驾驶员没有反应，那么可进行自动紧急制动。

如果两个神经网络CNN1和CNN2被训练，那么方法可以根据以下方案运行：

输入图像(Ini)，因子d→CNN1→视野经改善的输出图像(Opti)→用于检测功能(fn1、fn2、fn3、fn4)的CNN2→检测结果：诸如动物、深度、车道、语义，......的对象的输出。

图4示出了用于输入图像(Ini)的视野改善的神经网络CNN10，它必要时由与用于检测功能(fn1、fn2、fn3、fn4)的网络共享特征表现层(作为输入层或下层)的因子d控制。在神经网络CNN10的特征表现层中，学习用于视野改善和检测功能的共同特征。

具有共享的输入层和两个独立输出的神经网络CNN10具有用于输出视野经改善的输出图像(Opti)的第一输出CNN11和用于输出对象、如深度、车道、语义等的检测结果的第二输出CNN12。

由于在训练时，特征表现层在视野改善和检测功能(fn1、fn2、fn3、fn4)方面得到了优化，因此视野改善的优化同时导致检测功能(fn1、fn2、fn3、fn4)的改善。

如果现在不希望或不需要输出视野经改善的图像(Opti)，则可以进一步改变该方法，如借助图5阐述的那样。

图5示出了一种基于图4的系统的用于通过优化特征实现的基于神经网络的视野改善的方法。为了节省计算时间，在训练期间，检测功能(fn1、fn2、fn3、fn4)的特征在视野改善方面和检测功能(fn1、fn2、fn3、fn4)方面被优化。

在运行时，即在使用经训练的神经网络(CNN10、CNN11、CNN12)时，不对视野经改善的图像(Opti)进行计算。

尽管如此，与仅具有用于检测功能(fn1、fn2、fn3、fn4)的神经网络(CNN2)的系统相比，检测功能(fn1、fn2、fn3、fn4)如已经阐述的那样仍然通过视野改善和检测功能的共同的训练加以改善，在该系统中，在训练中也仅检测功能(fn1、fn2、fn3、fn4)被优化。

在训练阶段中，通过附加的输出接口(CNN11)输出亮度经改善的图像(Opti)，并将其与地面实况(相对应的视野经改善的训练图像)进行比较。在测试阶段或运行中，该输出(CNN11)可以进一步使用，或为了节省计算时间被切断。在该训练中，检测功能(fn1、fn2、fn3、fn4)的加权利用附加的输出(CNN11)进行修改，使得它们考虑到检测功能(fn1、fn2、fn3、fn4)的亮度改善。检测功能(fn1、fn2、fn3、fn4)的加权因此隐含地学习关于亮度改善的信息。

除了机动车辆以外，替代的应用领域包括：飞机、巴士和有轨车辆。

Claims

1.一种用于避免在晨昏和夜间时因野生动物出没造成的事故的方法，所述方法包括以下步骤：

a)在晨昏或夜间时，借助车载摄像系统(K)检测车道和车道侧面的相邻的区域的当前亮度的输入图像数据(Ini)，

b)借助经训练的人工神经网络(CNN1、CNN10、CNN11、CNN12)，将输入图像数据(Ini)转换为带有亮度偏差的输出图像数据(Opti)，以及

c)输出输出图像数据(Opti)，从而能够将输出图像数据显示给车辆驾驶员以避免野生动物事故，或从而能够借助图像识别功能从输出图像数据识别野生动物。

2.根据权利要求1所述的方法，其中，转换导致车道侧面的区域和车道区域的照明的平衡。

3.根据权利要求1或2所述的方法，其中，在步骤a)中，附加地将因子d估计或确定为输入图像数据中的当前亮度的度量，并将该因子d提供给人工神经网络(CNN1、CNN10、CNN11、CNN12)，并且在步骤b)中，根据该因子d对转换进行控制。

4.根据上述权利要求中任一项所述的方法，其中，针对两个独立的输出接口(CNN11、CNN12)，人工神经网络(CNN1、CNN10、CNN11、CNN12)具有共同的输入接口，其中，共同的输入接口具有共享的特征表现层，其中，亮度经转换的图像数据(Opti)在第一输出接口(CNN11)处被输出，其中，至少一个ADAS检测功能(fn1、fn2、fn3、fn4)的与ADAS相关的检测结果在第二输出接口(CNN12)处被输出，并且其中，两个输出接口(CNN11、CNN12)的输出在训练框架中被优化。

5.根据上述权利要求中任一项所述的方法，其中，借助包括注视方向与行驶方向平行的广角摄像装置的摄像系统(K)对输入图像数据进行检测。

6.根据上述权利要求中任一项所述的方法，其中，借助包括带有多个车载摄像装置(2-i)的全方位视野摄像系统的摄像系统(K)对输入图像数据进行检测。

7.根据权利要求6所述的方法，其中，为每个车载摄像装置(2-i)估计或确定自身的因子d。

8.根据上述权利要求中任一项所述的方法，其中，将经转换的图像数据(Opti)输出到至少一个野生动物检测功能，该野生动物检测功能基于经转换的图像数据确定并输出检测到的野生动物对象信息。

9.一种用于避免在晨昏和夜间时因野生动物出没造成的事故的装置(1)，该装置包括用于检测车辆(10)的周围环境的车载摄像系统(K)、数据处理单元(3)和输出单元，其中，

-摄像系统(K)设计用于检测车道和车道侧面的相邻的区域，

-数据处理单元(3)配置用于，借助经训练的人工神经网络(CNN1、CNN10、CNN11、CNN12从摄像系统(K)的在晨昏或夜间时检测到的输入图像数据(Ini)到输出图像数据(Opti)的亮度转换，所述人工神经网络配置用于将带有当前亮度的输入图像数据(Ini)转换为具有不同的输出亮度的输出图像数据(Opti)，以及

-输出单元配置用于，输出经转换的输出图像数据(Opti)，从而能够将输出图像数据显示给车辆驾驶员以避免野生动物事故，或从而能够借助图像识别功能从输出图像数据识别野生动物。

10.根据权利要求9所述装置(1)，其中，摄像系统(K)包括注视方向与行驶方向平行的车载广角摄像装置。

11.根据权利要求9或10所述装置(1)，其中，摄像系统(K)包括带有多个车载摄像装置(2-i)的全方位视野摄像系统。

12.根据权利要求9至11中任一项所述的装置(1)，其中，数据处理单元(3)在基于硬件的图像预处理阶段中实现。

13.根据权利要求9至12中任一项所述的装置(1)，其中，用于亮度转换的经训练的人工神经网络(CNN1、CNN10、CNN11)是车辆侧的ADAS检测神经网络(CNN2、CNN12)的组成部分，具有共享的输入接口和两个独立的输出接口，其中，第一输出接口(CNN11)配置用于输出经转换的输出图像数据(Opti)，第二输出接口(CNN12)配置用于输出与ADAS相关的检测结果。

14.一种计算机程序单元，如果数据处理单元(3)利用该计算机程序单元编程，那么该计算机程序单元促使数据处理单元(3)执行根据权利要求1至8中任一项所述的方法。

15.一种存储有根据权利要求14所述的程序单元的计算机可读存储介质。