CN114787650A - 用于使神经网络针对对抗性干扰鲁棒化的方法和装置 - Google Patents

用于使神经网络针对对抗性干扰鲁棒化的方法和装置 Download PDF

Info

Publication number
CN114787650A
CN114787650A CN202080087609.0A CN202080087609A CN114787650A CN 114787650 A CN114787650 A CN 114787650A CN 202080087609 A CN202080087609 A CN 202080087609A CN 114787650 A CN114787650 A CN 114787650A
Authority
CN
China
Prior art keywords
neural network
data
vehicle
output data
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080087609.0A
Other languages
English (en)
Inventor
P·施利赫特
F·胡格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of CN114787650A publication Critical patent/CN114787650A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/36—Means for anti-jamming, e.g. ECCM, i.e. electronic counter-counter measures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/495—Counter-measures or counter-counter-measures using electronic or electro-optical means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/023—Interference mitigation, e.g. reducing or avoiding non-intentional interference with other HF-transmitters, base station transmitters for mobile communication or other radar systems, e.g. using electro-magnetic interference [EMI] reduction techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于使神经网络(15)针对对抗性干扰鲁棒化的方法，其中，将至少一个传感器(51)的检测到的传感器数据(20)作为输入数据供应给神经网络(15)，其中，借助于绗缝逐个替换神经网络(15)的至少一个层(16‑x,17‑x)的输出数据(18)，并且其中，将经逐个替换的输出数据(28)作为输入数据供应给神经网络(15)的至少一个后续的层(16‑x,17‑x)。本发明还涉及一种用于使神经网络(15)针对对抗性干扰鲁棒化的装置(1)、一种用于运行用于载具(60)的辅助系统(200)的方法和一种用于载具(50)的辅助系统(200))以及一种载具(50)、一种计算机程序和一种数据载体信号。

Description

用于使神经网络针对对抗性干扰鲁棒化的方法和装置
技术领域
本发明涉及一种用于使神经网络针对对抗性干扰鲁棒化的方法和装置。此外，本发明涉及一种用于运行用于载具的辅助系统的方法和一种用于载具的辅助系统以及一种载具、一种计算机程序和一种数据载体信号。
背景技术
机器学习、例如基于神经网络的机器学习对于在现代驾驶辅助系统和自动驾驶机动车中的应用具有巨大的潜力。基于深度神经网络的功能在此处理传感器数据(例如来自摄像头、雷达或激光雷达传感器)，以便从中导出重要信息。这些信息例如包括机动车的周围区域中的物体的类型和位置、物体的行为或行车道几何结构或拓扑。
在神经网络中，尤其卷积网络(英文：Convolutional Neural Networks, CNN)已被证明为特别适合于应用在图像处理中。卷积网络以无监督的方式从输入数据(例如图像数据)中逐级地提取不同的高价值特征。在此，在训练阶段期间，卷积网络基于过滤器通道独立开发特征图，所述过滤器通道局部处理输入数据，以便由此导出局部特性。这些特征图然后重新由另外的过滤器通道处理，所述另外的过滤器通道从中导出更高价值的特征图。基于如此从输入数据中压缩的这些信息，深度神经网络最终导出其决定并将其作为输出数据提供。
卷积网络在功能准确性方面优于经典方法，但卷积网络也具有缺点。例如，基于传感器数据/输入数据中的对抗性干扰的攻击可导致：尽管内容在语义上没有改变，但在检测到的传感器数据中发生错误分类或错误的语义分割或物体探测。
由Chuan Guo等，Countering Adversarial Images Using InputTransformations，arXiv:1711.00117v3 [cs.CV]，2018年1月25日，https://arxiv.org/pdf/1711.00117.pdf已知一种用于消除图像数据中的对抗性干扰的绗缝方法(Quilting-Verfahren)。
发明内容
本发明目的在于，提供一种用于使神经网络针对对抗性干扰鲁棒化的方法和装置。
根据本发明，该目的通过具有权利要求1的特征的方法和具有权利要求9的特征的装置来实现。本发明的有利的设计方案由从属权利要求得出。
尤其地，提供一种用于使神经网络针对对抗性干扰鲁棒化的方法，其中，将至少一个传感器的检测到的传感器数据作为输入数据供应给神经网络，其中，神经网络的至少一个层的输出数据借助于绗缝逐个地替换，并且其中，将经逐个替换的输出数据作为输入数据供应给神经网络的至少一个后续的层。
此外，尤其提供一种用于使神经网络针对对抗性干扰鲁棒化装置，该装置包括计算设备，其中，计算设备设立成提供神经网络或访问所提供的神经网络、接收至少一个传感器的检测到的传感器数据并将其作为输入数据供应给神经网络、借助于绗缝逐个替换神经网络的至少一个层的输出数据，并且将经逐个替换的输出数据作为输入数据供应给神经网络的至少一个后续的层。
该方法和装置可实现：消除或至少减少潜在包含在检测到的传感器数据中的对抗性干扰对神经网络的最终输出的影响。由此，使神经网络或神经网络的功能针对对抗性干扰鲁棒化。为此，借助于绗缝逐个替换神经网络的至少一个层的输出数据。所述层尤其神经网络的处于内部的层。经逐个替换的输出数据被供应给神经网络的至少一个后续的层。由此可以消除或至少减少对抗性干扰对神经网络内的数据流的影响，从而消除或至少减少对神经网络的最终输出的影响。
该方法和装置的一个优点是：鲁棒化尤其独立于包含在传感器数据中的对抗性干扰的具体设计，因为借助于绗缝的逐个替换独立于对抗性干扰的存在和尤其独立于对抗性干扰的类型进行。另一个优点是：该方法和装置能够以简单的方式集成到已经存在的神经网络或借此提供的KI功能中。无须适配神经网络的结构，仅须借助于绗缝逐个替换或更换神经网络的至少一个层的输出数据。此外，尤其也无须适配或重复神经网络的训练阶段。由此，尽管实现了鲁棒化，但可以节省耗费和成本。
输出数据尤其包括神经网络的至少一个层的激活。在此，激活尤其以层的激活图的形式存在。激活图也可以是神经网络的构造为卷积层的层的特征图。
尤其地，绗缝包括输出数据的逐个替换，该逐个替换也可以称为输出数据的逐个重建。为此，输出数据被分成多个子截段。在二维输出数据(例如以激活图的形式)的情况下，为此限定较小的、尤其矩形的子截段(也称为补丁)。将各个子截段与下面称为输出数据补丁的例如存储在数据库中的子截段进行比较。该比较基于间距度量进行，该间距度量例如通过图像元素向量上的欧几里得间距来限定。为此，将子截段线性化为向量。然后经由向量范数、例如经由L2范数进行间距的确定。为了绗缝，子截段分别通过来自数据库的最接近或最相似的输出数据补丁来替换。在此可以设置成，必须保持最小间距或在来自输出数据的子截段和输出数据补丁之间可至少不存在同一性。如果输出数据具有其他形式或其他格式，则以类似的方式进行逐个替换。
原则上，至少一个层可以是神经网络中的任何层。也可以设置成，借助于绗缝分别逐个替换神经网络的多个层的输出数据。在此，对于所述层中的每个层的输出数据，尤其分别使用层单独地产生和提供的输出数据补丁。至少一个层尤其是神经网络的处于内部的层。
原则上，至少一个传感器的传感器数据可以是一维的或多维的、尤其二维的。例如，传感器数据可以是摄像头的二维摄像头图像和/或激光雷达或雷达传感器的二维或三维激光雷达数据。传感器尤其可以是摄像头、激光雷达传感器、雷达传感器、超声波传感器或适合于周围环境检测的其他传感器。
对抗性干扰(英文：adversarial perturbation)尤其是对神经网络的例如以传感器数据的形式提供的输入数据的有针对性地进行的干扰，在其中，虽然输入数据中的语义内容没有改变，但干扰导致神经网络推断出错误的结果，即例如在其中进行输入数据的错误分类或错误的语义分割或物体的错误的探测或定位。
神经网络尤其是深度神经网络、尤其卷积网络(英文：Convolutional NeuralNetworks, CNN)。例如，神经网络针对特定的感知功能进行训练，例如针对检测到的摄像头图像中的行人或其他物体的感知。
该方法和装置尤其应用于(完全)训练的神经网络。
该方法可以作为计算机实现的方法来执行。尤其地，该方法可以借助于数据处理设备来执行。尤其地，数据处理设备包括至少一个计算设备和至少一个存储设备。
尤其地，还提供一种计算机程序，该计算机程序包括指令，所述指令在通过计算机执行计算机程序时促使该计算机执行根据所描述的实施方式中任一项所述的公开的方法的方法步骤。
此外，尤其提供一种数据载体信号，该数据载体信号传输上述计算机程序。
可以设置成，该方法包括借助于至少一个传感器检测传感器数据。
也可以设置成，将神经网络的最终输出供应给至少一个控制设备、尤其载具的至少一个控制设备。控制设备例如可以提供用于载具的自动驾驶和/或用于载具的驾驶员辅助和/或用于周围环境检测和/或周围环境感知的功能。控制设备例如可以控制或调节载具的纵向和横向引导。然而，原则上该方法和装置也可以在其他应用领域中使用，例如在工业生产中或在医疗机器人中使用。
载具尤其是机动车。然而，原则上载具也可以是其它的陆上载具、轨道载具、水上载具、空中载具或太空载具，例如无人机或空中出租车。
装置的部件、尤其计算设备可以单独地或联合地构造为硬件和软件的组合，例如构造为在微控制器或微处理器上实施的程序代码。然而，也可以设置成，部件单独地或联合地构造为专用集成电路(ASIC)。
在一种实施方式中设置成，神经网络提供至少一个用于载具的自动或部分自动驾驶和/或用于周围环境感知的功能，其中，神经网络的最终输出被供应给载具的至少一个控制设备。由此，给载具的控制设备供应更可靠且更安全的输入数据，从而也可以更可靠且更安全地提供由控制设备提供的功能。例如，控制设备可以为载具中的致动器提供致动器控制或对神经网络的最终输出进行(更高价值的)进一步处理。
在一种实施方式中设置成，为了绗缝，提供具有输出数据补丁的数据库，其中，输出数据补丁基于神经网络的至少一个层的输出数据来产生或已产生，所述输出数据借助于未受干扰的输入数据已获得。由此，可以安全地去除神经网络的至少一个层的输出数据中的对抗性干扰，而不丢失包含在输出数据中的内容信息或语义信息。未受干扰的输入数据尤其被如此选择和编排，使得这些输入数据肯定或至少以提高的概率不具有对抗性干扰。从神经网络的至少一个层的未受干扰的输入数据出发而推断的输出数据然后被拆分成子截段，其中，每个子截段形成一个输出数据补丁。子截段的大小在此根据该方法和装置的具体应用场景来选择。以这种方式产生的输出数据补丁被存储在数据库中。例如，借助于存储设备可以提供数据库，计算设备可以访问该数据库。输出数据补丁可以例如线性化为向量存储在数据库中。在应用该方法时或在绗缝时，由神经网络的至少一个层提供的输出数据那么也被拆分成子截段并线性化成向量。然后可以借助于向量范数、例如L2范数将子截段的相应向量与输出数据补丁的存储在数据库中的向量进行比较。然后，从特定的间距出发通过相应最相似或最接近的输出数据补丁替换输出数据的子截段。
在一种实施方式中设置成，输出数据在绗缝时以二维图像数据的形式被处理，其中，二维图像数据的图像截段借助于绗缝逐个替换。尤其地，在此神经网络的至少一个层作为输出数据产生的激活图作为二维图像数据或图像来处理。为了绗缝执行的逐个替换经由经替换的、尤其矩形的图像截段进行。例如，这些图像截段可以具有8×8图像元素(像素)的大小。在该示例中，输出数据补丁也具有相应8×8图像元素的大小。
在一种实施方式中设置成，获得至少一个标识信息，其中，在绗缝时的逐个替换附加地在考虑到所获得的至少一个标识信息的情况下进行。标识信息也可以称为标记或标签。由此，例如数据库中的条目、即存储在其中的输出数据补丁可以利用附加的信息进行标记，从而之后可以更快速地找到这些条目。尤其可以设置成，借助于哈希函数对数据库进行索引，从而可以加速数据库中的搜索，因为在与神经网络的至少一个层的输出数据进行比较之前，已经可以经由预先选择减少了数据库的条目数量。
在一种改进的实施方式中设置成，所获得的标识信息从如下周围环境的情境信息被导出或来导出，至少一个传感器的传感器数据在该周围环境中被检测或已检测。情境信息可以例如包括地理坐标(例如GPS坐标)、时段和/或季节、月份、星期、天气(晴、雨、雾、雪等)和/或交通情境(城市、乡村、高速公路、步行区、乡村道路、主道路、次道路等)。由此，一方面可以提高经逐个替换的输出数据的质量，因为在逐个替换时可以考虑如下情境，在该情境中已产生神经网络的至少一个层的输出数据。尤其地，利用至少一个情境信息标记(“做标记”)的输出数据补丁可以存储在数据库中。另一方面，根据所获得的至少一个标识信息或至少一个情境信息，可以在数据库中搜索之前进行预先选择，从而在搜索时仅还考虑如下条目或输出数据补丁，所述条目或输出数据补丁与至少一个标识信息或至少一个情境信息具有部分或完全的一致性。由此可以加速逐个替换。
如果在神经网络的层中输出许多具有多个通道的特征图，则通道的逐个替换可以彼此依赖地进行。在此，所有通道可以一起作为一个数据处理并逐个替换，其中，这种替换可以考虑在通道之间的空间相关性，或者通道可以彼此独立地替换，其中，每个通道单独拆分并由通过来自自身的数据库的输出数据补丁逐个重建。
在一种实施方式中设置成，神经网络提供用于载具的自动驾驶和/或用于载具的驾驶员辅助和/或用于周围环境检测和/或周围环境感知的功能。载具尤其是机动车。然而，原则上载具也可以是其它的陆上载具、空中载具、水上载具、轨道载具或太空载具。然而，原则上该方法也可在其他领域中使用，例如在工业生产中、例如在必须处理传感器数据的生产机器人中或在医疗机器人中使用。
该装置的设计方案的特征由对该方法的设计方案的描述得出。装置的优点在此相应是与在该方法的设计方案中的优点相同的优点。
此外，还提供一种用于运行用于载具的辅助系统的方法，其中，借助于辅助系统提供至少一个用于载具的自动或部分自动驾驶和/或用于周围环境感知的功能，其中，借助于至少一个传感器检测传感器数据，其中，执行根据所描述的实施方式中任一项所述的方法，并且其中，将神经网络的最终输出供应给载具的至少一个控制设备。例如，控制设备可以为载具中的致动器提供致动器控制或对神经网络的最终输出进行进一步处理。
此外，提供一种用于载具的辅助系统，该辅助系统包括至少一个设立用于检测传感器数据的传感器以及根据所描述的实施方式中任一项所述的装置，其中，辅助系统设立成提供至少一个用于载具的自动或部分自动驾驶和/或用于周围环境感知的功能、将检测到的传感器数据供应给装置并且将借助于装置提供的神经网络的最终输出供应给载具的至少一个控制设备。辅助系统还可以包括控制设备。
此外，尤其还提供一种载具，该载具包括至少一个根据所描述的实施方式中任一项所述的装置或至少一个根据所描述的实施方式中任一项所述的辅助系统。
附图说明
下面参照附图借助优选的实施方式更详细地阐释本发明。其中：
图1示出了用于使传感器数据针对对抗性干扰鲁棒化的装置的实施方式和辅助系统的实施方式的示意图；
图2示出了用于阐明绗缝的示意图(现有技术)；
图3示出了用于阐明用于使神经网络针对对抗性干扰鲁棒化的方法的实施方式的示意图。
具体实施方式
在图1中示出了用于使神经网络15针对对抗性干扰鲁棒化的装置1的实施方式的示意图。装置1包括计算设备2和存储设备3。装置1执行在本公开中描述的用于使神经网络15针对对抗性干扰鲁棒化的方法。
装置1尤其可以在载具50中使用，以便使神经网络15或由神经网络15提供的功能针对对抗性干扰鲁棒化。载具50尤其是机动车。尤其地，载具50可以包括辅助系统200，其中，辅助系统200包括装置1。辅助系统200还包括至少一个传感器51和控制设备52。
该实施方式结合机动车示例性地示出。然而，原则上该方法和装置1以及辅助系统200也可以在其他载具50中使用。
尤其地，神经网络15提供至少一个用于载具50的自动或部分自动驾驶和/或用于周围环境感知的功能。尤其地，辅助系统200尤其至少部分地借助于神经网络15提供至少一个用于载具50的自动或部分自动驾驶和/或用于周围环境感知的功能。
装置1的部分、尤其计算设备2可以单独地或联合地构造为硬件和软件的组合，例如构造为在微控制器或微处理器上实施的程序代码。
计算设备2提供神经网络15，也就是说，其提供神经网络15的功能并为此尤其实施必要的计算运算。例如，神经网络15的结构和参数存储在存储设备3中。备选地，计算设备2仅可访问以其他方式提供的神经网络15。传感器51(例如载具50的摄像头或激光雷达传感器)的检测到的传感器数据20被供应给计算设备2。
计算设备2接收检测到的传感器数据20并将这些传感器数据作为输入数据供应给神经网络15。此外，计算设备2借助于绗缝逐个替换神经网络15的至少一个层的输出数据。随后将经逐个替换的输出数据作为输入数据供应给神经网络15的至少一个后续的层。
神经网络15的最终输出30由计算设备2输出，例如以数字数据包的形式。最终输出30例如被供应给辅助系统200或载具50的控制设备52，该控制设备例如从最终输出30出发控制或调节载具50的纵向和/或横向引导。
在绗缝之后或在逐个替换之后，经逐个替换的输出数据具有与(原始)输出数据一样的格式，从而可以在神经网络15的已经存在的应用中插入和使用该方法或装置1。
尤其设置成，为了绗缝，提供具有输出数据补丁60的数据库40，其中，输出数据补丁60基于神经网络15的至少一个层的输出数据来产生或已产生，所述输出数据借助于未受干扰的输入数据已获得。未受干扰的输入数据例如基于可信任的训练数据，神经网络15利用所述训练数据已训练。
可以设置成，获得至少一个标识信息10，其中，在绗缝时的逐个替换附加地在考虑到所获得的至少一个标识信息10的情况下进行。标识信息10例如被供应给计算设备2，并且可以用于预先选择数据库40在绗缝时使用的输出数据补丁60，从而可以加速绗缝。
在改进方案中可以设置成，所获得的标识信息10从周围环境的情境信息11被导出或来导出，传感器51的传感器数据20在该周围环境中被检测或已检测。情境信息可以例如包括地理坐标(例如GPS坐标)、时段和/或季节、月份、星期、天气(晴、雨、雾、雪等)和/或交通情境(城市、乡村、高速公路、步行区、乡村道路、主道路、支线道路等)。
例如，情境信息11可以借助于载具50的为此设立的情境传感机构(未示出)来检测(例如雨传感器、温度传感器等)，但情境信息也可以由载具50的控制器提供，并且例如经由控制器局域网(CAN)总线来调用和/或提供(例如载具速度、载具取向等)。
在图2中以摄像头图像22为例示出了用于阐明现有技术中的绗缝的示意图。传感器数据20、当前摄像头图像22被划分成子截段23。针对摄像头图像22的子截段23(即图像截段)中的每个子截段，在绗缝步骤100的范围内在数据库40中搜索传感器数据补丁61，该传感器数据补丁在间距度量方面与相应的子截段23具有最小间距。当前，传感器数据补丁61是如下图像截段，该图像截段具有子截段23的大小，即相同数量的图像元素(像素)。间距度量例如是L2范数，其应用于通过使子截段23或图像截段线性化而产生的向量。在绗缝步骤100中，每个子截段23或图像截段然后通过与其相应具有最小间距的相应的传感器数据补丁61替换。在此可以设置成，必须保持最小间距。以这种方式，全部子截段23或图像截段通过来自数据库40的传感器数据补丁61替换。产生经替换的子截段24，所述经替换的子截段一起构造经替换的传感器数据21或经替换的摄像头图像25。
在图3中示出了用于阐明用于使神经网络15针对对抗性干扰鲁棒化的方法的实施方式的示意图。
在所示示例中，神经网络15包括多个卷积层16-x(英文：convolutional layer)和全连接层17-x(英文：fully connected layer)。
作为输入数据检测的传感器数据20、例如摄像头图像22被供应给神经网络15。
最后的卷积层16-4提供激活图19(英文：activation map)作为输出数据18，该激活图也可以称为特征图并尤其可以理解为具有许多图像通道(即过滤器通道)的图像。输出数据18或激活图19在绗缝步骤100中借助于绗缝逐个替换。
原则上，绗缝在此以与结合图2所描述的方式相同的方式进行，区别在于：不是传感器数据20借助于绗缝逐个替换，而是输出数据18借助于绗缝逐个替换。因此，发生到神经网络15内的数据流中的干预。尤其地，进行绗缝，通过使输出数据18的子截段23、即激活图19的图像的图像截段通过输出数据补丁60替换，所述输出数据补丁在间距度量方面与相应的子截段23或图像截段具有最小间距。输出数据补丁60存储在数据库40中并从该数据库中调用。因为尤其多个过滤器通道由激活图19包括，所以绗缝步骤100也可以称为多通道绗缝。
在借助于绗缝进行逐个替换之后，经替换的子截段24或经替换的图像截段作为经替换的输出数据28或经替换的激活图29供使用。经替换的输出数据28或经替换的激活图29作为输入数据被供应给后续的层17-1。与原始输出数据18或原始激活图19相比，在经替换的输出数据28或经替换的激活图29中，消除或至少减少了对抗性干扰的影响或作用。
神经网络15提供最终输出30，该最终输出可以例如包含物体识别或对检测到的传感器数据20的语义分割。尤其设置成，神经网络15提供用于载具的自动驾驶和/或用于载具的驾驶员辅助和/或用于周围环境检测和/或周围环境感知的功能。
例如，最终输出30可以被供应给载具的控制设备，该控制设备例如控制或调节载具的纵向和/或横向引导、规划轨迹或执行最终输出30的更高价值的评估。
该方法示例性地针对神经网络15的唯一的层16-4的输出数据18示出。然而，可以设置成，针对另外的层16-x,17-x执行该方法。如果神经网络15的多个层16-x,17-x的输出数据借助于绗缝逐个替换，则尤其分别使用针对层16-x,17-x中的每个层层单独地产生或提供的输出数据补丁60。为此，数据库40尤其包括层单独的输出数据补丁60。
该方法可以嵌入到用于运行辅助系统的方法中。
附图标记列表
1 装置
2 计算设备
3 存储设备
10 标识信息
11 情境信息
15 神经网络
16-x 卷积层
17-x 全连接层
18 输出数据
19 激活图
20 传感器数据
21 经替换的传感器数据
22 摄像头图像
23 子截段
24 经替换的子截段
25 经替换的摄像头图像
28 经替换的输出数据
29 经替换的激活图
30 最终输出
40 数据库
50 载具
51 传感器
52 控制设备
60 输出数据补丁
61 传感器数据补丁
100 绗缝步骤
200 辅助系统。

Claims (13)

1.一种用于使神经网络(15)针对对抗性干扰鲁棒化的方法，
其中，将至少一个传感器(51)的检测到的传感器数据(20)作为输入数据供应给所述神经网络(15)，
其中，借助于绗缝逐个替换所述神经网络(15)的至少一个层(16-x,17-x)的输出数据(18)，并且其中，将经逐个替换的输出数据(28)作为输入数据供应给所述神经网络(15)的至少一个后续的层(16-x,17-x)。
2.根据权利要求1所述的方法，其特征在于，所述神经网络(15)提供至少一个用于载具(50)的自动或部分自动驾驶和/或用于周围环境感知的功能，其中，将所述神经网络(15)的最终输出(30)供应给所述载具(50)的至少一个控制设备(52)。
3.根据权利要求1或2所述的方法，其特征在于，为了绗缝，提供具有输出数据补丁(60)的数据库(40)，其中，所述输出数据补丁(60)基于所述神经网络(15)的至少一个层(16-x,17-x)的输出数据(18)来产生或已产生，所述输出数据借助于未受干扰的输入数据已获得。
4.根据前述权利要求中任一项所述的方法，其特征在于，所述输出数据(18)在绗缝时以二维图像数据的形式来处理，其中，所述二维图像数据的图像截段借助于所述绗缝逐个替换。
5.根据前述权利要求中任一项所述的方法，其特征在于，获得至少一个标识信息(10)，其中，在绗缝时的所述逐个替换附加地在考虑到所获得的至少一个标识信息(10)的情况下进行。
6.根据权利要求5所述的方法，其特征在于，所获得的标识信息(10)从如下周围环境的情境信息(11)被导出或来导出，所述至少一个传感器(51)的传感器数据(20)在所述周围环境中被检测或已检测。
7.根据前述权利要求中任一项所述的方法，其特征在于，所述神经网络(15)提供用于载具的自动驾驶和/或用于载具的驾驶员辅助和/或用于周围环境检测和/或周围环境感知的功能。
8.一种用于运行用于载具(50)的辅助系统(200)的方法，其中，借助于所述辅助系统(200)提供至少一个用于所述载具(50)的自动或部分自动驾驶和/或用于周围环境感知的功能，其中，借助于至少一个传感器(51)检测传感器数据(20)，其中，实施根据权利要求1至7中任一项所述的方法，并且其中，将所述神经网络(15)的最终输出(30)供应给所述载具(50)的至少一个控制设备(52)。
9.一种用于使神经网络(15)针对对抗性干扰鲁棒化的装置(1)，所述装置包括计算设备(2)，其中，所述计算设备(2)设立成提供神经网络(15)或访问所提供的神经网络(15)、接收至少一个传感器(51)的检测到的传感器数据(20)并将其作为输入数据供应给所述神经网络(15)、借助于绗缝逐个替换所述神经网络(15)的至少一个层(16-x,17-x)的输出数据(18)，并且将经逐个替换的输出数据(28)作为输入数据供应给所述神经网络(15)的至少一个后续的层(16-x,17-x)。
10. 一种用于载具(50)的辅助系统(200)，所述辅助系统包括：
至少一个传感器(51)，所述传感器设立用于检测传感器数据(20)，以及
根据权利要求9所述的装置(1)，
其中，所述辅助系统(200)设立成提供至少一个用于所述载具(50)的自动或部分自动驾驶和/或用于周围环境感知的功能、将检测到的所述传感器数据(20)供应给所述装置(1)，并且将借助于所述装置(1)提供的神经网络(15)的最终输出(30)供应给所述载具(50)的至少一个控制设备(52)。
11.一种载具(50)，所述载具包括至少一个根据权利要求9所述的装置(1)或至少一个根据权利要求10所述的辅助系统。
12.一种计算机程序，所述计算机程序包括指令，所述指令在通过计算机实施所述计算机程序时促使计算机实施根据权利要求1至8中任一项所述的方法的方法步骤。
13.一种数据载体信号，所述数据载体信号传输根据权利要求12所述的计算机程序。
CN202080087609.0A 2019-12-17 2020-12-10 用于使神经网络针对对抗性干扰鲁棒化的方法和装置 Pending CN114787650A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019219925.9A DE102019219925A1 (de) 2019-12-17 2019-12-17 Verfahren und Vorrichtung zum Robustifizieren eines Neuronalen Netzes gegen adversariale Störungen
DE102019219925.9 2019-12-17
PCT/EP2020/085651 WO2021122339A1 (de) 2019-12-17 2020-12-10 Verfahren und vorrichtung zum robustifizieren eines neuronalen netzes gegen adversariale störungen

Publications (1)

Publication Number Publication Date
CN114787650A true CN114787650A (zh) 2022-07-22

Family

ID=74068255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080087609.0A Pending CN114787650A (zh) 2019-12-17 2020-12-10 用于使神经网络针对对抗性干扰鲁棒化的方法和装置

Country Status (4)

Country Link
EP (1) EP4078239A1 (zh)
CN (1) CN114787650A (zh)
DE (1) DE102019219925A1 (zh)
WO (1) WO2021122339A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022205084B3 (de) 2022-05-20 2023-10-12 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zur Umfeldwahrnehmung im Fahrzeug sowie entsprechendes Fahrzeug

Also Published As

Publication number Publication date
WO2021122339A1 (de) 2021-06-24
DE102019219925A1 (de) 2021-06-17
EP4078239A1 (de) 2022-10-26

Similar Documents

Publication Publication Date Title
US8611585B2 (en) Clear path detection using patch approach
US8634593B2 (en) Pixel-based texture-less clear path detection
US8452053B2 (en) Pixel-based texture-rich clear path detection
Karaduman et al. UAV traffic patrolling via road detection and tracking in anonymous aerial video frames
CN110861642A (zh) 车辆横向运动控制
Kanagaraj et al. Deep learning using computer vision in self driving cars for lane and traffic sign detection
CN108957413A (zh) 传感器目标定位准确度测试方法
CN109241856A (zh) 一种单目车载视觉系统立体目标检测方法
CN114413881B (zh) 高精矢量地图的构建方法、装置及存储介质
CN107667378A (zh) 用于识别和评估路面反射的方法和装置
US20220242453A1 (en) Detection System for Predicting Information on Pedestrian
US20210374441A1 (en) Method and Device for Supporting an Advanced Driver Assistance System in a Motor Vehicle
CN110568861B (zh) 一种人机运动障碍物监测方法、可读存储介质和无人机
US20230052885A1 (en) Method and Device for Making Sensor Data More Robust Against Adverse Disruptions
CN115523934A (zh) 一种基于深度学习的车辆轨迹预测方法及系统
CN114787650A (zh) 用于使神经网络针对对抗性干扰鲁棒化的方法和装置
Zeng et al. Enhancing underground visual place recognition with Shannon entropy saliency
Joy et al. Real time road lane detection using computer vision techniques in python
EP2056235A1 (en) Driving path identification via online adaptation of the driving path model
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.
CN116665212B (zh) 数据标注方法、装置、处理设备、存储介质
US11113566B2 (en) Image processing system, method, and apparatus specifying an object included in a captured image outside a vehicle
CN114359233B (zh) 图像分割模型训练方法、装置、电子设备及可读存储介质
CN116125980A (zh) 无人货车驾驶方法、装置、电子设备及存储介质
US11669998B2 (en) Method and system for learning a neural network to determine a pose of a vehicle in an environment

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination