CN112149790A - 用于检查人工神经网络的鲁棒性的方法和设备 - Google Patents

Abstract

一种用于检查具有多个输出的人工神经网络（60）的鲁棒性的计算机实现的方法，根据公共隐藏层的特征图的激活在所述多个输出处分别提供取决于输送给所述人工神经网络（60）的输入变量（x）的输出变量（y1...y3），特别是所述输入变量的至少一部分的分类和/或分割，其中所述特征图的激活（α）的值变化，其中检查然后提供的输出变量（y1...y3）相互间的一致性并根据所述一致性判定所述人工神经网络（60）是否鲁棒。

Description

用于检查人工神经网络的鲁棒性的方法和设备

技术领域

本发明涉及一种用于检查人工神经网络的鲁棒性的方法，一种用于训练所述人工神经网络的方法，一种用于运行所述人工神经网络的方法，一种训练设备，一种计算机程序以及一种机器可读存储介质。

背景技术

从“Towards Safety Verification of Direct Perception Neural Networks（迈向直接感知神经网络的安全验证）”，arXiv的预印本arXiv：1904.04706v1，2019年，Chih-Hong Cheng，Chung-Hao Huang，Thomas Brunner，Vahid Hashemi已知一种用于验证神经网络的方法，其中确定所述神经网络的输入行为模型，并对照输出对所述输入行为模型进行检验。

本发明的优点

与此相比较，具有独立权利要求1的特征的本发明的优点在于，可以检验多任务网络的输出的一致性，并且可以集成到对神经网络的训练或受监视的运行中。

本发明的其他方面是并列独立权利要求的主题。有利的扩展是从属权利要求的主题。

发明内容

在验证的背景下，人工神经网络是所谓的“黑匣子模型”，其属性很难使用形式化方法加以检查。例如，可能有必要在自动驾驶的背景下确保识别出的交通标志不在分类为驾驶道路的区域的中间。同样，可能有必要确保将分类为在自行车上的人分类为骑自行车者（而不是分类为行人和分开的自行车），由此例如在该对象识别之后的意图识别基于骑自行车者的运动模型而不是基于行人的运动模型。

本发明不仅可以在自动驾驶的背景下应用，而且可以在利用人工神经网络同时解决多个任务的任何地方应用。

因此，在第一方面，本发明涉及一种用于检查具有多个输出的人工神经网络的鲁棒性的计算机实现的方法，根据公共隐藏层（英语：hidden layer）的特征图（英语：featuremap）的激活，在所述多个输出处分别提供取决于输送给所述人工神经网络的输入变量的输出变量，特别是所述输入变量中的至少一部分的分类和/或分割，其中所述特征图的激活的值变化，其中检查然后提供的输出变量相互间的一致性并根据该一致性判定所述人工神经网络是否鲁棒。

在此，所述多个输出中的输出满足不同的任务，即所述人工神经网络是所谓的“多任务”网络。在此，穿过所述人工神经网络的信息流使得其他层跟随（特别是直接跟随）所述公共隐藏层，并且在所述其他层的各自输出处分别存在输出变量。在英语中所述其他层也称为“head（头）”。这些“头”没有相互连接，即没有信息从一个“头”流向另一个“头”。

有利地，这通过以下方式来予以满足，即，提供至少两个输出变量之间要满足的逻辑条件，并且其中确定在所述特征图的激活的值变化时是否满足这些逻辑条件，并且据此确定所述人工神经网络是否鲁棒。

这具有以下优点：可以使用形式化方法来检查所述逻辑条件，例如MILP（mixedinteger linear program，混合整数线性程序），这是特别有效的。

替代或附加地可以规定，在此在可预给定的数据集上确定在将来自所述数据集的输入变量输送给所述人工神经网络时所述特征图的激活要采取哪些值，以及根据在所述数据集上得到的激活来选择变化的值。由此可以将可能激活的空间有效地限制为与实际保护（Absicherung）相关的情况。

例如，在此可以规定，对GAN模型（"Generative Adversarial Network''的简写，生成式对抗网络）进行训练，借助于所述GAN模型的生成器生成所述激活的以下值，所述值不能由所述GAN模型的判别器与在所述数据集上得到的激活的值区分开来，并且其中然后借助于所述生成器产生所述激活的值以用于检查一致性。这通常可以如下进行：可以由所述人工神经网络提供的所述生成器根据输送给所述生成器的随机数生成激活图。这是一种生成其他激活图的特别简单的途径，所述其他激活图与在训练数据集上得到的激活图相似，从而可以特别简单地确定在输入数据的多样性内是否存在负责使所述人工神经网络的输出不一致的其他点。

作为GAN模型的替代方案，可以训练自动编码器模型，根据所述特征图的在所述数据集上得到的激活又重建所述特征图的现实激活，以及其中然后借助于所述自动编码器模型的解码器产生所述激活的值以用于检查一致性。典型地可以由作为编码器的第一人工神经网络和由作为解码器的第二人工神经网络来提供的自动编码器被设计为，将输送给所述编码器的输入变量映射为所谓的潜在特征空间——该潜在特征空间的可预给定的维数比输入空间低，然后又借助于所述解码器映射为输出空间中的值。这例如也可以是概率模型，如变分自动编码器（Variational Autoencoder）。典型地，然后在所述潜在空间中随机预给定值或在给定值之间内插出值，以产生所述特征图的现实激活。

作为GAN模型和自动编码器模型的替代方案，可以规定：根据在所述数据集上得到的激活，确定这些激活的凸包络，并且其中然后借助于来自所述凸包络的采样获得所述激活的值以用于检查一致性。这样的方法是特别节省存储器空间的，因为不必存储大量的激活图。而是可以用每个数据点来对所述凸包络进行新的补充。

在又一替代方案中可以规定，将在向所述人工神经网络输送可预给定的输入变量时所述特征图的激活所采取的值改变不超过与这些激活相比的可预给定的差。由此可以特别好地检查所述人工神经网络在变化较小的情况下是否仍然表现得鲁棒。在此，用来测量所述可预给定的差的大小的范数（Norm）可以是关于整个特征图的范数（因此，在图像的情况下例如是所有像素的偏差的平方和），或者可以是确保局部偏差不超过最大值的范数（例如无穷范数）。

在此特别有利的是，所述可预给定的差一直连续地增加，直到不再提供一致性为止（其方式是将所述偏差选择为不仅小于等于该差，而且总是等于该差），然后根据所述可预给定的差的当前值判定所述人工神经网络是否鲁棒。由此可以特别简单地找到鲁棒性特性的定量度量。

在上述方法的扩展中，可以规定将其用于训练人工神经网络，其方式是利用所述方法检查训练阶段之后所述人工神经网络的鲁棒性，其中根据是否已判定所述人工神经网络是鲁棒的还是不鲁棒的来继续或结束所述训练：如果已判定所述人工神经网络（尚）不鲁棒，则继续所述训练，否则可以结束所述训练。

在上述方法的替代扩展中可以规定，根据所述人工神经网络的输出变量来将其用于运行所述人工神经网络的方法，以提供用于运行物理系统、特别是至少部分自主的机器人的操控信号，其中根据是否已经确定了所述人工神经网络（60）是否鲁棒来相应地选择所述操控信号。

在其他方面，本发明涉及一种被设计为执行上述方法的计算机程序，以及一种机器可读存储介质，在所述机器可读存储介质上存储有所述计算机程序。

附图说明

下面参照附图更详细地解释本发明的实施方式。在附图中：

图1示意性地示出了本发明实施方式的结构；

图2示意性地示出了用于控制至少部分自主的机器人的实施例；

图3示意性地示出了用于控制制造系统的实施例；

图4示意性地示出了用于控制进入系统的实施例；

图5示意性地示出了用于控制监视系统的实施例；

图6示意性地示出了用于控制个人助理的实施例；

图7示意性地示出了用于控制医学成像系统的实施例；

图8示出了人工神经网络的示例性结构；

图9示意性地示出了用于训练人工神经网络的训练系统的结构；

图10示意性地示出了用于检查人工神经网络的鲁棒性的系统的结构。

具体实施方式

图1示出了致动器10，所述致动器在其环境20中与控制系统40交互。优选地以规则的时间间隔，在传感器30中检测环境20，传感器30特别是成像传感器，如视频传感器，该传感器也可以通过多个传感器提供，例如立体摄像机。传感器30的传感器信号S——或在多个传感器的情况下每个传感器信号S——被传送到控制系统40。因此，控制系统40接收传感器信号S的序列。控制系统40根据该序列来确定操控信号A，该操控信号A被传输至致动器10。

控制系统40在可选的接收单元50中接收传感器30的传感器信号S的序列，接收单元50将传感器信号S的序列转换为输入图像x的序列（替代地，也可以直接将每个传感器信号S接受为输入图像x）。输入图像x可以是例如传感器信号S的区段或进一步处理。输入图像x包括视频记录的各个帧。换句话说，根据传感器信号S确定输入图像x。输入图像x的序列被输送到人工神经网络60。

优选地通过参数

来对人工神经网络60参数化，参数

存储在参数存储器P中并且由所述参数存储器P提供。

人工神经网络60根据输入图像x确定输出变量y。输出变量y被输送给可选的转换单元80，该转换单元根据所述输出变量确定操控信号A，操控信号A被输送给致动器10以便相应地操控致动器10。输出变量y包括关于已经由传感器30检测的对象的信息。

致动器10接收操控信号A，被相应地操控并执行相应的动作。在此，致动器10可以包括操控逻辑（其不必在结构上集成），该操控逻辑根据控制信号A确定第二操控信号，然后利用所述第二操控信号来操控致动器10。

在其他实施方式中，控制系统40包括传感器30。在又一些实施方式中，控制系统40替代地或附加地还包括致动器10。

在其他优选的实施方式中，控制系统40包括一个或多个处理器45和至少一个机器可读存储介质46，在机器可读存储介质46上存储指令，所述指令当在处理器45上执行时促使控制系统40执行根据本发明的方法。

在替代实施方式中，作为致动器10的替代或补充设置显示单元10a。

图2示出了如何能够使用控制系统40来控制至少部分自主的机器人，在这里是至少部分自主的机动车辆100。

传感器30可以是例如优选地布置在机动车辆100中的视频传感器。

人工神经网络60被设计为根据输入图像x可靠地识别对象。

优选地布置在机动车辆100中的致动器10可以是例如机动车辆100的制动器、驱动器或转向器。然后可以确定操控信号A，使得通过以下方式来操控一个或多个致动器10，即，机动车辆100例如防止与由人工神经网络60可靠地识别的对象发生碰撞，特别是当所述对象是特定类别的对象时，例如是行人时。

替代地，所述至少部分自主的机器人也可以是另外的移动机器人（未示出），例如是通过飞行、游泳、潜水或步行向前运动的机器人。所述移动机器人还可以是例如至少部分自主的割草机或至少部分自主的清洁机器人。同样在这些情况下，可以通过以下方式确定操控信号A：操控所述移动机器人的驱动和/或转向，使得所述至少部分自主的机器人例如防止与由人工神经网络60识别的对象发生碰撞。

替代地或附加地，利用操控信号A可以操控显示单元10a，并且例如可以显示所确定的安全区域。例如在具有非自动转向的机动车辆100的情况下，还可以利用操控信号A来操控显示单元10a，使得当确定机动车辆100就要与被安全识别的对象之一碰撞时，所述显示单元10a输出光学或声学的警告信号。

图3示出了一种实施例，其中控制系统40用于操控生产系统200的生产机器11，其方式是对控制该生产机器11的致动器10进行操控。生产机器11可以例如是用于冲压、锯切、钻孔和/或切割的机器。

传感器30于是可以例如是光学传感器，其例如可以检测制成品12a，12b的属性。可能的是，这些制成品12a，12b是可运动的。可以根据所检测的制成品12a，12b的分配来操控控制生产机器11的致动器10，由此生产机器11相应地执行制成品12a，12b中的正确制成品的后续处理步骤。也可以通过识别制成品12a，12b中同一制成品的正确属性（即没有错误分配），生产机器11相应地适配相同的生产步骤以用于加工后续的制成品。

图4示出了一种实施例，其中控制系统40用于控制进入系统300。进入系统300可以包括物理的进入控制，例如门401。视频传感器30被设计为检测人。可以借助于对象识别系统60来解释该检测的图像。如果同时检测了多个人，则可以通过将人（即，对象）彼此分配来例如特别可靠地确定人的身份，例如通过分析这些人的运动。致动器10可以是锁，其根据操控信号A来释放或不释放所述进入控制，例如打开或不打开门401。为此，可以根据对象识别系统60的解释（例如根据所确定的人的身份）来选择操控信号A。代替物理的进入控制，还可以设置逻辑的进入控制。

图5示出了一种实施例，其中控制系统40用于控制监视系统400。该实施例与图5中所示的实施例的不同之处在于，代替致动器10设置了显示单元10a，该显示单元由控制系统40操控。例如，可以由人工神经网络60可靠地确定由视频传感器30记录的对象的身份，以便例如根据该身份判断哪些对象是可疑的，然后可以选择操控信号A，便得该对象由显示单元10a以彩色突出显示。

图6示出了一种实施例，其中控制系统40用于控制个人助理250。传感器30优选地是光学传感器，其接收用户249的手势的图像。

根据传感器30的信号，控制系统40确定个人助理250的操控信号A，其方式例如是由所述神经网络执行手势识别。然后向个人助理250传送所确定的操控信号A，并且因此相应地操控个人助理250。所确定的操控信号A特别是可以被选择为，使得其对应于假设的、通过用户249的期望操控。可以根据由人工神经网络60识别的手势来确定所述假设的期望操控。然后，控制系统40可以根据所述假设的期望操控来选择操控信号A以传送给个人助理250，和/或选择操控信号A以传送给与所述假设的期望操控相应的个人助理250。

相应的操控可以例如包含：个人助理250从数据库调用信息并且以用户249可以接受的方式再现该信息。

代替个人助理250，还可以设置家用电器（未示出），特别是洗衣机、炉子、烤箱、微波炉或洗碗机，以便进行相应的操控。

图7示出了一种实施例，其中控制系统40用于控制医学成像系统500，例如MRI设备、X射线设备或超声设备。传感器30可以例如通过成像传感器提供，通过控制系统40操控显示单元10a。例如，神经网络60可以确定由所述成像传感器记录的区域是否引人注目，然后可以选择操控信号A，使得该区域由显示单元10a彩色地突出显示。

图8示意性地示出了人工神经网络60的结构的实施方式。将输入变量x输送到输入层61，输入层61根据所述输入变量确定第一中间变量z1。将第一中间变量z1输送到（隐藏的）中间层62，该中间层根据该第一中间变量确定第二中间变量z2，以此类推。最后，将第三中间变量z3输送到最后的公共层63，所述最后的公共层63根据该第三中间变量确定第四潜在中间变量z4。将第四潜在中间变量z4传送给并联连接的多个输出层64a，64b，64c，每个输出层根据第四潜在中间变量z4分别确定一个（可能是多维的）输出变量y1，y2，y3，例如已识别对象的边界框（英语：bounding box），该边界框包括所述对象的已识别类型。这些输出变量y1，y2，y3的整体构成图1中所示的输出变量y。当然也可能的是，并联连接的输出层64a，64b，64c可以分别由多个层构成。

图9示出了用于训练人工神经网络60的训练设备140的可能结构。利用由参数存储器P提供的参数

来对所述人工神经网络参数化。

训练设备140包括提供器71，提供器71提供输入变量e和额定输出变量as。将输入变量e输送到要训练的人工神经网络60，该人工神经网络根据输入变量e确定输出变量a。将输出变量a和额定输出变量as输送到比较器74，比较器74从输出变量a和额定输出变量as中根据一致性确定各自的输出变量a和额定输出变量as作为新参数

'，将这些新参数传送到参数存储器P并在那里替换参数

。从人工神经网络60提取公共层63的激活α，并且与输入变量e一起输送到第二参数存储器Q，并作为配对存储在那里。因此，第二参数存储器Q存储在提供的输入变量e和额定输出变量as的整个数据集上的激活。

由训练系统140执行的方法可以实现为计算机程序地存储在机器可读存储介质146中，并且可以由处理器145执行。

图10示例性地示出了用于检查人工神经网络60的鲁棒性的设备的可能结构。该设备在这里示例性地通过训练系统140提供，但是不一定是这种情况。激活器72预给定公共层63的激活α。然后，神经网络60借助于在该公共层63之后的层（在图8中具有附图标记64a，64b，64c）来确定输出变量y，该输出变量y包括多个输出变量y1，y2，y3。所述激活器根据存储在第二数据存储器Q中的配对来预给定激活α，其方式例如是对所述特征图的每个存储位置给出最大激活和最小激活，所述最大激活和最小激活是在训练数据集上得到的。然后，例如在以此方式定义的范围内选择可预给定的激活。

将以此方式确定的输出变量y输送到检验块75，该检验块借助于逻辑规则R，在该实施例中所述逻辑规则同样保持在第二数据存储器Q中。确定所确定的输出变量y是否满足这些逻辑规则R。如果不满足这些规则之一，则判定人工神经网络60不鲁棒，并且将对该人工神经网络继续训练。如果特定激活

导致不满足至少一个逻辑规则R，则例如可以分析存储在第二数据存储器Q中的激活α，这些激活α中的哪一些最接近特定激活

，并且可以预给定相关的输入变量e。这实现了主动学习（英语：active learning），其方式是将类似于识别出的相关输入变量e的输入变量e和额定输出变量as的这样的配对来用于其他训练。由此结束该方法。

术语“计算机”包括用于处理可预给定计算规则的任何设备。这些计算规则可以以软件形式存在，或以硬件形式存在，或以软件和硬件的混合形式存在。

Claims (13)

1.一种用于检查具有多个输出的人工神经网络（60）的鲁棒性的计算机实现的方法，根据公共隐藏层（63）的特征图的激活（α）在所述多个输出处分别提供取决于输送给所述人工神经网络（60）的输入变量（x）的输出变量（y1...y3），特别是所述输入变量的至少一部分的分类和/或分割，其中所述特征图的激活（α）的值变化，其中检查然后提供的输出变量（y1...y3）相互间的一致性并根据所述一致性判定所述人工神经网络（60）是否鲁棒。

2.根据权利要求1所述的方法，其中，提供至少两个输出变量（y1...y3）之间要满足的逻辑条件（R），并且其中确定在所述特征图的激活（α）的值变化时是否满足所述逻辑条件（R），并且据此确定所述人工神经网络（60）是否鲁棒。

3.根据权利要求1或2所述的方法，其中，在可预给定的数据集上确定在将来自所述数据集的输入变量输送给所述人工神经网络（60）时所述特征图的激活（α）要采取哪些值，以及取决于在所述数据集上得到的激活（α）选择变化的值。

4.根据权利要求3所述的方法，其中，对GAN模型进行训练，借助于所述GAN模型的生成器生成所述激活（α）的以下值，所述值不能由所述GAN模型的判别器与在所述数据集上得到的激活（α）的值区分开来，并且其中然后借助于所述生成器产生所述激活（α）的值以用于检查一致性。

5.根据权利要求3所述的方法，其中，训练自动编码器模型，根据所述特征图的在所述数据集上得到的激活（α）又重建所述特征图的现实激活，以及其中然后借助于所述自动编码器模型的解码器产生所述激活（α）的值以用于检查一致性。

6.根据权利要求3所述的方法，其中，根据在所述数据集上得到的激活（α），确定所述激活（α）的凸包络，并且其中然后借助于来自所述凸包络的采样获得所述激活（α）的值以用于检查一致性。

7.根据权利要求3所述的方法，其中，将在向所述人工神经网络（60）输送可预给定的输入变量（x）时所述特征图的激活（α）所采取的值改变不超过可预给定的差（ϵ）。

8.根据权利要求7所述的方法，其中，所述可预给定的差（ϵ）一直连续地增加，直到不再提供一致性为止，然后根据所述可预给定的差的当前值判定所述人工神经网络（60）是否鲁棒。

9.一种用于训练人工神经网络（60）的计算机实现的方法，使用根据权利要求1至8中任一项所述的方法来检查所述人工神经网络在训练阶段之后的鲁棒性，其中，根据是否已判定所述人工神经网络（60）是鲁棒或不鲁棒的来继续或结束所述训练。

10.一种用于运行人工神经网络（60）的计算机实现的方法，根据所述人工神经网络（60）的输出变量使用根据权利要求1至8中任一项所述的方法来检查所述人工神经网络的鲁棒性，以提供用于运行物理系统、特别是至少部分自主的机器人的操控信号（A），其中根据是否已经确定了所述人工神经网络（60）是否鲁棒来相应地选择所述操控信号（A）。

11.一种训练设备（140），其被设计为执行根据权利要求1至9中任一项所述的方法。

12.一种计算机程序，其被设计为执行根据权利要求1至10中任一项所述的方法。

13.一种机器可读存储介质（46、146），其上存储有根据权利要求12所述的计算机程序。

Images