CN111259920A - Ki模块对欺骗尝试的敏感性的测量 - Google Patents

Ki模块对欺骗尝试的敏感性的测量 Download PDF

Info

Publication number
CN111259920A
CN111259920A CN201911200621.3A CN201911200621A CN111259920A CN 111259920 A CN111259920 A CN 111259920A CN 201911200621 A CN201911200621 A CN 201911200621A CN 111259920 A CN111259920 A CN 111259920A
Authority
CN
China
Prior art keywords
module
data set
sensitivity
dimension
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911200621.3A
Other languages
English (en)
Inventor
V.菲舍尔
J.H.梅岑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Publication of CN111259920A publication Critical patent/CN111259920A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
    • G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
    • G06F21/577—Assessing vulnerabilities and evaluating computer system security
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/7715—Feature extraction, e.g. by transforming the feature space, e.g. multi-dimensional scaling [MDS]; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Genetics & Genomics (AREA)
  • Physiology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Alarm Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

一种用于测量KI模块对欺骗尝试的敏感性的方法，具有步骤：针对输入空间E中的预先给定的开放数据集将分类和/或回归确定为未受干扰的结果，KI模块将所述开放数据集映射到所述分类和/或回归上；将至少一个具有维度d<D的干扰S外加在所述开放数据集上，使得在所述输入空间E中形成至少一个受干扰的数据集；将如下分类和/或回归确定为受干扰的结果，所述KI模块将所述受干扰的数据集映射到所述分类和/或回归上；所述受干扰的结果与未受干扰的结果的偏差利用预先给定的度量标准来确定；响应于所述偏差满足预先给定的标准，确定所述KI模块关于所述开放数据集对具有维度d的欺骗尝试是敏感的。

Description

KI模块对欺骗尝试的敏感性的测量
技术领域
本发明涉及对利用KI模块分析测量数据的系统的保护以免受尤其利用所谓的“对抗样本（adversarial examples）”的欺骗尝试。
背景技术
在许多领域中，使用具有能学习的人工智能、诸如人工神经网络的KI模块来分析测量数据。这在测量数据、例如图像数据是非常高维度的并且从测量数据中可以确定比较低维度的分类和/或回归时是特别有利的。例如，图像数据可以利用KI模块如下来分类：在道路场景中包含哪些对象和交通标志。
这种KI模块可以利用所谓的“对抗样本”来攻击。在此涉及对KI模块的输入数据的有针对性恶意地引入的改变，其目标是导致到错误的类别中的分类。这样例如可以通过几乎不引起人类驾驶员注意的粘贴标签或标记改变交通标志，使得该交通标志被网络识别为另一交通标志。相应地，车辆对该交通标志错误地作出反应。
由DE 10 2018 200 724 A1已知一种用于生成数据信号干扰的方法，利用该方法能够人工地模仿这种类型的典型攻击。这些模仿可以被用于研究分类网络的敏感性并且试验对策。
发明内容
在本发明的范围内开发了一种用于测量KI模块对欺骗尝试的敏感性的方法。该KI模块包括参数化的内部处理链形式的可训练的人工智能。该内部处理链尤其例如可以包括人工神经网络，KNN。该内部处理链的参数于是例如可以是权重，利用所述权重计算在神经元处所施加的用于激活这些神经元的输入。
利用该方法要检查的KI模块被构成用于借助其内部处理链将来自具有维度D的输入空间E的输入数据集映射到具有维度G < D的输出空间F中的分类和/或回归上。分类例如针对输入数据集和预先给定的类别标准分别说明：输入数据集以哪些置信度属于这些类别中的每个类别。回归例如针对输入数据集和感兴趣的实值的变量说明：这些变量的哪些值以哪些置信度根据输入数据集是一致的。
在大多数应用中，G << D适用。这样，例如512x512个像素大的图像存在于具有维度D=262.144的输入空间E中。不同对象的数量确定输出空间F的维度并且典型地小于1000，应根据所述对象的存在来检查该图像。
在该方法中，针对输入空间E中的预先给定的开放数据集（Auf-Datasatz）将分类和/或回归确定为未受干扰的结果，KI模块将开放数据集映射到所述分类和/或回归上。
将至少一个干扰S外加在开放数据集上，所述干扰具有维度d < D。以此方式形成输入空间E中的至少一个受干扰的数据集。为此目的，尤其可以有利地将针对KI模块的“对抗样本”确定为干扰S。尤其针对包括KNN的KI模块，已知如下算法，利用这些算法可以产生具有可自由选择的维度d的“对抗样本”。
如下分类和/或回归被确定为受干扰的结果，KI模块将受干扰的数据集映射到该分类和/或回归上。受干扰的结果与未受干扰的结果的偏差利用预先给定的度量标准来确定。该度量标准尤其可以是为具体应用设置的，在该具体应用中应使用由KI模块提供的结果、即分类和/或回归。该度量标准于是例如可以通过如下方式来激励：该偏差在应用中如何干扰性地产生影响。
如果KI模块例如被用于在驾驶辅助系统或用于完全或部分自动化的驾驶的系统的范围内识别场景中的交通标志，则例如速度50标牌与速度60标牌的混淆仅导致对交通的小干扰。而如果速度50标牌错误地被视为停止标牌，则后果可能是车辆的突然制动并且引起追尾碰撞。相反，如果停止标牌被视为速度50标牌，则潜在后果更严重，因为车辆可能被有优先行驶权的车辆侧向地并且基本上无制动地撞坏。因此，度量标准在该应用中例如可以根据在交通中的可能影响的严重程度来评价偏差。
如果KI模块例如被用于在访问控制系统中根据测量数据来判定：是否出示了有效的访问介质（Zugangsmedium），则无效的访问介质与另一访问介质混淆最终不产生影响。访问一如既往地不被允许。如果两个有效的访问介质彼此被混淆，则这例如可能产生如下影响：访问（Zutritt）利用错误的授权级别被允许或者在关于访问的日志文件中记录错误的人员。如果有效的访问介质错误地被视为无效的访问介质，则授权的人员未获得访问，这可能干扰工作流程。产生最坏影响的是，无效的访问介质被视为有效的访问介质并且允许完全未被授权的人员访问。
干扰S对结果的影响通过KI模块对干扰S的敏感性与该干扰S的强度的相互作用来确定。为了有针对性地测量KI模块的敏感性，度量标准例如可以说明干扰S的每单位强度的影响或被归一化为干扰的单位强度S。
响应于偏差满足预先给定的标准，确定：KI模块关于开放数据集对具有维度d的欺骗尝试是敏感的。该标准例如可以在标量度量标准的情况下包括超过或低于预先给定的阈值。
认识到了：在相应应用的环境下对分类和/或回归的结果产生值得重视的影响的那些干扰S存在于具有维度c < D的子空间C ⊂ E中。如果现在具有比c更小的维度的干扰S被外加到输入数据集上，则该干扰S处于 C中的概率是低的。如果例如c=20并且仅一维干扰被外加，则不可能的是，对应于干扰的一维直线与处于输入空间E中任何地方的20维子空间C相交。而如果干扰S具有c或更大的维度，则该干扰处于C中的概率明显升高。这在有针对性地将“对抗样本”选择为干扰S时特别地适用。
干扰S因此必须具有确定的最小维度，以便对结果产生明显影响。认识到了：该最小维度是KI模块如何鲁棒地抵抗欺骗尝试的可靠度量。这应以作为输入数据集的图像为例来说明。如先前所解释的，输入空间E的维度D对应于图像像素的数量。最小维度在该实例中对应于受干扰S影响的像素的数量，从该最小维度起干扰S产生明显影响。对于KI模块的最敏感的反面实例，于是子空间C ⊂ E是一维的。这意味着，图像在仅仅一个像素中的 改变已经足以显著地改变分类和/或回归。而如果子空间C ⊂ E几乎具有维度D，则必须改变图像的几乎所有像素，以便欺骗KI模型。
干扰S的最小维度又必须越大，将该干扰未被察觉地外加到输入数据集上就越难。在开头所提及的停止标牌的实例中，例如在敏感的KI模块的情况下该标牌上的不显眼的粘贴标签可能已经足以将该标牌错误地分类。而为了欺骗更鲁棒的KI模块，必须强烈地改变该标牌，使得篡改尝试在视觉上是明显的并且关心该改变的消除。例如，由每个也还这么鲁棒的KI模块提供的分类结果可以以绝对的安全性通过如下方式来改变：停止标牌简单地被拆除并且通过另一标牌来代替。
这意味着，根据预先给定的度量标准对相应应用产生显著影响的干扰S的最小维度是KI模块对这样的干扰的敏感性的特别恰当的度量，所述干扰可以未被察觉地渗入输入数据集中。
因此，在特别有利的设计方案中，将具有不同的维度d的多个干扰S外加在相同的开放数据集上。例如，在此情况下可以以干扰S的低维度d、例如d=1开始并且然后逐步地提高干扰S的维度d，例如每次提高1。最小维度c=min(d)作为KI模块关于开放数据集的敏感性的度量来评价，针对该最小维度根据上述的度量标准确定KI模块对欺骗尝试的敏感性。为此，例如变量s=D-c可以被选择为产生强烈影响的干扰的“固有维度”。c越小，即敏感性越大，则s变得越大。
此外认识到了：通过c或s所测量的敏感性不均匀地分布在输入空间E中，输入数据集存在于所述输入空间中。尤其，可以存在这样的输入数据集，对于所述输入数据集而言，KI模块对欺骗尝试的敏感性特别高（所谓的“极端情况（corner cases）”）。该状况在某种程度上与山脉中的徒步路线类似，所述徒步路线绝大部分地对于无经验的人而言也是方便的，然而也具有一些暴露的地方，在这些地方失足直接导致坠落。该方法能够实现识别并且量化这样的“极端情况”。由此又可以采取对策，以便降低敏感性。例如，KI模型可以在围绕“极端情况”的范围中利用附加的学习数据来训练。
在另一有利的设计方案中，例如以c或s的形式所测量的KI模块的敏感性关于来自预先给定的集合M的多个数据集来确定。通过根据所述数据集这样确定的敏感性确定汇总统计。该汇总统计例如可以包含平均值、和/或方差、和/或频率分布、和/或所确定的敏感性的最差值。
这样，例如针对许多应用可能足够的是，敏感性平均保持在预先给定的范围中，而在其他应用中需要敏感性的“最坏情况”估计，在所述其他应用中在发生故障时面临财产或人员伤害。
KI模块对欺骗尝试的敏感性的新获得的可量化性尤其可以被用作反馈，以便使KI模块相对欺骗尝试强化。
因此，本发明也涉及一种用于建立KI模块的方法，该KI模块包括参数化的内部处理链形式的可训练的人工智能并且被构成用于借助该内部处理链将来自具有维度D的输入空间E的输入数据集映射到具有维度G<D的输出空间F中的分类和/或回归上。
在该方法中，内部处理链的架构通过所谓的超参数来规定。这些超参数涉及在设计该架构时存在的自由度。例如，KNN的架构不仅包括确定类型的层的顺序（例如“10x交替地卷积层和最大池化层（Max-Pooling-Schicht），然后完全连接层）而且包括这些层的具体的尺寸（例如“在输入层中的512x512个神经元”）。
形成具有内部处理链的KI模块，该内部处理链具有根据所规定的超参数的架构。该架构于是还具有用于训练的自由参数、在KNN的情况下例如权重，被输送给每个神经元的用于激活该神经元的输入利用所述权重来计算。在训练KI模块时，这些自由参数借助学习数据集的集合L和所属的学习结果来优化，使得KI模块根据误差函数以预先给定的精度将学习数据集映射到学习结果上。例如，学习数据集可以包括道路场景的图像，并且分别属于每个图像的学习结果说明，KI模块应在图像中识别哪些对象。
在训练结束之后，利用验证数据集的集合M根据先前所描述的方法确定所训练的KI模块的敏感性的汇总统计。在此，验证数据集的集合M有利地应与学习数据集的集合L不相交，因为学习数据集在KI模块恰好根据这些数据集的正确处理而特别优化的范围内是卓越的。然而对于该应用重要的是在未知的状况下KI模块的恰好正确的功能。
现在超参数、即KI模块的架构如下被优化：在重新形成和训练KI模块之后，为此所确定的敏感性的汇总统计表明对欺骗尝试的总体上更低的敏感性。
认识到了：KI模块对欺骗尝试的敏感性不仅通过KI模块的相应训练来确定，而且通过所基于的架构来确定。针对训练，存在误差函数形式的反馈，该误差函数评定：如何好地再现预先给定的学习结果。通过相关性的汇总统计，现在关于KI模块的架构的反馈也可用。
在一个特别有利的设计方案中，优化超参数，其方式是：内部处理链的架构利用演化算法来产生。分别在形成和训练具有架构的KI模块之后所确定的敏感性的汇总统计进入用于评价该架构的质量度量中。
在演化算法的范围内，内部处理链的架构例如可以利用交叉和变异的自然模拟方法来修改，使得总是那些具有更好的质量度量的架构“幸存”（“Survival of the Fittest（适者生存）”）。演化算法特别适合于优化架构，因为所述演化算法并不以要优化的超参数是连续的为前提。这样，例如KNN中的层的类型（例如卷积层、池化层或完全连接层）是离散的变量，该变量对于在优化任务中经常使用的梯度下降方法而言不易理解。
在先前所描述的方法的另一特别有利的设计方案中，至少一个开放数据集和/或至少一个学习数据集包含物理测量变量的至少一个测量值。以此方式，分析这些测量变量的系统可以受到保护以免通过对测量变量的有针对性地些微的篡改而使分析未被察觉地转向到错误方向。测量值尤其可以利用传感器来确定，该传感器记录物理作用，该物理作用的方式和/或强度通过物理测量变量来表征。
确定KI模块对欺骗尝试的敏感性通常不是目的本身，而是涉及具体的应用。认识到了：上述的敏感性在这样的应用的范围内可以直接被用作利用KI模块确定的结果的可靠性的度量。根据应用，关于可靠性的可信赖的声明可以与结果本身完全一样重要。
因此，本发明也涉及一种用于监控检测区域的方法。在该方法中通过利用至少一个传感器物理地观测检测区域来检测具有测量数据的至少一个测量数据集。
该测量数据集被输送给KI模块，该KI模块包括参数化的内部处理链形式的可训练的人工智能并且被构成用于借助该内部处理链将来自具有维度D的输入空间E的输入数据集映射到具有维度G<D的输出空间F中的分类和/或回归上。输入空间E这里是如下空间，在该空间中可能的测量数据可以变动。输出空间F和其维度G通过用监控跟踪的询问例如是在测量数据中要分类的对象的类型和数量。
由KI模块输出的分类和/或回归作为监控的结果来评价和/或输出。附加地，KI模块对欺骗尝试的敏感性利用所描述的方法来测量并且作为结果的可靠性的度量来评价和/或输出。
以自动化方式确定的KI模块对欺骗尝试的敏感性又开创如下可能性：只要所确定的敏感性满足预先给定的标准，就自动化地采取抵抗这种欺骗尝试的对策。该标准例如可以在标量敏感性的情况下包含：超过或低于预先给定的阈值。
作为示例性的可能的对策，测量数据集可以被输送给另一KI模块，其中该另一KI模块具有与先前所利用的KI模块不同的架构，和/或其中该另一KI模块已与先前所利用的KI模块不同地被训练了。同一欺骗尝试（例如“对抗样本”）越广泛地与不同地被训练的KI模块或甚至与不同地被结构化的KI模块相配，将篡改叠加在测量数据上使得该篡改不以其他方式被察觉就变得越困难。
作为另一有利的可能的对策，可以利用另一物理传感器来检测附加的测量数据。所述附加的测量数据可以被用于检查结果的合理性。例如，为此目的可以激活另一物理传感器。欺骗尝试（例如“对抗样本”）存在于KI模块的输入空间E中，但是附加的测量数据存在于该空间E之外并且因此不被欺骗尝试覆盖。
作为另一示例性的可能的对策可以丢弃该结果。根据应用，这与进一步处理可能被篡改的结果相比可能是更小的弊端。
根据先前所描述的，在特别有利的设计方案中检测区域包括车辆的周围环境的至少一部分。由KI模块提供的结果被输送给在车辆中所安装的驾驶辅助系统或用于至少部分自动化的驾驶的系统。驾驶辅助系统或用于至少部分自动化的驾驶的系统被构成用于根据结果操控车辆的转向系统、传动系统和/或制动系统。恰好一方面该应用是特别安全关键的，并且另一方面可以简单地实现欺骗尝试，因为例如交通标志是公开可用的。
在车辆中的应用中，不同的特定的对策单独地或组合地是有意义的。这样，例如可以激活对于车辆的驾驶员而言可察觉的物理报警装置。车辆的驾驶员可以被要求确认或修正由KI模块提供的结果，和/或承担对车辆的控制。在最高升级水平中，可以使车辆在针对至少部分自动化的驾驶功能的故障所设置的紧急情况轨迹上停住。
如先前已经提及的，访问控制系统是另一重要的应用。因此，在另一特别有利的设计方案中，检测区域包括如下区域中的至少一部分，在所述区域中用于控制对房间、地区和/或信息技术系统的访问的访问控制系统期待访问介质的出示。由KI模块提供的结果被输送给访问控制系统。访问控制系统被构成用于基于该结果判定：在检测区域中是否存在有效的访问介质。基于该判定尤其可以操控闭锁和/或报警设备，以便允许或阻止访问。利用所描述的对策可以使通过有针对性地篡改测量数据来冒充有效的访问介质的尝试变得困难。
此外，特别对于访问控制而言，其他特定的对策单独地或组合地是有意义的。这样例如可以要求请求访问的人员的附加认证、例如PIN或密码。访问例如也可以与有效的访问介质的存在无关地在预定的时间内被紧止，以便阻碍重复的欺骗尝试。例如也可以将警报输出给负责房间、地区或信息技术系统的安全性的机构。
在此，在一个特别有利的设计方案中将请求访问的人员的生物识别测量数据选择为测量数据。这种访问介质通常难以或完全不能复制，使得该访问介质对于攻击者而言是代替于此欺骗KI模块的重要的替代方案。
根据先前所描述的，所提及的方法能够使用附加的硬件、例如附加的传感器。然而，这并不一定是必需的。所述方法也可以完全地或部分地以软件实施，所述软件引起直接的客户利益（Kundennutzen），使得可以识别、降低KI模块对欺骗尝试的敏感性或针对相应的应用减弱其结果。因此，本发明也涉及一种计算机程序，其包含机器可读的指令，所述指令在其在计算机上和/或在控制设备上和/或在嵌入式系统上被执行时促使计算机和/或控制设备和/或嵌入式系统执行所描述的方法之一。同样，本发明也涉及一种机器可读的数据载体或一种下载产品，其具有计算机程序。
附图说明
改进本发明的其他措施在下文中与对本发明的优选实施例的描述一起借助图更详细地示出。
其中：
图1示出用于测量敏感性的方法100的实施例；
图2示出干扰S的维度c1a、c1b、c1c的比较，从所述干扰起在KI模块1a、1b、1c中引起显著的偏差15；
图3示出用于建立KI模块1的方法200的实施例；
图4示出用于监控检测区域2的方法300的实施例；
图5示出该方法300在车辆50中的示例性应用的示意图；
图6示出该方法300在访问控制系统60中的示例性应用的示意图。
具体实施方式
图1示出方法100的实施例。存在于具有维度E的输入空间E中的预先给定的开放数据集11在步骤110中通过KI模块1和其内部处理链12被映射到具有维度G的输出空间F中的分类13和/或回归14上。
附加地，在步骤120中具有维度d< D的干扰S被外加到相同的开放数据集11上。这根据块121可以是针对所使用的KI模块1的“对抗样本”。根据块122，此外可以使用具有不同维度d的不同干扰S。受干扰的数据集11'在步骤130中被映射到受干扰的分类13'上或受干扰的回归14'上。
在步骤140中未受干扰的结果13、14借助度量标准16与受干扰的结果13'、14'进行比较。在步骤150中检验：所确定的偏差15是否满足预先给定的标准，即所述偏差例如是否超过预先给定的阈值。如果情况如此（真值1），则在步骤160中确定：KI模块1关于开放数据集11对具有维度d的欺骗尝试敏感。在步骤170中，最小维度c=mind(d)被评价为KI模块1关于开放数据集11的敏感性的度量17，针对该最小维度情况如此。
可选地，根据块115可以关于来自预先给定的集合M的多个数据集11确定KI模块1的敏感性。根据块175，通过在步骤170中分别确定的KI模型1的敏感性的所属的度量17，c可以进行汇总统计18。
在图2中，针对三个示例性KI模块1a-1c绘制出偏差15，所述偏差在不同维度的干扰S被外加到同一开放数据集11上并且然后分别利用KI模块1a-1c处理受干扰的数据集11'时产生。利用在该实例中作为阈值实施的标准150分别检验：偏差15关于当前应用是否是显著的。在图2中用附图标记c1a、c1b或c1c表示最小维度d，在该最小维度的情况下针对三个所检查的KI模块1a-1c情况分别如此。该维度c1a-1c越高，所属的KI模块1a-1c抵抗欺骗尝试就越鲁棒。在图2中所示出的实例中，KI模块1b获得最差结果并且KI模块1c获得最好结果。关于针对该检查所使用的开放数据集11，KI模块1a的敏感性处于KI模块1b和1c的敏感性之间。
图3示出用于建立KI模块1的方法200的实施例。在步骤210中，KI模块1的内部处理链12的架构通过超参数12a来规定。如先前所描述的，这些超参数12a不必仅仅为数值。更确切地说，超参数12a例如也可以包括选择可能性：例如KNN的一层是卷积层、完全连接层（eine vollvernetzte Schicht）还是池化层。
在步骤220中，形成具有内部处理链12的KI模块1，该内部处理链具有通过所述超参数12a确定的架构。该架构是具有还自由的参数12b、例如KNN中的权重的拟设（Ansatz）。这些参数12b在步骤230中利用来自集合L的学习数据集11a和所属的学习结果13a、14a来训练。也就是说，所述参数12b一直被改变，直到学习数据集11a根据误差函数以预先给定的精度被映射到学习结果13a、14a上。
在步骤240中根据先前所描述的方法100检验完成训练的KI模块1对欺骗尝试的敏感性。为此，来自集合M的验证数据集被用作开放数据集。通过来自集合M的所有验证数据集创建KI模块1的相应的敏感性的汇总统计18。
根据步骤250，现在如下优化超参数12a：在KI模块1的重新形成220和紧接着的训练230之后，敏感性的汇总统计18表明KI模块1对欺骗尝试的总体上更低的敏感性。即，利用方法100依次检查候选KI模块的敏感性。
在图3中所示出的实例中，优化超参数12a，其方式是：分别根据块251利用演化算法产生要形成的KI模块1的内部处理链12的新架构。汇总统计18于是根据块252分别进入用于相应的架构的质量度量（适应度函数）中。
图4示出用于监控检测区域2的方法300的实施例。在步骤310中，利用传感器3检测至少一个测量数据集11，所述测量数据集包含测量数据3a。在步骤320中，该测量数据集被输送给KI模块1。该KI模块1利用其内部处理链12由测量数据集11产生分类13和/或回归14。在步骤330中，该分类13和/或回归14作为监控的结果13、14被评价和/或输出。
在步骤340中，利用方法100测量KI模块1对欺骗尝试的敏感性17、18。该敏感性17、18在步骤350中作为结果13、14的可靠性的度量被评价和/或输出。
在图4中附加地还示出了不同的对策，响应于在步骤360中确定：所确定的敏感性17、18满足预先给定的标准（真值1），可以单独地或组合地采取这些对策。
这样，例如在将方法300应用在车辆50中时，在该车辆中结果13、14被输送给在图4中未绘出的驾驶辅助系统52a或用于至少部分自动化的驾驶的系统52b，
• 可以根据块361激活对于车辆的驾驶员可察觉的物理报警装置，
• 可以根据块362要求车辆50的驾驶员确认或修正结果13、14，
• 可以根据块363要求车辆50的驾驶员承担对车辆50的控制，和/或
• 可以根据块364使车辆50在针对至少部分自动化的驾驶功能的故障所设置的紧急情况轨迹上停住。
此外，例如在将该方法300应用在用于控制对房间61、地区62和/或信息技术系统63的访问的访问控制系统60中时该访问控制系统可以基于结果13、14检验有效的访问介质（Zugangsmedium）在检测区域2中的存在，
• 可以根据块365与有效的访问介质65的存在无关地在预定的时间内禁止访问，
• 可以根据块366要求请求访问的人员的附加认证，和/或
• 可以根据块367将警报输出给负责房间61、地区62或信息技术系统63的安全性的机构。
一般而言，例如可以
• 根据块370将测量数据集11输送给另一KI模块1'，所述另一KI模块不同地被训练和/或具有另一架构，和/或
• 根据块380将另一传感器3'用于获得附加的测量数据3a'，以便根据块385检查结果13、14的合理性，和/或
• 根据块390丢弃结果13、14。
而如果敏感性并不是突出地高的（在步骤360中的检验中真值0），则结果13、14例如可以根据块395被使用在驾驶辅助系统52a中或在用于至少部分自动化的驾驶的系统52b中。但是结果13、14也可以例如根据块396在访问控制系统60中被利用。
在图5中再次简要地概述了该方法300在车辆50中的应用。这里，检测区域2是车辆50的周围环境51的一部分。驾驶辅助系统52a、和/或用于至少部分自动化的驾驶的系统52b根据利用该方法300从测量数据集11导出的结果13、14介入车辆的行驶动力学，其方式是：操控车辆50的转向系统53、传动系统54和/或制动系统55。
在图6中再次简要地概述了该方法300在访问控制系统60中的应用。访问控制系统60检验：在检测区域2中是否出示用于访问房间61、地区62或IT系统63的有效的访问介质65。在图6中所示出的实例中，访问介质65是具有确定生物识别特征的手。根据利用该方法300从测量数据集11导出的结果13、14，访问控制系统60操控闭锁和/或报警设备64，以便允许或阻止访问。

Claims (16)

1.一种用于测量KI模块（1）对欺骗尝试的敏感性的方法（100），其中所述KI模块（1）包括参数化的内部处理链（12）形式的可训练的人工智能并且被构成用于借助所述内部处理链（12）将来自具有维度D的输入空间E的输入数据集（11）映射到具有维度G<D的输出空间F中的分类（13）和/或回归（14）上，具有如下步骤：
• 针对所述输入空间E中的预先给定的开放数据集（11），将所述分类（13）和/或回归（14）确定（110）为未受干扰的结果（13，14），所述KI模块（1）将所述开放数据集（11）映射到所述分类（13）和/或回归（14）上；
• 将至少一个具有维度d<D的干扰S外加（120）在所述开放数据集（11）上，使得在所述输入空间E中形成至少一个受干扰的数据集（11'）；
• 将如下分类（13'）和/或回归（14'）确定（130）为受干扰的结果（13'，14'），所述KI模块（1）将所述受干扰的数据集（11'）映射到所述分类（13'）和/或回归（14'）上；
• 所述受干扰的结果（13'，14'）与未受干扰的结果（13，14）的偏差利用预先给定的度量标准（16）来确定（140）；
• 响应于所述偏差（15）满足（150）预先给定的标准，确定（160）：所述KI模块（1）关于所述开放数据集（11）对具有维度d的欺骗尝试是敏感的。
2.根据权利要求1所述的方法（100），其中将具有维度d的用于所述KI模块（1）的对抗样本确定为干扰S，（121）。
3.根据权利要求1至2中任一项所述的方法（100），其中将具有不同维度d的多个干扰S外加在相同的开放数据集（11）上，（122），并且其中最小维度c=min(d)作为所述KI模块（1）关于所述开放数据集（11）的敏感性的度量（17）来评价，（170），针对所述最小维度确定（160）所述KI模块（1）对欺骗尝试的敏感性。
4.根据权利要求1至3中任一项所述的方法（100），其中关于来自预先给定的集合M的多个数据集（11）确定所述KI模块（1）的敏感性，（115），并且其中通过根据所述数据集这样确定的敏感性确定汇总统计（18），（175）。
5.根据权利要求4所述的方法（100），其中所述汇总统计（18）包含平均值、和/或方差、和/或频率分布、和/或所确定的敏感性（17）的最差值。
6.一种用于建立KI模块（1）的方法（200），所述KI模块（1）包括参数化的内部处理链（12）形式的可训练的人工智能并且被构成用于借助所述内部处理链（12）将来自具有维度D的输入空间E的输入数据集（11）映射到具有维度G<D的输出空间F中的分类（13）和/或回归（14）上，具有如下步骤：
• 所述内部处理链（12）的架构通过超参数（12a）来规定（210），
• 形成具有所述内部处理链（12）的KI模块（1），
• 所述KI模块（1）通过如下方式来训练（230）：所述内部处理链的参数（12b）借助学习数据集（11a）的集合L和所属的学习结果（13a，14a）来优化，使得所述KI模块（1）根据误差函数以预先给定的精度将所述学习数据集（11a）映射到所述学习结果（13a，14a）上；
• 利用验证数据集（11）的集合M利用根据权利要求4至5中任一项所述的方法确定（240）所训练的KI模块（1）的敏感性的汇总统计（18）；
• 如下优化（250）所述超参数（12a）：在重新形成（220）和训练（230）所述KI模块（1）之后，为此所确定的敏感性的汇总统计（18）表明对欺骗尝试的总体上更低的敏感性。
7.根据权利要求6所述的方法（200），其中通过如下方式优化（250）所述超参数（12a）：所述内部处理链（12）的架构利用演化算法来产生（251），其中分别在形成和训练具有架构的所述KI模块（1）之后所确定的敏感性的汇总统计（18）进入（252）用于评价所述架构的质量度量中。
8.根据权利要求1至7中任一项所述的方法（100），其中至少一个开放数据集（11）、和/或至少一个学习数据集（11a）包含物理测量变量的至少一个测量值。
9.一种用于监控检测区域（2）的方法（300），具有如下步骤：
• 通过利用至少一个传感器（3）物理地观测所述检测区域（2）来检测（310）具有测量数据（3a）的至少一个测量数据集（11）；
• 将所述测量数据集（11）输送（320）给KI模块（1），所述KI模块包括参数化的内部处理链（12）形式的可训练的人工智能并且被构成用于借助所述内部处理链（12）将来自具有维度D的输入空间E的输入数据集映射到具有维度G<D的输出空间F中的分类（13）和/或回归（14）上；
• 将由所述KI模块（1）输出的分类（13）和/或回归（14）作为监控的结果（13，14）来评价和/或输出（330）；
• 所述KI模块（1）对欺骗尝试的敏感性（17，18）利用根据权利要求1至5中任一项所述的方法（100）来测量（340）；
• 将所确定的敏感性（17，18）作为结果（13，14）的可靠性的度量来评价和/或输出（350）。
10.根据权利要求9所述的方法（300），其中响应于所确定的敏感性（17，18）满足预先给定的标准，（360），
• 将所述测量数据集（11）输送给另一KI模块（1'），（370），其中所述另一KI模块（1'）具有与先前所利用的KI模块（1）不同的架构，和/或其中所述另一KI模块（1'）已与先前所利用的KI模块（1）不同地被训练了；和/或
• 利用另一物理传感器（3'）检测附加测量数据（3a'），（380），并且所述附加测量数据（3a'）被使用，（385），以便检查所述结果（13，14）的合理性；和/或
• 丢弃所述结果（13，14），（390）。
11.根据权利要求9至10中任一项所述的方法（300），其中所述检测区域（2）包括车辆（50）的周围环境（51）的至少一部分并且其中将由所述KI模块（1）提供的结果（13，14）输送给安装在所述车辆（50）中的驾驶辅助系统（52a）或用于至少部分自动化的驾驶的系统（52b），（395），其中所述驾驶辅助系统（52a）或用于至少部分自动化的驾驶的系统（52b）被构成用于根据所述结果（13，14）操控所述车辆（50）的转向系统（53）、传动系统（54）和/或制动系统（55）。
12.根据权利要求11所述的方法（300），其中响应于所确定的敏感性（17，18）满足预先给定的标准，（360），
• 激活对于所述车辆（50）的驾驶员而言可察觉的物理报警装置，（361）
• 要求所述车辆（50）的所述驾驶员确认或修正所述结果（13，14），（362）
• 要求所述车辆（50）的所述驾驶员承担对所述车辆（50）的控制，（363），和/或
• 使所述车辆（50）在针对至少部分自动化的驾驶功能的故障所设置的紧急情况轨迹上停住，（364）。
13.根据权利要求9至10中任一项所述的方法（300），其中所述检测区域（2）包括如下区域的至少一部分，在所述区域中用于控制对房间（61）、地区（62）和/或信息技术系统（63）的访问的访问控制系统（60）期待访问介质（65）的出示，其中由所述KI模块（1）提供的结果（13，14）被输送给所述访问控制系统（60），（396），并且其中所述访问控制系统（60）被构成用于基于所述结果（13，14）判定：在所述检测区域（2）中是否存在有效的访问介质（65）。
14.根据权利要求13所述的方法（300），其中响应于所确定的敏感性（17，18）满足预先给定的标准，（360），访问与有效的访问介质（65）的存在无关地在预定的时间内被禁止，（365），和/或要求请求访问的人员的附加认证，（366），和/或将警报输出给负责所述房间（61）、所述地区（62）或所述信息技术系统（63）的安全性的机构，（367）。
15.根据权利要求13至14中任一项所述的方法（300），其中请求访问的人员的生物识别测量数据被选择为测量数据（3a，3a'）。
16.一种计算机程序，包含机器可读的指令，所述指令在其在计算机上、和/或在控制设备上、和/或在嵌入式系统上被执行时促使所述计算机和/或所述控制设备和/或所述嵌入式系统执行根据权利要求1至15中任一项所述的方法（100，200，300）。
CN201911200621.3A 2018-11-30 2019-11-29 Ki模块对欺骗尝试的敏感性的测量 Pending CN111259920A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018220711.9A DE102018220711A1 (de) 2018-11-30 2018-11-30 Messung der Anfälligkeit von KI-Modulen gegen Täuschungsversuche
DE102018220711.9 2018-11-30

Publications (1)

Publication Number Publication Date
CN111259920A true CN111259920A (zh) 2020-06-09

Family

ID=70680858

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911200621.3A Pending CN111259920A (zh) 2018-11-30 2019-11-29 Ki模块对欺骗尝试的敏感性的测量

Country Status (3)

Country Link
US (1) US11500998B2 (zh)
CN (1) CN111259920A (zh)
DE (1) DE102018220711A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3906508B1 (en) * 2018-12-31 2024-03-13 Intel Corporation Securing systems employing artificial intelligence
US10846407B1 (en) * 2020-02-11 2020-11-24 Calypso Ai Corp Machine learning model robustness characterization
DE102020209342A1 (de) 2020-07-24 2022-01-27 Robert Bosch Gesellschaft mit beschränkter Haftung Robustes Training für neuronale Netzwerke
CN112949678B (zh) * 2021-01-14 2023-05-02 西安交通大学 深度学习模型对抗样本生成方法、系统、设备及存储介质
CN115690744A (zh) * 2022-11-10 2023-02-03 北京擎天信安科技有限公司 一种基于YOLOv5算法的图像欺诈检测方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7441429B1 (en) * 2006-09-28 2008-10-28 Narus, Inc. SIP-based VoIP traffic behavior profiling
US8769373B2 (en) * 2010-03-22 2014-07-01 Cleon L. Rogers, JR. Method of identifying and protecting the integrity of a set of source data
US10671735B2 (en) * 2017-04-10 2020-06-02 Arizona Board Of Regents On Behalf Of Arizona State University Framework for security strength and performance analysis of machine learning based biometric systems
DE102018200724A1 (de) 2017-04-19 2018-10-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"
US20190019058A1 (en) * 2017-07-13 2019-01-17 Endgame, Inc. System and method for detecting homoglyph attacks with a siamese convolutional neural network
US11171977B2 (en) * 2018-02-19 2021-11-09 Nec Corporation Unsupervised spoofing detection from traffic data in mobile networks

Also Published As

Publication number Publication date
DE102018220711A1 (de) 2020-06-04
US11500998B2 (en) 2022-11-15
US20200175176A1 (en) 2020-06-04

Similar Documents

Publication Publication Date Title
CN111259920A (zh) Ki模块对欺骗尝试的敏感性的测量
Hanselmann et al. CANet: An unsupervised intrusion detection system for high dimensional CAN bus data
Kläs et al. Uncertainty in machine learning applications: A practice-driven classification of uncertainty
He et al. Exploring inherent sensor redundancy for automotive anomaly detection
Kwak et al. Driver identification based on wavelet transform using driving patterns
CN110874471B (zh) 保护隐私安全的神经网络模型的训练方法和装置
CN112765607B (zh) 一种神经网络模型后门攻击检测方法
CN112115761B (zh) 自动驾驶汽车视觉感知系统漏洞检测的对抗样本生成方法
Stocco et al. Confidence‐driven weighted retraining for predicting safety‐critical failures in autonomous driving systems
CN112085281B (zh) 检测业务预测模型安全性的方法及装置
CN113811894B (zh) 对车辆的驾驶功能的ki模块的监测
Ferreira et al. Benchmarking safety monitors for image classifiers with machine learning
Kim et al. Anomaly monitoring framework in lane detection with a generative adversarial network
CN113449765A (zh) 测量神经网络图像分类器的对于对抗性攻击的灵敏度
Barontini et al. Deterministically generated negative selection algorithm for damage detection in civil engineering systems
Sibai AI crimes: a classification
Martinelli et al. Machine learning for driver detection through CAN bus
Azadani et al. Driverrep: Driver identification through driving behavior embeddings
CN117056951A (zh) 一种数字平台的数据安全管理方法
CN115481673A (zh) 使用分阶段机器学习来增强车辆网络安全
Francia et al. Applied machine learning to vehicle security
CN113435239A (zh) 对神经分类器网络的输出的合理性检查
van der Ploeg et al. Anomaly detection from cyber threats via infrastructure to automated vehicle
CN115398425A (zh) 神经网络加水印
CN117396900A (zh) 具有自训练分类的无监督异常检测

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination