CN116324806A - 用于基于样例的系统的质量保证的方法 - Google Patents
用于基于样例的系统的质量保证的方法 Download PDFInfo
- Publication number
- CN116324806A CN116324806A CN202180065565.6A CN202180065565A CN116324806A CN 116324806 A CN116324806 A CN 116324806A CN 202180065565 A CN202180065565 A CN 202180065565A CN 116324806 A CN116324806 A CN 116324806A
- Authority
- CN
- China
- Prior art keywords
- sample
- samples
- quality
- assessment
- determined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 84
- 238000000275 quality assurance Methods 0.000 title claims abstract description 15
- 238000001303 quality assessment method Methods 0.000 claims abstract description 60
- 238000009826 distribution Methods 0.000 claims abstract description 25
- 230000006870 function Effects 0.000 claims description 32
- 238000013441 quality evaluation Methods 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 210000002569 neuron Anatomy 0.000 claims description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 210000002364 input neuron Anatomy 0.000 claims description 6
- 210000004205 output neuron Anatomy 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000003860 storage Methods 0.000 claims description 4
- 239000000126 substance Substances 0.000 claims description 3
- 238000005259 measurement Methods 0.000 claims 2
- 238000011156 evaluation Methods 0.000 description 22
- 230000008901 benefit Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 6
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000010791 quenching Methods 0.000 description 5
- 241000894006 Bacteria Species 0.000 description 4
- 241000233866 Fungi Species 0.000 description 4
- 230000032683 aging Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000011800 void material Substances 0.000 description 3
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 2
- 241000203069 Archaea Species 0.000 description 2
- 102000012286 Chitinases Human genes 0.000 description 2
- 108010022172 Chitinases Proteins 0.000 description 2
- 241000206602 Eukaryota Species 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013442 quality metrics Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 241000282326 Felis catus Species 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 244000085682 black box Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 231100000317 environmental toxin Toxicity 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种用于基于样例的系统(1)的质量保证的方法。为了改进质量保证，在该方法中，根据所收集的样例(22)创建和训练基于样例的系统(1)，所述样例形成样例集合。样例集合的相应的样例(22)包括位于输入空间(20)中的输入值(12)。收集(B1，D1)包括多个样例的第一样例组(21)和包括多个样例的第二样例组。根据输入值在输入空间中的分布测定(C1)第一质量评估，该第一质量评估代表第一样例组的样例对输入空间的覆盖。根据输入值在输入空间中的分布测定(D2)第二质量评估，第二质量评估代表第二样例组的样例对输入空间的覆盖。将第一质量评估和第二质量评估相互比较。
Description
本发明涉及一种用于基于样例的系统的质量保证的方法。
基于样例的系统、例如人工神经网络原则上是已知的。其通常用于不存在直接的算法解决方案或无法利用传统软件方法合适地创建的领域。借助基于样例的系统可以基于多个样例创建和训练任务设置。经过学习的任务设置可以应用于多个其他样例。
在Thomas Waschulzik的论文“
effiziente />
künstlicher Neuronaler Netze mitüberwachtem Lernen(QUEEN)(具有监督学习的前向人工神经网络的质量保证的高效开发(QUEEN))”中描述了具有监督学习的前向人工神经网络的开发(以下简称：WASCHULZIK)。
在此背景下，本发明要解决的技术问题是改进基于样例的系统的质量保证。
根据本发明，上述技术问题通过一种用于基于样例的系统的质量保证的方法来解决，在该方法中，根据所收集的样例创建和训练基于样例的系统，所述样例形成样例集合。样例集合的相应的样例包括输入值，该输入值位于输入空间中。收集包括多个样例的第一样例组和包括多个样例的第二样例组。根据输入值在输入空间中的分布测定第一质量评估(或质量指标)，该第一质量评估代表第一样例组的样例对输入空间的覆盖。根据输入值在输入空间中的分布测定第二质量评估(或质量指标)，该第二质量评估代表第二样例组的样例对输入空间的覆盖。将第一质量评估和第二质量评估相互比较。
本发明一方面基于这样的认识，即诸如神经网络之类的基于样例的系统通常被视为黑盒子(Blackbox)。在此，不分析内部信息处理，并且省去了产生可理解的模型。此外，不通过检查验证该系统。这导致了当在具有高关键性的任务设置中使用基于样例的系统时的保留。
本发明还基于这样的认识，即当采集样例以创建和训练基于样例的系统时，通常不知道必须在输入空间的哪些区域中采集多少样例以创建合适的知识库。
本发明的另一个基本认识是，通常以多个步骤采集用于基于样例的系统的样例。在该迭代过程中，希望确保在第一样例组和第二样例组的采集之间不会出现与应用程序相关的差异，或者至少可以识别和评估这些差异。
关于技术状况的示例是在采集样例时使用的传感器的特性的由老化引起的变化，在该技术状况中，第一样例组和第二样例组之间的差异是相关的：传感器的校准由于老化而改变，并且必须检查以传感器的第一老化程度采集的第一样例组和以传感器的第二老化程度采集的第二样例组是否仍描述相同的任务设置。
关于不同样例的另一个示例在于，其中一个样例组被故意篡改以危害知识库的创建者或用户。
根据本发明的解决方案消除这些问题，方式为，测定第一质量评估和第二质量评估并且比较两个质量评估。结果在此例如可以表明，必须全部或部分丢弃样例数据组之一。
相应的质量评估代表样例对输入空间的覆盖，根据输入值在输入空间中的分布来测定该覆盖。由此实现输入空间的测绘。该测绘可以用作进一步采集样例以创建合适的知识库的基础。因此可以相应于在输入空间中的分布来控制样例的采集，尽管尚未确定分类器或逼近器的具体类型。也不必确定训练知识库的自由度。通过了解必须在哪些区域采集进一步的样例，可以以更有针对性的方式采集样例，并且因此可以显著降低用于采集样例的成本(因为总体上必须采集的样例更少)。
本发明还认识到，对于基于样例的系统来说，使用输入空间的测绘的先决条件是对特征的合适的代表和编码。通过特定于应用程序的转换将原始数据转换为适配于任务设置的解决方案的代表。借助标准方法将这种代表转换为，使得该代表可以用作神经网络的输入神经元的活动(所谓的编码)。代表样例集合的样例对输入空间的覆盖的质量评估可以在代表的层面和编码的层面上使用。
本发明还基于这样的认识，即输入特征在输入空间中的编码和/或代表优选地与基于样例的系统的期望输出具有语义关联。例如，如果通过预处理确定与输出具有语义关联的特征，则优选地对输入空间进行测绘。
本发明还基于这样的认识，即确定被界定的状态空间的维度的独立输入特征的数量与待采集的用于系统的配置、训练、评估和测试的样例的数量之间的比率优选地不要太大：因为在大比率的情况下，样例对输入空间的覆盖不够。
本发明还基于这样的认识，即界定状态空间的维度优选地在语义上彼此独立(即代表任务的独立方面)。进一步优选地，维度对于任务设置的解决方案具有相同的相关性。
进一步优选地，对于质量保证只考虑唯一的分类任务或逼近任务。例如，在用作单发多盒检测器(Single Shot Multibox Detector，SSD)的人工神经网络中，在所谓的默认箱(Default Box)中(即具有预设的长宽比、预设的缩放比例且在图像中的预设的位置上)只考虑对预设的对象大小的分类。
优选地，基于样例的系统设置用于在安全导向的功能中使用。本领域技术人员将术语“安全导向的功能”理解为系统的与安全相关的功能，即其行为对系统的环境的安全性有影响。在此，术语“安全性”要从所谓的英文“Safety”的意义上来理解。在专业语言中，“安全性”指的是保护系统环境免受来自该系统的危险的目标。与此不同的是，在专业语言中，“保障(Security)”指的是保护系统免受来自该系统环境的危险的目标。
关于根据本发明的方法的应用的另一个示例是如下状况：在该状况中，第一样例组已经承受了质量保证并且所配属的第一质量评估是已知的。如果关于第二样例组的质量评估是对应或相似的，则可以认为第二样例组的质量令人满意。
按照根据本发明的方法的一种优选的实施方式，由第一和第二样例组形成第三样例组，并且根据输入值在输入空间中的分布测定第三质量评估，该第三质量评估代表第三样例数据组的样例对输入空间的覆盖。将第一质量评估、第二质量评估和第三质量评估进行比较。
第三样例组可以说表示第一和第二样例组的并集。
关于第三样例组的应用的示例是如下状况：在该状况中，在存在根据第一样例组获得的知识的情况下收集第二样例组。例如，收集第二样例组以填补输入空间中的空缺。根据第三样例组可以测定是否已成功填补空缺。
在根据本发明的方法的一种优选的实施方式中，质量评估的测定包括：将代表分布在输入空间中并且将样例集合的多个样例配属给相应的代表。配属于代表的样例位于输入空间的围绕该代表的周围区域中。根据第一样例组的配属于代表的样例测定针对周围区域的局部质量评估作为第一质量评估。根据第二样例组的配属于代表的样例测定针对周围区域的局部质量评估作为第二质量评估。
通过将样例集合中的样例配属给代表，在周围区域内确定配属于代表的样例数据集。针对该样例数据集分别计算局部的质量评估、即第一质量评估和第二质量评估。
例如，可能感兴趣的是进一步研究其中第一质量评估和第二质量评估之间的相对差异相对较大的那些周围区域。
将样例集合划分到多个周围区域中带来了通常由信息学中的分治方法得出的优势。因此，基于样例的系统的开发人员例如可以专注于输入空间的没有满足特定的质量标准的部分。在这些部分中，可以相应地检查并在必要时改进质量。由此显著地减少评估整个样例集合的耗费。
优选地将代表样例作为代表进行分布。该分布优选地为均等分布。在此，例如在输入空间中选择用于布置代表样例的网格。可以针对输入空间的每个维度单独地确定网格。例如在分类变量中用于确定网格的标准可以是输入空间中样例分布的目标属性的模型，基于对基于样例的系统的要求来设置该模型。网格可以分级地构建，以便例如映射分级的编码。当应用网格来布置代表样例时，将代表样例分布在网格的输入空间中的每个超立方体中。在网格的分级构建中，每个分级层级都分布有代表样例。
备选地，代表是借助聚类方法确定的簇的中心。聚类方法优选地用于确定相应的簇在输入空间中的位置和范围。进一步优选地，在考虑位于输出空间中的样例的输出值的情况下执行聚类方法。可以基于对基于样例的系统的属性的要求或基于样例数据的子集来确定簇。在基于样例的系统的应用中，例如可以在早期采集样例集合，该样例集合是根据用于满足要求的知识来选择的。因此，样例数据的这种分布是质量保证的。在随后的项目阶段，可以利用相同的分布采集进一步的样例。在这种情况下，质量保证的样例集合的每个样例都表示用于后续的样例采集阶段的代表。由此确保关于每个初始样例采集附加的质量保证的样例集合。代表的位置例如可以由簇中心确定。备选地，可以使用分级的聚类方法，在该分级的聚类方法中，每个簇和每个分级层级插入有代表，并且在该分级的聚类方法中，每个分级层级的每个样例都配属于簇并且因此配属于代表。然后将可用于计算质量评估的样例集合通过预设的度量配属给簇并且因此配属给代表。对于无法配属给簇的样例，优选地创建具有代表的新簇。备选地，该样例与其他无法配属给簇的样例一起通过质量评估单独地被采集。
进一步优选地，这些样例不完全配属于一个代表，而是仅配属于预设的份额。这例如可以通过使用聚类算法来实现，该聚类算法将样例部分地配属给样例数据集(例如针对多个周围区域的百分比配属，其中，份额的总和为1)。在基于该部分的配属测定质量评估时，相应于相关份额地考虑相应的样例。
优选地根据配属于相应代表的样例的数量或根据其他特征来测定质量评估。如果在进一步的走向中不再使用具体的样例，则这是特别有利的。用于比较第一和第二质量评估的比较参量可以是配属于代表的第一样例组的样例数量与配属于代表的第二样例组的样例数量之间的差异的量值。
备选地或附加地，具体的样例或对样例的引用存储在代表中(将样本数据集转换为面向输入空间的形势的结构)。如果在进一步的走向中需要具体的样例，则这是有利的。
优选地减少处理所需的存储空间，方式为，仅当在相应的周围区域中存在至少一个样例时才存储代表。当测定对输入空间的覆盖时，将没有创建代表的周围区域评估为“不存在样例”。但是，可以关于每个代表的样例数量创建直方图，因为可以以低的耗费确定没有采集到样例的周围区域的数量(预期代表的总数-所创建的代表＝没有检测到样例的场的数量)。
在一种优选的扩展方案中，第三质量评估是根据第三样例组的配属于代表的样例测定的针对周围区域的局部质量评估。
优选地，在测定第一、第二和/或第三质量评估时，将代表分别分布到输入空间中的相同位置。换句话说：代表的位置优选地被选择为在所有样例组中都相同。这实现了第一、第二和/或第三样例组的代表的彼此配属。
按照根据本发明的方法的另一种优选的实施方式，质量评估包括统计手段，根据样例集合和/或配属于相应代表的样例来测定该统计手段。
以这种方式，可以基于配属于代表的信息例如利用描述性统计(如以下教科书之一所述：“Statistik:Der Weg zur Datenanalyse”(Springer教科书)平装本，2016年9月15日，Ludwig Fahrmeir(作者)、Christian Heumann(作者)、Rita Künstler(作者)、IrisPigeot(作者)、Gerhard Tutz(作者)；“Statistik für Dummies”平装本，2019年12月4日，Deborah J.Rumsey(作者)、Beate Majetschak(翻译)、Reinhard Engel(翻译)；“Arbeitsbuch zur deskriptiven und induktiven Statistik”(Springer教科书)平装本，2009年2月27日，Helge Toutenburg(作者)、Michael Schomaker(贡献者)、Malte Wiβmann(贡献者)，Christian Heumann(贡献者))的手段来定义质量评估。
可以借助直方图对所测定的局部质量评估进行分类和处理。例如，针对每个周围区域测定(第一样例组的)第一质量评估和(第二样例组的)第二质量评估之间的相对差异。以此为基础创建直方图，该直方图按相对差异分箱。直方图表示例如进一步使得能够通过点击相应的箱来选择已经配属于箱的那些周围区域。然后可以选择其中一个周围区域，并且可以详细显示附加的信息、例如样例的分布。
根据另一种优选的扩展设计，测定统计量度、尤其配属于代表的样例的数量的平均值、中值、最小值、最大值和/或分位数作为统计手段。
根据另一种优选的扩展设计，在输入空间中测定相邻的周围区域，其相应的代表配属有一定数量的样例，该数量满足质量评估的预设的质量标准。
如果配属于相应代表的样例的数量低于或超过预设的质量阈值或位于质量评估的预设的质量带内，则优选地满足预设的质量标准。
在确定两个周围区域是否彼此相邻时，可以使用不同的邻域关系、例如冯诺依曼邻域(也称为4个邻域)、摩尔邻域(也称为8个邻域)或图论中的邻域。所定义的邻域关系在高维空间中必须相应地转移：因此在三维空间中，例如考虑具有公共面的立方体的6个邻域、具有公共边的立方体的18个邻域以及具有公共角点的长方体的26个邻域。在此，通过以下方式定义邻域：两个网格点允许在多少个维度中不同以便仍被视为相邻。
在一种优选的扩展设计中，在输入空间内测定关联区域，该关联区域由相邻的周围区域组成。周围区域的代表分别配属有一定数量的样例。该数量满足预设的质量标准。
如果配属于相应代表的样例的数量低于或超过预设的质量阈值或位于质量评估的预设的质量带内，则优选地满足预设的质量标准。进一步优选地，如果针对相应的周围区域测定的质量评估小于预设的质量阈值，则在相应的周围区域中采集进一步的样例。备选地或附加地，如果针对相应的周围区域测定的质量评估大于预设的质量阈值，则从相应的周围区域中移除样例。
如果通过低于预设的质量阈值来满足质量标准，则可以以特别有利的方式测定输入空间中的采集到的样例太少的区域(可以说是“输入空间中的孔洞”)的位置和大小。换句话说：该实施方式的一个特别的优势在于识别输入空间的部分区域，在该部分区域中样例值没有为安全关键的应用提供足够的基础。这又具有优势，即可以进行纠正干预，方式例如为，采集进一步的样例(例如作为上面描述的第二样例组)或将应用中的知识库限制到具有高质量的关联区域上。
对采集到的样例太少的区域的测定尤其具有优点，即可以预防性地抵抗对抗性样例的攻击。因为在这些区域中，对抗性样例的攻击的成功概率相对较高。可以通过在这些区域中采集进一步的样例或将知识库限制在具有高质量的关联区域上来降低该成功概率。
可以基于所测定的关联区域来计算质量评估。因此，例如可以确定关联区域中的代表的数量。可以创建关于关联区域的大小或其他属性的直方图。此外，可以计算关联区域的属性的统计量度，诸如平均值、中值、分位数或标准偏差。此外，可以测定关联区域在输入空间维度上的范围。维度可以按照关联区域的最大范围的顺序进行排序。
在上面描述的关于第三样例组的应用的示例中，测定关联区域是特别有利的，其中，在存在根据第一样例组获得的知识的情况下收集第二样例组。在该示例中，收集第二样例组以填补输入空间中的空缺。可以根据上述关联区域来识别和表征所述空缺。根据第三样例组可以测定是否已成功填补空缺。
按照根据本发明的方法的一种特别优选的实施方式，相应的样例包括位于输出空间中的输出值。针对相应的周围区域测定局部复杂度评估，该局部复杂度评估代表由周围区域的样例定义的基于样例的系统的任务设置的复杂度。通过周围区域的样例在输入空间和输出空间中相对于彼此的相对位置确定局部复杂度评估。
本领域技术人员将“周围区域的样例在输入空间和输出空间中相对于彼此的相对位置”优选地理解为，基于对样例在输入空间中的距离与在输出空间中的距离的相似性的考虑来定义复杂度评估。例如，如果输入空间中的距离(除了缩放)大致对应于输出空间中的距离，则基于样例的系统的任务设置具有相对较低的复杂度。
由此得到优点，即可以有效地采集样例。因为根据复杂度评估知道了由于基于样例的系统的任务设置的高复杂度而必须在其中采集相对较多数量的样例的区域。优选地，在存在较高复杂度的输入空间的区域中，动态地增加代表的密度，直到达到均匀的复杂度并且有足够数量的样例位于代表的周围环境中。
复杂度评估例如对应于在WASCHULZIK第4节(QUEEN质量指标)中描述的质量指标。可以针对特征的代表或编码来定义和应用这些质量指标(参见WASCHULZIK的第4.5节)。
在根据本发明的方法的一种特别优选的实施方式中，针对第一样例组的样例确定第一复杂度评估，针对第二样例组的样例确定第二复杂度评估，并且针对第三样例组的样例确定第三质量评估。将第三局部复杂度评估与第一和/或第二局部复杂度评估进行比较。
尤其注意如下周围区域：在该周围区域中，第三复杂度评估相比于第一和/或第二复杂度评估示出第三样例组的明显更高的复杂度。在该周围区域中，要么在采集样例时存在问题，要么第一、第二或这两个样例数据组都已被篡改，以危害知识库的创建者或用户。该应用样例特别重要，因为单独根据第一和第二样例组不能探测到高的复杂度(而是仅根据第三样例组能探测到高的复杂度)。
对于上面描述的状况，措施可以是，从两个样例组中的一个样例组中移除样例并根据重新确定的复杂度评估来确定是否已经实现“改进”(即更低的复杂度)。如果实现了改进，则可以移除进一步的样例。如果示出第三复杂度评估漂移向更低的复杂度，则可以以这种方式推进。
为了处理第一、第二和第三复杂度评估之间的相应差异，可以定义接受范围或接受程度。换句话说：如果一致性位于特定范围内，则接受所收集的样例。可以根据数据集合的大小来选择接受程度。在相对较大的数据集合的情况下，优选地更窄地选择接受范围，并且在相对较小的数据集合的情况下，更大地选择接受范围。
根据本发明的方法的另一种优选的实施方式，借助复杂度评估的直方图表示来测定复杂度分布。
优选地，关于直方图表示将复杂度评估的值范围分箱(即划分为区域)。
在一种优选的扩展方案中，测定样例在输入空间中的k个最近邻域上的复杂度分布。以这种方式针对样例的局部周围环境测定复杂度如何分布。尤其测定在样例的局部周围环境中的复杂度的特性，并且可以这么说，测定样例的局部周围环境在复杂度方面的指纹。
例如，将“分箱”值绘制在y轴上，并且将增加的k(k最近邻域)的表示录入在x轴上。
为了减少在测定复杂度分布时所需的计算能力，选择k值的步长>1。例如，对于k＝5、10、15、20等的值，在步长为5的情况下测定复杂度评估的分布。进一步优选地，k的步长仅在特别感兴趣的区域中被选择为较小。因此，复杂度评估的分布例如首先以相对较大的k步长进行计算，以便然后在特别感兴趣的区域中以较小的k步长进行计算。
进一步优选地，针对计算出的直方图场(复杂度评估被分箱，k)存储复杂度评估的值的数量。进一步优选地，还存储样例的识别信息(例如号码)，在该样例的周围环境中测定了复杂度分布。
按照根据本发明的方法的一种优选的实施方式，将根据WASCHULZIK的第4.6节的集成质量指标QI2用作用于代表的质量指标，该集成质量指标可以基于公式4.21定义如下：
其中，根据WASCHULZIK的公式4.18：
是所代表的输入(NRE)的归一化距离，并且
是所代表的输出(NRA)的归一化距离。在此，x是由两个样例x1和x2组成的对(x1,x2,)。x1和x2是来自样例集合P的样例。P＝{p1,p1,...,p|p|}是BAG P的元素集合，其中，|P2|是BAG P的元素数量。BAG是在WASCHULZIK附录第27页规格21.5中定义的多元集合(英语称为multiset或bag(袋))。任务设置QAG在WASCHULZIK第23页的定义3.1中定义并且在那里被称为QUEEN任务设置。
dRE(x)是输入空间dre(vepx1,vepx2)中距离的缩写，dRA(x)是输出空间dra(vapxl,vapx2)中距离的缩写。
根据WASCHULZIK的对两个样例的代表之间的距离的定义基于欧几里得范数。因此，输入空间中的距离定义为(参见WASCHULZIK的公式4.3)：
以pk1、pk2作为集合P的样例，其中
其中，
i是所有表达的运行索引；
vempi,kx是样例kx的输入特征i的表达，其中kx∈R(R为实数集合)；以及aem是任务设置QAG的AnzahlEingabeMerkmale(输入特征的数量)。
本领域技术人员将表述“基于以下定义”或“可以基于公式4.21定义如下”优选地理解为，质量指标F(QI2)的修改和函数包含在该定义的思想中。
在一种优选的扩展设计中，通过聚合局部复杂度评估来测定聚合的复杂度评估。
聚合的复杂度评估具有优点，即基于样例的系统的开发人员可以简单地执行其质量保证。
例如，创建关于输入空间的不同周围区域中的复杂度的直方图作为聚合的复杂度评估。为此，将复杂度评估的值范围分箱(即划分为区域)。优选地，当不再需要周围区域的位置时，仅将具有相应复杂度的周围区域的数量包含在箱中。优选地将直方图与关于样例数量的信息合并，例如也合并为关于配属于代表的样例的数量的直方图。进一步优选地，关于代表的信息存储在直方图中，因此在进行详划分析时可以追溯该信息。
根据另一种优选的扩展设计，根据聚合的复杂度评估识别其复杂度评估低于预设的复杂度阈值的周围区域。在经测定的周围区域中，通过算法解决方案来实现基于样例的系统的任务设置。这对于例如在安全导向功能的情况下具有高质量要求的应用是特别有利的。
这种优选的扩展设计基于这样的认识，即系统的确切运行方式(即语义关联)对于具有较低的任务设置复杂度的区域通常是已知的。在这种情况下，可以将任务设置作为传统算法(而不是基于样例的系统)实现。这是特别有利的，因为在简单算法解决方案的认可程序(Zulassungsverfahren)的范畴内通常更容易证明安全导向功能的足够安全性。
通过这种扩展设计还得出了优点，即无需在低复杂度的区域中采集进一步的样例。
在搜索简单区域时，优选地也搜索数据收集伪迹，其给出输入和输出之间的、由数据收集的特定情况给出但并不代表可以在实践中使用的关系(例如从所谓的Kluger-Hans效应已知：https://de.wikipedia.org/wiki/Kluger_Hans)。在具有特别高的复杂度的区域中，分析样例例如在收集和采集样例时是否出现问题。
按照根据本发明的方法的另一种优选的实施方式，根据质量评估分级地划分输入空间。
优选地通过输入空间的分级划分来实现输入空间的分级映射。进一步优选地从输入特征的代表或编码中和/或从任务设置的复杂度分析中导出分级结构。
通过在输入空间的分析中引入附加的分级结构，可以要么在存在高复杂度的区域中动态地增加代表的密度(直到达到均匀的复杂度)要么引入新的分级层级。通过在代表的区域中添加具有更高分辨率的新的划分来引入新的分级层级。通过在高分辨率区域中在局部复杂度再次增加的情况下添加另外的分级层级，可以迭代该过程。由此可以将分辨率动态地适配于相应的任务设置。
按照根据本发明的方法的另一种优选的实施方式，基于样例的系统设置用于在安全导向的功能中使用，其中，该安全导向的功能包括基于图像识别的对象识别，在该对象识别中使用基于样例的系统来识别对象。
在一种优选的扩展设计中，在运输工具、尤其有轨车辆、机动车、飞机、水运工具和/或航天器的自动化运行中使用对象识别。
在运输工具的自动化运行中进行对象识别是安全指向功能的一种特别合适的实施方式。在此，例如需要对象识别来识别行驶路径上的障碍物或分析在交通参与者的先行权方面的交通情况。
机动车例如是汽车、例如轿车(PKW)、卡车(LKW)或履带式车辆。
水运工具例如是船或潜艇。
运输工具可以是载人的或无人的。
应用领域的示例是轨道车辆的自主或自动化驾驶。为了解决任务设置，使用对象识别系统来分析场景，该场景利用传感器进行数字化。例如需要场景分析来识别行驶路径上的障碍物或分析在交通参与者的先行权方面的交通情况。为了识别对象，目前特别成功地使用基于使用样例的系统，利用样例训练模式识别系统的参数。关于此的示例是例如具有深度学习算法的神经网络。
按照根据本发明的方法的另一种优选的实施方式，基于样例的系统设置用于在安全导向的功能中使用，其中，该安全导向的功能包括基于来自生物体的传感器数据的分类。
动物或人体组织的组织分类是医学图像处理领域中安全导向功能的一种特别合适的实施方式。生物体包括例如古生菌(原生细菌)、细菌(真正的细菌)和真核生物(核)或来自原生生物(也称为Protoctista(奠基人的名字))、Plantae(植物)、Fungi(蘑菇、几丁质真菌)和Animalia(动物)的组织。
进一步的应用领域是工业设备的安全控制(例如化学中的合成、对制造过程、例如轧钢的控制)、化学物质(例如环境毒素、战剂)的分类、运输工具的签名(例如雷达或超声波签名)的分类和/或工业自动化领域(例如机器制造)中的控制。
按照根据本发明的方法的另一种优选的实施方式，基于样例的系统包括-具有监督学习的系统，
-利用统计学方法构建的系统，
-优选地具有一层或多层神经元的人工神经网络，这些神经元不是输入神经元或输出神经元并且利用反向传播被训练，
-尤其卷积神经网络，
-尤其单发多盒检测器网络。
使用人工神经网络通常使得能够改善分类或逼近性能。
不是输入神经元或输出神经元的一层或多层神经元通常被专业地称为“隐藏”神经元。对具有多层隐藏神经元的神经网络的训练也通常被专业地称为深度学习。用于模式识别的深度学习网络的特别的类型是所谓的卷积神经网络(Convolutional NeuronalNetwork，CNN)。CNN的特例是所谓的SSD网络(Single Shot MultiBox Detector-Netze，单发多盒检测器网络)。本领域技术人员将术语“Single Shot MultiBox Detector(单发多盒检测器)”理解为一种根据深度学习方法的用于对象识别的方法，该深度学习方法基于卷积神经网络并且描述于：Liu，Wei于2016年10月发表的论文:SSD:Single shot multiboxdetector。欧洲计算机视觉会议。计算机科学讲义。9905.第21-37页。arXiv:1512.02325。
本发明还涉及一种计算机程序，包括指令，当通过计算单元实施该程序时，该指令促使该计算单元执行上述类型的方法。
本发明还涉及一种计算机可读的存储介质，包括指令，当通过计算单元实施该程序时，该指令促使该计算单元执行上述类型的方法。
关于根据本发明的计算机程序和计算机可读的存储介质的特征的优点、实施方式和实施细节可以参见上文对根据本发明的方法的相应特征的描述。
参照附图阐述本发明的实施例。在附图中：
图1示意性地示出了根据本发明的方法的实施例的流程，
图2示意性地示出了具有无监督学习的基于样例的系统的结构，
图3示意性地示出了根据本发明的方法的实施例的具有监督学习的基于样例的系统的结构，
图4示意性地示出了按照根据本发明的方法的实施例的二维输入空间，
图5示意性地示出了处于第二状态中的图4所示的二维输入空间，
图6示出了位于行驶路段上的有轨车辆的示意性侧视图，
图7示意性地示出了按照根据本发明的方法的另一种实施例的二维输入空间的另一种示例，
图8示出了代表将复杂度评估应用于第一合成函数的两个轴图，
图9示出了代表将复杂度评估应用于第二合成函数的两个轴图，和
图10示出了代表将复杂度评估应用于第三合成函数的两个轴图。
图1示出了示意性的流程图，其代表根据本发明的用于基于样例的系统的质量保证的方法的实施例的流程。该方法可以应用于具有监督学习和无监督学习的基于样例的系统。
在监督学习中，目标是学习将数据x(作为输入值)映射到标签y的函数。监督学习的一种示例是分类，在分类中，例如将图像数据x映射到类y(例如“猫”)中。监督学习的其他示例是回归、对象识别、图像注释等。
在无监督学习中，目标是学习数据x的结构(不使用标签y)。无监督学习的一种示例是聚类，在聚类中，应在数据中找到在特定指标上具有相似性的群。无监督学习的其他示例是降维或特征学习(所谓的特征学习或代表学习)等。
图2和图3示出了基于样例的系统1的实施例。图2示意性地示出了基于样例的系统1的实施例的结构，该系统被设计为自动编码器。自动编码器是一种人工神经网络2，其可用于高效的数据编码并以无监督的方式学习这种能力。自动编码器将输入值x映射到特征向量Z。
图3示意性地示出了具有监督学习的基于样例的系统1的实施例的结构，该系统被设计为多层感知器。具有监督学习的系统的其他示例可以是循环神经网络、卷积神经网络或者特别是所谓的单发多盒检测器网络(Single-Shot-MultiBox-Detector-Netz)。
基于样例的系统1由人工神经网络2形成，该人工神经网络具有一层4的输入神经元5和一层6的输出神经元7。
在图3中示出的人工神经网络2具有多个层8的神经元9，该神经元9不是输入神经元5或输出神经元7。
借助一个或多个计算机程序来实现基于样例的系统以及根据本发明的方法。计算机程序包括指令，当通过计算单元实施该程序时，该指令促使该计算单元执行根据图1所示的实施例的根据本发明的方法。计算机程序存储在计算机可读的存储介质上。
基于样例的系统在系统的安全导向的功能中使用。因此，功能的行为会影响系统环境的安全性。安全导向的功能的示例是基于图像识别的对象识别，在该对象识别中通过使用基于样例的系统1来识别对象(在监督学习的情况下)。对象识别例如使用在运输工具、尤其是在图4中示出的有轨车辆40、机动车、飞机、水运工具或航天器的自动化运行中。
安全导向的功能的另外的示例是基于来自生物体、例如来自古生菌(原生细菌)、细菌(真正的细菌)和真核生物(核)或来自原生生物(也称为Protoctista(奠基人的名字))、Plantae(植物)、Fungi(蘑菇、几丁质真菌)和Animalia(动物)的组织的传感器数据的分类、工业设备的安全控制、化学物质的分类、运输工具签名的分类或工业自动化领域中的控制。
在方法步骤A中确定要收集哪些样例。在步骤B中收集样例：收集到的样例形成样例集合。相应的样例具有位于输入空间中的输入值12和位于输出空间中的输出值14。在用于图6所示的有轨车辆40的自动化运行的对象识别(作为在监督学习的情况下的安全导向功能的多个可能示例之一)的情况下，通过有轨车辆40设有用于采集图像的摄像机单元42来收集样例。摄像机单元42在行驶方向41上定向为，使得由摄像机单元采集到位于行驶方向41前面的空间区域43。有轨车辆40与摄像机单元42一起在行驶方向41上沿行驶路段44行驶。为了采集样例，重新演绎与创建和训练用于对象识别的基于样例的系统1相关的场景。因此，例如使用纸板人偶、碰撞测试假人或演员45来表示行驶路段44上的人，他们应借助待创建和待训练的基于样例的系统1来识别。备选地，可以借助所谓的虚拟现实(VirtualReality)来重新演绎场景。
图4示出二维输入空间20的示例。在根据本发明的方法的实际应用中，输入空间和输出空间往往具有更高的维度。
根据按照本发明的方法，在方法步骤B1中收集包括多个样例22的第一样例组21。样例组21的样例22在图4中显示为十字线23。
在方法步骤C1中测定第一质量评估，该第一质量评估代表第一样例组21的样例对输入空间的覆盖。在质量评估的测定C1中，在方法步骤C2中将代表分布在输入空间中。代表24均匀地分布并且表示为所示网格26的交叉点25。
在方法步骤C3中，将样例集合的多个样例29配属给相应的代表28。配属于代表28的样例29位于输入空间20的围绕相应代表28的周围区域30中。周围区域30示例性地在图4中表示为点状面。在此，在方法步骤C4中，将针对周围区域30的第一局部质量评估测定为质量评估。此外，分别针对在图4中示出的其他周围区域测定局部质量评估。
在方法步骤C5中，在输入空间中测定相邻的周围区域32-36，其相应的代表配属有低于预设的质量阈值的数量的样例。在图4中，这些周围区域32-36表示为具有斜条纹的面。在图4所示的示例中，周围区域32-36是在其中没有样例的区域。此外，在方法步骤C6中，在输入空间20内测定关联区域38，该关联区域38由相邻的周围区域32-36组成，所述周围区域的代表分别配属有低于预设的质量阈值的数量的样例。由此测定了输入空间20中的采集到的样例太少的区域的位置和大小。换句话说：识别输入空间的部分区域，在该部分区域中样例值没有为安全关键的应用提供足够的基础。
根据该识别可以进行纠正干预：为此，例如在进一步的方法步骤D1中收集第二样例组27的样例并且在收集中考虑对第一样例组的了解。第二样例组27的样例在图5中表示为星形。
相应于第一局部质量评估的测定，在方法步骤D2中针对周围区域分别测定第二局部质量评估。
第一和第二样例组共同形成第三样例组作为并集。在方法步骤D3中，针对周围区域分别测定第三局部质量评估，该第三局部质量评估代表第三样例组的样例对输入空间的覆盖。
在方法步骤E中将第一、第二和第三质量评估进行比较。例如，在方法步骤E1中确定第三质量评估与第一或第二质量评估之间的差异。如果与第一样例组21相比，样例集合的质量在并集的情况下有所改进，则可以假定知识库通过第二样例组27的收集得到了改进。
例如，可以根据配属于相应代表的样例的数量来测定质量评估。用于比较第一和第二质量评估的比较参量可以是配属于代表的第一样例组的样例数量与配属于代表的第二样例组的样例数量之间的差异的量值。
在方法步骤F1中，针对相应的周围区域测定第一局部复杂度评估，该第一局部复杂度评估表示由周围区域的第一样例组定义的基于样例的系统的任务设置的复杂度。在此，根据方法步骤F11通过周围区域的样例在输入空间20和输出空间中相对于彼此的相对位置来确定局部复杂度评估。也就是说，基于对样例在输入空间20中的距离与在输出空间中的距离的相似性的考虑来定义复杂度评估。例如，如果输入空间20中的距离(除了缩放)大致对应于输出空间中的距离，则基于样例的系统的任务设置具有相对较低的复杂度。根据复杂度评估测定由于基于样例的系统的任务设置的高复杂度而必须采集相对较多数量的样例的区域。例如，在存在较高复杂度的输入空间20的区域中，动态地增加代表的密度，直到达到均匀的复杂度。
复杂度评估对应于在WASCHULZIK第4节(QUEEN质量指标)中描述的质量指标。可以针对特征的代表或编码来定义和应用质量指标(参见WASCHULZIK的第4.5节)。用于代表的质量指标的示例是根据WASCHULZIK的第4.6节的集成质量指标QI2。
在方法步骤F2中针对相应的周围区域确定第二局部复杂度评估，该第二局部复杂度评估代表由第二样例组定义的基于样例的系统的任务设置的复杂度。在方法步骤F3中针对第三样例组(合集)的样例确定第三局部复杂度评估。
在方法步骤G中，比较第一、第二和第三复杂度评估。在此尤其注意如下周围区域：在这些周围区域中，第三局部复杂度评估相比于第一和/或第二复杂度评估示出第三样例组的明显更高的复杂度。那么，在这些周围区域中，要么在采集样例时存在问题，要么第一、第二或这两个样例数据组21和27都已被篡改以危害知识库的创建者或用户。该应用样例特别重要，因为单独根据第一和第二样例组不能探测到高的复杂度(而是仅根据第三样例组能探测到高的复杂度)。
作为参考图4和图5描述的代表均匀分布在输入空间中的实施例的备选，图7示出输入空间220的实施例，在该输入空间中，代表分别形成借助聚类方法确定的簇的中心。样例集合的样例222在图7中表示为十字线223。
图7示例性地示出了四个簇230、232、234和236，所述簇分别包括多个样例。在图示中，样例位于虚线边界线内，但是该虚线边界线不代表簇的实际边界，而是仅为了说明而绘制。簇230、232、234和236分别具有关联的簇中心240、242、244和246(以加号形状表示)。簇中心240、242、244、246分别中心地位于簇内并且与输入空间的网格的边界无关地配属于簇。
根据图7的簇具有优点，即簇以特别合适的方式代表数据的拓扑。根据图4和图5的网格具有优点，即未被覆盖的区域被更合适地映射。例如，可以通过网格计算输入空间的覆盖(根据方法步骤C1-C6)，并且除了网格之外还通过簇中心计算复杂度评估(根据方法步骤F1-F3)。哪种方法更合适也可以取决于神经网络的方法。如果编码神经元可以在输入空间中运动，则优选地选择聚类方法，或者将簇中心等同于输入空间中编码神经元的位置。
为了了解在WASCHULZIK中描述的、作为复杂度评估的示例的质量指标的属性和行为，将质量指标应用于合成函数(例如y＝x)是有帮助的。由此可以推断出这些质量指标能够如何在基于样例的系统中应用。
图8至图10分别针对合成函数示出了关于预选样例的k最近邻域的复杂度评估分布的直方图。该样例例如是代表样例或簇的中心(如上所述)。该样例也可以是从代表的周围区域中选择的样例，该样例是为了更深入地研究任务设置的复杂度而选择的。
图8在左侧示出了WASCHULZIK的图像4.1并且在右侧示出了图像4.4。作为合成函数，y＝x在图8左侧表示为轴图(轴图中的条目示出为“+”)。右侧的轴图示出了针对函数y＝x，QI2的SHLQ2关于样例的k最近邻域的直方图。示出的是，对于样例的任意局部周围环境k，所示直方图的SHLQ2的值为零。
图9在左侧示出了WASCHULZIK的图像4.17并且在右侧示出了WASCHULZIK的图像4.20。作为合成函数，y＝ru(seed,300)*300在图9左侧表示为轴图。它是取值在0到300之间的均匀分布的随机变量。右侧的轴图示出了针对函数y＝ru(seed,300)*300，QI2的SHLQ2关于样例的k最近邻域的直方图。图9右侧的轴图按比例缩放为，使得40代表值1。
图10在左侧示出了WASCHULZIK的图像4.41并且在右侧示出了WASCHULZIK的图像4.44。作为合成函数，y＝sin(8*pi*x/300)+br(seed,300)在图10左侧表示为轴图。它是在0<x≤50和100<x≤200的范围内具有随机噪声的正弦函数。右侧的轴图示出了针对函数y＝sin(8*pi*x/300)+br(seed,-300)，QI2的SHLQ2关于样例的k最近邻域的直方图。图10中的轴图按比例缩放为，使得40代表值1。本领域的技术人员在这些图示中发现，有多个大小高达约45的k邻域，其中QI2的值几乎为0(由绘制在V轴上的具有小数字的箱的深灰色暗影表示)，因此存在输入空间和输出空间的几乎线性的映射。如果本领域技术人员通过读出直方图中的信息来分析在哪个样例的周围环境中存在低的复杂度，则得到x＝75的样例，在其邻域k＝45中，复杂度非常低。对于k＝45，这同样适用于x＝225或x＝275。因此，本领域技术人员可以简单、快速且可靠地识别复杂度特别低或特别高的区域，而无需事先知道诸如样例在输入空间中如何分布的情况。通过读出具有高的值的箱，即使在大的周围环境中，也可以识别出具有高的复杂度的区域(例如箱号80，K＝20)。这种对具有高的或低的复杂度的区域的识别可以独立于输入和输出空间的维度地进行，因为可以在任何维度的空间中确定k最近邻域之间的距离。通过同类的过程，本领域技术人员还可以从关于关联区域的大小的直方图中识别出例如包含很少的样例的代表。然后可以通过代表确定输入空间中的必须采集进一步的样例的位置。
虽然在细节上通过优选的实施例对本发明进行了更详细的阐述和描述，但是本发明却不限于所公开的示例并且本领域技术人员可以从中导出其它变型方案，而不脱离本发明的保护范围。
Claims (19)
1.一种用于基于样例的系统(1)的质量保证的方法，其中，
-根据所收集的样例创建和训练所述基于样例的系统(1)，所述样例形成样例集合，
-所述样例集合的相应的样例(22)包括输入值(12)，所述输入值位于输入空间(20)中，
-收集(B1，D1)包括多个样例的第一样例组(21)和包括多个样例的第二样例组，
-根据所述输入值在所述输入空间中的分布测定(C1)第一质量评估，所述第一质量评估代表所述第一样例组的样例对所述输入空间的覆盖，
-根据所述输入值在所述输入空间中的分布测定(D2)第二质量评估，所述第二质量评估代表所述第二样例组的样例对所述输入空间的覆盖，并且
-将所述第一质量评估和所述第二质量评估相互比较。
2.根据权利要求1所述的方法，
-由所述第一样例组和所述第二样例组形成第三样例组，并且
-根据所述输入值在所述输入空间中的分布测定(D3)第三质量评估，所述第三质量评估代表所述第三样例组的样例对所述输入空间的覆盖，并且
将所述第一质量评估、所述第二质量评估和所述第三质量评估进行比较(E)。
3.根据权利要求1或2所述的方法，
其中，所述质量评估的测定(C1)包括：
-将代表(24，28)分布(C2)在所述输入空间(20)中，并且
-将所述样例集合的多个样例(29)配属(C3)给相应的所述代表(28)，
其中，配属于所述代表(28)的样例(29)位于所述输入空间(20)的围绕所述代表(28)的周围区域(30)中，
其中，根据所述第一样例组(21)的配属于所述代表(28)的样例测定(C4)针对所述周围区域(30)的局部质量评估作为第一质量评估，和/或
根据所述第二样例组的配属于所述代表的样例测定针对所述周围区域(30)的局部质量评估作为第二质量评估。
4.根据权利要求2和3所述的方法，
其中，所述第三质量评估是根据所述第三样例组的配属于所述代表的样例测定的针对所述周围区域(30)的局部质量评估。
5.根据上述权利要求中的至少一项所述的方法，
其中，所述质量评估包括统计手段，所述统计手段根据
-所述样例集合和/或
-根据权利要求2至3中的一项所述的配属于相应代表(28)的样例
进行测定。
6.根据权利要求3和5所述的方法，
其中，测定统计量度、尤其配属于代表的样例的数量的平均值、中值、最小值、最大值和/或分位数作为所述统计手段。
7.根据权利要求3至6中的至少一项所述的方法，
其中，在所述输入空间(20)中测定(C5)相邻的周围区域(32-36)，所述周围区域的相应的代表配属有一定数量的样例，所述数量满足所述质量评估的预设的质量标准。
8.根据权利要求7所述的方法，
其中，在所述输入空间(20)内测定(C6)关联区域(38)，所述关联区域由相邻的周围区域(32-36)组成，所述周围区域的代表分别配属有一定数量的样例，所述数量满足所述质量评估的预设的质量标准。
9.根据权利要求3至8中的至少一项所述的方法，其中，
-所述相应的样例包括位于输出空间中的输出值(14)，
-针对所述相应的周围区域测定局部复杂度评估，所述局部复杂度评估代表由所述周围区域的样例定义的所述基于样例的系统(1)的任务设置的复杂度，并且
-通过所述周围区域的样例在所述输入空间(20)和所述输出空间中相对于彼此的相对位置确定所述局部复杂度评估。
10.根据权利要求2和9所述的方法，
其中，针对所述第一样例组的样例确定第一局部复杂度评估(F1)，针对所述第二样例组的样例确定第二局部复杂度评估(F2)，并且针对所述第三样例组的样例确定第三局部复杂度评估(F3)，并且
其中，将所述第三局部复杂度评估与所述第一局部复杂度评估和/或所述第二局部复杂度评估进行比较(G)。
11.根据权利要求9至10中的至少一项所述的方法，
其中，借助所述复杂度评估的直方图表示来测定复杂度分布。
12.根据权利要求11所述的方法，
其中，测定样例在所述输入空间中的k个最近邻域上的复杂度分布。
13.根据权利要求9至12中的至少一项所述的方法，
其中，所述复杂度评估是集成质量指标QI2，
-其中，基于如下定义确定所述集成质量指标：
-其中：
是所代表的输入的归一化距离，并且
是所代表的输出的归一化距离，
-其中，x是由两个样例x1和x2组成的对(x1,x2,)，
-其中，x1和x2是来自样例集合P的样例，
-其中，P＝{p1,p1,...,p|p|}是多元集合BAG P的元素集合，并且
-其中，|P2|是所述多元集合BAG P的元素的数量。
14.根据上述权利要求中的至少一项所述的方法，
其中，所述基于样例的系统(1)设置用于在安全导向的功能中使用，并且所述安全导向的功能包括基于图像识别的对象识别，在所述对象识别中使用所述基于样例的系统(1)来识别所述对象(45)。
15.根据权利要求14所述的方法，
其中，在运输工具、尤其有轨车辆(40)、机动车、飞机、水运工具和/或航天器的自动化运行中使用所述对象识别。
16.根据上述权利要求中至少一项所述的方法，
其中，所述基于样例的系统(1)设置用于在安全导向的功能中使用，并且所述安全导向的功能表示基于来自生物体的传感器数据的分类，或者包括工业设备的安全控制、化学物质的分类、运输工具签名的分类和/或工业自动化领域中的控制。
17.根据上述权利要求中至少一项所述的方法，
其中，所述基于样例的系统(1)包括
-具有监督学习的系统，
-优选地具有一个或多个层(8)的神经元(9)的人工神经网络(2)，所述神经元(9)不是输入神经元(5)或输出神经元(7)并且利用反向传播被训练，
-尤其卷积神经网络，
-尤其单发多盒检测器网络。
18.一种计算机程序，包括指令，当通过计算单元实施所述程序时，所述指令促使所述计算单元执行根据权利要求1至17中的至少一项所述的方法。
19.一种计算机可读的存储介质，包括指令，当通过计算单元实施所述程序时，所述指令促使所述计算单元执行根据权利要求1至17中的至少一项所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102020212235.0A DE102020212235A1 (de) | 2020-09-29 | 2020-09-29 | Verfahren zur Qualitätssicherung eines beispielbasierten Systems |
| DE102020212235.0 | 2020-09-29 | ||
| PCT/EP2021/074882 WO2022069182A1 (de) | 2020-09-29 | 2021-09-10 | Verfahren zur qualitätssicherung eines beispielbasierten systems |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116324806A true CN116324806A (zh) | 2023-06-23 |
Family
ID=77924343
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202180065565.6A Pending CN116324806A (zh) | 2020-09-29 | 2021-09-10 | 用于基于样例的系统的质量保证的方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20230289606A1 (zh) |
| EP (1) | EP4205047A1 (zh) |
| CN (1) | CN116324806A (zh) |
| DE (1) | DE102020212235A1 (zh) |
| WO (1) | WO2022069182A1 (zh) |
-
2020
- 2020-09-29 DE DE102020212235.0A patent/DE102020212235A1/de active Pending
-
2021
- 2021-09-10 CN CN202180065565.6A patent/CN116324806A/zh active Pending
- 2021-09-10 US US18/029,171 patent/US20230289606A1/en active Pending
- 2021-09-10 EP EP21777965.1A patent/EP4205047A1/de active Pending
- 2021-09-10 WO PCT/EP2021/074882 patent/WO2022069182A1/de unknown
Also Published As
| Publication number | Publication date |
|---|---|
| DE102020212235A1 (de) | 2022-03-31 |
| US20230289606A1 (en) | 2023-09-14 |
| EP4205047A1 (de) | 2023-07-05 |
| WO2022069182A1 (de) | 2022-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Interpretability beyond feature attribution: Quantitative testing with concept activation vectors (tcav) | |
| CN112149491A (zh) | 用于确定探测到的对象的信任值的方法 | |
| US20220262103A1 (en) | Computer-implemented method for testing conformance between real and synthetic images for machine learning | |
| US11531832B2 (en) | Method for determining a confidence value of an object of a class | |
| Guerin et al. | Evaluation of runtime monitoring for UAV emergency landing | |
| CN114841228A (zh) | 生成用于指定视觉数据集的数据结构 | |
| US11908178B2 (en) | Verification of computer vision models | |
| US20240046614A1 (en) | Computer-implemented method for generating reliability indications for computer vision | |
| US20220230418A1 (en) | Computer-implemented method for training a computer vision model | |
| CN114841227A (zh) | 修改表征计算机视觉模型的参数集 | |
| Höhl et al. | Opening the Black-Box: A Systematic Review on Explainable AI in Remote Sensing | |
| CN117475266A (zh) | 基于多专家注意力融合的机器人视觉感知方法及装置 | |
| US20230121276A1 (en) | Quality assurance method for an example-based system | |
| Hogan et al. | Explainable object detection for uncrewed aerial vehicles using kernelshap | |
| CN118451428A (zh) | 用于确定预测模型的预测输出的可靠性的计算机化方法 | |
| CN116324806A (zh) | 用于基于样例的系统的质量保证的方法 | |
| Zhang et al. | Feature Map Convergence Evaluation for Functional Module | |
| Gavrilov et al. | Automated visual information processing using artificial intelligence | |
| Tayyub et al. | Explaining deep neural networks for point clouds using gradient-based visualisations | |
| Lucas et al. | Visual Explanations from Deep Networks via Riemann-Stieltjes Integrated Gradient-based Localization | |
| Devnani et al. | Performance evaluation of fine-tuned faster R-CNN on specific MS COCO objects | |
| Tian | Detect and repair errors for DNN-based software | |
| Magalhaes | Aleatoric Uncertainty with Test-Time Augmentation for Object Detection in Autonomous Driving | |
| Nunes et al. | Comparative Study of Semantic Segmentation Methods in Harbour Infrastructures | |
| EP4325242A1 (en) | Feature detection in vehicle environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |