CN115982636A - 在机器学习模型中监控逻辑一致性的方法和相关监控装置 - Google Patents
在机器学习模型中监控逻辑一致性的方法和相关监控装置 Download PDFInfo
- Publication number
- CN115982636A CN115982636A CN202211243956.5A CN202211243956A CN115982636A CN 115982636 A CN115982636 A CN 115982636A CN 202211243956 A CN202211243956 A CN 202211243956A CN 115982636 A CN115982636 A CN 115982636A
- Authority
- CN
- China
- Prior art keywords
- sub
- feature
- data
- trained
- consistency
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012544 monitoring process Methods 0.000 title claims abstract description 43
- 238000012806 monitoring device Methods 0.000 title claims description 36
- 238000010801 machine learning Methods 0.000 title claims description 27
- 238000013528 artificial neural network Methods 0.000 claims abstract description 73
- 238000011156 evaluation Methods 0.000 claims abstract description 40
- 230000004913 activation Effects 0.000 claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000001514 detection method Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000004590 computer program Methods 0.000 claims description 2
- 230000004807 localization Effects 0.000 claims description 2
- 230000000295 complement effect Effects 0.000 claims 1
- 238000012549 training Methods 0.000 description 11
- 239000013598 vector Substances 0.000 description 8
- 238000012360 testing method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Automation & Control Theory (AREA)
- Computational Mathematics (AREA)
- Fuzzy Systems (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于监控人工神经网络(12)的逻辑一致性的计算机实现方法。首先读入由输入数据(14)产生的人工神经网络(12)激活数据。激活数据传送给至少一个经训练的概念模型(36)，概念模型训练用于识别并在必要时定位输入数据(14)中所包含的特征的一子特征并输出一经校准的子特征掩码(38)。最终输出数据(24)借助一模糊逻辑单元(44)与子特征真值相链接，由此产生一个连续的逻辑一致性真值。逻辑一致性真值借助一分析评估单元(52)分析评估，其中，如果一致性真值低于一预定阈值，则判定在一不一致区域(56)中最终输出数据(24)的逻辑不一致性。
Description
技术领域
本发明涉及一般的机器学习模型及其监控。本发明尤其涉及例如可用于自主交通应用的、经训练的神经网络，并涉及对输出数据与输入数据的逻辑一致性的检查。
背景技术
深度神经网络(英语：“deep neural networks(DNN)”)的输出可借助一模糊逻辑对其逻辑可信度进行检查。
模糊逻辑的使用例如从DE 10046007C1中是已知的。为了进行安全性评估，由专家知识构成的一模糊逻辑控制系统与一飞机本身的飞行计算机并行进行分析评估。模糊逻辑模型只直接应用于可诠释的传感器值，不包含任何学习的成分。
WO 2016/178 709 A1公布了一种设备预警系统。一个(未详细指定的)计算机辅助的模型根据一设备系统的相关数据，对预定义的安全相关关键性能指标(KPI)进行未来预测，如果预测到很差的结果，可触发一警报。
归因方法(例如相关性分数逐层传播，简称LRP)是已知的，通过其将一值分配给输入中的区域(例如一图像文件中的像素)，该值将该区域的贡献(归因)量化成最终输出。这些归因值可用于手动或自动的可信度测试。这需要对深度神经网络(DNN)进行一次或多次额外的分析评估(或逆向分析评估)。
可信度可借助逻辑张量网络进行检查，这一点从2021年在美国加利福尼亚州的CEUR研讨会论文集第2846卷中瓦格纳(Wagner)等人的论文“Neural-SymbolicIntegration for Fairness in AI(用于人工智能公平性的神经符号集成)”(http://ceur-ws.org/Vol-2846/paper5.pdf)中已知。在此，问题用可区分的模糊逻辑规则的形式来表述，其谓词可以是可训练的模型。所述模型借助示例进行训练，使规则的真值变得尽可能高。这里假设，经训练模型的输出可直接诠释为经校准的概率或真值。
概念瓶颈模型也是已知的，例如参见2020年国际机器学习大会论文集第5338-48卷寇(Koh)等人发表的论文“Concept Bottleneck Models(概念瓶颈模型)”。模型被训练成只使用预定义、可诠释的概念作为中间输出。该中间输出可在运行时间用于手动验证。因此，已用其他方式训练过的经训练的网络不能用这种方法进行监控。
2018年第35届国际机器学习大会论文集第80：2668-77卷金(Kim)等人的论文“Interpretability beyond Feature Attribution：Quantitative Testing withConcept Activation Vectors(TCAV)(超越特征属性的可解释性：用概念激活向量进行的定量测试(TCAV))”公布了，根据概念标签对简单的模型进行训练，使概念与一经训练的深度神经网络(DNN)中间输出中的向量正确关联。与归因方法相似，这些概念向量可用来局部和全局衡量输出与相应概念的直接依赖性(归因)。
2020年法国图卢兹举行的第10届欧洲嵌入式实时软件和系统大会论文集中施瓦尔伯(Schwalbe)等人发表的论文“Concept Enforcement and Modularization asMethods for the ISO 26262Safety Argumentation of Neural Networks(概念执行和模块化作为神经网络的ISO 26262安全论证方法)”(https://hal.archives-ouvertes.fr/hal-02442796)公布了用于离线验证的概念模型和逻辑规则。作者在此展示如何在深度神经网络(DNN)和概念模型的输出上制定/表述复杂的规则。与逻辑张量网络一样，这里假设深度神经网络(DNN)和概念模型的输出可直接诠释为真值或经校准的概率。模糊逻辑不建议用于制定规则。所提出方法涉及调试前的验证，而不是在线监控(也就是在运行时间的监控)。
发明内容
本发明的目的是在运行时间提供机器学习模型的实时监控。
本发明提供一种计算机实现方法，用于对一人工神经网络的最终输出数据的逻辑一致性实施监控，该人工神经网络用于对输入数据中所包含的特征进行分类、分类和定位、对象检测或分割，并用于输出优选经校准的最终输出数据，该最终输出数据表明特征在输入数据中的存在和必要时表明特征在输入数据中的位置，其中，所述方法包括：
a)借助一输入接口读入由输入数据产生的、人工神经网络的激活数据；
b)将步骤a)中读入的激活数据传输给至少一个经训练的概念模型，所述概念模型被训练用于识别并在必要时定位输入数据中所包含特征的一子特征并输出一优选经校准的子特征掩码，其中，所述子特征掩码包含至少一个优选经校准的子特征真值，它表明所述子特征是否包含在输入数据中以及必要时表明所述子特征包含在输入数据中的哪里；
c)借助一模糊逻辑单元将最终输出数据与子特征真值相链接/联结，所述模糊逻辑单元从中确定至少一个连续的逻辑一致性真值；
d)借助一分析评估单元分析评估步骤c)中获得的逻辑一致性真值，其中，如果所述逻辑一致性真值达到或低于一预定阈值，则分析评估单元判断出在一不一致区域内最终输出数据的逻辑不一致性，如果逻辑一致性真值不低于预定阈值，则分析评估单元判断出具有逻辑一致性。
所述方法优选包括一步骤e)：如果在步骤d)中判断出最终输出数据与输入数据没有逻辑一致性，则至少执行以下步骤之一：
-输出一个必要时在不一致区域内定位的不确定程度；
-对输入数据进行一冗余分析评估；
-激活进一步的人工神经网络控制机制；
-激活额外的传感器；
-占据一安全状态；和/或
-显示一致性错误。
优选地，在步骤a)中，激活数据从人工神经网络的输出层和/或至少一个中间层读入。
优选地，在步骤b)中，来自人工神经网络仅一个层的激活数据被传输到一个概念模型。
优选地，在步骤b)中，经训练的概念模型已借助一线性机器学习方法训练成线性机器学习模型。
优选地，在步骤b)中，激活数据被传输到多个经训练的概念模型，其中，每个经训练概念模型的子特征掩码彼此相互链接，以获得具有总子特征真值的一总子特征掩码。
优选地，在步骤c)中，借助模糊逻辑单元将最终输出数据与总子特征真值进行链接。
优选地，在步骤c)中，逻辑一致性真值通过对(总)子特征掩码和最终输出数据按如下规定应用一蕴涵链接来确定，即：使(总)子特征掩码至少蕴涵最终输出数据部分区域。
输入数据优选包含输入图像数据，其中，深度神经网络(DNN)设置用于将输入图像数据分类、分类和定位、对象检测或分割成特征区域，其中，特征区域包含表征一语义概念的识别到的特征，其中，优选经校准的最终输出数据包含经分割的特征区域。
优选地，在步骤a)中，借助输入接口读入分别由输入图像数据产生的激活值或激活图形式的深度神经网络(DNN)激活数据。
优选地，在步骤b)中，经训练的概念模型训练用于识别并在必要时定位输入数据中所包含的特征区域的一子特征区域并输出一优选经校准的子特征掩码，其中，子特征掩码包含优选经校准的连续子特征真值的至少一个区域，它表明子特征区域是否包含在输入图像数据中以及包含在输入图像数据中的哪里。
优选地，在步骤c)中，借助模糊逻辑单元将最终输出数据逐像素地与子特征真值相链接，由此确定连续逻辑一致性真值的一致性真值图。
优选地，在步骤d)中，借助分析评估单元对在步骤c)中获得的一致性真值图进行分析评估，其中，在一致性真值图的、逻辑一致性真值达到或低于一预定阈值的区域内，分析评估单元判断出在该不一致区域内最终输出数据与输入图像数据的逻辑不一致性，如果在一致性真值图的一区域内逻辑一致性真值不低于预定阈值，则分析评估单元在该区域内判断出逻辑一致性。
优选地，输入图像数据包含一机动车辆的周围环境情形，尤其是一种带有至少一个人的交通情形，其中，深度神经网络(DNN)设置用于将输入图像数据分类、分类和定位、对象检测或分割成包含人、交通标志和/或道路标记的特征区域，其中，优选经校准的最终输出数据包含经分割的特征区域。
优选地，在步骤b)中，对多个经训练的概念模型进行训练，用于识别以及必要时定位输入图像数据中所包含特征区域的人、交通标志和/或道路标记的子特征并输出一优选经校准的子特征掩码。
优选地，在步骤e)中，激活至少一个额外的传感器或一额外的摄像装置，所述额外的传感器设置用于对人、交通标志和/或道路标记进行检测；和/或输入图像数据被重新检测和/或优选借助另一种方法重新分析评估。
本发明提供了一种计算机实施方法，用于对交通情形中的对象和/或人进行识别并在必要时进行定位，其中，输入数据由被训练用于对输入数据分类、分类和定位、对象检测或分割的一机器学习模型、优选深度神经网络(DNN)进行处理，以获得优选经校准的最终输出数据；其中，借助一监控装置以并行或时间上先后的方式实施先前所述方法，以获得一致性真值图；其中，根据一致性真值图，对输入数据进行冗余的、补充的和/或重新的检测和/或分析评估。
本发明提供一种监控装置，用于监控一机器学习模型、优选深度神经网络(DNN)的逻辑一致性，其中，所述监控装置包括一输入接口、至少一个经训练的概念模型、一模糊逻辑单元和一分析评估单元，其中，所述监控装置及其组件被配置用于实施先前所述方法。
本发明提供一种用于识别并在必要时定位一交通情形中对象和/或人的系统，其中，所述系统包括一被设置用于检测输入数据的传感器装置、一被设置用于检测对象和/或人的机器学习模型、优选深度神经网络(DNN)，以及一用于监控机器学习模型的优选的监控装置。
本发明提供具有这样的系统的一种机动车辆。
本发明提供一种包括指令的计算机可读存储介质、数据载体信号或计算机程序产品，所述指令在由一计算机执行时，使计算机执行本文所述方法的一个、多个或全部步骤。
本发明能在运行时间实时监控(监视)一感知-深度神经网络(DNN)的逻辑可信度。监视装置可用于保障。
本文介绍的监控装置或其结果可由人类用户加以诠释。这使得监视装置和被监控系统的安全性更容易验证，尤其在对如深度神经网络(DNN)或卷积网络(ConvolutionalDNN)等复杂的机器学习模型进行监控的情况下更是如此。
通过对所监控模型的中间状态或中间输出的处理，模型的内在逻辑及其可靠性和鲁棒性首次可被直接测量。总的来说，可减少否则只能通过统计学分析评估的输出的不确定性。目前情况下，由此可更可靠地识别行人或人。
所述监控系统独立于需监控的模型。因此，它可单独地并且针对不同应用目的进行训练，尤其是用较少数量的训练数据加以训练。此外，与迄今为止与要监控模型一起综合训练的系统相比，单独训练更为稳定。
所述监控系统包含可灵活调整的(谓词)逻辑规则。此外，监控系统还使用优选经校准的输出。需监控模型和监控系统的输出可直接作为真值或概率使用。所述真值优选不是离散而是连续的，并遵循模糊逻辑的原则。(对于方法本身已知的)对输出的校准能够使一具有高置信度的输出与一基于相同测试数据集的低置信度的输出相比正确率实际上更高。
本文提出的措施具有低得多的计算工作量。所述监控系统可在使用前进行训练，然后与需监控的机器学习模型相连接，以便对机器学习模型进行监控。由此，不是在运行时间而是在准备阶段实施监控系统的训练。
然而，与迄今为止已知的监控措施不同，尤其由于使用了经训练的概念模型和/或模糊逻辑真值，使用本文所述的监控系统有可能在运行时间进行一机器学习模型的实时监控。
如自主驾驶等许多自动化领域需要高度精准的处理方法，以从例如摄像装置等传感器的数据中对周围环境进行检测。迄今为止，为此使用的是深度(卷积)神经网络(英语：“deep convolutional neural networks”)。
在自动化领域中，周围环境检测功能通常对用户和周围环境的安全至关重要。因此，在如自主驾驶等相应应用中，必须达到并保持一定的安全标准。这类措施之一是例如通过冗余、功能监控(监视)、应急程序或其组合等对系统进行相应设计。本发明(例如通过深度神经网络(DNN))为用于周围环境检测的机器学习模型提供一种功能监控，这用传统方法很难甚或根本无法实现。这里的背景尤其包括例如自主驾驶时遇到的以及由深度神经网络(DNN)的复杂性和统计特性造成的周围自然环境的复杂性和多样性。因此，为进行保障，需要强有力的、易于验证(即可诠释)的监视装置。在监控系统的评估中发现深度神经网络(DNN)显现出一不希望的行为时，这些监视装置例如可立即发出警报或启动周围环境检测/分析评估的进一步措施。
在用于感知的深度神经网络(DNN)的新近领域中，还没有形成统一的监视概念。一般来说，感知中深度神经网络(DNN)的监视装置是独立的模型(也称为元分类器)，它根据深度神经网络(DNN)的行为预测最终输出的可靠性。有许多在监控时可使用的行为观点，如对最终输出的直接监控(传统监控)、对中间输出的监控、对不确定性输出/估计的监控、对最终输出对输入/中间输出的依赖性的监控(归因，例如：哪个图像区域对识别一个人特别重要)、对统计耦合输出的监控(同样是一传统的错误指标)，其中，对于其错误在统计上是耦合的的多个最终输出，只有其中一个输出被加以监控(例如：具有相同骨干网络或并行训练的自编码器的多个输出如分割和深度估计)。
深度神经网络(DNN)是机器学习函数，其中通常不能直接控制哪些知识已被学习(即在函数规则中被编码)。深度神经网络(DNN)的可见的、包含关于输入的衍生信息的中间输出通常是高维的，而且大多不能被人类直接诠释：中间输出空间的哪些点或维度对应于如“眼”、“手”、“腿部”等语义的(即语言上可描述的)概念，这通常需要复杂的分析。
将语义概念与输入空间中的向量相关联的方法从前面所述金(Kim)等人发表的论文中已经知道。这也被称为概念分析。在此，简单的线性模型根据如“手臂”、“腿部”等给定的(语义)概念的示例实施机器学习，该模型可从深度神经网络(DNN)的中间输出预测所述概念是否存在于输入中。该概念模型的法向量则用作与该概念相关的向量。本发明的想法是，将这种方法应用于复杂的对象识别。
因此，本文描述的解决方案不仅使用最终输出，而且还使用中间输出，来确定输出的可信度/逻辑一致性。最终输出的时间一致性、关于小变换的一致性、(例如通过不确定性输出)临近下一个决策极限和/或离开深度神经网络(DNN)有效性区域(“分布外检测”)也可被加以使用。
所述方法和系统也可用于已经训练好的深度神经网络(DNN)，而不需要对深度神经网络(DNN)本身进一步地或重新训练。
与已知方法不同，本文提出的系统和方法能对更复杂的逻辑规则加以考虑，例如对是否只有行人附近的区域有助于其识别，或是否也有与行人无逻辑关系的图像区域影响其识别等问题加以考虑。另一示例所涉及的问题可以是，对一行人的识别是否伴随着对作为子特征(如身体部分)的特定语义指标的识别，以及它们的空间排布是否可对应于一行人的典型人体结构。
此外，使用本文所述措施，可调查复杂逻辑规则的影响，并在一致性分析评估中加以考虑。例如，如果深度神经网络(DNN)识别到一行人，监控系统可根据深度神经网络(DNN)的激活数据确定，例如概念“头部”对最终输出是否有影响以及必要时确定有什么影响。由此可发现不一致性，并采取适当的应对措施。
本发明涉及深度神经网络(DNN)的一种监视装置，它在运行时间根据预定的逻辑规则实时检查输出和中间输出的可信度。在此的基本想法是，将规则制定为模糊逻辑规则，而且是使用深度神经网络(DNN)和随后添加的概念模型作为谓词，其中，深度神经网络(DNN)输出和概念模型输出都经事先校准，以便能干净利索地诠释为真值。随后，在运行时间，规则的真值就会被予以监控。
要注意的是，监控系统和监控方法的执行是示例性地借助行人识别进行描述的。然而，其基本思想也可转用到其他应用中。
首先制定表征一安全要求的模糊逻辑规则。这类规则的语言表述可以是：“如果以较高置信度识别到了头部或(手臂、腿部等)肢体，也应以较高置信度识别到一相关行人”。
在逻辑表述中，所述规则是，从可能的对象位置m的一个集合M出发，如果深度神经网络(DNN)识别到了一头部、一手臂或一腿部，并且它们中至少一个是属于一行人的，则意味着存在该行人F。在正式的书写方式中，这可写成(M，m∈M)：(实际头部(m)v实际手臂(m)v实际腿部(m))→(
实际行人(F)∧实际身体部分(m，F))。在此，单值谓词(实际头部、......)的定义可从周围环境感知中获取。
对于尚未被深度神经网络(DNN)的输出覆盖的谓词(例如：实际行人)，概念模型Kc被加以训练，对于这些概念模型只需要很少的专门标注的训练数据。在此，如有必要，可在训练中直接使用一校准方法，以确保概念模型的正确校准。例如，一概念模型是针对概念“头部”训练的，这意味着这个概念模型可很好地区分头部和非头部，还可定位头部在图像中的位置。其他手臂和腿部的概念模型也是如此。
对深度神经网络(DNN)和概念模型的校准错误进行测量。如有必要，对深度神经网络(DNN)和概念模型的输出的校准可不在训练期间进行，而是在一额外的训练阶段实施，以便能(例如借助温标)将概念模型的输出用作模糊真值。
然后，谓词优选被定义为相关深度神经网络(DNN)的输出(例如用于图像x和对象标识D的DNN输出)以及相关概念模型的输出的组合。
也可想象的是，至少对其他谓词进行部分标准化定义。如有必要，这些谓词可由专门为此训练的其他深度神经网络(DNN)来表示。例如，谓词“实际身体部分”可由一重叠程度进行定义。
逻辑规则借助源于一t范数模糊逻辑的运算符加以实现。这是一个函数，它接收谓词的值并输出[0；1]区间内的一个单一真值。所用t范数模糊逻辑的例子是哥德尔逻辑或最小值逻辑、古根逻辑或乘积逻辑、或者卢卡谢维奇逻辑。
模糊逻辑有时也被称为软逻辑或多值逻辑，它包括数学方法以便能处理分级真值、即能分析评估一规则的真值或得出逻辑结论。一个子领域是在此所使用的t范数模糊逻辑，它可在0和1之间的连续真值上工作。许多具有连续输入的模型可借助以模糊逻辑制定的规则进行建模。
基于深度神经网络(DNN)数据、概念模型输出和其他谓词，所述系统确定一阈值，超过该阈值的规则真值被认为太低，并确定逻辑不一致性。这例如可通过在一测试数据集上测试不同阈值下的监视装置质量来确定。
在周围环境感知领域，重要的逻辑规则例如可以是：“如果可看到人类身体一部分，则也可预期有一相关的人”。迄今为止，这类规则只作为先验知识直接训练入深度神经网络(DNN)中。
与此不同，在这里提出的解决方案中，一模糊逻辑公式的监视装置或监控系统在整个系统中连接在深度神经网络(DNN)的下游。通过监视装置进行的分析评估是针对一输入(例如一帧图像)以如下方式进行的，即：监视装置获取深度神经网络(DNN)的输出、所生成的概念模型的输出以及任何可能的、其计算规则被接收为谓词的其他模块的输出作为输入。
在此，概念模型可高效地与深度神经网络(DNN)并行地进行分析评估。监视装置的输入值可像一检索表一样用于确定监视装置公式中谓词的值。一分析评估单元对相关模糊逻辑公式进行分析评估，并输出一真值。如果在分析评估中判断出真值低于阈值，则可通过监视装置根据需要启动不同的措施。
例如可触发一警报。此外，还可想象的是，(必要时在局部)增加一不确定量度。有关自主驾驶，优选开启对周围环境传感器数据的冗余的(可能更昂贵的、即计算强度密集的)分析评估，以便将其加入以后的估计中。也可激活对深度神经网络(DNN)输出的其他(局部的、可能计算强度更密集的)控制。另一种可能性是，尤其是只要安全性没有得到其他形式的确认，就使系统占据安全状态。最后，也可想象的是，通过显示或其他信息要求驾驶员进行干预。
借助本文所述的解决方案，可使机器学习模型可以诠释。此外，所述解决方案可方便地加以调整。监视装置独立于需监控系统，因此可在不影响需监控系统的训练的情况下独立加以训练。迄今为止未使用的知识或深度神经网络的数据可加以使用。校准使深度神经网络(DNN)的输出(包括中间输出和最终输出)能直接作为概念模型和/或模糊逻辑规则中的真值使用。本文提出的解决方案计算强度不密集，因此可在没有明显时间延迟的情况下使用，即在运行时间实时使用。概念模型优选设计成线性机器学习模型，由此(与需监控系统相比)只需少量的额外数据以进行训练。
除自主驾驶外，还可考虑诸如医学图像处理、机器人技术和计算机视觉等其他应用。
附图说明
现根据所附示意图对本发明的实施例进行更详细的解释。其中，单一附图展示根据本发明所述行人识别系统的一实施方式。
具体实施方式
图中展示用于一交通情形中行人识别的系统10。系统10包括一深度卷积神经网络(DNN)12，该网络被训练用于输入图像数据14的语义分割。输入图像数据14可通过一机动车辆摄像装置(在此没有详细展示)获取。作为输入数据，输入图像数据14例如包括在机动车辆周围环境中一交通情形内行人16的图示。
深度神经网络(DNN)12包括一个输入层18(它可具有例如按颜色通道或功能划分的多个子层)、一个输出层20和至少一个中间层22。深度神经网络(DNN)12是以本身已知的方式设计和训练的，所以在此不作详细解释。要注意的是，深度神经网络(DNN)12事实上也可包括别的数量的中间层22。此外，视应用目的而定，层18、20、22的设计也可与本文所述或图中所示不同。
深度神经网络(DNN)12被额外校准。深度神经网络(DNN)12将一输入图像数据14的语义分割作为最终输出数据24输出，其中，通过所述校准，最终输出数据24可被用作一模糊逻辑分析评估的真值。
最终输出数据24包含例如一个完整识别到的行人26和一个其中只识别到一条手臂30的区域，尽管从输入图像数据14可清楚看到有两个行人存在。
最终输出数据24包含语义特征、如行人26，也包含关于行人26在输入图像数据14中处在哪些区域内的信息。通常情况下，分析评估会在此结束。
系统10包括一监控装置32。监控装置32设置用于，识别最终输出数据24中的逻辑不一致性，并在必要时对逻辑不一致性进行定位。
监控装置32包括一输入接口34。输入接口34与一个或多个输入层18、输出层20和/或中间层22相连接。输入接口34读入每个所连接的层18、20、22的激活数据。激活数据包括各相应层18、20、22的激活值。所述激活数据必要时可包括权重和偏置向量。
此外，监控装置32还包括至少一个概念模型36。概念模型36优选是一个简单的线性机器学习模型，它被训练用于识别由深度神经网络(DNN)12所确定的特征的子特征。
每个概念模型36都通过输入接口34与深度神经网络(DNN)12的一个层18、20、22相连接。每个概念模型36优选只与一个层18、20、22相连接。一个或多个层18、20、22也有可能连接到一个以上的概念模型36。另外，不是所有层18、20、22都必须连接到监控装置32。哪些层18、20、22与哪个概念模型36相连接，可通过实验确定。
在此，深度神经网络(DNN)12设置用于识别行人。因此，概念模型36优选设置用于识别行人的相关的子特征、即行人的(身体)部分。
监控装置32例如包括三个概念模型36，其中第一概念模型训练用于识别头部。第二概念模型训练用于识别手臂。第三概念模型可训练用于识别腿部。
概念模型36已训练成可对由概念模型36检测的子特征的存在与否进行分类。此外，概念模型36还设置用于对子特征进行定位。
每个概念模型36含有由输入接口34读入的激活数据作为输入数据，并将其处理成一子特征掩码38作为输出数据。
每个子特征掩码38包含子特征真值，它表明在输入图像数据14某一区域内存在有特定子特征。所述子特征真值适用于通过一模糊逻辑进行进一步的处理。
例如，各相应子特征掩码38可指示一头部区域40或手臂区域42。子特征掩码38也可指示出，相应子特征(例如腿部)不包含在输入图像数据14中。
此外，监控装置32还包括一模糊逻辑单元44。模糊逻辑单元44设置用于在真值之间构成逻辑链接。
模糊逻辑单元44包含一个联合链接46。联合链接46将多个子特征掩码38例如通过逐个像素的或链接/或运算彼此链接成一个总子特征掩码48。逐个像素的或链接根据所选择使用的模糊逻辑来形成，例如作为第一真值和第二真值中的最大值(相当于哥德尔逻辑)。
对于行人识别的情况，头部、手臂和腿部的子特征掩码38由模糊逻辑单元44通过逐个像素的或链接加以合成。由此，理想情况下得出一个总子特征掩码48，其中行人或其身体部分被重新合成为一个完整的行人。当然，实践中这并不总能无误运行。
此外，模糊逻辑单元44还包含一个蕴涵链接50。蕴涵链接50针对总子特征掩码48蕴涵最终输出数据24中的语义特征这个蕴涵式实施逐像素的真值确定。蕴涵链接50在哥德尔逻辑中得到第二真值(最终输出数据24的真值)和1减去第一真值(总子特征掩码48的真值)中的最大值。由蕴涵链接50得到的真值被称为逻辑一致性真值，并可在[0；1]的区间内取值。逻辑一致性真值是衡量最终输出数据24本身一致性的一个度量。
在行人识别中，这种方法的结果是，在深度神经网络(DNN)12识别到一个行人的那些区域中，逐像素的逻辑一致性真值很高，因为蕴涵链接50更有可能是真的而不是假的。另一方面，在总子特征掩码48具有高真值(因为识别到了身体部分)而在最终输出数据24的相应区域没有识别到行人、即概念“行人”的真值较低的那些区域，逐像素逻辑一致性真值较低。
要注意的是，根据需处理的交通情形，模糊逻辑单元44可包含其他在谓词中设置/表达的规则。例如，可将交通标志的不同基本形状、颜色和特征线引入监控装置32、尤其是概念模型36和模糊逻辑单元44中。
由于最终输出数据24和由概念模型36所输出的数据的不同规格/尺寸(例如分别以相应像素、颜色通道等表示的高度和宽度)，在通过模糊逻辑单元44分析评估前可例如通过优选双线性的倍线/缩放对规格进行调整。
监控装置32包括一分析评估单元52。分析评估单元52包含一预定阈值。分析评估单元52设置用于处理通过蕴涵链接50建立的一致性真值图54。在一致性真值图54的逻辑一致性真值达到或低于阈值的那些区域中，以一不一致区域56的形式判定出逻辑不一致性。
如果分析评估单元52判定出不一致，则可采取不同措施。例如，摄像装置可重新获取一图像，并再次对其进行分析评估。还可设想的是，激活例如超声波传感器等额外的传感器，以对行人进行检测。还可设想的是，启动一(紧急)制动或一慢速行驶模式。此外，还可通过显示等方式就可能存在的危险提请驾驶员注意。
总的来说，通过分开实施深度神经网络(DNN)12和监控装置32，能对交通情形进行分析评估，并同时确定最终输出数据24与输入图像数据14的逻辑一致性。优选经校准的线性机器学习模型作为概念模型36与一模糊逻辑单元44相结合，可实现快速的一致性检查，这种检查可在运行时间实时进行；这种可能性迄今为止还不存在。
附图标记列表：
10 系统
12 深度卷积神经网络(DNN)
14 输入图像数据
16 行人
18 输入层
20 输出层
22 中间层
24 最终输出数据
26 识别到的行人
30 手臂
32 监控装置
34 输入接口
36 概念模型
38 子特征掩码
40 头部区域
42 手臂区域
44 模糊逻辑单元
46 联合链接
48 总子特征掩码
50 蕴涵链接
52 分析评估单元
54 一致性真值图
56 不一致区域。
Claims (15)
1.计算机实现方法，它用于监控一人工神经网络(12)的逻辑一致性，所述人工神经网络设置用于对输入数据(14)中所包含特征进行分类、分类和定位、对象检测或分割，并用于输出最终输出数据(24)，所述最终输出数据表明输入数据(14)中特征的存在和尤其是表明输入数据(14)中特征的位置，其中，所述方法包括：
a)借助一输入接口(34)读入由输入数据(14)产生的、人工神经网络(12)的激活数据；
b)将步骤a)中读入的激活数据传输给至少一个经训练的概念模型(36)，所述概念模型训练用于识别以及尤其是定位输入数据(14)中所包含特征的一子特征，并用于输出子特征掩码(38)，其中，子特征掩码(38)包含至少一个子特征真值，所述子特征真值表明所述子特征是否包含在输入数据(14)中以及尤其是表明所述子特征包含在所述输入数据(14)中的哪里；
c)借助一模糊逻辑单元(44)将最终输出数据(24)与子特征真值链接，所述模糊逻辑单元从中确定至少一个连续的逻辑一致性真值；
d)借助一分析评估单元(52)分析评估步骤c)中所获得的逻辑一致性真值，其中，如果所述逻辑一致性真值达到或低于一预定阈值，则分析评估单元(52)判定最终输出数据(24)在不一致区域(56)中的逻辑不一致性，如果逻辑一致性真值不低于预定阈值，则分析评估单元(52)判定逻辑一致性。
2.根据权利要求1所述的方法，其特征在于一步骤e)：如果在步骤d)中判定最终输出数据(24)与输入数据没有逻辑一致性，则执行以下步骤至少之一：
-输出不确定程度，尤其是输出在不一致区域(56)内定位的不确定程度；
-对输入数据进行一冗余评估；
-激活进一步的人工神经网络控制机制；
-激活额外的传感器；
-占据一安全状态；和/或
-显示一致性错误。
3.根据上述权利要求中任一项所述的方法，其特征在于，在步骤a)中，从人工神经网络(12)的输出层(20)和/或至少一个中间层(22)读入激活数据。
4.根据上述权利要求中任一项所述的方法，其特征在于，在步骤b)中，向一个概念模型(36)仅传输来自人工神经网络(12)一个层(18、20、22)的激活数据。
5.根据上述权利要求中任一项所述的方法，其特征在于，在步骤b)中，经训练的概念模型(36)已经借助一线性机器学习方法被训练成线性机器学习模型。
6.根据上述权利要求中任一项所述的方法，其特征在于，
-在步骤b)中，激活数据被传输给多个经训练的概念模型(36)，其中，将每个经训练的概念模型(36)的子特征掩码(38)彼此相互链接，以获得带有总子特征真值的一总子特征掩码(48)，其中，
-在步骤c)中，借助模糊逻辑单元(44)将最终输出数据(24)与总子特征真值进行链接。
7.根据上述权利要求中任一项所述的方法，其特征在于，在步骤c)中，通过将一蕴涵链接(50)按如下规定应用到(总)子特征掩码(38、48)和最终输出数据(24)上来确定逻辑一致性真值，即：使(总)子特征掩码(38、48)蕴涵最终输出数据(24)的至少部分区域。
8.根据上述权利要求中任一项所述的方法，其特征在于，所述输入数据包含输入图像数据(14)，其中，深度神经网络(12)设置用于将所述输入图像数据(14)分类、分类和定位、对象检测或分割成特征区域，其中，所述特征区域包含表征一语义概念的已识别特征，其中，所述最终输出数据包含经分割的特征区域，
其中，
-在步骤a)中借助输入接口(34)以分别由输入图像数据(14)产生的激活值或激活图的形式读入深度神经网络(12)的激活数据；其中
-在步骤b)中，经训练的概念模型(36)被训练用于识别和尤其是定位输入图像数据(14)中所包含特征区域的一子特征区域，并用于输出一子特征掩码(38)，其中，子特征掩码(38)包含连续的子特征真值的至少一个区域，它表明子特征区域是否包含在输入图像数据(14)中以及包含在输入图像数据(14)中的哪里；其中
-在步骤c)中，借助模糊逻辑单元(44)将最终输出数据(24)逐像素地与子特征真值相链接，由此确定连续的逻辑一致性真值的一致性真值图(54)；其中
-在步骤d)中，借助分析评估单元(52)对在步骤c)中得到的一致性真值图进行分析评估，其中，在逻辑一致性真值达到或低于一预定阈值的、一致性真值图的区域内，分析评估单元(52)判定在不一致区域(56)内最终输出数据(24)与输入图像数据(14)的逻辑不一致性，如果在一致性真值图的一区域内逻辑一致性真值不低于预定阈值，则分析评估单元(52)判定在该区域内的逻辑一致性。
9.根据权利要求8所述的方法，其特征在于，输入图像数据(14)包含机动车辆的周围环境情形、尤其是带有至少一个人的交通情形，其中，深度神经网络(12)设置用于将输入图像数据(14)分类、分类和定位、对象检测或分割成包含人、交通标志和/或道路标记的特征区域，其中，最终输出数据(24)包含经分割的特征区域，其中
-在步骤b)中，将多个经训练的概念模型(36)训练用于识别以及尤其是定位输入图像数据(14)中所包含特征区域的人、交通标志和/或道路标记的子特征，并用于输出子特征掩码(38)。
10.根据权利要求9所述的方法，其特征在于，在步骤e)中，激活至少一个额外的传感器或一额外的摄像装置，所述额外的传感器设置用于对人、交通标志和/或道路标记进行检测；和/或输入图像数据(14)被重新检测和/或重新——优选借助另一种方法——分析评估。
11.用于识别以及尤其是定位一交通情形中的对象和/或人的计算机实现方法，
-其中，输入数据(14)由被训练用于输入数据(14)的分类、分类和定位、对象检测或分割的一机器学习模型(12)处理，以获得最终输出数据(24)；
-其中，借助一监控装置(36)，并行地或按时间先后实施根据上述权利要求中任一项所述的方法，以获得一致性真值图(54)；
-其中，根据一致性真值图(54)，对输入数据(14)进行冗余的、补充的和/或重新的检测和/或分析评估。
12.用于监控一机器学习模型(12)的逻辑一致性的监控装置(32)，其中，监控装置(32)包括一输入接口(34)、至少一个经训练的概念模型(36)、一模糊逻辑单元(44)和一分析评估单元(52)，其中，监控装置(32)及其组件被配置用于实施根据上述权利要求中任一项所述的方法。
13.用于识别以及尤其是定位一交通情形中的对象和/或人的系统(10)，其中，系统(10)包括一设置用于检测输入数据(14)的传感器装置、一设置用于识别对象和/或人的机器学习模型(12)，以及一用于监控机器学习模型(12)的根据权利要求12所述的监控装置(32)。
14.带有一根据权利要求13所述的系统的机动车辆。
15.计算机可读存储介质、数据载体信号或计算机程序产品，其包括指令，所述指令在由一计算机执行时，使计算机执行根据权利要求1至11中任一项所述的方法的一个、多个或全部步骤。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102021211503.9A DE102021211503B3 (de) | 2021-10-12 | 2021-10-12 | Verfahren zum Überwachen logischer Konsistenz in einem Machine-Learning-Modell und zugehörige Überwachungseinrichtung |
| DE102021211503.9 | 2021-10-12 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115982636A true CN115982636A (zh) | 2023-04-18 |
Family
ID=84975481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211243956.5A Pending CN115982636A (zh) | 2021-10-12 | 2022-10-11 | 在机器学习模型中监控逻辑一致性的方法和相关监控装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230111973A1 (zh) |
| CN (1) | CN115982636A (zh) |
| DE (1) | DE102021211503B3 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI823819B (zh) * | 2023-05-15 | 2023-11-21 | 先進車系統股份有限公司 | 行車輔助系統及行車輔助運算方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE10046007C1 (de) | 2000-09-18 | 2001-10-31 | Eads Deutschland Gmbh | Flugkontrollsystem |
| US10572796B2 (en) | 2015-05-06 | 2020-02-25 | Saudi Arabian Oil Company | Automated safety KPI enhancement |
| EP4062330A1 (en) | 2019-11-18 | 2022-09-28 | Umnai Limited | Architecture for an explainable neural network |
-
2021
- 2021-10-12 DE DE102021211503.9A patent/DE102021211503B3/de active Active
-
2022
- 2022-10-11 CN CN202211243956.5A patent/CN115982636A/zh active Pending
- 2022-10-12 US US18/046,087 patent/US20230111973A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20230111973A1 (en) | 2023-04-13 |
| DE102021211503B3 (de) | 2023-02-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3796228A1 (en) | Device and method for generating a counterfactual data sample for a neural network | |
| US20210125061A1 (en) | Device and method for the generation of synthetic data in generative networks | |
| US11816914B2 (en) | Modular predictions for complex human behaviors | |
| Erdogan et al. | Real-world maneuver extraction for autonomous vehicle validation: A comparative study | |
| CN112149491A (zh) | 用于确定探测到的对象的信任值的方法 | |
| EP3933691A1 (en) | System and method to alter an image | |
| US11686651B2 (en) | Method and device for detecting anomalies in technical systems | |
| Borg et al. | Test automation with grad-CAM Heatmaps-A future pipe segment in MLOps for Vision AI? | |
| CN115982636A (zh) | 在机器学习模型中监控逻辑一致性的方法和相关监控装置 | |
| Gupta et al. | Online monitoring for neural network based monocular pedestrian pose estimation | |
| CN112150344A (zh) | 用于确定一类别的对象的置信值的方法 | |
| Osman et al. | Run-time safety monitoring framework for AI-based systems: Automated driving cases | |
| US20220309771A1 (en) | Method, device, and computer program for an uncertainty assessment of an image classification | |
| CN116188445A (zh) | 一种产品表面缺陷的检测定位方法、装置及终端设备 | |
| CN115700793A (zh) | 用于处理和生成图像和标签图的生成对抗网络 | |
| EP4322062A1 (en) | Method for automated monitoring of a deep neural network, computing system and vehicle | |
| Skruch et al. | Safety of Perception Systems in Vehicles of High-Level Motion Automation | |
| Ch et al. | Automatic system for driver drowsiness detection system using deep learning | |
| Anigbogu et al. | Driver behavior model for healthy driving style using machine learning methods | |
| CN111563522A (zh) | 用于识别图像中的干扰的方法和设备 | |
| US20220327332A1 (en) | Method and device for ascertaining a classification and/or a regression result when missing sensor data | |
| CN110135305A (zh) | 用于疲劳度检测的方法、装置、设备和介质 | |
| Badithela et al. | Evaluation Metrics of Object Detection for Quantitative System-Level Analysis of Safety-Critical Autonomous Systems | |
| Nwanze et al. | Modeling of Inter-Vehicle Accident Prevention and Control System Using Rule-Based Integrated Machine Learning Technique | |
| US20240242378A1 (en) | In-cabin monitoring method and related pose pattern categorization method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |