CN109697503A - 模糊参数化的ki模块以及运行方法 - Google Patents
模糊参数化的ki模块以及运行方法 Download PDFInfo
- Publication number
- CN109697503A CN109697503A CN201811229529.5A CN201811229529A CN109697503A CN 109697503 A CN109697503 A CN 109697503A CN 201811229529 A CN201811229529 A CN 201811229529A CN 109697503 A CN109697503 A CN 109697503A
- Authority
- CN
- China
- Prior art keywords
- module
- parameter
- value
- storage value
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000003860 storage Methods 0.000 claims abstract description 78
- 238000009826 distribution Methods 0.000 claims abstract description 43
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 6
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000004590 computer program Methods 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims description 4
- 241000208340 Araliaceae Species 0.000 claims description 2
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims description 2
- 235000003140 Panax quinquefolius Nutrition 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 235000008434 ginseng Nutrition 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 230000006835 compression Effects 0.000 abstract description 3
- 238000007906 compression Methods 0.000 abstract description 3
- 210000002569 neuron Anatomy 0.000 description 7
- 210000004218 nerve net Anatomy 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000008450 motivation Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 208000012639 Balance disease Diseases 0.000 description 1
- 238000005299 abrasion Methods 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/043—Architecture, e.g. interconnection topology based on fuzzy logic, fuzzy membership or fuzzy inference, e.g. adaptive neuro-fuzzy inference systems [ANFIS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
Abstract
一种人工智能智能模块，KI模块，其被构造用于，通过内部处理链来将一个或多个输入参量处理成一个或多个输出参量，其中通过一个或多个参数来规定所述内部处理链，并且其中所述KI模块被构造用于，由在存储器中所保存的一个或多个存储值确定所述一个或多个参数，其中，设置分布模块，所述分布模块被构造用于，分别从一个或多个统计学分布中提取单个值并且由此求取所述一个或多个参数，其中每个统计学分布的至少一个统计学特性参量与至少一个存储值有关。用于消除存储值的方法。用于离散化和压缩存储值的方法。用于评估输出参量的不确定性的方法。
Description
技术领域
本发明涉及一种人工智能模块，KI模块，其中所作出的陈述（Aussage）的不确定性（Unsicherheit）是能够量化的（quantifizierbar）并且同时学习参量（Lerngrößen）能够以节省空间的方式被存储在硬件上。
背景技术
在道路交通中对机动车的驾驶要求对大量对象、诸如交通标志、车行道划线或者其他交通参与者进行可靠的视觉识别。为了使车辆能够完全或部分自动化地行驶，需要对迄今由人类驾驶员承担的（leisten）识别进行人工模仿（künstliche Nachbildung）。基于该问题的高维度（Dimensionalität）而为此应用人工智能模块（KI模块），这些人工智能模块将图像根据在其中所包含的对象来进行分类。这些KI模块可以尤其包含神经网络。
为了运行安全性而重要的是，至少确定出如下情形以便能够采取（einleiten）进一步的适合的措施，其中在所述情形中该识别好像并不可靠地起作用。在KI模块的训练阶段中对所有可能的这样的情形的全面（erschöpfend）测试都是并不实用的。
DE 10 2005 050 577 A1公开一种用于自动检验控制设备的神经网的方法。
发明内容
在本发明的范畴内已经开发一种人工智能模块，即KI模块。该KI模块被构造用于，通过内部处理链来将一个或多个输入参量处理成一个或多个输出参量。在此，通过一个或多个参数来规定（festlegen）该内部处理链。在此情况下， 术语“参数”并不被限于标量值（skalarer Wert），而是也包括向量、矩阵或来自函数空间的函数，诸如过滤器（Filter）。
KI模块被构造用于，由在存储器中所保存的（ablegen）一个或多个存储值（Speicherwert）。确定所述一个或多个参数。这意味着：存在如下计算规则：具体的、在存储器中所保存的存储值被分配给参数的值。
设置分布模块（Verteilungsmodul），其被构造用于，分别从一个或多个统计学分布中提取（entnehmen）单值并且由此确定所述一个或多个参数，其中每个统计学分布的至少一个统计学特性参量与至少一个存储值有关。
该存储值可以例如在KI模块的学习过程中已经被获取，因此与所学习的学习参量的值相应。但是，该存储值可以也已经事先作为程序被输入（einprogrammieren）。组合也是可能的。因此，例如可以在KI模块的稍后重新的学习过程中更新事先作为程序被输入的存储值。存储值的在下文中所描述的有损失的压缩和离散化以与其原本的来源无关的方式是可能的。
这意味着，在分布模块的重复循环中存储值的一个且同一个配置（Konstellation）不再总是被分配给参数的相同值。相反，参数的所获取的值在统计学上围绕通过存储值来被预先给定的值分布。
KI模块的训练通常以输入参量的大量的学习值（Lern-Werten）来被执行，对于这些学习值分别已知输出参量的学习值。如下存储值被逐步（sukzessiv）优化，使得输入参量的学习值以针对相应的应用而言足够的精确度被映射到输出参量的学习值，其中分布模块由所述存储值来确定参数。于是由此出发：在真实运行中出现的输入参量的值也被映射到输出参量的针对应用而言有意义的值。
所述存储值的优化可以例如如下地进行，使得由此由分布模块所产生的参数将性能函数（“Loss-Funktion（损失函数）”）的值最小化。这样的优化可以例如力求局部的或全局的最优值和/或稳定状态。将模糊（Unschärfe）引入到由存储值来对参数的确定就此而论具有如下作用：如在下文中所描述的，存储值可以以有损失的方式被压缩并且被离散化，而这并不导致在输出参量中的过量的假影（Artefakt）。此外，优化可以收敛成这样的存储值，在这些存储值中，强制的模糊对输出参量的最终获取的值的作用被减小。
这又间接具有如下作用：使得在真实运行中通过KI模块进行的处理相对于在输入参量中的干扰、诸如噪声更有抵抗力。KI模块仿佛在训练期间处在振动台（Rüttelstand）上并且一起学习振动。
对参数的强制模糊（erzwungene Unschärfe）开启如下可能性：将存储值以有意义的方式离散化并且以这种方式来以无损失的方式来压缩。至今，已存储具有高精确度的存储值，例如作为32比特的浮点数。当现在用于精确度的限制性因子的强制模糊是在内部处理链中的参数时，与之相对地存储值的精确度变差是无足轻重的。在强制性的模糊下的训练因此是统计学上有动机的（statistisch motiviert）方法，以便找出，在没有最终结果中的明显的质量损失（Qualitätsverlust）的情况下在哪个位置可以节省用于存储值的存储空间。
最终，当给KI模块多次输送输入参量的相同值的情况下，输出参量的值也散射（streuen）。这种散射（Streuung）是用于由KI模块所作出的陈述的不确定性的直接的易于理解的（einsichtig）度量。
在本发明的一种特别有利的构型中，该分布模块包含至少一个在下文中称为编码簿表格的、具有多个元素的表格并且被构造用于，将所述一个或多个参数作为这些元素的线性组合来确定。线性组合的系数是从统计学分布提取的单值。如果例如参数是标量（Skalar），则作为存储值该标量本身并不被训练，而是因此如在编码簿表格中的元素那样给出许多存储值。
这首先恰恰并不导致力求的对存储空间的节省，而是取而代之地成倍地导致空间需求。然而已经已知的是，能够从作为线性组合的参数的表示中推导关于如下的陈述：该参数的熵（Entropie）有多大。当通过该训练来确定了存储值，使得关于如下参数的分布具有高的熵、例如是平均分布的情况下，这些参数可以被置于零。
在本发明的一种特别有利的构型中，内部处理链是深度的神经网络。在这样的神经网络中，在针对每对的两个神经元的各两个层之间，这两个神经元之间的连接应配备有（belegen…mit）作为参数的权重，其中，其中一个神经元属于其中一个层并且其中另一个神经元属于其中另一个层。所需的参数的数目是与此相应地大的，并且因此对存储空间的需求也与此相应地大。同时，从相应的应用得出，远远（bei weitem）并非所有权重关于最终结果相同重要。通过由标量的权重到由不同元素组成的线性组合中的分解现在来提供关于参数的熵的陈述，使得能够说明对权重的选择性的有损失的压缩的理由（motivieren）。
有利地，编码簿表格为此目的包含奇数数目的数字，其以关于平均值对称的方式布置。例如，该编码簿表格可以包含五个数字，这些数字以关于0周围对称的方式来布置。分布模块可以于是针对神经网络的每个层包括单独的编码簿表格。然而，对于其他内容而言编码簿表格也是有意义的，理想地是这样的内容，在所述内容中期望值是零。对此并不强制性地需要，编码簿表格包含奇数数目的数字。对称的布置也是可选的。
在本发明的另一种特别有利的构型中，内部处理链是具有至少一个卷积层的神经网络，也即“convolutional neural network（卷积神经网络）”。这样的网络尤其适合用于，借助逐步应用过滤器来使作为输入参量所给予的（vorgelegt）高维度数据、尤其是图像数据的维度越来越减小，以便最终达成对该图像或在其中所包含的对象的分类。
有利地，该编码簿表格在这样的神经网络中包含过滤器。过滤器就此而论尤其被理解为如下算子，该算子识别和/或强调在输入数据中的一个或多个特征。过滤器可以有利地产生如下输出数据，所述输出数据具有比输入数据更小的维度；然而这并不是强制性的。
例如，该编码簿表格可以包含在7至11个之间的过滤器。与深度的神经网络不同，在这里到由多个过滤器组成的线性组合的分解并不必然地导致对存储空间的需求的倍增：在编码簿表格中的这些过滤器可以例如以具有整数值的矩阵的形式来被存储，其比具有实值（reelle Werte）的矩阵要求明显更少的存储空间。只有如下存储值以及编码簿表格还应以实值的方式（reellwertig）来存储，其中该分布模块由所述存储值形成线性组合的系数。该分布模块可以针对神经网络的每个卷积层包括单独的编码簿表格。
在本发明另一种特别有利的构型方案中，用于所述存储值的存储器被构造用于，记录（aufnehmen）整数索引。同时，至少一个查找表格被设置用于每个索引到一个或多个离散存储值的转化（Übersetzung）。以这种方式，能够以无损失地压缩的方式来存储相应存储值，这些存储值可以并不从一开始（vornherein）就置于零。
当例如编码簿表格包含n个元素并且该查找表格包含m个项时，因此对存储值的离散化导致：在常规的32比特的位置处仅还必须每存储值地存储n*log2(m)比特。在n=5且m=2的情况下，例如还需要每存储值5比特，这相应于压缩到小于原始存储空间需求的六分之一。此外还有的是针对编码簿表格和查找表格的一次性存储需求。
当查找表格在标量值的位置处已经包含由多个值组成的向量时，其甚至变得更大，然而对于每存储值仅还需要log2（m）比特的存储空间。
根据之前所描述的内容，本发明也涉及用于运行所描述的KI模块的方法。在该方法中，在应用通过该分布模块引入的强制模糊的情况下，一组存储值如此被确定：该KI模块以足够精确度将输入参量的大量学习值转化成输出参量的所属的学习值。随后，在使用所获得的存储值的情况下重复性地利用该分布模块来确定参数的单值。只要参数的波动幅度超出预先给定的阈值，所属的存储值就被置于零。
如之前在由编码簿表格的元素所组成的线性组合的上下文中所阐述的，强烈波动的参数终究仅包含一个非常弱的陈述。与此相应地，当所属的存储值被置于零时，仅仅失去少量的信息。相反，通过存储值的置零（Nullsetzen）（“Pruning（修剪）”）不成比例地节省大量存储空间。
本发明也涉及用于运行所描述的KI模块的另一方法。对于最后提及的方法可替代地或者也与之相结合地，该方法可以被应用。如在最后提及的方法中，在应用通过该分布模块所引入的强制模糊的情况下，一组存储值如此被确定：该KI模块以足够精确度将输入参量的大量学习值转化成输出参量的所属的学习值。随后，这些存储值被聚集成集群。对于每个集群，存储值被记录到查找表格中。在与最后提及的方法的结合中，该方法仅仅被应用到还未被置于零的存储值上。
已经已知的是，聚集成集群、例如利用k均值算法（k means-Algorithmus）来聚集成集群是统计学上动机良好的（gut motiviert）并且同时非常灵活的用于离散化存储值的方式和方法。尤其是，放弃固定不变的网格（starres Raster）。因此，绝对可能发生的是：该集群在参数空间的确定的范围内比在其他参数空间的范围内处于明显更密集。
在本发明的一种特别有利的构型方案中，如下统计学分布是离散的随机变量的连续松弛（kontinuierliche Relaxation），其中在对参数的确定中从该统计学分布提取单值，其中所述连续松弛也被称为“具体分布（Concrete-Verteilung）”。（n-1）维度的随机变量X的该具体分布X ~ Concrete(α,γ)由此来被限定，使得通过如下来给出其密度D（x）：
其中α ∈ (0,∞) n并且 γ ∈ (0, ∞)。α是分布的位置Ort（“location”）并且γ是温度参数。该具体分布以此而出众：其密度能够以封闭形式（in einer geschlossenenForm）来写（schreiben）并且其能够容易地再次参数化。
在此情况下，在训练中出于建立期望的模糊的目的有利地如此选择温度参数γ，使得由编码簿表格的元素所组成的线性组合总是包含至少两个不同于零的系数，也即是被模糊化的（verschmiert）。作为位置α相应的存储值被估算（ansetzen）。
根据之前所描述的，本发明也涉及用于运行KI模块的另一方法。在该方法中，给KI模块多次地输送所述一个或多个输入参量的相同值，并且所述一个或多个输出参量的所获得的值的所述散射作为对于由KI模块所作出的陈述的不确定性的度量来被评价。
已经了解的是：在KI模块的内部处理链的参数中的强制模糊为此示出良好的测试：是否输入参量的值在每次循环中基本上没有疑问地被映射到输出参量的相似值或者是否这种分配仿佛“悬而未决（auf der Kippe steht）”并且可通过所述的模糊已经由等权（Gleichgewicht）所引起 。
无关于是否强制模糊也被利用用于存储值的节省空间的存储，单是新获得的关于不确定性的信息就已经能够被多次利用。
因此，可以例如在至少部分自动化地行驶中，以动机良好的方式来融合由多个传感器种类获得的关于车辆环境的信息，其方式为，使不同贡献的权重遵循相应的不确定性。基于经融合的信息，于是可以例如操控车辆的至少一个执行器和/或物理警告装置。
其他交通参与者的所期望的轨迹也多次地进入到（eingehen）至少部分自动的车辆或机器人的轨迹（Trajektorien）的规划中。通过考虑所期望的轨迹的相应的不确定性，可以使该规划更加鲁棒性，并且可以避免突然操纵（plötzliche Manöver）。如果神经网例如预测：迎面而来的车辆在交叉路口一直向前地继续行进，则该预测的高度不确定性例如可能导致，该车辆或或机器人预防性地被减速。为此目的，可以例如操控车辆的至少一个执行器和/或物理传送装置，用于输出相应的指令给驾驶员。
也可以及早地将特定预测的不确定性考虑到路线规划中，以便省去不必要的绕路。如果例如仅以相对高的不确定性预测：特定的停车位在特定时间仍空闲，则可以从一开始操控另一停车可能性，在所述另一停车可能性中所述不确定性更小。为此目的，可以例如操控该车辆的至少一个执行器和/或物理传送装置，用于将相应的指令输出给驾驶员。
在本发明的另一特别有利的构型方案中，图像被选择作为输入参量，并且该图像的分类被选择作为输出参量。恰好在成像中存在多个对于不确定性而言的来源。因此，期望的信息在图像中并不总是相同强烈地表现并且也可能通过在图像记录中的质量波动而完全地或部分地被叠加。
当例如将医学图像鉴于疾病的存在或表现程度来分类时，因此可以除了算法的决定以外也将所述确定性通知给医生，其中已经以该确定性作出该决定。自特定的不确定性起，该图像例如可以作为“未决的（unentschlossen）”来被回报。对此，可以例如操控物理传送装置，用于将报告输出给医生。该医生于是知道：该医生应该取得质量上更好的图像或者应该另选（auf… ausweichen）其他成像方法。
在至少部分自动化的行驶中，可能发生该情况：该车辆首次地遇到特定的交通标志。因此，交通标志例如由立法者改变，或者特定的仅在外国出现的交通标志是未知的。在这样的情况下，可以输出警告：该分类时不确定的。同样地可能发生的是，交通标志已经被故意操纵，使得将神经网络混乱（täuschen），诸如通过着色或施加标签（Aufkleber）（“adversarial examples（对抗样本）”）。例如，可以为了输出警告给驾驶员来操控物理传送装置。也可以例如操控切换装置，用于将控制转交给驾驶员，和/或可以例如操控车辆的至少一个执行器，用于预防性地使车辆减速。
类似地，在自动化的质量控制中，为了手动后控制（Nachkontrolle）根据图像选择自特定不确定性起的检验对象。对此，可以例如操控标记设备和/或例如可以如下地操控输送装置，使得该检验对象被输送给用于手动后控制的工位（Arbeitsplatz），其中该标记设备相应地对该检验对象标记。在自动化的脸部识别中，人可以自特定的不确定性起被绕行到人类的监督者，例如通过相应地操控视觉的引导系统，和/或出口可以被自动地锁上，例如通过相应操控门系统。
在本发明另一种特别有利的构型方案中，调节参量被输出给用于记录输入参量的记录设备，以便改变所述记录的至少一个物理参数，使得在重新记录之后减小该陈述的不确定性。该记录设备因此以经改变的方式来被操控，以便通过具有经改变的物理参数的记录来以鉴于评估方面更好的质量记录输入参量。
因此，可以例如在图像记录中，改变照明的强度和/或颜色，由此于是可能将图像的部分引入到饱和度（Sättigung）中，但是所取决于的信息更清楚地被突出（herausarbeiten）。传感器和数据处理在正常情况下也可以以能量节省的模式来被运行，而在疑问情况下更多计算时间和能量耗费被投入到更精确的识别中。在至少部分地自动化行驶中，在疑问情况下可以实时地接上附加的传感器，这些传感器不应持续在运行中，因为对其的利用例如随之而来的是高能量消耗或高磨损。当烟雾探测器利用其光电传感器并没有获取确定的信号时，该烟雾探测器也可以例如接通激光或摄像机，以便避免假警报。
在移动嵌入式设备（mobilen Embedded-Gerät）上，小的神经网可以运行，该神经网消耗更少的资源。例如，可以附加地根据本发明来压缩存储值。更小的神经网可以于是被利用用于大多请求，并且只有在疑问情况下还需要将输入参量转发给在“云”中的更大的神经网。
在本发明的另一特别有利的构型方案中，该陈述的超出预先给定的阈值的不确定性如下地被评价：在输入参量中存在异常。以这种方式，可以例如识别“adversarialexamples（对抗样本）”，也即例如以如下目标来对交通标志的故意操纵：所述交通标志没有由至少部分自动化的车辆识别或者作为另一标志来被识别。
所描述的革新（Neuerung）可以完全地或部分地在嵌入式系统、KI模块和/或计算机的软件中被实施。硬件的改变并不是强制性需要的，以便达成由本发明所提供的优点。该软件就此方面是能够独立购买的产品，该产品也能够作为对于现有系统的更新或扩展（Add-On）来被市场化。因此，本发明也涉及如下计算机程序，其包含机器可读的指令，当这些指令在计算机上和/或嵌入式系统上和/或KI模块上被执行时，这些指令使该计算机和/或该嵌入式系统和/或该KI模块升值（aufwerten）为根据本发明的KI模块和/或促使实施根据本发明的方法。同样地，本发明涉及具有这样的计算机程序的机器可读的数据载体。
对本发明进行改善的其他措施如下述地与本发明优选的实施例的描述共同地根据附图来进一步被示出。
附图说明
图1 示出KI模块1的示例性草图；
图2示出用于运行KI模块1的方法100的示例性草图，其中利用该KI模块来消除没有意义（Aussagewert）的存储值15；
图3 示出用于运行KI模块1的方法200的示例性草图，利用该KI模块来离散化存储值15并且以有损失的方式来压缩这些存储值15；
图4 示出用于运行KI模块1的方法300的示例性草图，利用该KI模块来评估KI模块1的陈述的不确定性19。
具体实施方式
根据图1来由记录装置（Aufnahmeeinrichtung）3记录输入参量11，所述记录装置的物理记录参数能够经由调节参量31来被控制。KI模块1的内部处理链12将输入参量11的值映射到（abbilden）输出参量16的值。
内部处理链12通过参数13来被规定。如在图1中表示的，内部处理链12是深度的神经网络，并且所述参数相应于如下权重，相邻层的神经元之间的连接配备有所述权重。这些参数13针对每个应用来通过分布模块2部分或完全地重新被确定。
在KI模块1的存储器14中存放整数索引15a，在所述整数索引下将离散的存储值15存放在查找表17中。在此，术语“离散（diskret）”并不涉及：所述值必须是整数的，而是仅仅涉及：只有有限数目的值被使用。所述存储值可以也例如是浮点数。
在分布模块2中从统计学分布21调用单值22，其中所述统计学分布利用存储值15被参数化。这些单值22用作系数，以便将存放在编码簿表格（Codebuch-Tabelle）23中的元素23a-23c线性地组合成需要的参数13。这些内部处理链与参数13的值相应地配置。由此规定：输入参量11的值被映射到输出参量16的哪些值。
借助于分布模块2所确定的参数13是仅一次性有效的。当输入参量11的相同值被重新输送给KI模块1时，参数13被重新计算并且其他值被假定（annehmen），因为其涉及的是随机变量。与此相应地，输出参量16的值有散射18，从中能够再次推导（ableiten）由KI模块1作出的陈述的不确定性19。
例如，用于从神经元i到神经元j的连接的神经网络中的层s的权重ws，jj可以作为在编码簿表格23中的元素的线性组合被示出，其包含五个数字，k=[-0.3, -0.1, 0, 0.1,0.3]:
其中，as,ij,k是来自统计学分布21的单值并且这些单值的总和是1：。
as,ij,k在该示例中在与存储值15相应的位置处从该具体分布（Concrete-Verteilung）得知。该分布的模糊化（Verschmierung）与该具体分布的温度参数γ有关。
图2示出本方法100的实施例，利用该方法来消除没有意义的存储值15。首先，在步骤110中对KI模块1的内部处理链12进行训练，这被分解成分步骤111至116。在分步骤111中编码簿表格23和存储值15的值被初始化。在分步骤112中，从输入参量11的学习值11a和从输出参量16的学习值16a选择小批量（Minibatch）。在分步骤113中，从利用存储值15来参数化的统计学分布21中提取单值22，利用这些单值在分步骤114中确定针对内部处理链12的配置的参数13。
在分步骤115中，由内部处理链12从输入参量11的学习值11a生成的输出参量16与输出参量16的学习值16a的数值上（betragsmäßig）的偏差被确定。由此，在分步骤116中，存储值15以如下目标被更新：将该偏差最小化。
当步骤110应收敛成最终有效的存储值15时，在步骤120中利用分布模块2由此重复地确定参数13的值13a-13c。因为所述参数13是随机变量，其单值13a-13c以从循环到循环的方式有区别。与此有关的波动幅度在步骤130中被评估。只要波动幅度超出预先给定的阈值（真值1），在步骤140中就将所属的存储值15置于零。
图3示出方法200的实施例，利用该方法来离散化存储值15并以有损失的方式压缩。所述方法200可以以步骤210开始，该步骤与图2中的步骤110相同，如在图3中描绘的。但是该方法200也可以如此连接到该方法100，使得将来自方法100的存储值15的最终结果输送给方法200的步骤220。
在步骤220中，存储值15被聚集成集群15a-15c。在步骤230中，对于每个集群15a-15c分别将存储值15转换成查找表格17。
如果例如在与图1相结合所阐述的数字示例中已经针对存储值学习了值ps,ij=[0.22, 0.32, 0.7, 0.77, 0.65]，利用这些值来从编码簿表格23中获得针对数字cs,k=[-0.3, -0.1, 0, 0.1, 0.3]的线性组合的随机系数as,ij,k。于是，示例性的集群过程导致两个集群，用于查找表格17的这些值[0.2，0.7]被分配给所述两个集群。所提到的值ps,ij被离散化成在查找表格17中的值，其方式为，相应的索引[0,0,1,1,1]被分派给所述值。每个这样的索引15a因此仅还需要1比特的存储空间。
当参数13被需要时，那么这些值as,ij,k总是被从具体分布中得出。但是，对于在硬件上的有效实施可以也例如从类别分布中采样as,ij,k，其中于是对于每个参数13所述值as,ij,k其中的仅一个等于1并且所有其他值为零。这是具体分布的近似法（Approximation）。
图4示出本方法400的实施例，利用该方法来评估KI模块1的陈述的不确定性19。在可选的步骤305中选择图像作为输入参量11，并且在可选的步骤310中选择图像的分类作为输出参量16。替代图像，也可以选择任意其他的更高维度的输入数据。
在步骤320中，给KI模块1多次地输送输入参量11的相同值。在此，形成输出参量16的单值16b-16d，这些单值彼此散射。这种散射18在步骤330中作为用于KI模块1的陈述的不确定性19的度量被评价。
在步骤340中，该不确定性19被利用，以便由此以如下目标来确定用于记录装置3的调节参量31：输入参量11的物理记录在定性上（qualitativ）被改善并且接下来使由此所获得的输出参量16的不确定性19被减小。
可替代地或与之相结合地，在步骤350中检验，该不确定性19是否超出预先给定的阈值。如果这是该情况（真值1），则在步骤360中推断出：在输入参量11中存在异常。这种异常在步骤365中被通知给用户。
Claims (16)
1.一种人工智能模块，KI模块（1），所述KI模块被构造用于，通过内部处理链（12）来将一个或多个输入参量（11）处理成一个或多个输出参量（16），其中通过一个或多个参数（13）来规定所述内部处理链（12），并且其中所述KI模块（1）被构造用于，由在存储器（14）中所保存的一个或多个存储值（15）确定所述一个或多个参数（13），其特征在于，设置分布模块（2），所述分布模块被构造用于，分别从一个或多个统计学分布（21）中提取单值（22）并且由此确定所述一个或多个参数（13），其中每个统计学分布（21）的至少一个统计学特性参量与至少一个存储值（15）有关。
2.根据权利要求1所述的KI模块（1），其特征在于，所述分布模块（2）包含至少一个具有多个元素（23a-23c）的编码簿表格（23）并且被构造用于，将所述一个或多个参数（13）作为所述元素（23a-23c）的线性组合来确定，其中所述线性组合的系数是从所述统计学分布（21）中所提取的单值（22）。
3.根据权利要求1至2中任意一项所述的KI模块（1），其特征在于，所述内部处理链（12）是深度的神经网络。
4.根据权利要求2和3所述的KI模块（1），其特征在于，所述编码簿表格（23）包含奇数数目的数字，所述数字关于平均值对称地布置。
5.根据权利要求1至2中任意一项所述的KI模块（1），其特征在于，所述内部处理链（12）是具有至少一个卷积层的神经网络。
6.根据权利要求2和5所述的KI模块（1），其特征在于，所述编码簿表格（23）包含过滤器。
7.根据权利要求3至6中任意一项所述的KI模块（1），其特征在于，所述分布模块（2）针对所述神经网络的每个层包含单独的编码簿表格（23）。
8.根据权利要求1至7中任意一项所述的KI模块（1），其特征在于，用于所述存储值（15）的所述存储器（14）被构造用于，记录整数索引（15a）并且至少一个查找表格（17）被设置用于每个索引到一个或多个离散的存储值（15）的转化。
9.根据权利要求8和根据权利要求3至7中任意一项所述的KI模块（1），其特征在于，针对所述神经网络的每个层设置单独的查找表格（17）。
10.用于运行根据权利要求2和可选地根据权利要求3至9中任意一项所述的KI模块（1）的方法（100），所述方法具有以下步骤：
一组存储值（15）如此被确定（110，111-116）：所述KI模块（1）以足够精确度将所述输入参量（11）的大量学习值（11a）转化成所述输出参量（16）的所属的学习值（16a）；
在使用所述存储值（15）的情况下重复性地利用所述分布模块（2）来确定（120）所述参数（13）的单值（13a-13c）；以及
只要参数（13）的波动幅度超出（130）预先给定的阈值，所属的所述存储值（15）就被置于零（140）。
11.用于运行根据权利要求8至9中任意一项所述的KI模块（1）的方法（200），所述方法具有以下步骤：
一组存储值（15）如此被确定（210；111-116）：所述KI模块（1）以足够精确度将所述输入参量的（11）大量学习值（11a）转化成所述输出参量（16）的所属的学习值（16a）；
所述存储值（15）被聚集（220）成集群（15a-15c）；以及
对于每个集群，存储值（15）被记录（230）到所述查找表格（17）中。
12.用于运行根据权利要求1至9中任意一项所述的KI模块（1）的方法（300），其特征在于，给所述KI模块（1）多次地输送（320）所述一个或多个输入参量（11）的相同值并且所述一个或多个输出参量（16）的所获得的值（16b-16d）的散射（18）作为对于由所述KI模块（1）所作出的陈述的所述不确定性（19）的度量来被评价（330）。
13.根据权利要求12所述的方法（300），其特征在于，图像被选择（305）作为输入参量（11）并且所述图像的分类被选择（310）作为输出参量（16）。
14.根据权利要求12至13中任意一项所述的方法（300），其特征在于，调节参量（31）被输出（340）给用于记录所述输入参量（11）的记录设备（3），以便改变所述记录的至少一个物理参数，使得在重新记录之后减小所述陈述的所述不确定性（19）。
15.根据权利要求12至14中任意一项所述的方法（300），其特征在于，超出（350）预先给定的阈值的所述陈述的不确定性（19）如下地被评价（360）：在所述输入参量（11）中存在异常。
16.计算机程序，所述计算机程序包含机器可读的指令，当所述指令在计算机上和/或嵌入式系统上和/或KI模块（1）上被执行时，所述指令使所述计算机和/或所述嵌入式系统和/或所述KI模块（1）升值为根据权利要求1至9中任意一项所述的KI模块（1）和/或促使实施根据权利要求10至15中任意一项所述的方法（100，200，300）。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102017218889.8 | 2017-10-23 | ||
| DE102017218889.8A DE102017218889A1 (de) | 2017-10-23 | 2017-10-23 | Unscharf parametriertes KI-Modul sowie Verfahren zum Betreiben |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109697503A true CN109697503A (zh) | 2019-04-30 |
Family
ID=65996472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811229529.5A Pending CN109697503A (zh) | 2017-10-23 | 2018-10-22 | 模糊参数化的ki模块以及运行方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN109697503A (zh) |
| DE (1) | DE102017218889A1 (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112084830A (zh) * | 2019-06-13 | 2020-12-15 | 百度（美国）有限责任公司 | 通过基于视觉的感知系统检测对抗样本 |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102018220608A1 (de) | 2018-09-26 | 2020-03-26 | Robert Bosch Gmbh | Maschinelles Lernsystem, sowie ein Verfahren, ein Computerprogramm und eine Vorrichtung zum Erstellen des maschinellen Lernsystems |
| DE102019206621A1 (de) * | 2019-05-08 | 2020-11-12 | Robert Bosch Gmbh | Maschinelles Lernsystem, sowie ein Verfahren, ein Computerprogramm und eine Vorrichtung zum Erstellen des maschinellen Lernsystems |
| DE102020203838A1 (de) | 2020-03-25 | 2021-09-30 | Robert Bosch Gesellschaft mit beschränkter Haftung | Quantitative Bewertung der Unsicherheit von Aussagen eines Klassifikators |
| EP3885973A1 (en) | 2020-03-27 | 2021-09-29 | Robert Bosch GmbH | Measuring the sensitivity of neural network image classifiers against adversarial attacks |
| DE102020206570A1 (de) | 2020-05-26 | 2021-12-02 | Robert Bosch Gesellschaft mit beschränkter Haftung | Rechenwerk für näherungsweise Berechnungen in neuronalen Netzwerken |
| DE102020206913B4 (de) | 2020-06-03 | 2022-12-22 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren und Vorrichtung zum Betreiben eines Roboters |
| EP3961325A1 (de) * | 2020-08-27 | 2022-03-02 | Siemens Aktiengesellschaft | Qualitätsinspektionsverfahren und qualitätsinspektionsanordnung für die produktion eines objektes |
| DE102021210566A1 (de) | 2021-09-23 | 2023-03-23 | Robert Bosch Gesellschaft mit beschränkter Haftung | Quantitative Bewertung der Unsicherheit von Aussagen eines Klassifikators anhand von Messdaten und mehreren Verarbeitungsprodukten derselben |
| DE102022207450A1 (de) | 2022-07-21 | 2024-02-01 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zum Validieren eines Algorithmus des maschinellen Lernens |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006026965A1 (de) * | 2004-09-10 | 2006-03-16 | Frank Bechtold | Verfahren und system zur optimierung der erkennung oder der erkennungssicherheit bei der identifikation oder verifikation von prüfobjekten |
| CN103748588A (zh) * | 2011-08-22 | 2014-04-23 | 罗伯特·博世有限公司 | 用于建立模型的方法 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102005050577A1 (de) | 2005-10-21 | 2007-05-03 | Robert Bosch Gmbh | Verfahren zum automatischen Überprüfen eines neuronalen Netzes für eine Steuerungsvorrichtung |
| CN107239823A (zh) * | 2016-08-12 | 2017-10-10 | 北京深鉴科技有限公司 | 一种用于实现稀疏神经网络的装置和方法 |
| CN107679617B (zh) * | 2016-08-22 | 2021-04-09 | 赛灵思电子科技(北京)有限公司 | 多次迭代的深度神经网络压缩方法 |
| US10621486B2 (en) * | 2016-08-12 | 2020-04-14 | Beijing Deephi Intelligent Technology Co., Ltd. | Method for optimizing an artificial neural network (ANN) |
| CN107229967B (zh) * | 2016-08-22 | 2021-06-15 | 赛灵思公司 | 一种基于fpga实现稀疏化gru神经网络的硬件加速器及方法 |
-
2017
- 2017-10-23 DE DE102017218889.8A patent/DE102017218889A1/de active Pending
-
2018
- 2018-10-22 CN CN201811229529.5A patent/CN109697503A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006026965A1 (de) * | 2004-09-10 | 2006-03-16 | Frank Bechtold | Verfahren und system zur optimierung der erkennung oder der erkennungssicherheit bei der identifikation oder verifikation von prüfobjekten |
| CN103748588A (zh) * | 2011-08-22 | 2014-04-23 | 罗伯特·博世有限公司 | 用于建立模型的方法 |
Non-Patent Citations (1)
| Title |
|---|
| YOOJIN CHOI等: "Learning Low Precision Deep Neural Networks through Regularization", 康奈尔大学图书馆, pages 1 - 9 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112084830A (zh) * | 2019-06-13 | 2020-12-15 | 百度（美国）有限责任公司 | 通过基于视觉的感知系统检测对抗样本 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102017218889A1 (de) | 2019-04-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109697503A (zh) | 模糊参数化的ki模块以及运行方法 | |
| US20210056392A1 (en) | Modular distributed artificial neural networks | |
| Hendy et al. | Fishing net: Future inference of semantic heatmaps in grids | |
| CN107862864B (zh) | 基于驾驶习惯和交通路况的行驶工况智能预测估计方法 | |
| CN106096531B (zh) | 一种基于深度学习的交通图像多类型车辆检测方法 | |
| US20220058525A1 (en) | Model integration apparatus, model integration method, computer-readable storage medium storing a model integration program, inference system, inspection system, and control system | |
| CN111242015B (zh) | 一种基于运动轮廓语义图预测行车危险场景的方法 | |
| CN108764059A (zh) | 一种基于神经网络的人体行为识别方法及系统 | |
| CN111797895B (zh) | 一种分类器的训练方法、数据处理方法、系统以及设备 | |
| KR102517513B1 (ko) | 인공지능 기반 수목 데이터 관리 시스템 및 수목 데이터 관리 방법 | |
| CN112149618B (zh) | 适用于巡检车的行人异常行为检测方法与装置 | |
| CA2973213A1 (en) | Automated functional understanding and optimization of human/machine systems | |
| CN106971145A (zh) | 一种基于极限学习机的多视角动作识别方法及装置 | |
| CN110705564B (zh) | 图像识别的方法和装置 | |
| CN110557636A (zh) | 用于车辆控制系统的有损数据压缩器 | |
| Carpenter et al. | Biologically inspired approaches to automated feature extraction and target recognition | |
| CN107225571A (zh) | 机器人运动控制方法和装置、机器人 | |
| Abbas et al. | Statistically correlated multi-task learning for autonomous driving | |
| CN116523952A (zh) | 利用2d和3d逐点特征估计6d目标姿态 | |
| CN111104976A (zh) | 一种基于时间序列图像的蓝藻覆盖率计算方法 | |
| CN115565388A (zh) | 基于多通道车辆检测与立体特征标注的交通灯控制方法 | |
| KR20170083785A (ko) | Rgb 카메라를 이용한 복수의 회선신경망의 결정정보에 기초한 물체 인공비전인식 시스템 및 학습방법 | |
| CN116340427B (zh) | 一种用于环保数据预警系统的方法 | |
| KR20200058278A (ko) | 지리적 공간에 대한 시공간 데이터 분석 방법 및 장치 | |
| Bhargavi et al. | Object detection in Fog computing using machine learning algorithms |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |