DE102018122019A1

DE102018122019A1 - Computer-implemented method for evaluating object image data of an object

Info

Publication number: DE102018122019A1
Application number: DE102018122019.7A
Authority: DE
Inventors: Bernhard Moser
Original assignee: SOFTWARE COMPETENCE CENTER HAGENBERG GmbH
Current assignee: SOFTWARE COMPETENCE CENTER HAGENBERG GmbH
Priority date: 2018-09-10
Filing date: 2018-09-10
Publication date: 2020-03-12
Also published as: WO2019211497A2; WO2019211497A3; EP3850544A2

Abstract

Computer implementiertes Verfahren zur Bewertung von Objektbilddaten eines Objektes in einem mehrstufigen Verfahren umfassend mehrere Bewertungsebenen,
wobei in einer Bewertungsebene ein Bildwert der Objektbilddaten mit einem Wertebereich verglichen wird,
welcher Wertebereich durch Bereichsgrenzen definiert ist, wobei in zumindest einer Bewertungsebene zumindest ein Abstand des Bildwertes und/oder eines mit einer Wichtungsfunktion überlagerten Bildwertes zu einer Bereichsgrenze der Bereichsgrenzen ermittelt wird.

Computer-implemented method for evaluating object image data of an object in a multi-stage method comprising several evaluation levels,
an image value of the object image data being compared with a value range in an evaluation level,
which range of values is defined by area boundaries, at least one distance between the image value and / or an image value overlaid with a weighting function and an area boundary of the area boundaries being determined in at least one evaluation level.

Description

Die im Folgenden beschriebene Erfindung betrifft ein Computer implementiertes Verfahren zur Bewertung von Objektbilddaten eines Objektes in einem mehrstufigen Verfahren umfassend mehrere Bewertungsebenen,
wobei in einer Bewertungsebene ein Bildwert der Objektbilddaten mit einem Wertebereich verglichen wird,
welcher Wertebereich durch Bereichsgrenzen definiert ist.The invention described below relates to a computer-implemented method for evaluating object image data of an object in a multi-stage method comprising a plurality of evaluation levels,
an image value of the object image data being compared with a value range in an evaluation level,
which range of values is defined by range limits.

Ein mehrstufiges Verfahren zur Bewertung von Objekten findet beispielsweise in Form von neuronalen Netzen Anwendung. Es werden hierbei in einzelnen Bewertungsebenen Bildwerte - oder allgemein Objektwerte - mit einem Wertebereich oder mit mehreren Wertebereichen verglichen.A multi-stage process for evaluating objects is used, for example, in the form of neural networks. Image values - or generally object values - are compared with one value range or with several value ranges in individual evaluation levels.

Nach der gängigen Lehre erfolgt die Bewertung eines Objektes über Bilddaten umfassend Bildwerte. Es wird hierzu das zu bewertende Objekt mittels einem Bilddaten ausgebenden Bildsensor wie beispielsweise einer Kamera aufgenommen.According to current teaching, an object is assessed using image data including image values. For this purpose, the object to be evaluated is recorded by means of an image sensor that outputs image data, such as a camera.

Der Bildwert ist eine vektorielle Größe, welche vektorielle Größe zumindest eine Eigenschaft eines Bildpunktes unter Angabe der Position des Bildpunktes angibt. Die Eigenschaft eines Bildpunktes kann beispielsweise ein Grauwert, ein Farbcode sein.The image value is a vectorial quantity, which vectorial quantity indicates at least one property of a pixel, specifying the position of the pixel. The property of a pixel can be, for example, a gray value or a color code.

Die Bilddaten umfassen Bildwerte, über welche Bildwerte charakteristische Eigenschaften des Objektes wie beispielsweise die Farbe des Objektes, die Größe des Objektes, Kanten des Objektes bewertet werden können. Anhand dieser ermittelten Eigenschaften ist eine Bewertung des aufgenommenen Objektes mittels neuronaler Netze durchführbar, wobei in einer Bewertungsebene ein erster Bildwert und in einer zweiten Bewertungsebene ein zweiter Bildwert bewertet wird.The image data comprise image values by means of which image values characteristic properties of the object such as the color of the object, the size of the object, edges of the object can be evaluated. On the basis of these determined properties, an evaluation of the recorded object can be carried out by means of neural networks, a first image value being evaluated in one evaluation level and a second image value being evaluated in a second evaluation level.

Äquivalent zu den Bilddaten des Objektes ist eine Bewertung eines Objektes aufgrund von in einer Datenbank abgespeicherten Objektdaten umfassend Objektwerten möglich. Dem folgend ist das im Folgende beschriebene, erfindungsgemäße Verfahren auch auf der Grundlage von Datensätzen durchführbar.Equivalent to the image data of the object, an evaluation of an object is possible on the basis of object data including object values stored in a database. Following this, the method according to the invention described below can also be carried out on the basis of data records.

Es ist die Bewertung von Bilddaten eines Objektes zur Klassifizierung des Objektes jedoch problematisch. Die Bilddaten eines Objektes können mit Stördaten überlagert werden, sodass eine Person das Objekt noch als ein solches Objekt wahrnimmt, während ein Computer implementiertes Verfahren das Objekt als ein anderes Objekt wahrnimmt.However, the evaluation of image data of an object for the classification of the object is problematic. The image data of an object can be overlaid with interference data so that a person still perceives the object as such an object, while a computer-implemented method perceives the object as another object.

Wie das datengetriebene Lernen aus Beispielen im Allgemeinen ist auch Deep Learning [GOODFELLOW, I, BENGIO, Y, COURVILLE A,, DEEP LEARNING. THE MIT PRESS, 2016] im Besonderen im Wesentlichen ein schlecht gestelltes multivariates funktionelles Approximationsproblem. Die Stabilität von Deep Learning kann nach der gängigen Lehre nicht garantiert werden.Like data-driven learning from examples in general, deep learning [GOODFELLOW, I, BENGIO, Y, COURVILLE A ,, DEEP LEARNING. THE MIT PRESS, 2016] especially a poorly posed multivariate functional approximation problem. According to current teaching, the stability of deep learning cannot be guaranteed.

Seit der Entdeckung durch Szegedy et al. [C. Szegedy, W. Zaremba, I. Sutskever, J. Bruna, D. Erhan, I. Goodfellow, R. Fergus, „Intriguing properties of neural networks“, arXiv 1312.6199, 2014] hat das Problem der Täuschung von Deep Neuronal Network (DNN) Systemen durch manipulierte Daten („adversarial examples“) erhöhte Aufmerksamkeit erregt. In der Literatur sind zahlreiche Beispiele solcher zu Täuschungen führenden Datenmanipulationen bekannt [A. Kurakin, I. Goodfellow, S. Bengio, „Adversarial examples in the physical world“, In International Conference on Learning Representations Workshop, 2017, Galloway, A., Taylor, G. W., and M. Moussa, „Attacking binarized neural networks“, International Conference on Learning Representations, 2018, Galloway, A., Taylor, G. W., and M. Moussa, „Attacking binarized neural networks“, International Conference on Learning Representations, 2018, X. Yuan, P. He, Q. Zhu, R. R. Bhat, X. Li, „Adversarial examples: Attacks and defenses for deep learning“, arXiv 1712.07107, 2017, C. Xie, J. Wang, Z. Zhang, Z. Ren, A. Yuille, „Mitigating adversarial effects through randomization“, In International Conference on Learning Representations, 2018, J. Uesato, B. O'Donoghue, A. van den Oord, P. Kohli, „Adversarial risk and the dangers of evaluating against weak attacks“, In International Conference on Machine Learning, 2018.]. Für einen Überblick betreffdend Abwehrstrategien und Detektion von solchen Täuschungen siehe [N. Akhtar and A. Mian, „Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey,“ in IEEE Access, vol. 6, pp. 14410-14430, 2018] und [Yuan, X.; He, P.; Zhu, Q.; Bhat, R. R., X. Li, „Adversarial Examples: Attacks and Defenses for Deep Learning“, arXiv 1712.07107, 2017].Since the discovery by Szegedy et al. [C. Szegedy, W. Zaremba, I. Sutskever, J. Bruna, D. Erhan, I. Goodfellow, R. Fergus, "Intriguing properties of neural networks", arXiv 1312.6199, 2014] has the problem of the Deception of Deep Neuronal Network (DNN ) Systems attracted increased attention due to manipulated data ("adversarial examples"). Numerous examples of such data manipulations leading to deception are known in the literature [A. Kurakin, I. Goodfellow, S. Bengio, "Adversarial examples in the physical world", In International Conference on Learning Representations Workshop, 2017, Galloway, A., Taylor, GW, and M. Moussa, "Attacking binarized neural networks", International Conference on Learning Representations, 2018, Galloway, A., Taylor, GW, and M. Moussa, "Attacking binarized neural networks", International Conference on Learning Representations, 2018, X. Yuan, P. He, Q. Zhu, RR Bhat, X. Li, "Adversarial examples: Attacks and defenses for deep learning", arXiv 1712.07107, 2017, C. Xie, J. Wang, Z. Zhang, Z. Ren, A. Yuille, "Mitigating adversarial effects through randomization" , In International Conference on Learning Representations, 2018, J. Uesato, B. O'Donoghue, A. van den Oord, P. Kohli, "Adversarial risk and the dangers of evaluating against weak attacks", In International Conference on Machine Learning, 2018.]. For an overview of defense strategies and detection of such delusions, see [N. Akhtar and A. Mian, "Threat of Adversarial Attacks on Deep Learning in Computer Vision: A Survey," in IEEE Access, vol. 6, pp. 14410-14430, 2018] and [Yuan, X .; He, P .; Zhu, Q .; Bhat, R. R., X. Li, "Adversarial Examples: Attacks and Defenses for Deep Learning", arXiv 1712.07107, 2017].

In der englischen Fachliteratur werden diese zu Täuschungen führenden Daten als „adversarial examples“ bezeichnet. Im Rahmen der Offenbarung des erfindungsgemäßen Verfahrens werden diese Daten kurz als „A-Daten“ bezeichnet.In the English specialist literature, this data leading to deception is referred to as "adversarial examples". In the context of the disclosure of the method according to the invention, these data are briefly referred to as “A data”.

Der Fachmann kennt im Wesentlichen zwei Manipulationsphänomene:

Die erste Art basiert auf korrekt klassifizierten Bildern bzw. Daten, die unter unmerklichen Störungen dazu führen, dass das Deep Neuronal Network-System das modifizierte Bild mit „hoher Glaubwürdigkeit“ [C. Szegedy, W. Zaremba, I. Sutskever, J. Bruna, D. Erhan, I. Goodfellow, R. Fergus, „Intriguing properties of neural networks“, arXiv 1312.6199, 2014] falsch klassifiziert.

The person skilled in the art knows essentially two manipulation phenomena:

The first type is based on correctly classified images or data which, with imperceptible interference, lead the Deep Neuronal Network system to use the modified image with "high credibility" [C. Szegedy, W. Zaremba, I. Sutskever, J. Bruna, D. Erhan, I. Goodfellow, R. Fergus, "Intriguing properties of neural networks", arXiv 1312.6199, 2014] incorrectly classified.

Die zweite Art basiert auf der Eingabe von Rauschen, z.B. durch Störsignale, das so manipuliert wird, dass das Deep Neuronal Network-System eine Ausgabe von „hoher Glaubwürdigkeit“ liefert.The second type is based on the input of noise, e.g. by interference signals that are manipulated in such a way that the Deep Neuronal Network system delivers an output of “high credibility”.

Unter dem Begriff der „hohen Glaubwürdigkeit“ wird unter Verweis auf die gängige Lehre eine Zahl zwischen 0 und 1 verstanden, mittels welcher Zahl das Deep Neuronal Network-System die Klassifikation bewertet. Diese Zahl wird gemeinhin als Wahrscheinlichkeit gedeutet.The term “high credibility” refers to a number between 0 and 1 with reference to the current teaching, by means of which number the Deep Neuronal Network system evaluates the classification. This number is commonly interpreted as a probability.

Nach der gängigen Lehre sind grundsätzlich folgende Gegenmaßnahmen gegen die Manipulationsphänomene bekannt.According to the current teaching, the following countermeasures against the manipulation phenomena are known in principle.

Das „adversarial“ Trainingsverfahren beruht auf der schnellen Generierung von A-Daten [P. Frossard, S.-M. Moosavi-Dezfooli, A. Fawzi, „Deepfool: a simple and accurate method to fool deep neural networks“, In CVPR, pages 2574-2582, 2016], um diese während des Trainings als Datenaugmentation zu nutzen, um mehr Robustheit zu erlangen.The "adversarial" training method is based on the rapid generation of A data [P. Frossard, S.-M. Moosavi-Dezfooli, A. Fawzi, "Deepfool: a simple and accurate method to fool deep neural networks", In CVPR, pages 2574-2582, 2016], to use this during the training as data augmentation to gain more robustness.

Es stellt sich jedoch heraus, dass dieses Verfahren das Problem nicht löst, da für den resultierenden Klassifikator wieder A-Daten konstruiert werden können [R. Huang, B. Xu, D. Schuurmans, and C. Szepesvari, „Learning with a strong adversary“, In ICLR, 2016, N. Papernot, P. McDaniel, X.Wu, S. Jha, A. Swami, „Distillation as a defense to adversarial perturbations against deep neural networks“, In Security and Privacy (SP), 2016 IEEE Symposium on, pages 582-597. IEEE, 2016, A. Kurakin, I. Goodfellow, S. Bengio, „Adversarial examples in the physical world“, In International Conference on Learning Representations Workshop, 2017, S.M. Moosavi-Dezfooli, A. Fawzi, O. Fawzi, and P. Frossard, „Universal adversarial perturbations“, In CVPR, 2017, J. Kos, I. Fischer, and D. Song, „Adversarial examples for generative models“, In ICLR Workshop, 2017]. Schlimmer noch, solche Verfahren können zu einem falschen Sicherheitsgefühl führen.However, it turns out that this method does not solve the problem, since A data can again be constructed for the resulting classifier [R. Huang, B. Xu, D. Schuurmans, and C. Szepesvari, "Learning with a strong adversary", In ICLR, 2016, N. Papernot, P. McDaniel, X.Wu, S. Jha, A. Swami, "Distillation as a defense to adversarial perturbations against deep neural networks ”, In Security and Privacy (SP), 2016 IEEE Symposium on, pages 582-597. IEEE, 2016, A. Kurakin, I. Goodfellow, S. Bengio, "Adversarial examples in the physical world", In International Conference on Learning Representations Workshop, 2017, S.M. Moosavi-Dezfooli, A. Fawzi, O. Fawzi, and P. Frossard, "Universal adversarial perturbations", In CVPR, 2017, J. Kos, I. Fischer, and D. Song, "Adversarial examples for generative models", In ICLR Workshop, 2017]. Even worse, such procedures can lead to a false sense of security.

Es gibt verschiedene Verfahren, um zu überprüfen, ob innerhalb einer Normumgebung (zB bzgl Euklidischen Abstandes) eines Bildes die Ausgabe nicht verändert wird. Diese Methoden basieren entweder auf exakten formalen Verifikationsverfahren wie SMT [G. Katz, C. Barrett, D. L. Dill, K. Julian, and M. J. Kochenderfer, „Reluplex: An efficient SMT solver for verifying deep neural networks“, In International Conference on Computer Aided Verification, pages 97-117. Springer, 2017, R. Ehlers, „Formal Verification of Piece-Wise Linear Feed-Forward Neural Networks“, In Automated Technology for Verification and Analysis, International Symposium on, 2017] oder auf sogenannten Verfahren zur „Bound Propagation“ [Dvijotham, K. D., Uesato, J., R. Arandjelovi, „Training Verified Learners with Learned Verifiers“, arXiv 1805.10265v2, 2018, Mirman M, T. Gehr, M. Vechev, „Differentiable Abstract Interpretation for Provably Robust Neural Networks“, ICML 2018 (https://github.com/ethsri/diffai), T. Gehr, M. Mirman, D. Drachsler-Cohen, P. Tsankov, S. Chaudhuri, and M. Vechev, „AI2: Safety and robustness certification of neural networks with abstract interpretation“. In Security and Privacy (SP), 2018 IEEE Symposium on, 2018, K. Dvijotham, R. Stanforth, S. Gowal, T. Mann, and P. Kohli, „Towards scalable verification of neural networks: A dual approach“, In Conference on Uncertainty in Artificial Intelligence, 2018, J. Z. Kolter and E.Wong, „Provable defenses against adversarial examples via the convex outer adversarial polytope“, arXiv 1711.00851, 2017] oder auf der Berechnung einer unteren Grenze („lower distance bound“) [M. Hein and M. Andriushchenko, „Formal Guarantees on the Robustness of a Classifier against Adversarial Manipulation“, 31st Conference on Neural Information Processing Systems, NIPS 2017].There are various methods to check whether the output is not changed within a standard environment (eg with regard to Euclidean distance) of an image. These methods are based either on exact formal verification methods such as SMT [G. Katz, C. Barrett, D. L. Dill, K. Julian, and M. J. Kochenderfer, "Reluplex: An efficient SMT solver for verifying deep neural networks", In International Conference on Computer Aided Verification, pages 97-117. Springer, 2017, R. Ehlers, "Formal Verification of Piece-Wise Linear Feed-Forward Neural Networks", In Automated Technology for Verification and Analysis, International Symposium on, 2017] or on so-called "Bound Propagation" methods [Dvijotham, KD , Uesato, J., R. Arandjelovi, "Training Verified Learners with Learned Verifiers", arXiv 1805.10265v2, 2018, Mirman M, T. Gehr, M. Vechev, "Differentiable Abstract Interpretation for Provably Robust Neural Networks", ICML 2018 ( https://github.com/ethsri/diffai), T. Gehr, M. Mirman, D. Drachsler-Cohen, P. Tsankov, S. Chaudhuri, and M. Vechev, "AI2: Safety and robustness certification of neural networks with abstract interpretation ". In Security and Privacy (SP), 2018 IEEE Symposium on, 2018, K. Dvijotham, R. Stanforth, S. Gowal, T. Mann, and P. Kohli, "Towards scalable verification of neural networks: A dual approach", In Conference on Uncertainty in Artificial Intelligence, 2018, JZ Kolter and E. Wong, "Provable defenses against adversarial examples via the convex outer adversarial polytope", arXiv 1711.00851, 2017] or on the calculation of a lower limit ("lower distance bound") [ M. Hein and M. Andriushchenko, "Formal Guarantees on the Robustness of a Classifier against Adversarial Manipulation", 31st Conference on Neural Information Processing Systems, NIPS 2017].

Die SMT-basierte Verfahren [G. Katz, C. Barrett, D. L. Dill, K. Julian, and M. J. Kochenderfer, „Reluplex: An efficient SMT solver for verifying deep neural networks“, In International Conference on Computer Aided Verification, pages 97-117. Springer, 2017, R. Ehlers, „Formal Verification of Piece-Wise Linear Feed-Forward Neural Networks“, In Automated Technology for Verification and Analysis, International Symposium on, 2017] werden für größere Deep Neuronal Network-Systeme unbrauchbar komplex. Ähnlich ist es bei dem Verfahren von [M. Hein and M. Andriushchenko, „Formal Guarantees on the Robustness of a Classifier against Adversarial Manipulation“, 31st Conference on Neural Information Processing Systems, NIPS 2017], das eine untere Distanzschranke für stetig differenzierbare Deep Neuronal Network-Modelle berechnet. Die untere Distanzschranke gibt dabei an, dass diese Schranke durch Störungen überschritten werden muss, um ausgehend von einem richtig klassifizierten Bild A-Daten generieren zu können. Wird diese Schranke nicht überschritten, so kann garantiert werden, dass eine etwaige Manipulation zu keiner veränderten Klassifikation durch das Deep Neuronal Network-System führt. Die Einschränkung auf stetig differenzierbare Deep Neuronal Network-Modelle setzt u.a. auch die stetig differenzierbare Aktivierungsfunktion dar. Da die gängigste Wahl für die Aktivierungsfunktion jedoch eine sogenannte „rectified linear unit“-Funktion ist, kann dieses Verfahren nicht auf diese Klasse von Deep Neuronal Network-Systemen angewendet werden.The SMT-based method [G. Katz, C. Barrett, D. L. Dill, K. Julian, and M. J. Kochenderfer, "Reluplex: An efficient SMT solver for verifying deep neural networks", In International Conference on Computer Aided Verification, pages 97-117. Springer, 2017, R. Ehlers, "Formal Verification of Piece-Wise Linear Feed-Forward Neural Networks", In Automated Technology for Verification and Analysis, International Symposium on, 2017] become unusably complex for larger deep neuronal network systems. It is similar with the method of [M. Hein and M. Andriushchenko, "Formal Guarantees on the Robustness of a Classifier against Adversarial Manipulation", 31st Conference on Neural Information Processing Systems, NIPS 2017], which calculates a lower distance barrier for continuously differentiable deep neuronal network models. The lower distance barrier indicates that this barrier must be exceeded due to interference in order to be able to generate A data based on a correctly classified image. If this limit is not exceeded, it can be guaranteed that any manipulation will not lead to a change in classification by the Deep Neuronal Network system. The restriction to continuously differentiable deep neuronal network models includes also represents the continuously differentiable activation function. However, since the most common choice for the activation function is a so-called "rectified linear unit" function, this method cannot be applied to this class of deep neuronal network systems.

Die Grundidee der Bound Propagation ist die Folgende: Betrachten Sie einen n-dimensionalen Quader (Normkugel in der Maxmiumsnorm), der im Zentrum eines bestimmten Datenpunkt (Bild) angesiedelt ist. Man will nun verifizieren, dass keine A-Daten in diesem Quader liegen. Die direkte Überprüfung ist allerdings praktisch undurchführbar, das es zu einem (NP hard) NP schweren komplexen Optimierungsproblem führt. Deshalb wird in den jeweiligen Schichten eine Approximation gewählt. Bei dem Verfahren von [Dvijotham, K. D., Uesato, J., R. Arandjelovi, „Training Verified Learners with Learned Verifiers“, arXiv 1805.10265v2, 2018] besteht diese Approximation wieder aus Quadern, die tatsächlich propagierten Datenwerte umschließen. Andere Autoren verwenden andere Klassen von konvexen Körpern wie etwa Zonotope [T. Gehr, M. Mirman, D. Drachsler-Cohen, P. Tsankov, S. Chaudhuri, and M. Vechev, „AI2: Safety and robustness certification of neural networks with abstract interpretation“. In Security and Privacy (SP), 2018 IEEE Symposium on, 2018]. The basic idea of bound propagation is as follows: Consider an n-dimensional cuboid (standard sphere in the maxmium standard) that is located in the center of a certain data point (image). You now want to verify that there are no A data in this box. However, the direct check is practically impracticable, since it leads to a (NP hard) NP difficult complex optimization problem. An approximation is therefore chosen in the respective layers. In the method of [Dvijotham, KD, Uesato, J., R. Arandjelovi, "Training Verified Learners with Learned Verifiers", arXiv 1805.10265v2, 2018], this approximation again consists of cuboids that enclose actually propagated data values. Other authors use other classes of convex bodies, such as zonotopes [T. Gehr, M. Mirman, D. Drachsler-Cohen, P. Tsankov, S. Chaudhuri, and M. Vechev, "AI2: Safety and robustness certification of neural networks with abstract interpretation". In Security and Privacy (SP), 2018 IEEE Symposium on, 2018].

Eine Verifikation, dass sich innerhalb der umschließenden Bereiche keine A-Daten befinden, verifiziert dann, dass sich insbesondere im Ausgangsquader keine A-Daten befinden. Dieses Verfahren stößt allerdings bei komplexeren Daten auf Grenzen, da diese umschreibenden konvexen Verifizierungsbereiche exponentiell wachsende Ausmaße in Abhängigkeit der Anzahl der Schichten annehmen können. Somit besteht bei komplexeren Daten die hohe Wahrscheinlichkeit, dass solche Verifizierungsbereiche sich mit Datenpunkten anderer Klassen überlagern, sodass in Folge das Verifikationsverfahren fehlschlägt (da sich nun Daten einer anderen Klasse im Verifikationsbereich befinden). Diese Analyse wird durch Experimente unterstützt, siehe Auswertungstabellen von [Dvijotham, K. D., Uesato, J., R. Arandjelovi, „Training Verified Learners with Learned Verifiers“, arXiv 1805.10265v2, 2018].A verification that there is no A data within the enclosing areas then verifies that there is no A data in particular in the exit cuboid. However, this method has its limits with more complex data, since these circumscribing convex verification areas can take on exponentially increasing dimensions depending on the number of layers. Thus, in the case of more complex data, there is a high probability that such verification areas overlap with data points of other classes, so that the verification process subsequently fails (since data from another class is now in the verification area). This analysis is supported by experiments, see evaluation tables by [Dvijotham, K. D., Uesato, J., R. Arandjelovi, "Training Verified Learners with Learned Verifiers", arXiv 1805.10265v2, 2018].

Die im Folgenden diskutierte Erfindung stellt sich die Aufgabe, zu detektieren, wann bei der Anwendung von Deep Learning Verfahren nach dem Stand der Technik eine Instabilität vorliegt und wann nicht.The invention discussed below has the task of detecting when instability is present and when not when using deep learning methods according to the prior art.

Die Erfindung stellt sich die Aufgabe, ein mehrstufiges Verfahren zur Bewertung eines Objektes anhand dessen Bildwerten oder auch Objektwerten nach dem Stand der Technik derart zu verbessern, dass das erfindungsgemäße Verfahren integer gegen Einflüsse von außen ist. Es ist hieraus die weitere Aufgabe der Erfindung ableitbar, dass das erfindungsgemäße Verfahren derart gestaltet ist, dass Einflüsse von außen auf das erfindungsgemäße Verfahren erkennbar sind.The object of the invention is to improve a multi-stage method for evaluating an object on the basis of its image values or also object values according to the prior art in such a way that the method according to the invention is integral to external influences. The further object of the invention can be derived from this that the method according to the invention is designed such that external influences on the method according to the invention can be identified.

Für Anwendungen sind vor allem nahezu unsichtbare oder schwer zu erkennende Manipulationen („adversarial examples“) tückisch, die zu Integritätsverletzungen dieser Anwendungen führen.Almost invisible or difficult to detect manipulations ("adversarial examples") are particularly tricky for applications, which lead to violations of the integrity of these applications.

Eine integre Bewertung von Bildinhalten mittels Computer implementierter Verfahren unter Anwendung von neuronalen Netzen ist beispielsweise bei der Bewertung von Bilddaten bei autonomen Fahrsteuerungen von enormer Wichtigkeit.Integral evaluation of image content by means of computer-implemented methods using neural networks is of enormous importance, for example, when evaluating image data in autonomous driving controls.

Erfindungsgemäß wird dies dadurch erreicht, dass
in zumindest einer Bewertungsebene zumindest ein Abstand des Bildwertes und/oder des mit einer Wichtungsfunktion überlagerten Bildwertes zu einer Bereichsgrenze der Bereichsgrenzen ermittelt in wird.According to the invention this is achieved in that
at least one distance between the image value and / or the image value superimposed with a weighting function and an area boundary of the area limits is determined in at least one evaluation level.

In der folgenden Offenbarung der Erfindung wird nicht zwischen einem Bildwert und einem durch eine Wichtungsfunktion verzerrtem Bildwert unterschieden, sofern nicht dies explizit oder implizit angeführt ist. Der gängigen Lehre folgend wird beispielsweise ein Bildwert mit einer Wichtungsfunktion bei einer Bewertung mittels neuronaler Netze überlagert, wobei in einem gewissen Maße auch eine „Verzerrung“ der Bildwerte erfolgt.In the following disclosure of the invention, no distinction is made between an image value and an image value distorted by a weighting function, unless this is explicitly or implicitly stated. Following the current teaching, for example, an image value with a weighting function is superimposed when evaluating using neural networks, with a certain degree of “distortion” of the image values.

Die hier offenbarte Erfindung zeichnet sich dadurch aus, dass zusätzlich zu der Ermittlung einer Schnittmenge eines Bildwertes und eines Wertebereiches der Abstand zwischen dem Bildwert und zumindest einem Grenzwert des Wertebereiches ermittelt wird. Dies kann bei ausgewählten Bewertungsebenen oder bei sämtlichen Bewertungsebenen erfolgen.The invention disclosed here is characterized in that, in addition to determining an intersection of an image value and a value range, the distance between the image value and at least one limit value of the value range is determined. This can be done at selected rating levels or at all rating levels.

Der Abstand kann ein absoluter Wert sein. Der Abstand kann auch ein Vektor sein. Der Abstand ist jedenfalls eine mathematische Größe, welche unter Anwendung der gängigen mathematischen Lehre (Differenz, Berechnung der Länge eines Vektors et cetera) berechnet werden kann.The distance can be an absolute value. The distance can also be a vector. In any case, the distance is a mathematical quantity, which can be calculated using the usual mathematical teaching (difference, calculation of the length of a vector et cetera).

Der Abstand kann auch eine Größe sein, welche Größe unter Berücksichtigung einer sich zwischen dem Bildwert und der relativen Bereichsgrenze erstreckenden Funktion angegeben wird. Nach der gängigen Lehre ist die Ermittlung des Abstandes als ein absoluter Wert oder als ein Vektor von den vorliegenden Eingangswerten, nämlich dem Bildwert und der Bereichsgrenze abhängig.The distance can also be a size, which size is given taking into account a function extending between the image value and the relative area boundary. According to the current teaching, the determination of the distance as an absolute value or as a vector is dependent on the existing input values, namely the image value and the area boundary.

Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass
der ermittelte Abstand mit einem Schwellenwert verglichen wird.The method according to the invention can be characterized in that
the determined distance is compared with a threshold value.

Der als eine absolute Größe angegebene Abstand kann mit einem als eine absolute Größe angegebenen Schwellenwert verglichen werden. Gleichsam kann der Abstand in Form einer vektoriellen Größe mit einem Schwellenwert in Form einer vektoriellen Größe verglichen werden. Weiters ist aus einer vektoriellen Größe eine Länge des Vektors als eine absolute Größe bestimmbar, welche aus der vektoriellen Größe ermittelte absolute Größe mit einem durch eine absolute Größe angegebenen Schwellenwert vergleichbar ist.The distance given as an absolute size can be compared to a threshold given as an absolute size. As it were, the distance can be in the form of a vectorial Size can be compared with a threshold in the form of a vectorial size. Furthermore, a length of the vector can be determined as an absolute size from a vectorial size, which length can be compared with an absolute size determined from the vectorial size.

Das erfindungsgemäße Verfahren zeichnet sich dadurch aus, dass der ermittelte Abstand als ein Kriterium für die Zuverlässigkeit der vorgenommenen Bewertung der Bilddaten eingeführt wird. Der ermittelte Abstand kann hierzu mit einer Gewichtungsfunktion überlagert werden.The method according to the invention is characterized in that the determined distance is introduced as a criterion for the reliability of the evaluation of the image data. For this purpose, the determined distance can be overlaid with a weighting function.

Diese Abstände geben Auskunft über die Integrität der Bewertung des Bildwertes in der Bewertungsebene, sodass bei Einhaltung eines maximalen Abstandes mit einer hohen Wahrscheinlichkeit angenommen werden kann, dass Überlagerungen der Bildwerte durch weitere Bildwerte oder Verfälschungen durch Rauschen oder absichtliche Manipulationen mit einer vorab definierbaren maximalen Abweichungsgrenze die Integrität des erfindungsgemäßen Verfahren zur Bewertung von Bildwerten nicht unterbinden.These distances provide information about the integrity of the evaluation of the image value in the evaluation level, so that if a maximum distance is adhered to, it can be assumed with a high degree of probability that the image values will be overlaid by further image values or falsified by noise or intentional manipulations with a predefined maximum deviation limit Do not prevent the integrity of the method according to the invention for evaluating image values.

Die Abstände können bereits beim Entwurf des Systems ermittelt und berücksichtigt werden, sodass bei Einhaltung des definierten Schwellenwertes die Integrität als gewährleistet angesehen werden kann.The distances can already be determined and taken into account when designing the system, so that if the defined threshold value is complied with, the integrity can be regarded as guaranteed.

Das erfindungsgemäße Verfahren zeichnet sich sohin dadurch aus, dass zusätzlich zu dem Wertebereich auch ein Integritätsbereich definiert wird, welcher Integritätsbereich Teil des Wertebereiches ist. Die Abstandsangabe kann auch lediglich die Angabe enthalten, dass der Bildwert im Integrationsbereich enthalten ist, wobei der kleinste Abstand für eine Bewertung einer Schnittmenge zwischen dem Bildwert und dem Integrationsbereich ist.The method according to the invention is characterized in that, in addition to the range of values, an integrity range is also defined, which range of integrity is part of the range of values. The distance specification can also only contain the specification that the image value is contained in the integration area, the smallest distance being for an evaluation of an intersection between the image value and the integration area.

Durch den Vergleich des Bildwertes mit dem Schwellenwert wird festgestellt, ob der Bildwert innerhalb dieses Integritätsbereiches liegt. Der Vergleich des Schwellenwertes ist sohin äquivalent zu der Ermittlung eines Schnittbereiches zwischen dem Bildwert und einem Integritätsbereich. Ein solcher Integrationsbereich ist durch einen den Wert des Schwellenwertes ausmachenden Mindestabstand von dem Grenzwert definiert.By comparing the image value with the threshold value, it is determined whether the image value lies within this integrity range. The comparison of the threshold value is therefore equivalent to the determination of an intersection area between the image value and an integrity area. Such an integration range is defined by a minimum distance from the limit value that makes up the value of the threshold value.

Die Ermittlung des Abstandes erlaubt die Bestimmung des Maßes, um welches Maß der Bildwert im Integritätsbereich liegt beziehungsweise um welches Maß der Bildwert außerhalb des Integritätsbereiches liegt. Der Abstand kann neben der Angabe des absoluten, vektoriellen der einer Funktion folgenden Abstandes auch eine Richtungsangabe umfassen, über welche Richtungsangabe die Position des Bildwertes in Bezug auf den relativen Grenzwert angegeben ist.Vorzugsweise wird das Verfahren derart durchgeführt, dass der Abstand der einzelnen Objektwerte zu jeder den Bereich definierenden Bereichsgrenzen verglichen wird. Es wird der kleinste Abstand mit dem Schwellenwert ermittelt, wobei in Abhängigkeit eines Unterschreitens oder eines Überschreitens des Schwellenwertes durch den kleinsten Abstand die in dieser Bewertungsstufe vorgenommene Bewertung als sicher beziehungsweise als unsicher einstufbar ist.The determination of the distance allows the determination of the measure by which measure the image value lies in the integrity area or by which measure the image value lies outside the integrity area. In addition to the specification of the absolute, vectorial or the distance following a function, the distance can also include a direction by means of which direction the position of the image value is specified in relation to the relative limit value. The method is preferably carried out in such a way that the distance of the individual object values increases each area boundary defining the area is compared. The smallest distance is determined using the threshold value, and depending on whether the minimum distance falls below or exceeds the threshold value, the evaluation carried out in this evaluation stage can be classified as safe or as unsafe.

Der kleinste Abstand ist bei Vorliegen von absoluten Werten ein absoluter Wert. Bei vektoriellen Größen kann der kleinste Abstand aus der Abstand der Skalaren oder aus der Abstand der Vektoren berechnet werden. Der kleinste Abstand kann sohin bei Vorliegen von vektoriellen Größen ein absoluter Wert oder eine vektorielle Größe sein.The smallest distance is an absolute value if there are absolute values. For vector sizes, the smallest distance can be calculated from the distance between the scalars or from the distance between the vectors. The smallest distance can therefore be an absolute value or a vector size if there are vector sizes.

Der kleinste Abstand, welcher kleinste Abstand den Schwellenwert unterschreitet, kann im Rahmen des erfindungsgemäßen Verfahrens als ein Hinweis auf eine unsichere Bewertung des Ereignisses angesehen werden. Der kleinste Abstand, welcher kleinste Abstand den Schwellenwert überschreitet, kann im Rahmen dieser Erfindung als ein Hinweis auf eine sichere Bewertung angesehen werden.Within the scope of the method according to the invention, the smallest distance, which smallest distance falls below the threshold value, can be regarded as an indication of an uncertain assessment of the event. Within the scope of this invention, the smallest distance, which smallest distance exceeds the threshold value, can be regarded as an indication of a reliable evaluation.

Aus dem Abstand und im Speziellen aus dem Vergleich des Abstandes zu einem Sollwert kann die Notwendigkeit von Abwehrstrategien zum Erkennen von Störsignalen abgeleitet werden, wobei Überlagerungen oder Verfälschungen der Objektbilddaten durch ein Rauschen in einem durch den Sollwert definierten, akzeptablen Rahmen bleiben unbeachtet. Die gegebenenfalls einzuleitenden Abwehrstrategien sind nicht Teil des erfindungsgemäßen Verfahrens.The necessity of defense strategies for the detection of interference signals can be derived from the distance and in particular from the comparison of the distance to a setpoint value, whereby superimpositions or falsifications of the object image data due to noise remain within an acceptable range defined by the setpoint value. The defense strategies that may be introduced are not part of the method according to the invention.

Die Bereichsgrenzen können durch einen Benutzer definiert werden.The range limits can be defined by a user.

Alternativ oder ergänzend hierzu können die Bereichsgrenzen auch durch selbstlernende Verfahren definiert werden.As an alternative or in addition to this, the range limits can also be defined by self-learning methods.

Während eines Vorganges des Anlernens des Computer implementierten Bewertungsverfahrens wird eine Klassifikation der Bildwerte durch eine Person direkt oder indirekt vorgenommen. Eine indirekte Bewertung kann derart vorgenommen werden, dass die Person Bildwerte klassifiziert, wodurch mit den Bildwerten verbundene weitere Bildwerte ausgewählt werden. Derartige Vorgänge sind nach dem Stand der Technik bekannt.During a process of teaching the computer-implemented evaluation method, the image values are classified directly or indirectly by a person. An indirect evaluation can be carried out in such a way that the person classifies image values, as a result of which further image values associated with the image values are selected. Such processes are known in the prior art.

Die Bereichsgrenzen können durch mathematische Verfahren um die direkt und/oder indirekt ausgewählten Bildwerte definiert werden.The area boundaries can be defined by mathematical methods around the directly and / or indirectly selected image values.

Die obige Erläuterung betrifft die Bewertung von Bildwerten umfassenden Bilddaten in einer Bewertungsebene. Nach dem Stand der Technik umfasst eine Bewertung beispielsweise mittels neuronaler Netze mehrere Bewertungsebenen. Es kann das oben beschriebene erfindungsgemäße Verfahren auch auf ausgewählten Bewertungsebenen oder auf allen Bewertungsebenen durchgeführt werden. The above explanation relates to the evaluation of image data comprising image values in an evaluation level. According to the prior art, an evaluation, for example by means of neural networks, comprises several evaluation levels. The method according to the invention described above can also be carried out on selected evaluation levels or on all evaluation levels.

Es kann bei einer Anwendung des erfindungsgemäßen Verfahrens auf mehreren Bewertungsebenen zumindest jeweils ein Abstand pro Bewertungsebene ermittelt werden, wobei die ermittelten Abstände mit Sollwerten verglichen werden. Die Aussage, ob eine Bewertung unsicher ist, kann dann unter Betrachtung der Menge der Abstände und deren Vergleich mit den Sollwerten gemacht werden.When using the method according to the invention, at least one distance per evaluation level can be determined on several evaluation levels, the determined distances being compared with target values. The statement as to whether an assessment is uncertain can then be made by considering the number of distances and comparing them with the target values.

Das erfindungsgemäße Verfahren kann sich dadurch auszeichnen, dass
in n Bewertungsebenen (n=1, 2, 3,...) zumindest ein Abstand des Bildwertes und/oder des durch eine Wichtungsfunktion überlagerten Bildwertes zu einer Bereichsgrenze der Bereichsgrenzen ermittelt wird, wobei
eine Codierung umfassend die Abstandsangaben über die ermittelten Abstände der einzelnen Bewertungsebenen erstellt wird.The method according to the invention can be characterized in that
in n evaluation levels (n = 1, 2, 3, ...) at least a distance of the image value and / or of the image value superimposed by a weighting function to an area limit of the area limits is determined, wherein
coding encompassing the distance information about the determined distances of the individual evaluation levels is created.

Bei einer Anwendung der erfindungsgemäßen Verfahrens auf mehrere Bewertungsebenen kann aus den einzelnen Abstandsangaben eine die Abstandsangaben der einzelnen Bewertungsebenen umfassende Codierung erstellt werden.When the method according to the invention is applied to several evaluation levels, a coding comprising the distance information of the individual evaluation levels can be created from the individual distance information.

Die Abstandsangabe in einer Bewertungsebene kann auch lediglich die Angabe enthalten, dass der Bildwert im Wertebereich und/oder im Integrationsbereich enthalten ist. Demzufolge kann eine Codierung die Angaben enthalten, ob ein Bildwert beziehungsweise ein durch eine Wichtungsfunktion verzerrter Bildwert in einem Wertebereich und/oder in einem Integrationsbereich fällt. Festzustellen ist, dass ähnliche Objektbilddaten eine ähnliche Codierung aufweisen.The distance specification in an evaluation level can also only contain the specification that the image value is contained in the value range and / or in the integration range. Accordingly, coding can contain the information as to whether an image value or an image value distorted by a weighting function falls in a value range and / or in an integration range. It should be noted that similar object image data have a similar coding.

Ähnliche Bildwerte, die über ähnliche Bewertungsebenen bewertet werden, weisen eine ähnliche Codierung auf. Eine ähnliche Codierung von ähnlichen Bildwerten kann sohin im Rahmen der Durchführung des erfindungsgemäßen Verfahrens oder in einem von obigen Verfahrensschritten unabhängigen Verfahren als ein Konsistenzmaß eingehen.Similar image values, which are evaluated via similar evaluation levels, have a similar coding. A similar coding of similar image values can therefore be included as a measure of consistency when carrying out the method according to the invention or in a method independent of the above method steps.

Eine Codierung kann beispielsweise in Matrixform vorliegen, wobei zeilenweise eine Angabe über das Fallen eines Bildwertes in einen Wertebereich und spaltenweise eine diesbezügliche Angabe pro Bewertungsebene vorliegt.A coding can be present, for example, in matrix form, with line-by-line information about the falling of an image value into a value range and column-by-line information per evaluation level.

Das erfindungsgemäße Verfahren wird durch die nachstehende Figurenbeschreibung und durch die nachstehenden Figuren ergänzend erläutert. Der Fachmann ist in der Lage, die Merkmale des obigen allgemeinen Beschreibungsteiles und die nachstehende Figurenbeschreibung zu kombinieren. Der Schutzumfang wird jedoch ausschließlich durch die Ansprüche bestimmt.The method according to the invention is additionally explained by the following description of the figures and by the following figures. The person skilled in the art is able to combine the features of the above general description part and the following description of the figures. However, the scope of protection is determined exclusively by the claims.

In den Figuren sind die nachstehenden Elemente durch die vorangestellten Bezugszeichen gekennzeichnet.

1: Pandabär
2: erstes Bild
3: zweites Bild
4: Ergebnisbild
5: erster Bildwert
6: zweiter Bildwert
7: Wertebereich
8: Bereichsgrenzen
9: Bereichsgrenzen
10: Bereichsgrenzen
11: erster Abstand
12: zweiter Abstand
13: erste Teilfläche

In the figures, the following elements are identified by the preceding reference symbols.

1: Panda bear
2nd: first picture
3rd: second picture
4th: Result picture
5: first image value
6: second image value
7: Range of values
8th: Range limits
9: Range limits
10th: Range limits
11: first distance
12th: second distance
13: first partial area

In 1 the problem underlying the method according to the invention is shown.
2nd illustrates the effect of the method according to the invention on the principle of set theory.

1 veranschaulicht das der hier diskutierten Erfindung zu Grunde liegende Problem. Das in der 1 enthaltene Bild wurde aus dem Dokument Xiaoyong Yuan et al: Adversial Examples:

Attacks and Defenses for Deep Learning, (arXiv 1712.07107,
https://arxiv.org/abs/1712.07107) entnommen. 1 zeigt links das Bild eines Pandabären 1 (erstes Bild 2). Nach dem Stand der Technik erkennt ein Computer implementiertes Verfahren zur Bewertung von Bilddaten anhand von Bildwerten mit einer in 1 angegebenen Wahrscheinlichkeit in der Höhe von 57,7% („confidence“), dass in dem linken Bild ein Pandabär 1 („panda“) dargestellt ist.

1 illustrates the problem underlying the invention discussed here. That in the 1 Image included was taken from Xiaoyong Yuan et al: Adversial Examples:

Attacks and Defenses for Deep Learning, (arXiv 1712.07107,
https://arxiv.org/abs/1712.07107). 1 shows on the left the picture of a panda bear 1 (first picture 2nd ). According to the prior art, a computer recognizes implemented method for evaluating image data on the basis of image values with an in 1 specified probability in the amount of 57.7% ("confidence") that in the left picture a panda bear 1 ("Panda") is shown.

1 veranschaulicht, dass das erste Bild 2 mit einem Störsignal (zweites Bild 3) überlagert wird. Die Überlagerung hat weiters einen Gewichtungsfaktor in der Höhe von 0,007. 1 illustrates that the first picture 2nd with an interference signal (second picture 3rd ) is superimposed. The overlay also has a weighting factor of 0.007.

1 umfasst weiters das Ergebnisbild 4 der Überlagerung des ersten Bildes 2 und des zweiten Bildes 3. Es ist für das menschliche Auge im Ergebnisbild 4 weiterhin ein Pandabär 1 ersichtlich. Der im Ergebnisbild 4 für das menschliche Auge wahrnehmbare Pandabär 1 entspricht dem im ersten Bild 2 für das menschliche Auge wahrnehmbaren Pandabären 1. 1 also includes the result picture 4th the overlay of the first image 2nd and the second picture 3rd . It is in the result image for the human eye 4th still a panda bear 1 evident. The one in the result picture 4th panda bear perceptible to the human eye 1 corresponds to that in the first picture 2nd panda bears perceptible to the human eye 1 .

Es ist jedoch für das Computer implementierte Verfahren im Ergebnisbild 4 ein Gibbon enthalten. Das bei der zur Bewertung des Inhaltes des Ergebnisbildes 4 eingesetzte Verfahren bewertet die Bilddaten des Ergebnisbildes mit einer angegebenen Wahrscheinlichkeit von 99,3% („confidence“)als ein Gibbon.However, it is implemented in the result image for the computer 4th included a gibbon. That with the to evaluate the content of the result picture 4th The method used evaluates the image data of the result image with a specified probability of 99.3% (“confidence”) as a Gibbon.

Es wird explizit darauf hingewiesen, dass die angegebene Wahrscheinlichkeit der Bewertung des ersten Bildes 2 niedriger ist als die angegebene Wahrscheinlichkeit der Bewertung des Ergebnisbildes 4. Durch das Störsignal (zweites Bild 3) kann sohin die Bewertung der Bilddaten und die angegebene Wahrscheinlichkeit der Bewertung beeinflusst werden.It is explicitly noted that the specified probability of evaluating the first image 2nd is lower than the specified probability of evaluating the result image 4th . Due to the interference signal (second picture 3rd ) the evaluation of the image data and the specified probability of the evaluation can be influenced.

2 veranschaulicht den Effekt des erfindungsgemäßen Verfahrens nach dem Prinzip der Mengenlehre. Aus Bildwerten umfassenden Bilddaten wird ein erster Bildwert 5 und ein zweiter Bildwert 6 ausgelesen. Beide Bildwerte 5, 6 sind innerhalb eines Wertebereiches 7. Der Wertebereich 7 ist durch Bereichsgrenzen 8, 9, 10 begrenzt. 2nd illustrates the effect of the method according to the invention on the principle of set theory. An image value comprising image values becomes a first image value 5 and a second image value 6 read out. Both image values 5 , 6 are within a range of values 7 . The range of values 7 is by range boundaries 8th , 9 , 10th limited.

Ein Abgleich des ersten Bildwertes 5 mit dem Wertebereich 7 nach dem Stand der Technik liefert das Ergebnis, dass der erste Bildwert 5 im Wertbereich 7 ist. Es können hierbei der erste Bildwert 7 und gleichsam die Bereichsgrenzen 8, 9, 10 als absolute Größen oder als vektorielle Größen vorliegen.A comparison of the first image value 5 with the range of values 7 according to the prior art, the result is that the first image value 5 in the value range 7 is. It can be the first image value 7 and the range boundaries, as it were 8th , 9 , 10th exist as absolute sizes or as vectorial sizes.

Gleichsam liefert ein Abgleich des zweiten Bildwertes 6 mit dem Wertbereich 7 nach dem Stand der Technik die Erkenntnis, dass der zweite Bildwert im Wertebereich 7 ist.A comparison of the second image value provides at the same time 6 with the value range 7 according to the prior art, the knowledge that the second image value is in the value range 7 is.

Der erste Bildwert 5 und der zweite Bildwert 6 können - unter Verweis auf die 1 - ein Farbwert des Pandabären sein.The first image value 5 and the second image value 6 can - with reference to the 1 - be a color value of the panda.

Ergänzend zu dem oben angeführten Abgleich des ersten Bildwertes 5 mit dem Wertebereich 7 und des zweiten Bildwertes 6 mit dem Wertebereich 7 wird bei dem erfindungsgemäßen Verfahren der Abstand der Bildwerte 5, 6 zu den Bereichsgrenzen 8, 9, 10 ermittelt. In 3 ist beispielhaft der Abstand 11 als der kleinste Abstand zwischen dem zweiten Bildwert 6 und den Bereichsgrenzen 8, 9, 10 eingetragen. Aus Gründen der Übersichtlichkeit sind die anderen Abstände des ersten Bildwertes 5 und des zweiten Bildwertes zu den Bereichsgrenzen 8, 9, 10 nicht angegeben. Der Fachmann erkennt jedoch eindeutig und klar, dass der erste Bildwert 5 von den Bereichsgrenzen 8, 9, 10 weiter entfernt ist als der zweite Bildwert 6.In addition to the above comparison of the first image value 5 with the range of values 7 and the second image value 6 with the range of values 7 in the method according to the invention, the distance between the image values 5 , 6 to the area boundaries 8th , 9 , 10th determined. In 3rd the distance is an example 11 than the smallest distance between the second image value 6 and the range limits 8th , 9 , 10th registered. For reasons of clarity, the other distances are the first image value 5 and the second image value to the area boundaries 8th , 9 , 10th not specified. However, the expert clearly and clearly recognizes that the first image value 5 from the area boundaries 8th , 9 , 10th is further away than the second image value 6 .

Es wird der Abstand 11 mit einem Schwellenwert verglichen. Es wird über das Einführen eines Schwellenwertes und des Abgleiches des ermittelten Abstand 11 ein Mindestabstand zwischen dem Bildwert, hier dem zweiten Bildwert 6 und den Bereichsgrenzen, hier der Bereichsgrenze 10 definiert. Ist der Abstand 11 kleiner als der Schwellenwert, so wird das Ergebnis als unsicher angesehen, da der zweite Bildwert 6 zu knapp an der Bereichsgrenze 10 ist.It becomes the distance 11 compared to a threshold. It is about introducing a threshold and comparing the determined distance 11 a minimum distance between the image value, here the second image value 6 and the range limits, here the range limit 10th Are defined. Is the distance 11 less than the threshold, the result is considered uncertain because the second image value 6 too close to the area boundary 10th is.

2 veranschaulicht auch die Grundlage des erfindungsgemäßen Verfahrens zur Berechnung der eines Abstandes eines Bildwertes oder eines gewichteten Abstandes eines Bildwertes zu einer Grenzfunktion. 2nd also illustrates the basis of the method according to the invention for calculating a distance of an image value or a weighted distance of an image value from a limit function.

Gegeben seien die Trainingsdaten (x_i , y_i )_i=1,...,N als Paare von Inputdaten mit einer Zuordnung zu einer Kategorie (label); das Lernproblem besteht darin, eine parametrisierte Input-Output Funktion, $˜_{θ} = \circ θ : ℝ^{n} \to {[0,1]}^{M},$

zu spezifzieren, um zu einem gegebenen Bild (Datenpunkt) x die entsprechende Kategorie (label)

y = (θ (x))

vorherzusagen; diese Spezifikation erfolgt gemäß dem Stand der Technik durch die Minimierung eines Risikomodells

(loss function) für Fehlklassifikationen. Lernen bedeutet dabei, passende Parameter 0 zu finden, die diese Optimierungsaufgabe hinreichend gut lösen.Given the training data ( x _i , y _i ) _{i = 1, ..., N} as pairs of input data with an assignment to a category (label); the learning problem is a parameterized input-output function,

˜_{θ} = \circ θ : ℝ^{n} \to {[0.1]}^{M},

to specify in order to give the corresponding category (label) for a given image (data point)

y = (θ (x))

predict; this specification takes place according to the state of the art by minimizing a risk model

(loss function) for misclassifications. Learning means finding suitable parameters 0 that solve this optimization task sufficiently well.

Wir nehmen nach Stand der Technik an, dass sich die Inputdaten vektoriell in einem n-dimensionalen Zahlenraum darstellen lassen, also x_i ∈ ℝⁿ; beispielsweise ein Bild mit einem fixen Format; weiters wird angenommen, dass sich die Kategorien y_i ∈ {1,...,M} als eine diskrete Zahlenmenge darstellen läßt.According to the state of the art, we assume that the input data can be represented vectorially in an n-dimensional number space, ie x _i ∈ ℝ ⁿ ; for example an image with a fixed format; Furthermore, it is assumed that the categories y _i ∈ {1, ..., M} can be represented as a discrete set of numbers.

Tiefe Modelle (DNN) spezifizieren die parametrisierte Input-Output-Funktion als mehrschichtigen Aufbau (Layers) von Berechnungen [GBC16].Deep models (DNN) specify the parameterized input-output function as a multi-layer structure (layers) of calculations [GBC16].

Für die Architektur eines Multilayer Perceptrons MLP resultiert die Funktion $θ : ℝ^{n} \to ℝ^{n_{L}}$

aus der iterativen Anwendung von Kompositionsoperationen von affinen Voraktivierungsfunktionen (pre-activation oder net-input function) f_k(z_k-1) := W_kz_k-1 + b_k und einer anschließenden komponentenweisen Anwendung einer nichtlinearen Aktivierungsfunktion g : ℝ → ℝ.The function results for the architecture of a multilayer perceptron MLP

θ : ℝ^{n} \to ℝ^{n_{L}}

from the iterative application of composition operations of affine pre-activation functions (pre-activation or net-input function) f _k (z _k-1 ): = W _k z _k-1 + b _k and a subsequent component-wise application of a non-linear activation function g: ℝ → ℝ.

Die Iteration erfolgt gemäß

• z₀ = g ∈ ℝⁿ (Input Bild)
• z_k = g ◦ f_k(z_k-1) ∈ ℝ^n
k als Output in der k-ten Schicht,

wobei W_k ∈ ℝ^n
k×n
k-1 die Gewichtsmatrix und b_k ∈ ℝ^n
k den Bias Vektor in der k-ten Schicht bezeichnet. Das Gewicht zusammen mit den Bias Vektoren werden durch en Parametervektor θ zusammengefasst.The iteration follows

• z ₀ = g ∈ ℝ ⁿ (input image)
• z _k = g ◦ f _k (z _k-1 ) ∈ ℝ ⁿ ^k as output in the kth layer,

where W _k ∈ ℝ ⁿ ^k ^{× n} ^k-1 the weight matrix and b _k ∈ ℝ ⁿ ^k denotes the bias vector in the kth layer. The weight together with the bias vectors are summarized by the parameter vector θ.

In der obersten Schicht spezifiziert die Risikofunktion (loss function) $: ℝ^{n_{L}} \to {[0,1]}^{M}$

wie die Trainingsdaten die Abweichung zwischen den wahren Kategorien und den vorhergesagten Kategorien bestrafen.The top layer specifies the risk function (loss function)

: ℝ^{n_{L}} \to {[0.1]}^{M}

how the training data punish the discrepancy between the true categories and the predicted categories.

Jeweils verschiedene Risikofunktionen werden für unterschiedliche Aufgaben verwendet [ZGF+16, GBC16, VBG+17]. Ein Beispiel wird die Softmax Funktion für die Vorhersage einer einzelnen Kategorie aus M sich jeweils gegenseitig ausschließenenden Kategorien verwendet, somit liefert Softmax einen einzelnen Wert. Die Sigmoid Cross Entropy Funktion wird verwendet, um die Wahrscheinlichkeiten der Zugehörigkeit zu jeweils M Kategorien zu bestimmen, somit liefert Cross Entropy Funktion eine Wahrscheinlichkeitsverteilung.Different risk functions are used for different tasks [ZGF + 16, GBC16, VBG + 17]. For example, the Softmax function is used to predict a single category from M mutually exclusive categories, so Softmax returns a single value. The sigmoid cross entropy function is used to determine the probabilities of belonging to M categories, so the cross entropy function provides a probability distribution.

Wie fast alle anderen neuronalen Netze werden sie mit einer Version des Back-Propagationsalgorithmus gelernt [GBC16].Like almost all other neural networks, they are learned with a version of the back propagation algorithm [GBC16].

Die Wahl der Aktivierungsfunktion ist eine wichtige Designfrage, die die Gesamt-Performance wesentlich beeinflusst. Die wichtigste Aktivierungsfunktion ist die rektifizierte lineare Funktion (rectified linear unit) (ReLU): $g (a) : = max {0, a} .$

The selection of the activation function is an important design question that has a significant impact on the overall performance. The most important activation function is the rectified linear unit (ReLU):

G (a) : = Max {0, a} .

Eine unserer Ausgangsideen ist die Berücksichtigung von Äquivalenzklassen, die im n-dimensionalen Vektorraum X der Eingangsdaten (Bilder) durch die Identifizierung von Punkten mit dem gleichen Aktivierungsprofil bei der Ausbreitung über das Netzwerk induziert werden.One of our initial ideas is the consideration of equivalence classes, which are induced in the n-dimensional vector space X of the input data (images) by identifying points with the same activation profile when propagating over the network.

Für ReLU beispielsweise können wir die folgenden Aktivierungszustände definieren:

• 0, wenn die Aktivierungsfunktion 0 liefert;
• 1, wenn die Aktivierungsfunktion einen positiven Wert liefert.

For example, for ReLU we can define the following activation states:

• 0 if the activation function returns 0;
• 1 if the activation function delivers a positive value.

Wir numerieren nun die Neuronen (Zeilen in den jeweiligen Gewichtsmatrizen) schichtweise. Auf diese Weise erhalten wir eine Sequenz von Aktivierungszuständen $c (x) = {(s_{k},_{k_{i}})}_{k = 1,..., L, k_{i} = 1,..., k_{n}}$

wobei s_k,k
i den Aktivierungszustand des k_i-en Neurons in der k-ten Schicht und L die Gesamtanzahl der Schichten bezeichnet
Auf diese Weise erhalten wir folgende Äquivalenzrelation

x_{1} \sim x_{2} : \Leftrightarrow d_{F} (c (x_{1}), c (x_{2})) = 0,

wobei d_F eine beliebige Distanzfunktion im Raum der Sequenzen der Aktivierungszustände bezeichnet, beispielsweise die Hammingdistanz.
x₁ ~ x₂ ist eine Äquivalenzrelation, da aus d_F(c(x₁),c(x₂)) = 0 und d_F(c(x₂),c(x₃)) = 0 mittels der Dreiecksungleichung der Distanzfunktion d_F folgt: d_F(c(x₁),c(x₃)) = 0. Somit folgt aus x₁ ~ x₂ und x₂ ~ x₃ die Beziehung x₁~x₃. Wir bezeichnen mit [x̃] die Äquivalenzklasse mit Repräsentanten x̃ ∈ ℝⁿ.We now number the neurons (lines in the respective weight matrices) in layers. In this way we get a sequence of activation states

c (x) = {(s_{k},_{k_{i}})}_{k = 1,..., L, k_{i} = 1,..., k_{n}}

where s _{k, k} _i denotes the activation state of the k _i neuron in the k th layer and L denotes the total number of layers
In this way we get the following equivalence relation

x_{1} \sim x_{2nd} : \Leftrightarrow d_{F} (c (x_{1}), c (x_{2nd})) = 0,

where d _F denotes any distance function in the space of the sequences of the activation states, for example the Hamming distance.
x ₁ ~ x ₂ is an equivalence relation, since from d _F (c (x ₁ ), c (x ₂ )) = 0 and d _F (c (x ₂ ), c (x ₃ )) = 0 by means of the triangle inequality of Distance function d _F follows: d _F (c (x ₁ ), c (x ₃ )) = 0. Hence x ₁ ~ x ₂ and x ₂ ~ x _{3 result in} the relationship x ₁ ~ x ₃ . We denote by [x̃] the equivalence class with representatives x̃ ∈ ℝ ⁿ .

Die Idee und Erfindung ist nun, diese Äquivalenzklassen in der folgenden Weise zu bestimmen:

Zunächst definieren wir den binären Aktivierungsstatus (z₀ = x̃ ∈ ℝⁿ, z_k = g ◦ f_k(z_k-1) ∈ ℝ^n
k)

β_{k_{i}}^{(k)} : = {\begin{matrix} 1 \dots {unit k}_{i} {on for z}_{k - 1} \\ 0 \dots {unit k}_{i} {off for z}_{k - 1} \end{matrix}

und den polaren Aktivierungsstatus

π_{k_{i}}^{(k)} : = 2 β_{k_{i}}^{(k)} - 1 \in {- 1,1} .

The idea and invention is now to determine these equivalence classes in the following way:

First we define the binary activation status (z ₀ = x̃ ∈ ℝ ⁿ , z _k = g ◦ f _k (z _k-1 ) ∈ ℝ ⁿ ^k )

β_{k_{i}}^{(k)} : = {\begin{matrix} 1 ... {unit k}_{i} {on for z}_{k - 1} \\ 0 ... {unit k}_{i} {off for z}_{k - 1} \end{matrix}

and the polar activation status

π_{k_{i}}^{(k)} : = 2nd β_{k_{i}}^{(k)} - 1 \in {- 1.1} .

Damit definieren wir die folgenden Diagonalmatrizen $Q_{π}^{(k)} : = Diag [π_{1}^{(k)}, \dots, π_{k_{n}}^{(k)}]$

und

Q_{β}^{(k)} : = Diag [β_{1}^{(k)}, \dots, β_{k_{n}}^{(k)}] .

We use this to define the following diagonal matrices

Q_{π}^{(k)} : = Diag [π_{1}^{(k)}, ..., π_{k_{n}}^{(k)}]

and

Q_{β}^{(k)} : = Diag [β_{1}^{(k)}, ..., β_{k_{n}}^{(k)}] .

Es lässt sich nun zeigen, dass [x̃] durch das folgende System von linearen Ungleichungen bestimmt ist $x \in [\tilde{x}] \Leftrightarrow W_{\tilde{x}}^{(k)} x + b_{\tilde{x}}^{(k)} \geq 0, k = 1, \dots, L$

wobei

W_{\tilde{x}}^{(k)} : = Q_{π}^{(k)} W_{k} \prod_{j = 1}^{k - 1} Q_{β}^{(j)} W_{j},

b_{\tilde{x}}^{(k)} : = Q_{π}^{(k)} W_{k} \sum_{i = 1}^{k - 1} (\prod_{j = i + 1}^{k - 1} Q_{β}^{(j)} W_{j}) Q_{β}^{(i)} b_{i} + Q_{π}^{(k)} b_{k} .

It can now be shown that [x̃] is determined by the following system of linear inequalities

x \in [\tilde{x}] \Leftrightarrow W_{\tilde{x}}^{(k)} x + b_{\tilde{x}}^{(k)} \geq 0, k = 1, ..., L

in which

W_{\tilde{x}}^{(k)} : = Q_{π}^{(k)} W_{k} \prod_{j = 1}^{k - 1} Q_{β}^{(j)} W_{j},

b_{\tilde{x}}^{(k)} : = Q_{π}^{(k)} W_{k} \sum_{i = 1}^{k - 1} (\prod_{j = i + 1}^{k - 1} Q_{β}^{(j)} W_{j}) Q_{β}^{(i)} b_{i} + Q_{π}^{(k)} b_{k} .

Die oben angeführte Gleichung 2 demonstriert die geometrische Charakterisierung der Zellen über alle Schichten, also k=1,...,L.Equation 2 above demonstrates the geometric characterization of the cells across all layers, i.e. k = 1, ..., L.

Führt man diese Schritte nur bis zu einer Zwischenschicht k* ∈ {1,..., L} aus, so erhält man eine gröbere Zerlegung in Zellen. Auf diese Weise kann eine grob-fein (coarse-to-fine) Analyse vorgenommen werden.If you only carry out these steps up to an intermediate layer k * ∈ {1, ..., L}, you get a coarser breakdown into cells. In this way, a coarse-to-fine analysis can be carried out.

Diese Ungleichungen erlauben es nun, die minimale Distanz d₀ eines Input-Bildes x̃ zur nächstgelegenen Zelle [x̃'] mit abweichender Klassifikation, F_θ(x̃) ≠ F_θ(x̃'), zu bestimmen. d₀ gibt Aufschluss über die Integrität des Inputbildes geben.These inequalities now make it possible to determine the minimum distance d _{0 of} an input image x̃ to the nearest cell [x̃ '] with a different classification, F _θ (x̃) ≠ F _θ (x̃'). d ₀ provides information about the integrity of the input image.

Der erfindungsgemäße Ansatz beruht nicht auf der Bound Propagation von approximierenden umschreibenden konvexen Körpern, sondern auf der Berechnung einer unteren Distanzschranke d₀.The approach according to the invention is not based on the bound propagation of approximating circumscribing bodies, but on the calculation of a lower distance barrier d ₀ .

Diese Ungleichungen können nun dazu verwendet werden, um bestimmte Distanzen zu berechnen, die Aufschluss über die Integrität eines Inputbildes geben. Hierzu werden die ermittelten Distanzen gleich den im Anspruch erwähnten Abstand mit den jeweiligen Grenzwerten verglichen.These inequalities can now be used to calculate certain distances that provide information about the integrity of an input image. For this purpose, the determined distances are compared with the respective limit values in the distance mentioned in the claim.

Inkonsistenzmaß:

Sollten beim Trainieren äquivalente Punkte jedoch tatsächlich zu unterschiedlichen Kategorien gehören, so gibt dieser Anteil δ∈[0,1] der inkonsistenten Klassifikationen eine Maßzahl k = 1 - δ für die Konsistenz und somit Zuverlässigkeit des Klassifikators an; eine solche Maßzahl für die Konsistenz bzw. Inkonsistenz kann auch mittels Maßen der Informationstheorie modelliert werden, etwa als bedingte Entropie von F_θ(x) bei gegebenem code code(x) bzw. dessen zu erwartender Wert auf Basis einer Sampling Verteilung für die Auswahl der Test-Inputbilder x. Das Inkonsistenzmaß liefert jedenfalls den Wert 0, wenn alle Punkte in einer Zelle zur gleichen Klasse gehören.

Inconsistency measure:

If, however, equivalent points actually belong to different categories during training, this proportion δ∈ [0.1] of the inconsistent classifications indicates a measure k = 1 - δ for the consistency and thus reliability of the classifier; Such a measure of consistency or inconsistency can also be modeled using measures of information theory, e.g. as a conditional entropy of F _θ (x) for a given code code (x) or its expected value based on a sampling distribution for the selection of the Test input images x. In any case, the inconsistency measure returns the value 0 if all points in a cell belong to the same class.

Untere Distanzschranke für ReLU Netzwerke als Maß für die Robustheit gegenüber adversiellen Attacken:Lower distance barrier for ReLU networks as a measure of the robustness against adversary attacks:

Wir ermitteln eine untere Distanzschranke wie folgt. Die Idee dazu besteht darin, zu einem Inputbild x̃ ∈ ℝⁿ eine Schranke ρ:=d_x̃ zu bestimmen derart, dass garantiert werden kann, dass für alle Bilder x ∈ ℝⁿ mit geringeren Abweichung zu x̃ ∈ ℝⁿ als ρ := d_x̃ das DNN System die gleiche Entscheidung liefert, das heisst $\forall x \in B_{ρ} (\tilde{x}) \Rightarrow F_{θ} (\tilde{x}) = F_{θ} (x)$

wobei B_ρ(x̃) = {x | d(x,x̃) ≤ ρ} die Norm-Kugel um x̃ mit Radius ρ > 0 und Distanzfunktion d darstellt. Wir verwenden hier die Euklidische Distanz:

d (x, \tilde{x}) = \sqrt{\sum_{i = 1}^{n} {(x_{i} - {\tilde{x}}_{i})}^{2}} .

We determine a lower distance barrier as follows. The idea is to determine a limit ρ: = d _x̃ for an input image x̃ ∈ ℝ ^{n in} such a way that it can be guaranteed that for all images x ∈ ℝ ⁿ with less deviation from x̃ ∈ ℝ ⁿ than ρ: = d _x̃ the DNN system delivers the same decision, that is

\forall x \in B_{ρ} (\tilde{x}) \Rightarrow F_{θ} (\tilde{x}) = F_{θ} (x)

where B _ρ (x̃) = {x | d (x, x̃) ≤ ρ} represents the norm sphere around x̃ with radius ρ> 0 and distance function d. We use the Euclidean distance here:

d (x, \tilde{x}) = \sqrt{\sum_{i = 1}^{n} {(x_{i} - {\tilde{x}}_{i})}^{2nd}} .

Das Verfahren zur Bestimmung der unteren Distanzschranke ρ:=d_x̃ für das Inputbild x̃ lautet nun

(1) Festlegen einer Sicherheitsschwelle ε₀;
(2) Berechnen der binären und polaren Aktivierungszustände für x̃;
(3) Berechnen der Matrizen $W_{\tilde{x}}^{(k)}$
und Bias Vektoren $b_{\tilde{x}}^{(k)}$
gemäß Gleichung (2) und den binären und polaren Aktivierungszuständen;
(4) Berechnen die minimale Distanz d₀(x̃) =: d(x̃,∂[x̃]) von x̃ zum Rand ∂[x̃] seiner Äquivalenzklasse [x̃]bzgl. der Euklidischen Distanz; Diese Berechnung erfolgt nach Stand der Technik durch Berechnung der Punkt-zu-Hyperebene Abstände zwischen x̃ und jenen Hyperebenen, die sich durch die jeweiligen Reihen in der Gewichtsmatrix in Gleichung (3) als Normalvektoren gegeben sind;
(5) Als Ergebnis erhält man eine Liste von Distanzen mit den jeweiligen Hyperebeneben, die durch die Normalvektoren samt Versatz (korrespondierende Komponente des Biasvektors) gegeben sind;
(6) Berechnen der minimalen Distanz aus dieser Liste: d0(x̃);
(7) Wenn d₀(x̃) ≥ ε₀, dann stoppt das Verfahren und es wurde eine untere Distanzschranke, nämlich d₀(x̃) gefunden;
(8) wenn d₀(x̃) ≥ ε₀ nicht erfüllt ist, so wird die Analyse wie folgt verfeinert:
- • Bestimme den Basispunkt P der nächstgelegenen Hyperebene (mit normierten Normalvektor w) zu x̃; (P ist die Projektion von x̃ auf jene Seitenfläche von [x̃], die x̃ am nächsten gelegen ist);
- • Eruiere F_θ(p+εw) für ε < ε₀.
- • Wenn F_θ(p + εw) ≠ F_θ(x̃), dann stoppt das Verfahren und es kann keine minimale unter Distanzschranke gefunden werden; damit ist bewiesen, dass aus x̃ mittels Überlagerung eines Störungsbildes Δ ein Bild x̃' = x̃ + Δ ∈ B_ε
  0(x̃) generiert werden kann, dass zu einer anderen Klassifikation führt, also F_θ(x̃) ≠ F_θ(x̃'). x̃ ist somit ein Kandidat für eine adversielle Attacke;
- • Wenn F_θ(p + εw) = F_θ(x̃), dann kann das Verfahren wie folgt verfeinert werden:
  - ◯ streichen jenes Neurons mit der Gewichtsreihe w aus der Liste (bzw auf Null setzen) und das Verfahren (2)-(7) erneut anwenden;

The procedure for determining the lower distance barrier ρ: = d _x̃ for the input image x̃ is now

(1) Setting a security threshold ε ₀ ;
(2) computing the binary and polar activation states for x̃;
(3) Calculate the matrices $W_{\tilde{x}}^{(k)}$
and bias vectors $b_{\tilde{x}}^{(k)}$
according to equation (2) and the binary and polar activation states;
(4) Calculate the minimum distance d ₀ (x̃) =: d (x̃, ∂ [x̃]) from x̃ to the edge ∂ [x̃] of its equivalence class [x̃] with respect to the Euclidean distance; According to the prior art, this calculation is carried out by calculating the point-to-hyperplane distances between x̃ and those hyperplanes which are given by the respective rows in the weight matrix in equation (3) as normal vectors;
(5) The result is a list of distances with the respective hyperplane levels, which are given by the normal vectors including the offset (corresponding component of the bias vector);
(6) Calculate the minimum distance from this list: d0 (x̃);
(7) If d ₀ (x̃) ≥ ε ₀ , the process stops and a lower distance barrier, namely d ₀ (x̃), has been found;
(8) if d ₀ (x̃) ≥ ε _{0 is} not satisfied, the analysis is refined as follows:
- • Determine the base point P of the closest hyperplane (with normalized normal vector w) to x̃; (P is the projection of x̃ on that side surface of [x̃] which is closest to x̃);
- • Find F _θ (p + εw) for ε <ε ₀ .
- • If F _θ (p + εw) ≠ F _θ (x̃), then the process stops and no minimum distance barrier can be found; This proves that x̃ by superimposing an interference pattern Δ becomes an image x̃ '= x̃ + Δ ∈ B _ε ₀ (x̃) can be generated that leads to a different classification, i.e. F _θ (x̃) ≠ F _θ (x̃ '). x̃ is therefore a candidate for an adversary attack;
- • If F _θ (p + εw) = F _θ (x̃), the procedure can be refined as follows:
  - ◯ delete that neuron with the weight series w from the list (or set to zero) and use the procedure (2) - (7) again;

Lässt sich auf diese Weise eine untere Schranke finden, so ist x̃ bzgl. Vorgabe ε₀ nicht gefährdet (mit Wahrscheinlichkeit κ). Lässt sich keine untere Schranke auf diese Weise finden, so kann definitiv eine adversielle Attacke, nämlich F_θ(p + εw) konstruiert werden.If a lower bound can be found in this way, then x̃ with regard to the specification ε _{0 is} not at risk (with probability κ). If no lower bound can be found in this way, an adversive attack, namely F _θ (p + εw), can definitely be constructed.

Im Gegensatz zu M. Hein and M. Andriushchenko, „Formal Guarantees on the Robustness of a Classifier against Adversarial Manipulation“, 31st Conference on Neural Information Processing Systems, NIPS 2017 benötigt unser Verfahren keine Voraussetzungen an die Differenzierbarkeit und lässt sich auf tiefe Netze mit beliebig vielen Schichten anwenden.In contrast to M. Hein and M. Andriushchenko, "Formal Guarantees on the Robustness of a Classifier against Adversarial Manipulation", 31st Conference on Neural Information Processing Systems, NIPS 2017, our procedure does not require any differentiability and can be used on deep networks apply any number of layers.

2 veranschaulicht weiters die Äquivalenz der Ermittlung eines ersten Abstandes 11 zwischen einem ersten Bildwert 5 und einer Bereichsgrenze 10 und der Bestimmung der Position des ersten Bildwertes 5 innerhalb des Wertebereiches 7 und der Bestimmung, ob der erste Bildwert 5 in einer ersten Teilfläche 13 ist. 2nd further illustrates the equivalence of determining a first distance 11 between a first image value 5 and a range limit 10th and determining the position of the first image value 5 within the value range 7 and determining whether the first image value 5 in a first partial area 13 is.

Die Ermittlung der Position des ersten Bildpunktes 5 innerhalb des Wertebereiches impliziert auch die Berechnung des ersten Abstandes 11 zu einer Bereichsgrenze 10 beziehungsweise ist dieser erste Abstand 11 leicht aus der Position des ersten Bildpunktes 5 und der Bereichsgrenze 10 bestimmbar.The determination of the position of the first pixel 5 within the range of values also implies the calculation of the first distance 11 to an area boundary 10th or is this first distance 11 slightly from the position of the first pixel 5 and the range limit 10th determinable.

Über die Ermittlung, ob ein erster Bildpunkt 5 innerhalb eines Teilbereiches 13 positioniert ist, ist auch bestimmbar, ob der erste Bildpunkt 5 einen definierten Abstand zu der Bereichsgrenze 10 aufweist. Dies schließt ein, dass der erste Teilbereich 13 einen Mindestabstand zu der Bereichsgrenze aufweist.By determining whether a first pixel 5 within a sub-area 13 is positioned, it can also be determined whether the first pixel 5 a defined distance from the area boundary 10th having. This includes that the first section 13 is at a minimum distance from the area boundary.

Claims

Computer-implemented method for evaluating object image data of an object in a multi-stage method comprising a plurality of evaluation levels, an image value of the object image data being compared with a value range in a evaluation level, which value range is defined by range boundaries, characterized in that at least one distance of at least one evaluation level Image value and / or an image value superimposed with a weighting function for an area limit of the area limits is determined.

Procedure according to Claim 1 , characterized in that the distance is compared with a limit value.

Procedure according to one of the Claims 1 to 2nd , characterized in that the area limits are defined by a user.

Procedure according to one of the Claims 1 to 3rd , characterized in that at least a distance of the image value and / or of the image value superimposed by a weighting function to an area boundary of the area limits is determined in several assessment levels, a coding comprising the distance information about the determined distances of the individual assessment levels being created.