DE102021207613A1 - Verfahren zur Qualitätssicherung eines Systems - Google Patents

Abstract

Die Erfindung betrifft ein Verfahren zur Qualitätssicherung eines Systems, welches ein beispielbasiertes Teilsystem aufweist. Zur Verbesserung der Qualitätssicherung des Systems wird bei dem Verfahren das beispielbasierte Teilsystem (46) anhand von erhobenen Beispielen (22), welche eine Beispielmenge bilden, erstellt und trainiert. Die Qualitätssicherung des Systems (1, 40) erfolgt anhand eines Vorgehensmodells (301) zur Durchführung eines Entwicklungsprozesses, welches einen Plan für das Vorgehen bei der Qualitätssicherung des Systems (1, 40) repräsentiert. Die Qualitätssicherung des beispielbasierten Teilsystems (46) erfolgt anhand einer Qualitätsbewertung, welche anhand der Beispielmenge (22) ermittelt wird.

Description

• Die Erfindung betrifft ein Verfahren zur Qualitätssicherung eines Systems, welches ein beispielbasiertes Teilsystem aufweist.
• Systeme, die für sicherheitsgerichtete Anwendungen eingesetzt werden, sind grundsätzlich bekannt. Diese Systeme können beispielbasierte Teilsysteme aufweisen.
• Beispielbasierte Systeme, wie künstliche neuronale Netze, sind grundsätzlich bekannt. Diese werden in der Regel in Bereichen eingesetzt, in denen eine direkte algorithmische Lösung nicht existiert oder mit konventionellen Softwaremethoden nicht adäquat erstellt werden kann. Mittels beispielbasierter Systeme ist es möglich, eine Aufgabenstellung auf der Basis einer Menge von Beispielen zu erstellen und zu trainieren. Die gelernte Aufgabenstellung kann auf eine Menge von weiteren Beispielen angewandt werden.
• In der Dissertation „Qualitätsgesicherte effiziente Entwicklung vorwärtsgerichteter künstlicher Neuronaler Netze mit überwachtem Lernen (QUEEN)“ von Thomas Waschulzik wird die Entwicklung vorwärtsgerichteter künstlicher neuronaler Netze mit überwachtem Lernen beschrieben (im Folgenden: WASCHULZIK).
• Vor diesem Hintergrund ist es Aufgabe der Erfindung, die Qualitätssicherung eines Systems, welches ein beispielbasiertes Teilsystem aufweist, zu verbessern.
• Diese Aufgabe wird erfindungsgemäß durch ein Verfahren zur Qualitätssicherung eines Systems, welches ein beispielbasiertes Teilsystem aufweist, gelöst. Bei dem erfindungsgemäßen Verfahren wird das beispielbasierte Teilsystem anhand von erhobenen Beispielen, welche eine Beispielmenge bilden, erstellt und trainiert. Die Qualitätssicherung des Systems erfolgt anhand eines Vorgehensmodells, welches einen Plan für das Vorgehen bei der Qualitätssicherung des Systems repräsentiert. Die Qualitätssicherung des beispielbasierten Teilsystems erfolgt anhand einer Qualitätsbewertung, welche anhand der Beispielmenge ermittelt wird.
• Die Erfindung beruht einerseits auf der Erkenntnis, dass beispielbasierte Teilsysteme, wie neuronale Netze, häufig als Blackbox betrachtet werden. Hierbei wird die interne Informationsverarbeitung nicht analysiert und die Erzeugung eines verständlichen Modells entfällt. Zudem wird das Teilsystem nicht durch eine Inspektion verifiziert. Dies führt zu Vorbehalten beim Einsatz beispielbasierter Teilsysteme in Aufgabenstellungen mit hoher Kritikalität.
• Die Erfindung beruht zudem auf der Erkenntnis, dass bei der Erfassung von Beispielen zur Erstellung und zum Training des beispielbasierten Teilsystems häufig unbekannt ist, wie viele Beispiele in welchen Bereichen des Eingaberaums erfasst werden müssen, um eine geeignete Wissensbasis zu erstellen.
• Eine weitere wesentliche Erkenntnis der Erfindung ist, dass der Einsatz beispielbasierter Teilsysteme für sicherheitsgerichtete Anwendungen wünschenswert und derzeit mit großem Erfolg vorangetrieben wird. Da die Qualitätssicherung des erstellten Systems nicht zufriedenstellend gewährleistet ist, können diese Systeme für die Anwendung zum Teil nicht zugelassen werden.
• Die erfindungsgemäße Lösung behebt diese Probleme, indem die Qualitätssicherung des Systems anhand eines Vorgehensmodells erfolgt, welches einen Plan für das Vorgehen bei der Qualitätssicherung des Systems repräsentiert, und die Qualitätssicherung des beispielbasierten Teilsystems anhand einer Qualitätsbewertung, welche anhand der Beispielmenge ermittelt wird, erfolgt. Die Qualitätssicherung des Systems anhand des Vorgehensmodell wird durch die Qualitätssicherung des beispielbasierten Teilsystems anhand der Qualitätsbewertung zweckmäßig derart ergänzt, dass das System für sicherheitsgerichtete Anwendungen eingesetzt werden kann. Mit anderen Worten: Die Qualitätsbewertung wird genutzt, um den beispielbasierten Anteil des Gesamtsystems qualitätszusichern.
• Vorzugsweise ist das beispielbasierte Teilsystem für den Einsatz in einer sicherheitsgerichteten Funktion des Systems vorgesehen. Der Fachmann versteht unter dem Begriff „sicherheitsgerichtete Funktion“ eine Funktion eines Systems, welche sicherheitsrelevant ist, d. h. deren Verhalten Einfluss auf die Sicherheit der Umgebung des Systems hat. Dabei ist der Begriff „Sicherheit“ im Sinne der sogenannten Safety zu verstehen. Als „Safety“ wird im fachmännischen Sprachgebrauch das Ziel bezeichnet, die Umwelt eines Systems vor Gefahren zu schützen, die von dem System ausgehen. Im Unterschied dazu wird im fachmännischen Sprachgebrauch das Ziel, das System vor Gefahren zu schützen, die von der Umwelt des Systems ausgehen, als „Security“ bezeichnet.
• Gemäß einer bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens umfasst das jeweilige Beispiel der Beispielmenge einen Eingabewert, welcher in einem Eingaberaum liegt. Die lokale Umgebung eines Beispiels im Eingaberaum wird für eine Entscheidung über die Anwendung des beispielbasierten Teilsystem oder die Steuerung des Entwicklungsprozesses verwendet.
• Die lokale Umgebung ist vorzugsweise der Umgebungsbereich des Beispiels im Eingaberaum, welcher einen vorgegebenen Abstand zum Beispiel aufweist, der kleiner als ein definierter Abstandwert ist.
• Bei einer bevorzugten Weiterbildung der Ausführungsform wird eine Gewichtung für die Anwendung einer Mehrzahl von beispielbasierten Teilsystemen abhängig von der Dichte der Beispiele in einer lokalen Umgebung des Eingaberaums eines Beispiels getroffen.
• Auf diese Weise werden mehrere Teilsysteme (Wissensbasen) in geeigneter Weise durch Gewichtung miteinander kombiniert. Das folgende Beispiel soll diesen Gedanken illustrieren: Ein erstes beispielbasiertes Teilsystem dient zur Erkennung von Objekten anhand von Bildinformationen von einer Infrarotkamera. Ein zweites beispielbasiertes Teilsystem dient zur Erkennung von Objekten anhand von Bildinformationen von einer Kamera im sichtbaren Bereich. Diese beiden Teilsysteme können derart miteinander kombiniert werden, dass bei Nacht das erste Teilsystem eine größere Wichtung als das zweite Teilsystem erhält. Hierbei ist zu berücksichtigen, dass ein Beispiel mehrere Merkmale aufweist. Das Beispiel wird durch eine konkrete Ausprägung eines Merkmalsvektors repräsentiert. Ein einzelner Eintrag des Merkmalsvektors ist ein Beispielsmerkmal, welches eine Eigenschaft eines Beispiels repräsentiert. Bei der Erstellung von beispielbasierten Teilsystemen (Wissensbasen) ist demnach eine Modularisierung möglich, bei welcher eine Teilmenge der Merkmale eines Beispiels für die Erstellung eines der Mehrzahl von beispielbasierten Teilsystemen (Wissensbasen) verwendet wird. Eine weitere Teilmenge der Merkmale wird beispielsweise für die Erstellung eines weiteren Teilsystems der Mehrzahl von beispielbasierten Teilsystemen verwendet. Mit Blick auf das oben illustrierte Beispiel (Erkennung von Objekten anhand von Bildinformationen) kann beispielweise eine erste Teilmenge der Merkmale aus der Infrarotkamera und eine zweite Teilmenge der Merkmale aus der Kamera im sichtbaren Bereich stammen. Am Tag werden die Merkmale der zweiten Teilmenge für die Erstellung des Teilsystems verwendet. Bei Nacht wird eine Kombination der ersten und zweiten Teilmenge für die Erstellung des weiteren Teilsystems verwendet.
• Bei einer weiteren bevorzugten Weiterbildung der Ausführungsform wird die Entscheidung über die Auswahl der Anwendung eines beispielbasierten Teilsystems aus einer Mehrzahl von alternativen beispielbasierten Teilsystemen getroffen.
• Die Auswahl der Anwendung eines beispielbasierten Teilsystems aus einer Mehrzahl von beispielbasierten Teilsystemen ist vorzugsweise als Spezialfall der Gewichtung zu verstehen: Wenn von zwei Teilsystemen eines ausgewählt wird, erhält dieses ausgewählte Teilsystem die Gewichtung 1 und das nichtausgewählte Teilsystem die Gewichtung 0.
• Nach einer weiteren bevorzugten Weiterbildung der Ausführungsform wird die Entscheidung getroffen, dass ein beispielbasiertes Teilsystem nicht angewendet wird, wenn die Anzahl an Beispielen, die in der lokalen Umgebung des Beispiels vorhanden sind, kleiner als ein vorgegebener Wert ist. Mit anderen Worten: Ein beispielbasiertes Teilsystem wird angewendet, wenn die Anzahl an Beispielen, die in der lokalen Umgebung des Beispiels liegen, größer als ein vorgegebener Wert ist.
• Gemäß einer weiteren bevorzugten Weiterbildung der Ausführungsform wird ein Prozessparameter, welcher die Vertrauenswürdigkeit der Kompetenz des beispielbasierten Teilsystems repräsentiert, in Abhängigkeit von der lokalen Umgebung des Beispiels gesetzt.
• Auf diese Weise wird eine Bewertung der Vertrauenswürdigkeit der Ausgabe des beispielbasierten Teilsystems ermöglicht. Beispielsweise ist von einer großen Kompetenz des beispielbasierten Teilsystems auszugehen, wenn die lokale Umgebung des Beispiels eine große Anzahl an Beispielen umfasst.
• Nach einer besonders bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens umfasst das jeweilige Beispiel einen Ausgabewert, der in einem Ausgaberaum liegt. Für den jeweiligen Umgebungsbereich wird eine lokale Komplexitätsbewertung ermittelt, welche eine durch die Beispiele des Umgebungsbereichs definierte Komplexität einer Aufgabenstellung des beispielbasierten Systems repräsentiert. Die lokale Komplexitätsbewertung wird durch die relative Lage der Beispiele des Umgebungsbereichs zueinander im Eingaberaum und Ausgaberaum bestimmt.
• Der Fachmann versteht die Formulierung „relative Lage der Beispiele des Umgebungsbereichs zueinander im Eingaberaum und Ausgaberaum“ vorzugsweise dahingehend, dass die Komplexitätsbewertung basierend auf der Betrachtung der Ähnlichkeit der Abstände der Beispiele im Eingaberaum zu den Abständen im Ausgaberaum definiert ist. Beispielsweise weist die Aufgabenstellung des beispielbasierten Systems eine vergleichsweise kleine Komplexität auf, wenn die Abstände im Eingaberaum (abgesehen von der Skalierung) etwa den Abständen im Ausgaberaum entsprechen.
• Daraus ergibt sich der Vorteil, dass Beispiele effektiv erfasst werden können. Denn anhand der Komplexitätsbewertung sind Bereiche bekannt, in denen aufgrund hoher Komplexität der Aufgabenstellung des beispielbasierten Systems eine vergleichsweise hohe Anzahl von Beispielen erfasst werden müssen.
• Die Komplexitätsbewertung entspricht beispielsweise den in Abschnitt 4 (QUEEN-Qualitätsindikatoren) von WASCHULZIK beschriebenen Qualitätsindikatoren. Diese Qualitätsindikatoren können sowohl für die Repräsentation oder Kodierung der Merkmale definiert und angewendet werden (vgl. Abschnitt 4.5 von WASCHULZIK).
• Der Prozessparameter, welcher die Vertrauenswürdigkeit der Kompetenz des beispielbasierten Teilsystems repräsentiert, wird vorzugsweise nicht nur in Abhängigkeit von der lokalen Umgebung des Beispiels, sondern auch in Abhängigkeit der lokalen Komplexitätsbewertung bestimmt. Beispielsweise ist von einer großen Kompetenz des beispielbasierten Teilsystems auszugehen, wenn die lokale Umgebung des Beispiels eine große Anzahl an Beispielen umfasst und die lokale Komplexität gleichzeitig klein ist.
• Dadurch, dass unterschiedliche beispielbasierte Teilsysteme unterschiedliche Merkmale für das Lernen einer Abbildung verwenden, können sich für unterschiedliche beispielbasierte Teilsysteme entsprechend unterschiedliche Dimensionen des Eingaberaums und damit auch unterschiedliche Komplexitäten in der lokalen Umgebung des Eingaberaums ergeben.
• Nach einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird eine Komplexitätsverteilung mittels einer Histogrammdarstellung der Komplexitätsbewertung ermittelt.
• Vorzugsweise wird der Wertebereich der Komplexitätsbewertungen für die Histogrammdarstellung gebinnt (d. h. in Bereiche unterteilt).
• Bei einer bevorzugten Weiterbildung wird die Komplexitätsverteilung über k nächste Nachbarn eines Beispiels im Eingaberaum ermittelt. Auf diese Weise wird für die lokale Umgebung eines Beispiels ermittelt, wie die Komplexität verteilt ist. Insbesondere wird die Charakteristik der Komplexität in der lokalen Umgebung des Beispiels ermittelt und sozusagen ein Fingerabdruck der lokalen Umgebung des Beispiels hinsichtlich der Komplexität ermittelt. Wird die Anzahl der Beispiele in dem betrachteten Bereich erhöht (d.h. werden Beispiele hinzugefügt), kann sich der Effekt ergeben, dass sich automatisch eine Anpassung des betrachteten Bereichs im Eingaberaum ergibt. Durch die Erhöhung der verfügbaren Anzahl der Beispiele in einem kritischen Bereich des Eingaberaums wird in der lokalen Umgebung der Beispiele die Komplexität reduziert. Ein Grund dafür ist, dass - wenn es sich um einen funktionalen Zusammenhang handelt - dann mehr Beispiele in der Umgebung im Eingaberaum gefunden werden, die eine ähnlichen Ausgabe aufweisen. Bei einer Klassifikationsaufgabe, bei der mehrere Bereiche in unterschiedliche Klassen eingeteilt werden, können dadurch die Grenzen zwischen den Klassen klarer definiert werden. Sinkt die lokale Komplexität trotz der Erhöhung der Anzahl an Beispielen nicht, hat man einen Bereich gefunden, in dem die verwendeten Merkmale eine Separierung der Klassen nicht ermöglicht. Dadurch erhält man einen Hinweis darauf, dass man nach geeigneteren Merkmalen für die Trennung der Klassen suchen muss oder die Aufgabe in einem anderen Teilsystem lösen muss. Insofern wird die Entscheidung über die Erfassung weiterer Beispiele übergreifend über alle Teilsysteme getroffen.
• Beispielsweise werden die „gebinnten“ Werte auf der y-Achse aufgetragen und die Darstellung des größer werdenden k (der k-nächsten Nachbarn) auf der x-Achse eingetragen.
• Um erforderliche Rechenkapazität bei der Ermittlung der Komplexitätsverteilung zu verringern, wird die Schrittweite der Werte von k > 1 gewählt. Beispielsweise wird bei einer Schrittweite von 5 für die Werte von k=5, 10, 15, 20, etc. eine Verteilung der Komplexitätsbewertung ermittelt. Weiter vorzugsweise wird die Schrittweite von k ausschließlich in Bereichen von besonderem Interesse klein gewählt. So wird die Verteilung der Komplexitätsbewertung beispielsweise zunächst mit einer vergleichsweise großen Schrittweite von k berechnet, um dann in einem Bereich von besonderem Interesse mit einer kleinen Schrittweite von k berechnet zu werden.
• Weiter vorzugsweise wird für das berechnete Histogrammfeld (Komplexitätsbewertung gebinnt, k) die Anzahl der Werte der Komplexitätsbewertung gespeichert. Weiter vorzugsweise wird auch eine Identifikationsinformation (beispielsweise eine Nummer), die das Beispiel, in dessen Umgebung die Komplexitätsverteilung ermittelt wurde, gespeichert.
• Nach einer bevorzugten Weiterbildung der Ausführungsform wird die Entscheidung getroffen, dass ein beispielbasiertes Teilsystem nicht angewendet wird, weil die Komplexitätsbewertung in der lokalen Umgebung des Eingaberaums für die geforderte Qualität der Anwendung des beispielbasierten Teilsystems größer als ein vorgegebener Wert ist.
• Vorzugsweise wird bei der Entscheidung, ein beispielbasiertes Teilsystem nicht anzuwenden, entweder ein anderes Teilsystem angewendet oder durch das Gesamtsystem ein sicherer Zustand eingenommen.
• Bei einer weiteren bevorzugten Weiterbildung der Ausführungsform wird die Gewichtung für die Anwendung einer Menge von Beispielmengen abhängig von der lokalen Komplexität in der lokalen Umgebung des Eingaberaums getroffen.
• Bei einer weiteren bevorzugten Weiterbildung wird die Entscheidung anhand einer bestimmten Anzahl an nächsten Nachbarn zu einem Beispiel, der Anzahl der Beispiele, die sich in einer definierten normierten Entfernung zu dem betrachteten Beispiel befinden, und/oder eines Qualitätsindikators in einem Teilraum des Eingaberaumes, welcher für eine relevante Untermenge der Teilräume des Eingaberaums bestimmt wird, getroffen.
• Vorzugsweise werden die vorstehend beschriebenen Kriterien für die Entscheidung sinnfällig miteinander kombiniert.
• Relevante Teilräume des Eingaberaums können beispielsweise sämtliche über ein Kriterium definierte Unterräume des Eingaberaums sein, oder sämtliche Teilräume, für die eine ausreichende Anzahl an Beispielen verfügbar ist oder die auf Grund von anderen Kriterien für die Anwendung relevant sind.
• Im Folgenden werden Beispiele für ein Kriterium genannt:
• - Es befinden sich weniger als m Beispiele in einer geringeren Entfernung als z zu dem betrachteten Beispiel.
• - Die mittlere Entfernung der nächsten m Beispiele ist geringer als z.
• - Die Komplexität der durch die m nächsten Nachbaren beschriebene Abbildung ist größer als w.
• - Die Komplexität der in einen normierten Abstand kleiner d liegenden Beispiele ist kleiner als der Wert r des Qualitätsindikators Q.
• Die Normierung der Entfernung kann auf der Basis der bisher erfassten Beispiele bestimmt werden (siehe z.B. die Berechnung des Normierten Abstandes in QI²).
• Eine besondere Ausprägung ist die Bestimmung der lokalen Komplexität auf der Basis der in WASCHULZIK definierten Qualitätsindikatoren.
• Bei einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens umfasst das Ermitteln der Qualitätsbewertung: Verteilen von Repräsentanten im Eingaberaum und Zuordnen einer Anzahl von Beispielen der Beispielmenge zu dem jeweiligen Repräsentanten. Die dem Repräsentanten zugeordneten Beispiele liegen in einem Umgebungsbereich des Eingaberaums, welcher den Repräsentanten umgibt. Als Qualitätsbewertung wird eine lokale Qualitätsbewertung für den Umgebungsbereich ermittelt.
• Durch die Zuordnung der Beispiele aus der Beispielmenge zu den Repräsentanten werden Beispieldatenmengen innerhalb der Umgebungsbereiche bestimmt, die den Repräsentanten zugeordnet sind. Für diese Beispieldatenmengen werden jeweils die lokalen Qualitätsbewertungen berechnet.
• Die Unterteilung der Beispielmenge in mehrere Umgebungsbereiche bringt die Vorteile mit sich, die sich aus dem Ansatz des Teile-und-Herrsche-Verfahrens, welches aus der Informatik bekannt ist, ergeben. So kann sich beispielsweise ein Entwickler des beispielbasierten Systems oder ein Computerprogramm zur Qualitätssicherung auf diejenigen Teile des Eingaberaums konzentrieren, in denen bestimmte Qualitätskriterien durch die ermittelte Qualitätsbewertung nicht erfüllt sind. In diesen Teilen kann die Qualität entsprechend überprüft und gegebenenfalls verbessert werden. Dadurch wird der Aufwand bei der Bewertung der Gesamtbeispielmenge erheblich reduziert.
• Der Repräsentant ist vorzugsweise ein Stellvertreterbeispiel. Das Verteilen ist vorzugsweise ein Gleichverteilen. Dabei wird beispielsweise im Eingaberaum ein Raster zur Anordnung der Stellvertreterbeispiele gewählt. Das Raster kann für jede Dimension des Eingaberaums einzeln festgelegt werden. Ein Kriterium für die Festlegung des Rasters, beispielsweise bei quantitativen Variablen, kann ein Modell über Soll-Eigenschaften der Beispielverteilung im Eingaberaum sein, welches auf der Basis der Anforderungen an das beispielbasierte System gestellt wird. Das Raster kann hierarchisch aufgebaut sein, um beispielsweise hierarchische Kodierungen abzubilden. Bei der Anwendung eines Rasters zur Anordnung der Stellvertreterbeispiele wird in jedem Hyperkubus im Eingaberaum des Rasters ein oder mehrere Stellvertreterbeispiele verteilt. Bei einem hierarchischen Aufbau des Rasters wird pro Hierarchieebene ein Stellvertreterbeispiel verteilt.
• Alternativ ist der Repräsentant ein Zentrum eines Clusters, welches mittels eines Clusterverfahrens bestimmt wird. Das Clusterverfahren wird vorzugsweise zur Bestimmung der Position und zur Bestimmung der Ausdehnung des jeweiligen Clusters im Eingaberaum verwendet. Weiter vorzugsweise wird das Clusterverfahren unter Berücksichtigung von Ausgabewerten der Beispiele, die in einem Ausgaberaum liegen, durchgeführt. Die Cluster können auf der Basis von Anforderungen an Eigenschaften des beispielbasierten Systems festgelegt werden oder auf der Basis einer Teilmenge von Beispieldaten. In der Anwendung des beispielbasierten Systems kann beispielsweise in einer frühen Phase eine Menge von Beispielen erfasst werden, welche aufgrund von Kenntnissen zur Erfüllung der Anforderungen ausgewählt werden. Diese Verteilung der Beispieldaten wird dann qualitätsgesichert. In einer folgenden Projektphase können weitere Beispiele mit der gleichen Verteilung erfasst werden. In diesem Fall stellt jedes Beispiel der qualitätsgesicherten Beispielmenge einen Repräsentanten für die folgende Phase der Erfassung der Beispiele dar. Dadurch wird sichergestellt, dass zu jedem initialen Beispiel eine zusätzliche qualitätsgesicherte Menge von Beispielen erfasst wird. Die Position des Repräsentanten kann beispielsweise durch das Clusterzentrum festgelegt sein. Alternativ kann ein hierarchisches Clusterverfahren verwendet werden, bei welchem pro Cluster und pro Hierarchieebene ein Repräsentant eingefügt wird und bei welchem jedes Beispiel pro Hierarchieebene einem Cluster und folglich einem Repräsentanten zugeordnet wird. Die Menge der Beispiele, welche für die Berechnung der Qualitätsbewertung zur Verfügung steht, wird anschließend über eine vorgegebene Metrik den Clustern und folglich dem Repräsentanten zugeordnet. Für ein Beispiel, das keinem Cluster zugeordnet werden kann, wird vorzugsweise ein neues Cluster mit einem Repräsentanten erstellt. Alternativ wird dieses Beispiel zusammen mit weiteren Beispielen, welche keinem Cluster zugeordnet werden konnten, separat durch eine Qualitätsbewertung erfasst.
• Weiter vorzugsweise werden die Beispiele einem Repräsentanten nicht vollständig, sondern nur zu einem vorgegebenen Anteil zugeordnet. Dies kann sich beispielsweise dadurch ergeben, dass ein Clusteralgorithmus verwendet wird, der eine teilweise Zuordnung der Beispiele zu den Beispieldatenmengen liefert (beispielsweise eine prozentuale Zuordnung zu mehreren Umgebungsbereichen, wobei die Summe der Anteile 1 ergibt). Bei der Ermittlung der Qualitätsbewertungen auf Basis dieser teilweisen Zuordnung wird das jeweilige Beispiel entsprechend dem zugehörigen Anteil berücksichtigt.
• Vorzugsweise wird die Qualitätsbewertung anhand der Anzahl der dem jeweiligen Repräsentanten zugeordneten Beispiele oder anhand von anderen Merkmalen ermittelt. Dies ist besonders vorteilhaft, wenn die konkreten Beispiele im weiteren Verlauf nicht mehr verwendet werden. Alternativ oder zusätzlich werden die konkreten Beispiele oder ein Verweis auf die Beispiele im Repräsentanten (Transformation der Beispieldatenmenge in eine an der Topografie des Eingaberaums orientierten Struktur) gespeichert. Dies ist vorteilhaft, wenn die konkreten Beispiele im weiteren Verlauf benötigt werden.
• Die Organisation, Verarbeitung und Speicherung einer großen Menge der vorstehend beschriebenen Repräsentanten stellt häufig eine Herausforderung dar, was vorhandene Speicherkapazitäten und Rechenkapazitäten angeht. Eine beispielhafte Implementierung zur Speicherung der Repräsentanten beschreibt die Veröffentlichung „AN IMPLEMENTATION OF A MULTIDIMENSIONAL DYNAMIC RANGE TREE BASED ON AN AVL TREE“ von Michael G. Lamoureux (TR95-100, November 1995) (abrufbar unter: https:Ilwww.cs.unb.caltech-reportsldocumentsITR95 100.pdf) . Der Zugriff auf die Repräsentanten erfolgt dabei mit einer Komplexität der Ordnung O(Log(N)), wobei N die Anzahl der Repräsentanten ist.
• Alternativ kann die Speicherung der Repräsentanten über ausbalancierte Bäume, wie B-Bäume (https://de.wikipedia.org/wiki/B-Baum) oder R-Bäume (https://de.wikipedia.org/wiki/R-Baum) oder Generalized-Search-Trees (https://en.wikipedia.org/wiki/GiST), implementiert werden.
• Der für die Verarbeitung erforderliche Speicherplatz wird weiter vorzugsweise dadurch reduziert, dass die Repräsentanten lediglich dann gespeichert werden, wenn in dem jeweiligen Umgebungsbereich wenigstens ein Beispiel liegt. Wenn die Abdeckung des Eingaberaums ermittelt wird, werden die Umgebungsbereiche, in denen kein Repräsentant erstellt wurde, als „kein Beispiel vorhanden“ bewertet. Dennoch kann ein Histogramm über die Anzahl der Beispiele pro Repräsentanten erstellt werden, da die Anzahl der Umgebungsbereiche, in denen kein Beispiel erfasst wurde, mit geringem Aufwand bestimmt werden kann (Summe der zu erwartenden Repräsentanten - erstellte Repräsentanten = Anzahl der Felder ohne erfasste Beispiele).
• Vorzugsweise wird in Bereichen des Eingaberaums, in denen eine höhere Komplexität vorhanden ist, dynamisch die Dichte der Repräsentanten erhöht, bis eine homogene Komplexität erreicht ist und eine ausreichende Menge an Beispielen in der Umgebung der Repräsentanten liegen.
• Gemäß einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens umfasst die Qualitätsbewertung ein statistisches Mittel, welches anhand der lokalen Umgebung und/oder anhand des Repräsentanten der vorstehend beschriebenen Art, dem das betrachtete Beispiel entsprechend seiner Position im Eingaberaum zugeordnet wird.
• Auf diese Weise können auf Basis der Informationen, die den Repräsentanten zugeordnet sind, Qualitätsbewertungen, beispielsweise mit Mitteln der deskriptiven Statistik (wie beschrieben in einem der folgenden Lehrbücher: „Statistik: Der Weg zur Datenanalyse“ (Springer-Lehrbuch) Taschenbuch - 15. September 2016 von Ludwig Fahrmeir (Autor), Christian Heumann (Autor), Rita Künstler (Autor), Iris Pigeot (Autor), Gerhard Tutz (Autor); „Statistik für Dummies“ Taschenbuch - 4. Dezember 2019 von Deborah J. Rumsey (Autor), Beate Majetschak (Übersetzer), Reinhard Engel (Übersetzer); „Arbeitsbuch zur deskriptiven und induktiven Statistik“ (Springer-Lehrbuch) Taschenbuch - 27. Februar 2009 von Helge Toutenburg (Autor), Michael Schomaker (Mitwirkender), Malte Wißmann (Mitwirkender), Christian Heumann (Mitwirkender)), definiert werden.
• Bei einer bevorzugten Weiterbildung wird als statistisches Mittel ein Histogramm über die Anzahl der einem Repräsentanten zugeordneten Beispiele erstellt.
• Dadurch wird eine besonders einfache und intuitive Möglichkeit zur Auswertung und Darstellung der Abdeckung des Eingaberaums erzielt.
• Der Fachmann versteht die Formulierung „über die Anzahl der einem Repräsentanten zugeordneten Beispiele“ vorzugsweise dahingehend, dass die Werte der Anzahl der einem Repräsentanten zugeordneten Beispiele für die Erstellung des Histogramms gebinnt (d.h. in Bereiche unterteilt) werden.
• Gemäß einer weiteren bevorzugten Weiterbildung wird als statistisches Mittel ein statistisches Maß, insbesondere ein Mittelwert, Median, Minimum, Maximum und/oder Quantile der Anzahl der einem Repräsentanten zugeordneten Beispiele, ermittelt.
• Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird als Qualitätsindikator für die Repräsentationen der integrierte Qualitätsindikator QI² gemäß Abschnitt 4.6 von WASCHULZIK verwendet, welcher auf der Basis von Formel 4.21 wie folgt definiert sein kann: $$Q{I}^{2\left(P\right)}=\frac{1}{\left|P^2\right|}{\displaystyle \sum _{x_i\in P^2}{\left(d_{NRE}\left(x_i\right)-d_{NRA}\left(x_i\right)\right)}^2}$$

  

  wobei gemäß Formel 4.18 von WASCHULZIK: $$d_{NRE}\left(x\right)=\raisebox{1ex}{$d_{RE}\left(x\right)$}\!\left/ \!\raisebox{-1ex}{$\frac{\mathrm{\Sigma }y\in P^2{d}_{RE}\left(y\right)}{\left|P^2\right|}$}\right.$$

  

  der normierte Abstand der repräsentierten Eingaben (NRE) und $$d_{NRA}\left(x\right)=\raisebox{1ex}{$d_{RA}\left(x\right)$}\!\left/ \!\raisebox{-1ex}{$\frac{\mathrm{\Sigma }y\in P^2{d}_{RA}\left(y\right)}{\left|P^2\right|}$}\right.$$

  

  der normierte Abstand der repräsentierten Ausgaben (NRA) ist. Dabei ist x das Paar (x₁,x₂,) bestehend aus den zwei Beispielen x₁ und x₂, x₁ und x₂ sind Beispiele aus der Beispielmenge P. P = {p₁,p₁,...,p_p} ist die Menge der Elemente von BAG P, wobei |P²l die Anzahl der Elemente des BAGP ist. Bei BAG handelt es sich um eine Multimenge (in Englisch multiset oder bag genannt), wie sie in Spezifikation 21.5 auf Seite 27 des Anhangs von WASCHULZIK definiert ist. Die Aufgabenstellung QAG ist in Definition 3.1 auf Seite 23 von WASCHULZIK definiert und wird dort als QUEEN-Aufgabenstellung bezeichnet.
• d_RE(x) ist eine Abkürzung für den Abstand im Eingaberaum d_re(vep_x1,vep_x2) und d_RA(x) ist eine Abkürzung für den Abstand im Ausgaberaum d_ra(vap_x1,vap_x2).
• Die Definition des Abstands zwischen der Repräsentation von zwei Beispielen gemäß WASCHULZIK basiert beispielsweise auf der Euklidischen Norm. So wird der Abstand im Eingaberaum definiert als (siehe Formel 4.3 von WASCHULZIK): $$d_{re}\left(p_{k1},p_{k2}\right)=\sqrt{{\displaystyle \sum _{i=1}^{aem}{\left(vem{p}_{i,k1}-vem{p}_{i,k2}\right)}^2}}$$

  

  mit p_k1,p_k2 als Beispiele aus der Menge P, wobei $$\begin{array}{l}{p}_k=\left(ve{p}_k,va{p}_k\right)=\\ \left(\begin{array}{c}\left(vem{p}_{\mathrm{1,}k},vem{p}_{\mathrm{2,}k},\dots vem{p}_{AnzahlEingabeMerkmale,k}\right),\\ \left(vam{p}_{\mathrm{1,}k},vam{p}_{\mathrm{2,}k},\dots vem{p}_{AnzahlEingabeMerkmale,k}\right)\end{array}\right)\end{array}$$

  

  mit

i

Laufindex über alle Ausprägungen;

vempi,kx

Ausprägung des Eingabemerkmals i des Beispiels kx mit kx ∈ R (R ist die Menge der reellen Zahlen); und

aem

AnzahlEingabeMerkmale der Aufgabenstellung QAG.

• Der Fachmann versteht die Formulierung „auf der Basis der folgenden Definition“ bzw. „auf der Basis von Formel 4.21 wie folgt definiert sein kann“ vorzugsweise dahingehend, dass auch Modifikationen und eine Funktion des Qualitätsindikators F(QI²) von dem Gedanken dieser Definition umfasst sind.
• Weiter vorzugsweise wird eine aggregierte Komplexitätsbewertung durch Aggregation der lokalen Komplexitätsbewertungen ermittelt.
• Die aggregierte Komplexitätsbewertung hat den Vorteil, dass ein Entwickler des beispielbasierten Systems seine Qualitätssicherung einfach durchführen kann.
• Beispielsweise wird als aggregierte Komplexitätsbewertung ein Histogramm über die Komplexität in den unterschiedlichen Umgebungsbereichen des Eingaberaums erstellt. Dazu wird der Wertebereich der Komplexitätsbewertungen gebinnt (d. h. in Bereiche unterteilt). In die Bins wird vorzugsweise ausschließlich die Anzahl der Umgebungsbereiche mit entsprechender Komplexität gefasst, wenn die Positionen der Umgebungsbereiche nicht mehr benötigt werden. Vorzugsweise wird dieses Histogramm mit Informationen über die Anzahl der Beispiele zusammengefasst, beispielsweise ebenfalls in einem Histogramm über die Anzahl der dem Repräsentanten zugeordneten Beispiele. Weiter vorzugsweise sind im Histogramm Informationen über die Repräsentanten hinterlegt, damit bei Detailanalysen auf diese zurückgegriffen werden kann.
• Gemäß einer weiteren bevorzugten Weiterbildung werden anhand der aggregierten Komplexitätsbewertung Umgebungsbereiche identifiziert, deren Komplexitätsbewertung einen vorgegebenen Komplexitätsschwellwert unterschreitet. In den ermittelten Umgebungsbereichen wird die Aufgabenstellung des beispielbasierten Systems durch eine algorithmische Lösung implementiert. Dies ist besonders vorteilhaft für Anwendungen mit hohen Qualitätsanforderungen, beispielsweise bei sicherheitsgerichteten Funktionen.
• Diese bevorzugte Weiterbildung basiert auf der Erkenntnis, dass die exakte Funktionsweise des Systems (d. h. semantische Zusammenhänge) für Bereiche mit geringer Komplexität der Aufgabenstellung häufig bekannt ist. In diesem Fall kann die Aufgabenstellung als konventioneller Algorithmus implementiert werden (anstatt als beispielbasiertes System). Dies ist besonders vorteilhaft, da eine ausreichende Sicherheit der sicherheitsgerichteten Funktion im Rahmen eines Zulassungsverfahrens für die einfache algorithmische Lösung in der Regel einfacher nachweisbar ist.
• Es ergibt sich durch diese Weiterbildung zudem der Vorteil, dass in den Bereichen geringer Komplexität keine weiteren Beispiele erfasst werden müssen.
• Vorzugsweise wird bei der Suche nach einfachen Bereichen auch nach Datenerhebungsartefakten gesucht, welche einen Zusammenhang zwischen Eingabe und Ausgabe ergeben, die durch spezielle Umstände der Datenerhebung gegeben sind, jedoch keinen in der Praxis verwendbaren Zusammenhang darstellen (wie beispielsweise von dem sogenannten Kluger-Hans-Effekt bekannt: https://de.wikipedia.org/wiki/Kluger_Hans). In Bereichen mit besonders hoher Komplexität werden die Beispiele dahingehend analysiert, ob zum Beispiel Probleme bei der Erhebung und Erfassung der Beispiele aufgetreten sind.
• Gemäß einer bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens basierte die Komplexitätsbewertung
• - auf einem Vergleich der Beispiele der Beispielmenge untereinander und
• - einer Mengeneinteilung der miteinander verglichenen Beispiele.
• Die miteinander verglichenen Beispiele werden in Mengen eingeteilt: $$-ECS\_EE\left(P\right)=\left\{x|x\in P^2\mathrm{\Lambda }{\mathrm{\delta }}_{RE}\left(x\right)\le {\delta }_{in}\mathrm{\Lambda }{d}_{RA}\left(x\right)\le {\delta }_{out}\right\}$$

  

  $$-ECS\_EU\left(P\right)=\left\{x|x\in P^2\mathrm{\Lambda }{\mathrm{\delta }}_{RE}\left(x\right)\le {\delta }_{in}\mathrm{\Lambda }{d}_{RA}\left(x\right)>{\delta }_{out}\right\}$$

  

  $$-ECS\_UE\left(P\right)=\left\{x|x\in P^2\mathrm{\Lambda }{\mathrm{\delta }}_{RE}\left(x\right)>{\delta }_{in}\mathrm{\Lambda }{d}_{RA}\left(x\right)\le {\delta }_{out}\right\}$$

  

  $$-ECS\_UU\left(P\right)=\left\{x|x\in P^2\mathrm{\Lambda }{\mathrm{\delta }}_{RE}\left(x\right)>{\delta }_{in}\mathrm{\Lambda }{d}_{RA}\left(x\right)>{\delta }_{out}\right\}$$

  

  wobei P die Beispielmenge und P² die Menge an Beispielpaaren, welche aus P gebildet werden können, sind.
• Dabei sind d_RE(x) der Abstand der Beispiele x₁, x₂ im Eingaberaum und d_RA(x) der Abstand der Beispiele x₁, x₂ im Ausgaberaum. Zwei Beispiele weisen ähnliche Eingabemerkmalswerte auf, wenn der Eingaberaumabstand d_RE(x) kleiner als das vorgegebene Eingabedelta δ_in ist. Zwei Beispiele weisen ähnliche Ausgabemerkmalswerte auf, wenn der Ausgaberaumabstand d_RA(x) kleiner als das vorgegebene Ausgabedelta δ_out ist.
• Nach einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens wird der Eingaberaum anhand der Qualitätsbewertung hierarchisch aufgeteilt.
• Vorzugsweise wird durch die hierarchische Aufteilung des Eingaberaums eine hierarchische Kartierung des Eingaberaums erzielt. Die Hierarchie wird weiter vorzugsweise aus der Repräsentation oder Kodierung des Eingabemerkmals und/oder aus der Analyse der Komplexität der Aufgabenstellung abgeleitet.
• Anhand der Einführung einer zusätzlichen Hierarchie in der Analyse des Eingaberaums kann in den Bereichen, in denen eine hohe Komplexität vorhanden ist, entweder dynamisch die Dichte der Repräsentanten erhöht (bis eine homogene Komplexität erreicht ist) oder eine neue Hierarchieebene eingeführt werden. Die Einführung einer neuen Hierarchieebene erfolgt, indem in dem Bereich des Repräsentanten eine neue Unterteilung mit einer höheren Auflösung hinzugefügt wird. Das Vorgehen kann iteriert werden, indem in dem hochaufgelösten Bereich bei erneut erhöhter lokaler Komplexität eine weitere Hierarchiestufe hinzugefügt wird. Dadurch kann die Auflösung dynamisch an die jeweilige Aufgabenstellung angepasst werden.
• Gemäß einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens ist das beispielbasierte System für den Einsatz in einer sicherheitsgerichteten Funktion vorgesehen, wobei die sicherheitsgerichtete Funktion eine Objekterkennung auf Basis von Sensordaten, bei welcher das Objekt unter Verwendung des beispielbasierten Systems erkannt wird, umfasst.
• Bei einer bevorzugten Weiterbildung wird die Objekterkennung bei einem automatisierten Betrieb eines Fahrzeugs, insbesondere eines spurgebundenen Fahrzeugs, eines Kraftfahrzeugs, eines Flugzeugs, eines Wasserfahrzeugs und/oder eines Raumfahrzeugs, verwendet.
• Die Objekterkennung bei einem automatisierten Betrieb eines Fahrzeugs ist eine besonders zweckmäßige Ausführung einer sicherheitsgerichteten Funktion. Die Objekterkennung ist dabei erforderlich, um z. B. Hindernisse auf dem Fahrweg zu erkennen oder Verkehrssituationen hinsichtlich der Vorfahrt von Verkehrsteilnehmern zu analysieren.
• Das Kraftfahrzeug ist beispielsweise ein Kraftwagen, z. B. ein Personenkraftwagen (PKW), ein Lastkraftwagen (LKW) oder ein Kettenfahrzeug.
• Das Wasserfahrzeug ist beispielsweise ein Schiff oder U-Boot.
• Das Fahrzeug kann bemannt oder unbemannt sein.
• Ein Beispiel für einen Anwendungsbereich ist das autonome oder automatisierte Fahren eines Schienenfahrzeugs. Zur Lösung der Aufgabenstellungen werden Objekterkennungssysteme eingesetzt, um Szenen zu analysieren, die mit Sensoren digitalisiert werden. Diese Szeneanalyse ist erforderlich, um z. B. Hindernisse auf dem Fahrweg zu erkennen oder Verkehrssituationen hinsichtlich der Vorfahrt von Verkehrsteilnehmern zu analysieren. Für die Erkennung der Objekte werden zurzeit besonders erfolgreich Systeme eingesetzt, die auf der Nutzung von Beispielen basieren, mit denen Parameter des Mustererkennungssystems trainiert werden. Beispiele dafür sind neuronale Netze, z. B. mit Deep-Learning-Algorithmen.
• Gemäß einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens ist das beispielbasierte System für den Einsatz in einer sicherheitsgerichteten Funktion vorgesehen, wobei die sicherheitsgerichtete Funktion eine Klassifikation auf der Basis von Sensordaten von Organismen umfasst.
• Die Gewebeklassifikation tierischen oder menschlichen Gewebes ist eine besonders zweckmäßige Ausführung einer sicherheitsgerichteten Funktion im Bereich der medizinischen Bildverarbeitung. Die Organismen umfassen beispielsweise Archaea (Urbakterien), Bacteria (Echte Bakterien) und Eukarya (Kernhaltige) oder von Gewebe von Protista (auch Protoctista, Begründer), Plantae (Pflanzen), Fungi (Pilze, Chitinpilze) und Animalia (Tiere).
• Weitere Anwendungsgebiete sind die sichere Steuerung von Industrieanlagen (z. B. Synthese in der Chemie, die Steuerung von Produktionsprozessen, z. B. Walzwerke), eine Klassifikation von chemischen Substanzen (z. B. Umweltgifte, Kampfstoffe), eine Klassifikation von Signaturen von Fahrzeugen (z. B. Radar oder Ultraschallsignaturen) und/oder eine Steuerung im Bereich der Industrieautomatisierung (z. B. Produktion von Maschinen).
• Nach einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens umfasst das beispielbasierte System
• - ein System mit überwachtem Lernen,
• - ein System, das mit den Methoden der Statistik aufgebaut ist,
• - vorzugsweise ein künstliches neuronales Netz mit einer oder mehreren Schichten von Neuronen, die nicht Eingabeneuron oder Ausgabeneuron sind und mit Backpropagation trainiert werden,
• - insbesondere ein Convolutional Neural Network,
• - insbesondere ein Single-Shot-MultiBox-Detector-Netz.
• Der Einsatz von künstlichen Neuronalen Netzen ermöglicht häufig eine Verbesserung der Klassifikations- oder Approximationsleistung.
• Die eine Schicht oder mehreren Schichten von Neuronen, die nicht Eingabeneuronen oder Ausgabeneuronen sind, werden fachmännisch häufig als verdeckte oder „hidden“ Neuronen bezeichnet. Das Training von neuronalen Netzen mit vielen Ebenen an verdeckten Neuronen wird fachmännisch häufig auch als Deep-Learning bezeichnet. Ein spezieller Typ von Deep-Learning-Netzwerken für die Mustererkennung sind die sogenannten Convolutional Neuronal Networks (CNNs). Ein Spezialfall der CNNs sind die sogenannten SSD-Netze (Single Shot MultiBox Detector-Netze). Der Fachmann versteht unter dem Begriff „Single Shot MultiBox Detector“ ein Verfahren zur Objekterkennung nach dem Deep-Learning-Ansatz, welches auf einem Convolutional Neural Netzwork basiert und beschrieben ist in: Liu, Wei (October 2016). SSD: Single shot multibox detector. European Conference on Computer Vision. Lecture Notes in Computer Science. 9905. pp. 21-37. arXiv:1512.02325
• Nach einer weiteren bevorzugten Ausführungsform des erfindungsgemäßen Verfahrens erfolgt das Vorgehen bei der Qualitätssicherung des Systems entsprechend dem Vorgehen bei dem V-Modell zur Durchführung eines Entwicklungsprozesses.
• Mit anderen Worten: Das Vorgehensmodell ist gemäß dieser Ausführungsform das V-Modell zur Durchführung eines Entwicklungsprozesses.
• Unter dem Begriff „V-Modell zur Durchführung eines Entwicklungsprozesses“ versteht der Fachmann vorzugsweise das unter https://de.wikipedia.org/wiki/V-Modell beschrieben V-Modell. Gemäß der Ausführungsform werden die Aktivitäten des Vorgehens auf das V-Modell abgebildet. D.h. die vorstehend beschriebene Qualitätssicherung wird bei den unterschiedlichen Schritten des V-Modells angewendet.
• Bei einer bevorzugten Weiterbildung wird in einem ersten Schritt des Vorgehens der beispielbasierte Anteil des Systems festgelegt. Mit anderen Worten: Es wird festgelegt, welche Elemente des Systems als beispielbasiertes Teilsystem ausgeführt sind.
• Vorzugsweise wird dabei berücksichtigt, welche Teilaufgaben des Systems sich mittels eines beispielbasierten Systems, wie einem künstlichen neuronalen Netz, sinnvoll bearbeiten lassen.
• Gemäß einer weiteren bevorzugten Weiterbildung wird in einem weiteren Schritt des Vorgehens die Erhebung der Beispiele spezifiziert.
• Beispielsweise wird spezifiziert, wie viele Beispiele erhoben werden sollen, welche Merkmale charakterisiert werden sollen, welche Beispiele auf dem Trainingsdatensatz und/oder den Testdatensatz aufgeteilt werden. Zudem wird beispielsweise die Validierung spezifiziert.
• Nach einer weiteren bevorzugten Weiterbildung werden in einem weiteren Schritt des Vorgehens Sicherheitsanforderungen und ein sicherer Zustand des Systems definiert.
• Vorzugsweise wird der sichere Zustand anhand von Anforderungen definiert, die erfüllt sein müssen, damit das System als in dem sicheren Zustand befindlich eingestuft werden kann.
• Bei einer weiteren bevorzugten Weiterbildung werden in einem weiteren Schritt des Vorgehens
• - die Qualitätssicherung für die Beispiele definiert,
• - die Beispiele erhoben und
• - eine initiale Qualitätssicherung der Beispiele durchgeführt.
• Dieser weitere Schritt ist vorzugsweise dem Schritt der „Systemanforderungsanalyse“ (vgl. https://de.wikipedia.org/wiki/V-Modell) oder Englisch „Specification of System Requirements“ zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell erfolgt.
• Vorzugsweise wird die Qualitätssicherung für die Beispiele derart definiert, dass die anzuwendende Qualitätsbewertung, welche Grundlage für die Qualitätssicherung des beispielbasierten Teilsystems sein soll, ausgewählt oder automatisiert ermittelt wird.
• Beispielsweise wird für die initiale Qualitätssicherung die oben beschriebene Qualitätsbewertung, welche die Abdeckung des Eingaberaums durch Beispiele repräsentiert, für die Qualitätssicherung angewendet (beispielsweise als Kartierung des Eingaberaums). Alternativ und/oder zusätzlich kann auch oben beschriebene Komplexitätsbewertung als Qualitätsbewertung für die Qualitätssicherung angewendet werden.
• Nach einer weiteren bevorzugten Weiterbildung werden in einem weiteren Schritt des Vorgehens
• - eine Modularisierung der durch das Teilsystem zu lösenden Gesamtaufgabe,
• - eine Transformation der Beispiele,
• - eine Repräsentation der Beispiele,
• - eine Kodierung der Beispiele und
• - eine Netzwerkstruktur eines künstlichen neuronalen Netzes des beispielbasierten Teilsystems
festgelegt.
• Unter der Modularisierung der durch das Teilsystem zu lösenden Gesamtaufgabe ist vorzugsweise zu verstehen, dass die Gesamtaufgabe, die von dem beispielbasierten Teilsystem gelöst werden soll, in Teilaufgaben aufgeteilt wird. Die Aufteilung in Teilaufgaben erfolgt dabei modular, d.h. es gibt eine mögliche Zusammensetzung der Teilaufgaben, die die Gesamtaufgabe repräsentiert.
• Für die Festlegung der Netzwerkstrukturen, hat die Modularisierung der Teilaufgaben beispielsweise zur Folge, dass die künstlichen neuronalen Netze des beispielbasierten Teilsystems in Teilnetze aufgeteilt werden. Alternativ oder zusätzlich können Teilaufgaben über eine symbolische bzw. konventionelle Implementierung gelöst bzw. bearbeitet werden, während andere Teilaufgaben über ein künstliches neuronales Netz gelöst bzw. bearbeitet werden.
• Beispiele für Teilnetze sind in Abschnitt 3.9 („Hierarchisches QUEEN Perzeptronen-Netz (HQPN)“) von WASCHULZIK beschrieben. So kann eine Teilaufgabe durch ein Teilnetz eines HQPNs oder durch ein Teilnetz, welches ein HQPN ist und parallel zu weiteren HQPNs in der Netzwerkstruktur angeordnet ist, gelöst werden.
• Die Repräsentation sind beispielsweise geographische Repräsentationen, wie GPS-Koordinaten, Postleitzahlen, etc.
• Nachdem in diesem Schritt des Vorgehens die Modularisierung, die Transformation, die Repräsentation, die Kodierung und die Netzwerkstruktur festgelegt sind, kann in einer Iteration nochmals die Qualitätssicherung für die Beispiele angepasst, weitere oder andere Beispiele erhoben werden und eine initiale Qualitätssicherung der Beispiele angepasst werden bzw. erneut durchgeführt werden.
• Bei einer weiteren bevorzugten Weiterbildung werden in einem weiteren Schritt des Vorgehens
• - Module, welche bei der Modularisierung erzeugt werden und Teilnetze des künstlichen neuronalen Netzes sind,
• - die Transformation der Beispiele,
• - die Repräsentation der Beispiele,
• - die Kodierung der Beispiele und
• - das künstliche neuronale Netz
implementiert.
• Die Module sind beispielsweise Teilnetze eines künstlichen neuronalen Netzes.
• Dieser weitere Schritt ist vorzugsweise dem Schritt „Software-Entwurf“ (vgl. https://de.wikipedia.org/wiki/V-Modell) oder Englisch „Design and Implementation“ zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell erfolgt.
• Gemäß einer weiteren bevorzugten Weiterbildung werden in einem weiteren Schritt des Vorgehens
• - die Transformation der Beispiele,
• - die Repräsentation der Beispiele,
• - die Kodierung der Beispiele und
• - das Training und der Test des künstlichen neuronalen Netzes durchgeführt.
• Dieser weitere Schritt ist vorzugsweise dem Schritt der Erstellung des Systems (Englisch: „Manufacture“) zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell erfolgt.
• Nach einer besonders bevorzugten Weiterbildung wird ein abgesicherter Bereich des Eingaberaums anhand der Qualitätsbewertung ermittelt und das künstliche neuronale Netz ausschließlich in dem abgesicherten Bereich angewendet.
• Beispielsweise wird als abgesicherter Bereich ein Bereich des Eingaberaums gewählt, in dem eine ausreichende Beispielmenge erfasst wurde oder in dem die Komplexitätsbewertung im Sinne der Sicherheitsanforderungen vergleichsweise klein ist.
• Nach einer weiteren bevorzugten Weiterbildung werden in einem weiteren Schritt des Vorgehens die Module unter Berücksichtigung einer Kenntnis über einen abgesicherten Bereich integriert, wobei die Kenntnis anhand der Qualitätsbewertung gewonnen wird.
• Dieser weitere Schritt ist vorzugsweise dem Schritt „System-Integration“ (vgl. https://de.wikipedia.org/wiki/V-Modell) oder Englisch „Integration“ zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell erfolgt.
• Der Fachmann versteht unter dem Begriff „integriert“ vorzugsweise eine Verknüpfung der Module zu einem Gesamtsystem.
• Bei der Integration wird das Wissen über die lokale Sicherheit der Information in der Beispielmenge berücksichtigt.
• Bei einer weiteren bevorzugten Weiterbildung wird die Spur eines Beispiels verfolgt, indem die durch das Beispiel angeregten Neuronen des künstlichen neuronalen Netzes überwacht werden.
• Auf diese Weise wird sichergestellt, dass für die Bearbeitung eines Beispiels in den Modulen Aussagen mit ausreichender Sicherheit getroffen werden könne.
• Die Überwachung der angeregten Neuronen erfolgt beispielsweise auf der Basis einer Zuordnung des zu bearbeitenden Beispiels zu einem Teil des Eingaberaums. Anhand der Kenntnis darüber, welchem Teil des Eingaberaums das Beispiel zuzuordnen ist, können diejenigen Neuronen, die angeregt werden, wenn das Beispiel vorliegt, überwacht werden. Über die Verbindungen der Neuronen untereinander ist die Verfolgung der Spur des Beispiels bis zur Ausgabe möglich.
• Bei einer weiteren bevorzugten Weiterbildung wird das beispielbasierte Teilsystem anhand einer Validierungsbeispielmenge, die unabhängige Validierungsbeispiele umfasst, validiert.
• Der Fachmann versteht unter dem Begriff „unabhängige Validierungsbeispiele“ vorzugsweise eine Beispielmenge, die unabhängig von bisher erfassten Beispielen ist.
• Dieser weitere Schritt ist vorzugsweise dem Schritt „Systemvalidierung“ oder Englisch „System Validation“ zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell erfolgt.
• Vorzugsweise wird ein trainiertes beispielbasiertes Teilsystem mittels einer Validierungsbeispielmenge validiert. Demnach bildet die Trainingsbeispielmenge einen ersten Beispielsatz, welcher eine Mehrzahl von Beispielen umfasst, und die Validierungsbeispielmenge einen zweiten Beispielsatz, welcher eine Mehrzahl von Beispielen umfasst. Für den ersten Beispielsatz wird vorzugsweise eine erste Qualitätsbewertung und für den zweiten Beispielsatz wird vorzugsweise eine zweite Qualitätsbewertung ermittelt. Die erste Qualitätsbewertung und zweite Qualitätsbewertung werden vorzugsweise miteinander verglichen.
• Weiter wird beispielsweise ein dritter Bespielsatz aus dem ersten und zweiten Beispielsatz gebildet und eine dritte Qualitätsbewertung für den dritten Beispielsatz ermittelt. Ferner werden die erste Qualitätsbewertung, die zweite Qualitätsbewertung und die dritte Qualitätsbewertung verglichen.
• Der dritte Beispielsatz stellt sozusagen die Vereinigungsmenge des ersten und zweiten Beispielsatzes dar.
• Ein Beispiel für die Anwendung des dritten Beispielsatzes ist eine Konstellation, bei welcher der zweite Beispielsatz (nämlich die Validierungsbeispielmenge) bei Vorliegen von Kenntnissen, die man anhand des ersten Beispielsatzes (Trainingsbeispielmenge) gewonnen hat, erhoben wird.
• Gemäß einer weiteren bevorzugten Ausführungsform des Verfahrens werden in einem weiteren Schritt des Vorgehens
• - Erstellungsbeispiele, welche für die Erstellung des beispielbasierten Teilsystems erfasst werden, einem ersten Beispielsatz zugeordnet,
• - Anwendungsbeispiele, welche bei der Anwendung des beispielbasierten Teilsystems erfasst werden, einem zweiten Beispielsatz zugeordnet und
• - eine ersten Qualitätsbewertung, welche anhand des ersten Beispielsatzes ermittelt wird, und eine zweite Qualitätsbewertung, welche anhand des zweiten Beispielsatzes ermittelt wird, miteinander verglichen.
• Der weitere Schritt des Vorgehens findet beispielsweise bei einer Schleife in der Entwicklung oder bei dem Schritt des „Betriebs, Wartung und Performance-Überwachung“ (Englisch: „Operation, Maintenance and Performance Monitoring“) statt. Dabei werden die im Rahmen der Anwendung des Systems erfassten Beispiele eine Beispielmenge (Anwendungsbeispiele) gesammelt. Diese Beispielmenge wird mit der Beispielmenge (Erstellungsbeispiele) verglichen, die für die Erstellung des Systems verwendet wurde. Insbesondere der Vergleich der Komplexitätsbewertung der Anwendungsbeispiele mit der Komplexitätsbewertung der Erstellungsbeispiele kann über einen Zeitraum des Betriebs hinweg durchgeführt und eine Drift der Komplexitätsbewertung erkannt werden.
• Gemäß einer weiteren bevorzugten Ausführungsform des Verfahrens, bei welchem das jeweilige Beispiel der Beispielmenge einen Eingabewert, welcher in einem Eingaberaum liegt, umfasst, werden in einem weiteren Schritt des Vorgehens
• - Erstellungsbeispiele, welche für die Erstellung des beispielbasierten Teilsystems erfasst werden, einem ersten Beispielsatz zugeordnet,
• - weitere Beispiele, welche anhand von im Eingaberaum verteilten Eingabewerten durch das beispielbasierte Teilsystem erzeugt werden, einem zweiten Beispielsatz zugeordnet und
• - eine ersten Qualitätsbewertung, welche anhand des ersten Beispielsatzes ermittelt wird, und eine zweite Qualitätsbewertung, welche anhand des zweiten Beispielsatzes ermittelt wird, miteinander verglichen.
• Demnach bildet die Trainingsbeispielmenge oder eine Untermenge davon einen ersten Beispielsatz, welcher eine Mehrzahl von Beispielen umfasst. Für den ersten Beispielsatz wird eine ersten Qualitätsbewertung ermittelt. Ein zweiter Beispielsatz wird durch die Anwendung des trainierten beispielbasierten Teilsystems (z.B. des neuronalen Netzes) bestimmt. Dazu können Eingabewerte (Messpunkte) im Eingaberaum zufällig oder systematisch verteilt werden. Zu jedem Eingabevektor wird durch das beispielbasierte Teilsystem ein Ausgabevektor bestimmt. Auf Basis dieser durch das beispielbasierte Teilsystem erzeugten Beispiele wird der zweite Beispielsatz gebildet. Für diesen zweiten Beispielsatz wird dann eine zweite Qualitätsbewertungen ermittelt. Der erste und zweite Beispielsatz werden anhand der ersten und zweiten Qualitätsbewertung verglichen.
• Weiter wird beispielsweise ein dritter Bespielsatz, welcher die Vereinigungsmenge des ersten und zweiten Beispielsatzes bildet, aus dem ersten und zweiten Beispielsatz gebildet und eine dritte Qualitätsbewertung für den dritten Beispielsatz ermittelt. Ferner werden die erste Qualitätsbewertung, die zweite Qualitätsbewertung und die dritte Qualitätsbewertung verglichen.
• Zeigen sich beispielsweise Bereiche im Raum, wo eine erhöhte lokale Komplexität (anhand der dritten Qualitätsbewertung) in der Vereinigungsmenge auftritt, kann auf eine schlechte Generalisierung des beispielbasierten Teilsystems geschlossen werden. Diese Bereiche werden identifiziert und es werden Maßnahmen ergriffen, um das Problem zu beheben. Das kann beispielsweise durch Änderungen von Parametern des verwendeten Neuronalen Netzes (z. B. Korrektur der Anzahl der Freiheitsgrade in dem Bereich des Eingaberaumes mit der schlechten Qualität), durch Erfassung weiterer Beispiele, durch die Veränderung der Trainingsparameter oder durch Einfügung von Regularisierungstermen erreicht werden.
• Die Erfindung betrifft ferner ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch eine Recheneinheit diese veranlassen, das Verfahren der vorstehend beschriebenen Art durchzuführen.
• Die Erfindung betrifft ferner ein computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch eine Recheneinheit diese veranlassen, das Verfahren der vorstehend beschriebenen Art durchzuführen.
• Zu Vorteilen, Ausführungsformen und Ausführungsdetails der Merkmale des erfindungsgemäßen Computerprogramms und computerlesbaren Speichermediums kann auf die obige Beschreibung zu den entsprechenden Merkmalen des erfindungsgemäßen Verfahrens verwiesen werden.
• Ein Ausführungsbeispiel der Erfindung wird anhand der Zeichnungen erläutert. Es zeigen:
• 1 schematisch den Ablauf eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens,
• 2 schematisch den Aufbau eines beispielbasierten Systems mit unüberwachtem Lernen,
• 3 schematisch den Aufbau eines beispielbasierten Systems mit überwachtem Lernen gemäß dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens,
• 4 schematisch den Ablauf eines Vorgehens bei der Qualitätssicherung eines Systems gemäß einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens,
• 5 schematisch einen zweidimensionalen Eingaberaum gemäß dem Ausführungsbeispiel des erfindungsgemäßen Verfahrens,
• 6 eine schematische Seitenansicht eines sich auf eine Fahrstrecke befindenden spurgebundenen Fahrzeugs,
• 7 eine hierarchische Aufteilung des Eingaberaums,
• 8 schematisch ein weiteres Beispiel eines zweidimensionalen Eingaberaums gemäß einem weiteren Ausführungsbeispiel des erfindungsgemäßen Verfahrens,
• 9 zwei Achsendiagramme, welche die Anwendung der Komplexitätsbewertung auf eine erste synthetische Funktion repräsentieren,
• 10 zwei Achsendiagramme, welche die Anwendung der Komplexitätsbewertung auf eine zweite synthetische Funktion repräsentieren, und
• 11 zwei Achsendiagramme, welche die Anwendung der Komplexitätsbewertung auf eine dritte synthetische Funktion repräsentieren.
• 1 zeigt ein schematisches Ablaufdiagramm, welches den Ablauf eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Qualitätssicherung eines Systems repräsentiert.
• 6 zeigt ein Ausführungsbeispiel eines Systems in Form eines spurgebundenen Fahrzeugs 40. Das System weist ein beispielbasiertes Teilsystem 46 auf.
• Das Verfahren kann grundsätzlich auf beispielbasierte Teilsysteme mit überwachtem und unüberwachtem Lernen angewandt werden.
• Bei überwachtem Lernen ist es Ziel, eine Funktion zu lernen, die Daten x (als Eingabewerte) auf ein Label y abbildet. Ein Beispiel von überwachtem Lernen ist die Klassifizierung, bei der beispielsweise Bilddaten x auf eine Klasse y (z. B. Katze) abgebildet wird. Weitere Beispiele von überwachtem Lernen sind Regression, Objekterkennung, Bildbeschriftung etc.
• Bei unüberwachtem Lernen ist es Ziel, eine Struktur von Daten x zu lernen (ohne ein Label y zu verwenden). Ein Beispiel von unüberwachtem Lernen ist Clustering, bei dem Gruppen innerhalb der Daten aufgefunden werden sollen, die in einer bestimmten Metrik Ähnlichkeiten aufweisen. Weitere Beispiele von unüberwachtem Lernen sind Dimensionalitätsreduktion oder das Lernen von Merkmalen (sog. feature learning oder representation learning), etc.
• Die 2 und 3 zeigen Ausführungsbeispiele von beispielbasierten Teilsystemen 1. 2 zeigt schematisch den Aufbau eines Ausführungsbeispiels eines beispielbasierten Teilsystems 1, welches als Autoencoder ausgeführt ist. Autoencoder sind eine Art von künstlichen neuronalen Netzen 2, die zur effizienten Datenkodierung eingesetzt werden können und diese Fähigkeit in unüberwachter Weise lernen. Der Autoencoder bildet die Eingabewerte x auf einen Merkmalsvektor Z ab.
• 3 zeigt schematisch den Aufbau eines Ausführungsbeispiels eines beispielbasierten Teilsystems 1 mit überwachtem Lernen, welches als mehrlagiges Perzeptron ausgeführt ist. Weitere Beispiele von Teilsystemen mit überwachtem Lernen können ein rekurrentes neuronales Netz, ein Convolutional Neural Network oder insbesondere ein sogenanntes Single-Shot-MultiBox-Detector-Netz sein.
• Das beispielbasierte Teilsystem 1 wird von einem künstlichen neuronalen Netz 2 gebildet, welches eine Schicht 4 von Eingabeneuronen 5 und eine Schicht 6 von Ausgabeneuronen 7 aufweist.
• Das in 3 gezeigte künstliche neuronale Netz 2 weist mehrere Schichten 8 von Neuronen 9 auf, die nicht Eingabeneuronen 5 oder Ausgabeneuronen 7 sind.
• Das beispielbasierte Teilsystem sowie das erfindungsgemäße Verfahren werden mittels eines oder mehrerer Computerprogramme implementiert. Das Computerprogramm umfasst Befehle, die bei Ausführung des Programms durch eine Recheneinheit diese veranlassen, das erfindungsgemäße Verfahren gemäß dem in 1 gezeigten Ausführungsbeispiel durchzuführen. Das Computerprogramm ist auf einem computerlesbaren Speichermedium gespeichert.
• Das beispielbasierte Teilsystem wird in einer sicherheitsgerichteten Funktion eines Systems eingesetzt. Das Verhalten der Funktion hat demnach Einfluss auf die Safety der Umgebung des Systems. Ein Beispiel für eine sicherheitsgerichtete Funktion ist eine Objekterkennung auf Basis einer Bilderkennung, bei welcher das Objekt unter Verwendung des beispielbasierten Teilsystems 1 erkannt wird (bei überwachtem Lernen). Die Objekterkennung wird beispielsweise bei einem automatisierten Betrieb eines Fahrzeugs, insbesondere eines in 6 gezeigten spurgebundenen Fahrzeugs 40, eines Kraftfahrzeugs, eines Flugzeugs, eines Wasserfahrzeugs oder eines Raumfahrzeugs, verwendet.
• Ein weiteres Beispiel für eine sicherheitsgerichtete Funktion ist eine Klassifikation auf der Basis von Sensordaten von Organismen z. B. von Archaea (Urbakterien), Bacteria (Echte Bakterien) und Eukarya (Kernhaltige) oder von Gewebe von Protista (auch Protoctista, Begründer), Plantae (Pflanzen), Fungi (Pilze, Chitinpilze) und Animalia (Tiere), eine sichere Steuerung von Industrieanlagen, eine Klassifikation von chemischen Substanzen, eine Klassifikation von Signaturen von Fahrzeugen oder eine Steuerung im Bereich der Industrieautomatisierung.
• Im Folgenden wird das Ausführungsbeispiel des erfindungsgemäßen Verfahrens anhand eines spurgebundenen Fahrzeugs 40 als System, an dem die Qualitätssicherung durchgeführt werden soll, beschrieben. Das erfindungsgemäße Verfahren ist jedoch selbstverständlich auf alternative Systeme, wie beispielsweise ein System bestehend aus einer Flotte von spurgebundenen Fahrzeugen und einer Umgebung der Flotte (Infrastruktur) anwendbar.
• Die Qualitätssicherung des beispielbasierten Teilsystems 46 erfolgt gemäß dem erfindungsgemäßen Verfahren anhand eines Vorgehensmodells, welches einen Plan für das Vorgehen bei der Qualitätssicherung des Systems repräsentiert. Das verwendete Vorgehensmodell ist das in 4 gezeigte V-Modell 301. Unter dem Begriff „V-Modell zur Durchführung eines Entwicklungsprozesses“ versteht der Fachmann vorzugsweise das unter https://de.wikipedia.org/wiki/V-Modell beschrieben V-Modell.
• In einem Verfahrensschritt AA wird gemäß einem ersten Schritt des Vorgehens der beispielbasierte Anteil des Systems 1 festgelegt. Insbesondere wird festgelegt, welche Elemente des in 6 gezeigten spurgebundenen Fahrzeugs 40 als beispielbasiertes Teilsystem 46 ausgeführt bzw. realisiert sind. So wird beispielsweise ein Element der Objekterkennung als beispielbasiertes Teilsystem 46 ausgeführt.
• In einem weiteren Verfahrensschritt BB des Vorgehens wird die Erhebung der Beispiele spezifiziert. Beispielsweise wird spezifiziert, wie viele Beispiele erhoben werden sollen, auf welche Art und Weise die Beispiele erhoben werden sollen, welche Merkmale charakterisiert werden sollen, welche Beispiele auf einen Trainingsdatensatz und/oder einen Testdatensatz aufgeteilt werden. Zudem wird beispielsweise die Validierung spezifiziert.
• Die erhobenen Beispiele bilden eine Beispielmenge. Das jeweilige Beispiel weist einen Eingabewert 12, welcher in einem Eingaberaum liegt, und einen Ausgabewert 14, welcher in einem Ausgaberaum liegt, auf. Bei der Objekterkennung (als eines von mehreren möglichen Beispielen einer sicherheitsgerichteten Funktion bei überwachtem Lernen) für einen automatisierten Betrieb des in 6 gezeigten spurgebundenen Fahrzeugs 40 werden die Beispiele erhoben, indem das spurgebundene Fahrzeug 40 mit einer Kameraeinheit 42 zur Erfassung von Bildern versehen wird. Die Kameraeinheit 42 ist derart in Fahrtrichtung 41 ausgerichtet, dass ein in Fahrtrichtung 41 vorausliegender räumlicher Bereich 43 von der Kameraeinheit erfasst wird. Das spurgebundene Fahrzeug 40 fährt mit der Kameraeinheit 42 in Fahrtrichtung 41 entlang einer Fahrtstrecke 44. Zur Erfassung der Beispiele werden Szenen, die für die Erstellung und das Training des beispielbasierten Systems 1 zur Objekterkennung relevant sind, nachgestellt. So werden beispielsweise Pappfiguren, Crashtest-Dummies oder Schauspieler 45 eingesetzt, um Personen auf der Fahrtstrecke 44 darzustellen, die mittels des zu erstellenden und zu trainierenden beispielbasierten Systems 1 erkannt werden sollen. Alternativ können Szenen mittels einer sogenannten Virtual Reality nachgestellt werden.
• Bei einem weiteren Verfahrensschritt CC des Vorgehens werden Sicherheitsanforderungen und ein sicherer Zustand des Systems definiert. Insbesondere wird der sichere Zustand anhand von Anforderungen definiert, die erfüllt sein müssen, damit das System als in dem sicheren Zustand befindlich eingestuft werden kann.
• Gemäß einem weiteren Verfahrensschritt DD wird die Qualitätssicherung für die Beispiele definiert, die Beispiele erhoben und eine initiale Qualitätssicherung der Beispiele durchgeführt. Dieser weitere Schritt ist dem Schritt der „Systemanforderungsanalyse“ (vgl. https://de.wikipedia.org/wiki/V-Modell) oder Englisch „Specification of System Requirements“ zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell erfolgt. Die anzuwendende Qualitätsbewertung, welche Grundlage für die Qualitätssicherung des beispielbasierten Teilsystems 46 sein soll, kann durch einen Benutzer ausgewählt oder automatisiert ermittelt werden.
• Beispielsweise wird für die initiale Qualitätssicherung eine Qualitätsbewertung, welche die Abdeckung des Eingaberaums durch Beispiele repräsentiert, für die Qualitätssicherung angewendet. Alternativ und/oder zusätzlich wird die oben beschriebene Komplexitätsbewertung als Qualitätsbewertung für die Qualitätssicherung angewendet.
• Im Folgenden werden diese beiden Arten der Qualitätsbewertung anhand der 5 und 7 bis 11 beispielhaft erläutert:
• In einem Verfahrensschritt C wird eine Qualitätsbewertung, welche eine Abdeckung des Eingaberaums durch Beispiele der Beispielmenge repräsentiert, ermittelt. Bei dem Ermitteln C der Qualitätsbewertung werden in einem Verfahrensschritt C1 Repräsentanten im Eingaberaum verteilt. 5 zeigt als Beispiel einen zweidimensionalen Eingaberaum 20. In der tatsächlichen Anwendung des erfindungsgemäßen Verfahrens werden der Eingaberaum und Ausgaberaum häufig eine höhere Dimensionalität aufweisen. Die Beispiele 22 der Beispielmenge sind als Fadenkreuze 23 in 5 dargestellt. Die Repräsentanten 24 werden gleichverteilt und sind als Kreuzpunkte 25 des gezeigten Gitters 26 dargestellt.
• In einem Verfahrensschritt C2 wird einem jeweiligen Repräsentanten 28 eine Anzahl von Beispielen 29 der Beispielmenge zugeordnet. Die dem Repräsentanten 28 zugeordneten Beispiele 29 liegen in einem Umgebungsbereich 30 des Eingaberaums 20, welcher den jeweiligen Repräsentanten 28 umgibt. Der Umgebungsbereich 30 ist beispielhaft in 3 als gepunktete Fläche dargestellt. Als Qualitätsbewertung wird dabei in einem Verfahrensschritt C3 eine lokale Qualitätsbewertung für den Umgebungsbereich 30 ermittelt.
• In einem Verfahrensschritt C4 werden im Eingaberaum beispielsweise benachbarte Umgebungsbereiche 32-36 ermittelt, deren jeweiligem Repräsentanten eine Anzahl von Beispielen zugeordnet ist, die einen vorgegebenen Qualitätsschwellwert unterschreitet. In 5 sind diese Umgebungsbereiche 32-36 als Flächen mit diagonalen Streifen dargestellt. Es handelt sich in dem in 5 gezeigte Beispiel bei den Umgebungsbereichen 32-36 um Bereiche, in denen kein Beispiel liegt. Zudem wird in einem Verfahrensschritt C5 ein Zusammenhangsgebiet 38 innerhalb des Eingaberaums 20 ermittelt, welches aus den benachbarten Umgebungsbereichen 32-36 besteht, deren Repräsentanten jeweils eine Anzahl von Beispielen zugeordnet ist, die einen vorgegebenen Qualitätsschwellwert unterschreitet. Dadurch wird die Lage und Größe von Bereichen des Eingaberaums 20 ermittelt, in denen zu wenige Beispiele erfasst wurden. Mit anderen Worten: Es werden Teilbereiche des Eingaberaums 20 identifiziert, in denen die Beispielswerte keine ausreichende Basis für einen sicherheitskritischen Anwendung bereitstellen.
• Anhand der Identifizierung kann korrigierend eingegriffen werden: Dazu werden beispielsweise in einem Verfahrensschritt D in einem jeweiligen Umgebungsbereich weitere Beispiele erfasst, wenn die für den jeweiligen Umgebungsbereich ermittelte Qualitätsbewertung kleiner als ein vorgegebener Qualitätsschwellwert ist.
• In einem Verfahrensschritt E wird für den jeweiligen Umgebungsbereich eine lokale Komplexitätsbewertung ermittelt, welche eine durch die Beispiele des Umgebungsbereichs definierte Komplexität einer Aufgabenstellung des beispielbasierten Systems repräsentiert. Dabei wird die lokale Komplexitätsbewertung gemäß einem Verfahrensschritt E1 durch die relative Lage der Beispiele des Umgebungsbereichs zueinander im Eingaberaum 20 und dem Ausgaberaum bestimmt. Das heißt die Komplexitätsbewertung ist basierend auf der Betrachtung der Ähnlichkeit der Abstände der Beispiele im Eingaberaum 20 zu den Abständen im Ausgaberaum definiert. Beispielsweise weist die Aufgabenstellung des beispielbasierten Systems eine vergleichsweise geringe Komplexität auf, wenn die Abstände im Eingaberaum 20 (abgesehen von der Skalierung) etwa den Abständen im Ausgaberaum entsprechen. Anhand der Komplexitätsbewertung werden Bereiche ermittelt, in denen aufgrund hoher Komplexität der Aufgabenstellung des beispielbasierten Systems eine vergleichsweise hohe Anzahl von Beispielen erfasst werden müssen. Beispielsweise wird in Bereichen des Eingaberaums 20, in denen eine höhere Komplexität vorhanden ist, dynamisch die Dichte der Repräsentanten erhöht, bis eine homogene Komplexität erreicht ist. Alternativ kann eine neue Hierarchieebene eingeführt werden (wie es beispielhaft in Bezug auf 7 unten beschrieben ist).
• Die Komplexitätsbewertung entspricht den in Abschnitt 4 (QUEEN-Qualitätsindikatoren) von WASCHULZIK beschriebenen Qualitätsindikatoren. Diese Qualitätsindikatoren können sowohl für die Repräsentation oder Kodierung der Merkmale definiert und angewendet werden (vgl. Abschnitt 4.5 von WASCHULZIK). Ein Beispiel für diesen Qualitätsindikator für die Repräsentationen ist der integrierte Qualitätsindikator QI² gemäß Abschnitt 4.6 von WASCHULZIK.
• In einem Verfahrensschritt E2 wird eine aggregierte Komplexitätsbewertung durch Aggregation der lokalen Komplexitätsbewertung ermittelt: Beispielsweise wird als aggregierte Komplexitätsbewertung ein Histogramm über die Komplexität in den unterschiedlichen Umgebungsbereichen des Eingaberaums erstellt. Dazu wird der Wertebereich der Komplexitätsbewertungen gebinnt (d.h. in Bereiche unterteilt). In die Bins werden ausschließlich die Anzahl der Umgebungsbereiche mit entsprechender Komplexität gefasst, sofern die Positionen der Umgebungsbereiche nicht mehr benötigt werden. Dieses Histogramm wird mit Informationen über die Anzahl der Beispiele zusammengefasst, beispielsweise ebenfalls in einem Histogramm über die Anzahl der dem Repräsentanten zugeordneten Beispiele. Weiter vorzugsweise sind im Histogramm Informationen über die Repräsentanten hinterlegt, damit bei Detailanalysen auf diese zurückgegriffen werden kann.
• Anhand der Komplexitätsbewertung kann in einem Verfahrensschritt F erfasst werden, ob in sämtlichen Bereichen eine angemessene Anzahl an Beispielen erfasst wurden. Wird ein Bereich identifiziert, in dem zu viele Beispiele bei niedriger Komplexität erfasst wurden, können Beispiele aus diesem Bereich entfernt werden. Diese Reduktion der Beispiele reduziert den Speicherplatzbedarf und die Kosten für die Berechnungen z.B. für die qualitätssichernden Maßnahmen auf der Basis der Beispieldatenmenge. Wird ein Bereich identifiziert, in dem zu wenige Beispiele erfasst wurden (z.B. da die Komplexität vergleichsweise hoch ist), müssen ggfs. weitere Beispiele in diesem Bereich erfasst werden. Der letztgenannte Fall tritt häufig in den Bereichen auf, in denen eine neue Hierarchieebene eingeführt wurde (wie es beispielhaft in Bezug auf 7 unten beschrieben ist). Nach der Erfassung weiterer Beispiele, wird eine Schleife zur Qualitätssicherung (gemäß den Verfahrensschritten C bis E) so lange durchlaufen, bis sämtliche gewünschten Qualitätsanforderungen erfüllt sind.
• Anhand der aggregierten Komplexitätsbewertung werden in einem Verfahrensschritt G Umgebungsbereiche identifiziert, deren Komplexitätsbewertung einen vorgegebenen Komplexitätsschwellwert unterschreitet. In den ermittelten Umgebungsbereichen wird die Aufgabenstellung des beispielbasierten Systems gemäß einem Verfahrensschritt H durch eine algorithmische Lösung implementiert, wenn die Funktionsweise des Systems (d.h. semantische Zusammenhänge) für den Umgebungsbereich bekannt ist. Die Aufgabenstellung des Systems wird demnach als konventioneller Algorithmus implementiert (anstatt als beispielbasiertes System). Für die Bereiche des Eingaberaumes, für die ein statistisches System oder ein neuronales Netz eingesetzt werden soll, wird in Schritt H ebenfalls das statistische System erstellt oder die Struktur des neuronalen Netzes festgelegt und das neuronale Netz trainiert.
• Bei dem vorstehend beschrieben Verfahren können Schleifen in der Entwicklung vorgesehen sein. Beispielsweise ist der Fall denkbar, bei dem auf Basis der zunächst identifizierten Merkmale keine Lösung gefunden werden kann, mit der die gewünschten Qualitätsanforderungen erfüllt werden können. In diesem Fall ist es gegebenenfalls erforderlich, zu einem vorangegangenen Schritt zurückzukehren und geeignete Merkmale zu bestimmen. Auf dieser Basis werden Beispiele, die zu erfassen sind, erneut definiert und das Verfahren wird erneut durchlaufen. Zwischen den einzelnen Schritten können weitere Schleifen vorgesehen sein, beispielsweise um zusätzliche Beispiele zu erfassen, falls die erfassten Beispiele nicht ausreichen, um die gewünschten Qualitätsanforderungen zu erreichen.
• 7 zeigt bespielhaft eine hierarchische Aufteilung eines Eingaberaums 120, durch die eine hierarchische Kartierung des Eingaberaums erzielt wird. Die erhobenen Beispiele 122 der Beispielmenge sind als Sterne 123 und Kreise 125 in 7 dargestellt. Die Sterne 123 und Kreise 125 sind Beispiele unterschiedlicher Objektklassen (d.h. haben eine unterschiedliche Position im Ausgaberaum).
• In den Bereichen, in denen eine hohe Komplexität vorhanden ist, kann zusätzlich eine neue Hierarchieebene 126 eingeführt werden. Die neue Hierarchieebene 126 wird beispielsweise eingeführt, indem in dem Bereich 130 eine neue Unterteilung 132 mit einer höheren Auflösung 134 hinzugefügt wird. Das Vorgehen kann iteriert werden, indem in dem hochaufgelösten Bereich bei erneut erhöhter lokaler Komplexität eine weitere Hierarchiestufe hinzugefügt wird.
• Alternativ zu dem in Bezug auf 5 beschriebenen Ausführungsbeispiel, wonach Repräsentanten im Eingaberaum gleichverteilt werden, zeigt 8 ein Ausführungsbeispiel eines Eingaberaums 220, bei dem die Repräsentanten jeweils ein Zentrum eines Clusters, welches mittels eines Clusterverfahrens bestimmt wird, bilden. Die Beispiele 222 der Beispielmenge sind in 8 als Fadenkreuze 223 dargestellt.
• 8 zeigt beispielhaft vier Cluster 230, 232, 234 und 236, die jeweils mehrere Beispiele umfassen. Diese Beispiele liegen in der Darstellung innerhalb einer gestrichelten Grenzlinie, die jedoch keine tatsächliche Begrenzung eines Clusters repräsentiert, sondern lediglich zur Illustration eingezeichnet wurde. Die Cluster 230, 232, 234 und 236 weisen jeweils ein zugehöriges Clusterzentrum 240, 242, 244 und 246 (plusförmig dargestellt) auf. Die Clusterzentren 240, 242, 244, 246 liegen jeweils mittig innerhalb des Clusters und werden unabhängig von den Grenzen des Gitters des Eingaberaums einem Cluster zugeordnet.
• Die Cluster gemäß 8 haben den Vorteil, dass sie die Topologie der Daten besonders geeignet repräsentieren. Das Gitter gemäß 5 hat den Vorteil, dass die nicht abgedeckten Bereiche geeigneter abbildet werden. Beispielsweise kann die Abdeckung des Eingaberaums (gemäß dem Verfahrensschritt C) über das Gitter berechnet werden und die Komplexitätsbewertung (gemäß dem Verfahrensschritt E) neben dem Gitter auch über das Clusterzentrum berechnet werden. Welcher Ansatz geeigneter ist, kann auch von dem Verfahren des Neuronalen Netzes abhängen. Wenn sich die Kodierungsneurone im Eingebraum bewegen können, dann wird vorzugsweise der Clusteransatz gewählt oder die Clusterzentren mit den Positionen der Kodierungsneurone im Eingaberaum gleichsetzt.
• Um ein Verständnis über die Eigenschaften und das Verhalten der in WASCHULZIK beschriebenen Qualitätsindikatoren als Beispiele einer Komplexitätsbewertung zu erhalten, ist es hilfreich, diese auf synthetische Funktionen (z. B. y=x) anzuwenden. Daraus kann geschlossen werden, wie diese Qualitätsindikatoren Anwendung bei beispielbasierten Systemen finden können.
• Die 9 bis 11 zeigen jeweils für eine synthetische Funktion ein Histogramm der Verteilung der Komplexitätsbewertung über k-nächste Nachbarn eines vorausgewählten Beispiels. Das Beispiel ist beispielsweise ein Stellvertreterbeispiel oder ein Zentrum eines Clusters (wie oben beschrieben). Das Beispiel kann zudem ein aus dem Umgebungsbereich eines Repräsentanten ausgewähltes Beispiel sein, welches für eine tiefergehende Untersuchung hinsichtlich der Komplexität der Aufgabenstellung ausgewählt wurde.
• 9 zeigt links die .1 und rechts die .4 von WASCHULZIK. Als synthetische Funktion ist in 9 links y=x als Achsendiagramm dargestellt (die Einträge im Achsendiagramm sind als „+“ gezeigt). Das Achsendiagramm rechts zeigt ein Histogramm SHLQ² von QI² über die k-nächsten Nachbarn eines Beispiels für die Funktion y=x. Es zeigt sich, dass für beliebige lokale Umgebungen k eines Beispiels das gezeigte Histogramm SHLQ² den Wert Null hat.
• 10 zeigt links die .17 und rechts die .20 von WASCHULZIK. Als synthetische Funktion ist in 10 links y=ru(seed,300)*300 als Achsendiagramm dargestellt. Es handelt sich um eine gleichverteilte Zufallsvariable mit Werten zwischen 0 und 300. Das Achsendiagramm rechts zeigt das Histogramm SHLQ² von QI² über die k-nächsten Nachbarn eines Beispiels für die Funktion y=ru(seed,300)*300. Das Achsendiagramm in 9 rechts ist derart skaliert, dass 40 für den Wert 1 steht.
• 11 zeigt links die .41 und rechts die .44 von WASCHULZIK. Als synthetische Funktion ist in 11 links y=sin(8*pi*x/300)+br(seed,300) als Achsendiagramm dargestellt. Es handelt sich um eine Sinusfunktion, die in den Bereichen 0 < x ≤ 50 sowie 100 < x ≤ 200 ein stochastisches Rauschen hat. Das Achsendiagramm rechts zeigt das Histogramm SHLQ² von QI² über die k-nächsten Nachbarn eines Beispiels für die Funktion y=sin(8*pi*x/300) +br(seed,300). Das Achsendiagramm in 11 ist derart skaliert, dass 40 für den Wert 1 steht. Der Fachmann erkennt auf dieser Darstellung, dass es mehrere k-Nachbarschaften bis zur Größe ca. 45 gibt, in denen der Wert von QI² fast 0 ist (zu erkennen an der dunkelgrauen Schattierung der Bins mit kleiner Nummer aufgetragen an der V-Achse) und damit eine fast lineare Abbildung des Eingabe- und Ausgaberaums vorliegt. Analysiert der Fachmann nun durch das Auslesen der Information in dem Histogramm, in der Umgebung welcher Beispiele die niedrige Komplexität vorhanden ist, so erhält er das Beispiel mit x=75 in dessen Nachbarschaft k=45 die Komplexität sehr gering ist. Gleiches gilt für x=225 oder x=275 für k=45. So kann der Fachmann ohne ein Vorwissen darüber, wie die Beispiele im Eingaberaum verteilt sind, einfach, schnell und sicher die Bereiche identifizieren, in denen die Komplexität besonders niedrig oder hoch ist. Durch das Auslesen der Bins mit den hohen Werten auch bei großen Umgebungen kann er Bereiche mit hoher Komplexität identifizieren (z. B. Bin-Nummer 80 bei K=20). Diese Identifikation der Bereiche mit hoher oder niedriger Komplexität kann unabhängig von der Dimension des Eingabe- und Ausgaberaumes erfolgen, da der Abstand der k-nächsten Nachbarn in Räumen beliebiger Dimensionalität bestimmt werden kann. Über das gleichartige Vorgehen kann der Fachmann auch aus den Histogrammen über die Größe der Zusammenhangsbereiche die Repräsentanten identifizieren, in denen z. B. sehr wenige Beispiele enthalten sind. Über den Repräsentanten kann dann die Position im Eingaberaum bestimmt werden, in denen weitere Beispiele erfasst werden müssen.
• Vorstehend wurden zwei Arten von Qualitätsbewertungen anhand der 5 und 7 bis 11 beispielhaft erläutert. Diese Qualitätsbewertungen können im Rahmen des Vorgehens im V-Modell 301 angewendet werden. Beispielsweise können die vorstehend beschriebenen Qualitätsbewertungen bei der initialen Qualitätssicherung der Beispiele 22 gemäß dem Verfahrensschritt DD angewendet werden. Sie können aber ebenso an weiteren Schritten bei dem Vorgehens gemäß dem V-Modell 301 genutzt werden.
• Die vorstehend beschriebenen Schleifen können genutzt werden, um iterativ Beispiele zu erfassen: Beispielsweise bilden die vorstehend genannten erfassten Beispiele für die initiale Qualitätsbewertung einen ersten Beispielsatz. In einer weitere Messkampagne wird ein weiterer Datensatz erfasst. Beispielsweise kann die Erfassung des zweiten Beispielsatzes aufgrund von Erkenntnissen aus dem ersten Beispielsatz modifiziert werden. Für den ersten Beispielsatz wird eine erste Qualitätsbewertung ermittelt (wie oben beschrieben). Analog dazu wird für den zweiten Beispielsatz eine zweite Qualitätsbewertung ermittelt. Diese beiden Qualitätsbewertungen können verglichen werden. Dabei kann festgestellt werden, ob die modifizierte Erfassung den erwarteten Einfluss auf die zweite Qualitätsbewertung hat. Zudem kann der erste und zweite Beispielsatz zu einem dritten Beispielsatz (Vereinigungsmenge) zusammengefasst werden und eine dritte Qualitätsbewertung anhand des dritten Beispielsatzes ermittelt werden. Erfüllt diese Vereinigungsmenge nicht die erwarteten Qualitätsanforderungen, lässt dies auf mögliche Probleme bei der modifizierten Erfassung schließen. Mit den oben beschriebenen Methoden können diese Probleme analysiert und behoben werden.
• Nach einem weiteren Verfahrensschritt EE des Vorgehens werden eine Modularisierung der durch das Teilsystem 46 zu lösenden Gesamtaufgabe, eine Transformation der Beispiele 22, eine Repräsentation der Beispiele, eine Kodierung der Beispiele und eine Netzwerkstruktur eines künstlichen neuronalen Netzes des beispielbasierten Teilsystems 46 festgelegt.
• Bei der Modularisierung der durch das Teilsystem 46 zu lösenden Gesamtaufgabe wird die Aufgabe, die von dem beispielbasierten Teilsystem 46 gelöst werden soll, in Teilaufgaben aufgeteilt. Die Aufteilung in Teilaufgaben erfolgt dabei modular, d.h. es gibt eine mögliche Zusammensetzung der Teilaufgaben, die die Gesamtaufgabe repräsentiert.
• Für die Festlegung der Netzwerkstrukturen, hat die Modularisierung der Teilaufgaben beispielsweise zur Folge, dass die künstlichen neuronalen Netze des beispielbasierten Teilsystems 46 in Teilnetze aufgeteilt werden. Alternativ oder zusätzlich können Teilaufgaben über eine symbolische bzw. konventionelle (algorithmische) Implementierung gelöst bzw. bearbeitet werden, während andere Teilaufgaben über ein künstliches neuronales Netz gelöst bzw. bearbeitet werden.
• Beispiele für Teilnetze sind in Abschnitt 3.9 („Hierarchisches QUEEN Perzeptronen-Netz (HQPN)“) von WASCHULZIK beschrieben. So kann eine Teilaufgabe durch ein Teilnetz eines HQPNs oder durch ein Teilnetz, welches ein HQPN ist und parallel zu weiteren HQPNs in der Netzwerkstruktur angeordnet ist, gelöst werden.
• Bei einem weiteren Verfahrensschritt FF des Vorgehens werden bei der Modularisierung erzeugte Module, welche Teilnetze des künstlichen neuronalen Netzes sind, die Transformationen der Beispiele 22, die Repräsentation der Beispiele 22, die Kodierung der Beispiele 22 und das künstliche neuronale Netz implementiert.
• Die Module sind beispielsweise Teilnetze eines künstlichen neuronalen Netzes.
• Dieser weitere Verfahrensschritt FF ist dem Schritt „Software-Entwurf“ (vgl. https://de.wikipedia.org/wiki/V-Modell) oder Englisch „Design and Implementation“ zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell 301 durchgeführt wird.
• Bei einem weiteren Verfahrensschritt GG des Vorgehens werden die Transformation der Beispiele 22, die Repräsentation der Beispiele 22, die Kodierung der Beispiele 22 und das Training und der Test des künstlichen neuronalen Netzes durchgeführt.
• Dieser weitere Verfahrensschritt GG ist dem Schritt der Erstellung des Systems (Englisch: Manufacture“) zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell 301 durchgeführt wird.
• Dabei wird ein abgesicherter Bereich des Eingaberaums 20 anhand der Qualitätsbewertung ermittelt und das künstliche neuronale Netz gemäß einem Verfahrensschritt GG1 ausschließlich in dem abgesicherten Bereich angewendet. Beispielsweise wird als abgesicherter Bereich ein Bereich des Eingaberaums 12 gewählt, in dem eine ausreichende Beispielmenge erfasst wurde oder in dem die Komplexitätsbewertung im Sinne der Sicherheitsanforderungen vergleichsweise klein ist.
• Unter Berücksichtigung einer Kenntnis über einen abgesicherten Bereich werden die Module in einem Verfahrensschritt HH integriert, wobei die Kenntnis anhand der Qualitätsbewertung gewonnen wird. Dieser weitere Verfahrensschritt HH ist vorzugsweise dem Schritt „System-Integration“ (vgl. https://de.wikipedia.org/wiki/V-Modell) oder Englisch „Integration“ zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell 301 erfolgt. Die Module werden bei der Integration miteinander zu einem Gesamt(teil)system verknüpft. Bei der Integration wird das Wissen über die lokale Sicherheit der Information in der Beispielmenge berücksichtigt.
• Dabei wird in einem Verfahrensschritt HH1 die Spur eines Beispiels verfolgt, indem die durch das Beispiel 22 angeregten Neuronen des künstlichen neuronalen Netzes überwacht werden. Auf diese Weise wird sichergestellt, dass für die Bearbeitung eines Beispiels 22 in den Modulen Aussagen mit ausreichender Sicherheit getroffen werden können. Die Überwachung der angeregten Neuronen erfolgt beispielsweise auf der Basis einer Zuordnung des zu bearbeitenden Beispiels 22 zu einem Teil des Eingaberaums. Anhand der Kenntnis darüber, welchem Teil des Eingaberaums das Beispiel zuzuordnen ist, können diejenigen Neuronen, die angeregt werden, wenn das Beispiel 22 vorliegt, überwacht werden. Über die Verbindungen der Neuronen untereinander ist die Verfolgung der Spur des Beispiels 22 bis zur Ausgabe y möglich.
• Bei einem weiteren Verfahrensschritt JJ des Vorgehens wird das beispielbasierte Teilsystem anhand einer Validierungsbeispielmenge, die unabhängige Validierungsbeispiele umfasst, validiert. Die unabhängigen Validierungsbeispiele bilden eine Beispielmenge, die unabhängig von den bisher zur Erstellung des Systems verwendeten Beispielen ist. Alternative kann beispielsweise auch der Ansatz der Kreuzvalidierung (https://en.wikipedia.org/wiki/Cross-validation (statistics)) oder ähnliche Ansätze verwendet werden. Auf der Basis der Ergebnisse der Kreuzvalidierung wird überprüft, ob das Beispielbasierte System die für die Validierung (Kreuzvalidierung) erforderliche Qualität erreicht hat.
• Dieser weitere Verfahrensschritt JJ ist dem Schritt „Systemvalidierung“ oder Englisch „System Validation“ zuzuordnen, welcher im Rahmen des Vorgehens bei dem V-Modell 301 durchgeführt wird.
• Insbesondere wird das trainierte beispielbasierte Teilsystem mittels einer Validierungsbeispielmenge validiert. Demnach bildet die Trainingsbeispielmenge oder eine Untermenge davon einen ersten Beispielsatz, welcher eine Mehrzahl von Beispielen umfasst. Für den ersten Beispielsatz wird eine ersten Qualitätsbewertung ermittelt. Ein zweiter Beispielsatz wird durch die Anwendung des trainierten beispielbasierten Teilsystems (z.B. des neuronalen Netzes) bestimmt. Dazu können Eingabewerte (Messpunkte) im Eingaberaum zufällig oder systematisch verteilt werden. Zu jedem Eingabevektor wird durch das beispielbasierte Teilsystem ein Ausgabevektor bestimmt.
• Auf Basis dieser durch das beispielbasierte Teilsystem erzeugten Beispiele wird der zweite Beispielsatz gebildet. Für diesen zweiten Beispielsatz wird dann eine zweite Qualitätsbewertungen ermittelt. Der erste und zweite Beispielsatz werden anhand der ersten und zweiten Qualitätsbewertung verglichen.
• Weiter wird beispielsweise ein dritter Bespielsatz, welcher die Vereinigungsmenge des ersten und zweiten Beispielsatzes bildet, aus dem ersten und zweiten Beispielsatz gebildet und eine dritte Qualitätsbewertung für den dritten Beispielsatz ermittelt. Ferner werden die erste Qualitätsbewertung, die zweite Qualitätsbewertung und die dritte Qualitätsbewertung verglichen.
• Zeigen sich beispielsweise Bereiche im Raum, wo eine erhöhte lokale Komplexität (anhand der dritten Qualitätsbewertung) in der Vereinigungsmenge auftritt, kann auf eine schlechte Generalisierung des beispielbasierten Teilsystems geschlossen werden. Diese Bereiche werden identifiziert und es werden Maßnahmen ergriffen, um das Problem zu beheben. Das kann beispielsweise durch Änderungen von Parametern des verwendeten Neuronalen Netzes (z. B. Korrektur der Anzahl der Freiheitsgrade in dem Bereich des Eingaberaumes mit der schlechten Qualität), durch Erfassung weiterer Beispiele, durch die Veränderung der Trainingsparameter oder durch Einfügung von Regularisierungstermen erreicht werden.
• In einem weiteren Verfahrensschritt KK des Vorgehens wird das System betrieben, gewartet und die Performance überwacht.
• Obwohl die Erfindung im Detail durch das bevorzugte Ausführungsbeispiel näher illustriert und beschrieben wurde, so ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen.

Claims (31)

1. Verfahren zur Qualitätssicherung eines Systems (1, 40), welches ein beispielbasiertes Teilsystem (46) aufweist, bei welchem - das beispielbasierte Teilsystem (46) anhand von erhobenen Beispielen (22), welche eine Beispielmenge bilden, erstellt und trainiert wird, - die Qualitätssicherung des Systems (1, 40) anhand eines Vorgehensmodells (301) zur Durchführung eines Entwicklungsprozesses erfolgt, welches einen Plan für das Vorgehen bei der Qualitätssicherung des Systems (1, 40) repräsentiert, und - die Qualitätssicherung des beispielbasierten Teilsystems (46) anhand einer Qualitätsbewertung, welche anhand der Beispielmenge (22) ermittelt wird, erfolgt.
2. Verfahren nach Anspruch 1, bei welchem - das jeweilige Beispiel (22) der Beispielmenge einen Eingabewert (12), welcher in einem Eingaberaum (20) liegt, umfasst und - die lokale Umgebung eines Beispiels (22) im Eingaberaum für eine Entscheidung über die Anwendung des beispielbasierten Teilsystems oder für die Steuerung des Entwicklungsprozesses verwendet wird.
3. Verfahren nach Anspruch 2, bei welchem eine Gewichtung für die Anwendung einer Mehrzahl von beispielbasierten Teilsystemen abhängig von der Dichte der Beispiele in einer lokalen Umgebung des Eingaberaums eines Beispiels getroffen wird.
4. Verfahren nach Anspruch 3, bei welchem die Entscheidung über die Auswahl der Anwendung eines beispielbasierten Teilsystems aus einer Mehrzahl von alternativen beispielbasierten Teilsystemen getroffen wird.
5. Verfahren nach Anspruch 4, bei welchem die Entscheidung getroffen wird, dass ein beispielbasiertes Teilsystem nicht angewendet wird, wenn die Anzahl an Beispielen, die in der lokalen Umgebung des Beispiels vorhanden sind, kleiner als ein vorgegebener Wert ist.
6. Verfahren nach wenigstens einem der Ansprüche 2 bis 5, bei welchem ein Prozessparameter, welcher die Vertrauenswürdigkeit der Kompetenz des beispielbasierten Teilsystems repräsentiert, in Abhängigkeit von der lokalen Umgebung des Beispiels gesetzt wird.
7. Verfahren nach wenigstens einem der vorhergehenden Ansprüche 1 bis 6, bei welchem - das jeweilige Beispiel einen Ausgabewert, der in einem Ausgaberaum liegt, umfasst, - für den jeweiligen Umgebungsbereich eine lokale Komplexitätsbewertung bestimmt wird (E), welche eine durch die Beispiele des Umgebungsbereichs definierte Komplexität einer Aufgabenstellung des beispielbasierten Systems (1) repräsentiert, und - die lokale Komplexitätsbewertung durch die relative Lage der Beispiele des Umgebungsbereichs zueinander im Eingaberaum (20) und Ausgaberaum bestimmt wird (E1).
8. Verfahren nach Anspruch 7, bei welchem die Entscheidung getroffen wird, dass ein beispielbasiertes Teilsystem nicht angewendet wird, weil die Komplexitätsbewertung in der lokalen Umgebung des Eingaberaums für die geforderte Qualität der Anwendung des beispielbasierten Teilsystems größer als ein vorgegebener Wert ist.
9. Verfahren nach Anspruch 7 oder 8, bei welchem die Gewichtung für die Anwendung einer Menge von Beispielmengen abhängig von der lokalen Komplexität in der lokalen Umgebung des Eingaberaums getroffen wird.
10. Verfahren nach wenigstens einem der vorhergehenden Ansprüche 2 bis 9, bei welchem die Entscheidung anhand - einer bestimmten Anzahl an nächsten Nachbarn zu einem Beispiel, - der Anzahl der Beispiele, die sich in einer definierten normierten Entfernung zu dem betrachteten Beispiel befinden, und/oder - eines Qualitätsindikators in einem Teilraum des Eingaberaumes, welcher für eine relevante Untermenge der Teilräume des Eingaberaums bestimmt wird, getroffen wird.
11. Verfahren nach wenigstens einem der vorhergehenden Ansprüche, wobei das Ermitteln (C) der Qualitätsbewertung umfasst: - Verteilen (C1) von Repräsentanten (24, 28) im Eingaberaum (20) und - Zuordnen (C2) einer Anzahl von Beispielen (29) der Beispielmenge zu dem jeweiligen Repräsentanten (28), wobei die dem Repräsentanten (28) zugeordneten Beispiele (29) in einem Umgebungsbereich (30) des Eingaberaums (20), welcher den Repräsentanten (28) umgibt, liegen und wobei als Qualitätsbewertung eine lokale Qualitätsbewertung für den Umgebungsbereich (30) ermittelt wird (C3).
12. Verfahren nach wenigstens einem der vorhergehenden Ansprüche 1 bis 11, wobei die Qualitätsbewertung ein statistisches Mittel, welches anhand - der lokalen Umgebung bestimmt und/oder - aus dem Repräsentanten nach Anspruch 11 ermittelt wird, dem das betrachtete Beispiel entsprechend seiner Position im Eingaberaum zugeordnet wird, umfasst.
13. Verfahren nach Anspruch 12, wobei als statistisches Mittel ein statistisches Maß, insbesondere ein Mittelwert, Median, Minimum und/oder Quantile der Anzahl ermittelt wird.
14. Verfahren nach wenigstens einem der Ansprüche 7 bis 13, wobei die Komplexitätsbewertung ein integrierter Qualitätsindikator QI² ist, - wobei der Qualitätsindikator auf der Basis der folgenden Definition bestimmt wird: $$Q{I}^{2\left(P\right)}=\frac{1}{\left|P^2\right|}{\displaystyle \sum _{x_i\in P^2}{\left(d_{NRE}\left(x_i\right)-d_{NRA}\left(x_i\right)\right)}^2}$$

    

    - wobei: $$d_{NRE}\left(x\right)=\raisebox{1ex}{$d_{RE}\left(x\right)$}\!\left/ \!\raisebox{-1ex}{$\frac{\mathrm{\Sigma }y\in {\text{P}}^2{d}_{RE}\left(y\right)}{\left|P^2\right|}$}\right.$$

    

    der normierte Abstand der repräsentierten Eingaben und $$d_{NRA}\left(x\right)=\raisebox{1ex}{$d_{RA}\left(x\right)$}\!\left/ \!\raisebox{-1ex}{$\frac{\mathrm{\Sigma }y\in {\text{P}}^2{d}_{RA}\left(y\right)}{\left|P^2\right|}$}\right.$$

    

    der normierte Abstand der repräsentierten Ausgaben ist, - wobei x das Paar (x₁,x₂,) bestehend aus den zwei Beispielen x₁ und x₂ ist, - wobei x₁ und x₂ Beispiele aus der Beispielmenge P sind, - wobei P = {p₁,p₁,...,_P|P|] die Menge der Elemente der Multimenge BAG P und - wobei |P²| die Anzahl der Elemente der Multimenge BAG P ist.
15. Verfahren nach wenigstens einem der Ansprüche 7 bis 14, bei welchem die Komplexitätsbewertung - auf einem Vergleich der Beispiele der Beispielmenge untereinander und - einer Mengeneinteilung der miteinander verglichenen Beispiele basiert, wobei die miteinander verglichenen Beispiele eingeteilt werden in die Mengen: $$-ECS\_EE\left(P\right)=\left\{x|x\in P^2\mathrm{\Lambda }{\mathrm{\delta }}_{RE}\left(x\right)\le {\delta }_{in}\mathrm{\Lambda }{d}_{RA}\left(x\right)\le {\delta }_{out}\right\}$$

    

    $$-ECS\_EU\left(P\right)=\left\{x|x\in P^2\mathrm{\Lambda }{\mathrm{\delta }}_{RE}\left(x\right)\le {\delta }_{in}\mathrm{\Lambda }{d}_{RA}\left(x\right)>{\delta }_{out}\right\}$$

    

    $$-ECS\_UE\left(P\right)=\left\{x|x\in P^2\mathrm{\Lambda }{\mathrm{\delta }}_{RE}\left(x\right)>{\delta }_{in}\mathrm{\Lambda }{d}_{RA}\left(x\right)\le {\delta }_{out}\right\}$$

    

    $$-ECS\_UU\left(P\right)=\left\{x|x\in P^2\mathrm{\Lambda }{\mathrm{\delta }}_{RE}\left(x\right)>{\delta }_{in}\mathrm{\Lambda }{d}_{RA}\left(x\right)>{\delta }_{out}\right\}$$

    

    wobei P die Beispielmenge und P² die Menge an Beispielpaaren, welche aus P gebildet werden können, sind, wobei d_RE(x) der Abstand der Beispiele x₁, x₂ im Eingaberaum und d_RA(x) der Abstand der Beispiele x₁, x₂ im Ausgaberaum ist, wobei zwei Beispiele ähnliche Eingabemerkmalswerte aufweisen, wenn der Eingaberaumabstand d_RE(x) kleiner als das vorgegebene Eingabedelta δ_in ist und wobei zwei Beispiele ähnliche Ausgabemerkmalswerte aufweisen, wenn der Ausgaberaumabstand d_RA(x) kleiner als das vorgegebene Ausgabedelta δ_out ist.
16. Verfahren nach wenigstens einem der vorhergehenden Ansprüche 1 bis 15, bei welchem das Vorgehen bei der Qualitätssicherung des Systems entsprechend dem Vorgehen bei dem V-Modell (301) zur Durchführung eines Entwicklungsprozesses erfolgt.
17. Verfahren nach Anspruch 16, bei welchem in einem ersten Schritt des Vorgehens der beispielbasierte Anteil des Systems festgelegt wird (AA).
18. Verfahren nach Anspruch 16 oder 17, bei welchem in einem weiteren Schritt des Vorgehens bei der Qualitätssicherung die Erhebung der Beispiele spezifiziert (BB).
19. Verfahren nach wenigstens einem der vorhergehenden Ansprüche 16 bis 18, bei welchem in einem weiteren Schritt des Vorgehens Sicherheitsanforderungen und ein sicherer Zustand des Systems definiert werden (CC) .
20. Verfahren nach wenigstens einem der vorhergehenden Ansprüche 16 bis 19, bei welchem in einem weiteren Schritt (DD) des Vorgehens - die Qualitätssicherung für die Beispiele definiert wird, - die Beispiele erhoben werden und - eine initiale Qualitätssicherung der Beispiele durchgeführt wird.
21. Verfahren nach wenigstens einem der vorhergehenden Ansprüche 16 bis 20, bei welchem in einem weiteren Schritt des Vorgehens - eine Modularisierung der durch das Teilsystem (46) zu lösenden Gesamtaufgabe, - eine Transformation der Beispiele (22), - eine Repräsentation der Beispiele (22), - eine Kodierung der Beispiele (22) und - eine Netzwerkstrukturen eines künstlichen neuronalen Netzes des beispielbasierten Teilsystems (46) festgelegt werden (EE).
22. Verfahren nach wenigstens einem der vorhergehenden Ansprüche 16 bis 21, bei welchem in einem weiteren Schritt des Vorgehens - bei der Modularisierung erzeugte Module, welche Teilnetze des künstlichen neuronalen Netzes sind, - die Transformationen der Beispiele (22), - die Repräsentation der Beispiele (22), - der Kodierung der Beispiele (22) und - das künstliche neuronale Netz implementiert werden (FF).
23. Verfahren nach wenigstens einem der vorhergehenden Ansprüche 16 bis 22, bei welchem in einem weiteren Schritt des Vorgehens - die Transformation der Beispiele (22), - die Repräsentationen der Beispiele (22), - die Kodierung der Beispiele und - das Training und der Test des künstlichen neuronalen Netzes durchgeführt werden. (GG)
24. Verfahren nach Anspruch 2 und Anspruch 23, bei welchem - ein abgesicherter Bereich des Eingaberaums (20) anhand der Qualitätsbewertung ermittelt wird und - das künstliche neuronale Netz ausschließlich in dem abgesicherten Bereich angewendet wird (GG1).
25. Verfahren nach Anspruch 22 und 24, bei welchem in einem weiteren Schritt des Vorgehens die Module unter Berücksichtigung einer Kenntnis über einen abgesicherten Bereich integriert werden (HH), wobei die Kenntnis anhand der Qualitätsbewertung gewonnen wird.
26. Verfahren nach Anspruch 25, bei welchem die Spur eines Beispiels verfolgt wird (HH1), indem die durch das Beispiel angeregten Neuronen des künstlichen neuronalen Netzes überwacht werden.
27. Verfahren nach Anspruch 25 oder 26, bei welchem das beispielbasierte Teilsystem anhand einer Validierungsbeispielmenge, die unabhängigen Validierungsbeispiele umfasst, validiert wird (JJ).
28. Verfahren nach wenigstens einem der vorhergehenden Ansprüche 16 bis 27, bei welchem in einem weiteren Schritt des Vorgehens - Erstellungsbeispiele, welche für die Erstellung des beispielbasierten Teilsystems erfasst werden, einem ersten Beispielsatz zugeordnet werden, - Anwendungsbeispiele, welche bei der Anwendung des beispielbasierten Teilsystems erfasst werden, einem zweiten Beispielsatz zugeordnet werden und - eine ersten Qualitätsbewertung, welche anhand des ersten Beispielsatzes ermittelt wird, und eine zweite Qualitätsbewertung, welche anhand des zweiten Beispielsatzes ermittelt wird, werden miteinander verglichen.
29. Verfahren nach wenigstens einem der vorhergehenden Ansprüche 16 bis 28, bei welchem das jeweilige Beispiel der Beispielmenge einen Eingabewert, welcher in einem Eingaberaum liegt, umfasst, wobei bei dem Verfahren in einem weiteren Schritt des Vorgehens - Trainingsbeispiele, welche für das Training des beispielbasierten Teilsystems verwendet werden, einem ersten Beispielsatz zugeordnet werden, - weitere Beispiele, welche anhand von im Eingaberaum verteilten Eingabewerten durch das beispielbasierte Teilsystem erzeugt werden, einem zweiten Beispielsatz zugeordnet werden und - eine ersten Qualitätsbewertung, welche anhand des ersten Beispielsatzes ermittelt wird, und eine zweite Qualitätsbewertung, welche anhand des zweiten Beispielsatzes ermittelt wird, werden miteinander verglichen.
30. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch eine Recheneinheit diese veranlassen, das Verfahren nach wenigstens einem der Ansprüche 1 bis 29 durchzuführen.
31. Computerlesbares Speichermedium, umfassend Befehle, die bei der Ausführung durch eine Recheneinheit diese veranlassen, dass Verfahren nach wenigstens einem der Ansprüche 1 bis 29 durchzuführen.

Images