DE102019131639B4 - System zum Bereitstellen eines Erklärungsdatensatzes für ein KI-Modul - Google Patents

System zum Bereitstellen eines Erklärungsdatensatzes für ein KI-Modul Download PDF

Info

Publication number
DE102019131639B4
DE102019131639B4 DE102019131639.1A DE102019131639A DE102019131639B4 DE 102019131639 B4 DE102019131639 B4 DE 102019131639B4 DE 102019131639 A DE102019131639 A DE 102019131639A DE 102019131639 B4 DE102019131639 B4 DE 102019131639B4
Authority
DE
Germany
Prior art keywords
data record
designed
module
data set
optimization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102019131639.1A
Other languages
English (en)
Other versions
DE102019131639A1 (de
Inventor
Felix Assion
Florens Fabian Greßner
Stephan Hinze
Frank Kretschmer
Benedikt Julius Wagner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Neurocat GmbH
Original Assignee
Neurocat GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Neurocat GmbH filed Critical Neurocat GmbH
Priority to DE102019131639.1A priority Critical patent/DE102019131639B4/de
Priority to EP20810956.1A priority patent/EP4062329A1/de
Priority to US17/778,724 priority patent/US20230025692A1/en
Priority to CN202080080879.9A priority patent/CN114830140A/zh
Priority to PCT/EP2020/082749 priority patent/WO2021099501A1/de
Publication of DE102019131639A1 publication Critical patent/DE102019131639A1/de
Application granted granted Critical
Publication of DE102019131639B4 publication Critical patent/DE102019131639B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/045Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G06Q40/03Credit; Loans; Processing thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

System (4), umfassend- mindestens eine Servereinheit (50), umfassend eine Vorrichtung zur Bereitstellung eines Erklärungsdatensatzes (2), umfassend:- eine Server-Kommunikationsschnittstelle (53), die dazu ausgebildet ist, einen Benutzerdatensatz (20) zu empfangen, der zumindest einen Eingangsdatensatz (21) eines KI-Moduls (31) angibt, wobei das KI-Modul (31) dazu ausgebildet ist, für den Eingangsdatensatz (21), z.B. mittels einer Regression und/oder Klassifikation, einen Ausgangsdatensatz (3) zu berechnen, wobei der Benutzerdatensatz (20) zumindest eine Zielangabe (25) umfasst, die einen Wert eines Datenelements (26) in einem Ausgangsdatensatz (3) des KI-Moduls (31) angibt, wobei die Server-Kommunikationsschnittstelle (53) ferner dazu ausgebildet ist, mindestens einen Anbieterdatensatz (30) zu empfangen, wobei der Anbieterdatensatz (30) das KI-Modul (31) und mindestens eine Randbedingung (32, 33, 34) für eine Vielzahl von Optimierungsaufgaben (16) umfasst;- eine Optimierungseinheit (12), die dazu ausgebildet ist, eine Vielzahl von Optimierungsaufgaben (16) zu laden, welche jeweils eine Kombination einer konkreten spezifischen Metrik (14) und/oder einer konkreten Ähnlichkeitsmetrik (15) aus jeweiligen Klassen von spezifischen und Ähnlichkeitsmetriken angeben und die ferner dazu ausgebildet ist, eine Vielzahl von Lösungen der Vielzahl von Optimierungsaufgaben (16) als Erklärungsdatensatz (2) unter Berücksichtigung des Benutzerdatensatzes (20) und des KI-Moduls (31) unter Verwendung mindestens einer Optimierungsmethode (17) zu berechnen, wobei der Erklärungsdatensatz eine Vielzahl von Erklärungen für den Eingangsdatensatz angibt, und wobei das KI-Modul (31) dazu ausgebildet ist, für den Erklärungsdatensatz (2) einen Ausgangsdatensatz (3) zu berechnen, der das durch die Zielangabe (25) angegebene Datenelement (26) umfasst, wobei die Optimierungsmethode (17) dazu ausgebildet ist, die Vielzahl von Optimierungsaufgaben (16) unter Berücksichtigung der mindestens einen Randbedingung (32, 33, 34) des Anbieterdatensatzes (30) zu berechnen;- eine Bereitstellungseinheit (13), die dazu ausgebildet ist, den Erklärungsdatensatz (2) bereitzustellen- mindestens eine erste Client-Einheit (60) mit einer ersten Client-Kommunikationsschnittstelle (63), die dazu ausgebildet ist, eine Anfrage an die Server- Kommunikationsschnittstelle (53) umfassend den Benutzerdatensatz (20) zu senden und einen Erklärungsdatensatz von der Servereinheit (50) zu empfangen;- eine zweite Client-Einheit, die dazu ausgebildet ist, den Anbieterdatensatz (30) an die Server-Kommunikationsschnittstelle (53) zu senden.

Description

  • Die Erfindung betrifft ein System zum Bereitstellen eines Erklärungsdatensatzes für ein KI-Modul.
  • Mit KI-Modulen ist es möglich, für einen Eingangsdatensatz eine Klassifizierung oder eine Regression auszuführen. Zum Beispiel kann mittels eines künstlichen neuronalen Netzes für jeden Pixel eines Bildes bestimmt werden, ob dieser Hautkrebs zeigt oder nicht. Ferner ist es möglich, mit einem KI-Modul basierend auf Kundendaten eines Kunden einer Bank zu bestimmen, ob der Kunde einen Kredit erhalten soll oder nicht.
  • KI-Module sind komplexe Datenstrukturen bzw. Programme, die in einer Trainingsphase oder im Falle von verstärkendem Lernen (Engl. „Reinforcement Learning“) während des Betriebs für eine Aufgabe trainiert werden. Zum Beispiel werden bei einem künstlichen neuronalen Netzwerk die Gewichte einer Vielzahl von Aktivierungsfunktionen bestimmt. Darüber hinaus können noch weitere Hyperparameter bestimmt werden, die die Struktur des künstlichen neuronalen Netzwerks bestimmen. Die Anzahl der zu lernenden Gewichte/Parameter ist dabei sehr groß.
  • Ein Problem bei modernen Methoden des maschinellen Lernens ist, dass die Komplexität der KI-Module groß ist, sodass es schwierig und in vielen Fällen unmöglich ist, für Menschen verständlich detailliert zu erklären, warum ein KI-Modul basierend auf einem Eingangsdatensatz zu einer bestimmten Ausgabe gelangt ist. Darüber hinaus ist es schwierig zu erklären, warum eine bestimmte Eingabe zu einer Ausgabe führt und eine andere Eingabe zu derselben oder einer anderen Ausgabe führt.
  • Die Nichterklärbarkeit einer Entscheidung des KI-Moduls führt zu vielen Problemen. So ist es zum Beispiel nicht möglich, ein KI-Modul für den Einsatz im Bereich des autonomen Fahrens zu zertifizieren, ohne ein tiefergehendes Verständnis für die Entscheidungsabläufe zu haben.
  • Darüber hinaus existieren regulatorische Probleme. So existiert zumindest in der Europäischen Union eine gesetzliche Regelung, nach der es einem Benutzer eines KI-Moduls ermöglicht werden soll, eine Erläuterung einer getroffenen Entscheidung des KI-Moduls zu erhalten.
  • Eine technische Erläuterung unter Angabe der involvierten Hyperparameter und Gewichte ist jedoch, selbst wenn dies möglich wäre, für einen Benutzer nicht zufriedenstellend.
  • In der Veröffentlichung Wächter, Sandra & Mittelstadt, Brent & Russell, Chris. (2018). Counterfactual Explanations Without Opening the Black Box: Automated Decisions and the GDPR. Harvard Journal of Law & Technology. 31. 841-887, wird vorgeschlagen, einem Benutzer eines KI-Moduls anstelle einer technischen Erklärung, einen Erklärungsdatensatz, auch Counterfactual genannt, bereitzustellen. Der Erklärungsdatensatz soll im Wesentlichen dem Eingangsdatensatz des Benutzers für das KI-Modul entsprechen, jedoch mit derartigen Änderungen, dass ein gewünschtes alternatives Ergebnis durch das KI-Modul bereitgestellt wird.
  • Zum Beispiel könnte ein KI-Modul dazu ausgebildet sein, basierend unter anderem auf dem Gehalt eines Benutzers zu beurteilen, ob dieser einen Kredit gewährt bekommen sollte oder nicht. Wird der Kredit dem Benutzer verwehrt, so könnte dieser eine Erklärung für den negativen Entscheid verlangen.
  • Die vorstehende Veröffentlichung schlägt die generelle Idee vor, dem Benutzer einen Erklärungsdatensatz bereitzustellen, der alternative Eingangsdaten für das KI-Modul enthält, die zu einer positiven Entscheidung für den Kredit geführt hätten. Zum Beispiel könnte der alternative Erklärungsdatensatz ein höheres Einkommen angeben, mit dem eine positive Kreditentscheidung durch das KI-Modul gefällt worden wäre.
  • Diese Methodik lässt sich auf beliebige Anwendungsgebiete übertragen. Zum Beispiel könnte in einem medizinischen Kontext ein Erklärungsdatensatz Angaben enthalten, welche Blutwerte sich ändern müssten, um einen negative Diagnose hinsichtlich einer Krankheit zu erhalten. So können mit dem Erklärungsdatensatz auch Verhaltensmaßnahmen abgeleitet werden, die zu einem gesünderen Lebensstil beitragen.
  • Die oben genannte Veröffentlichung enthält keine mathematischen oder technischen Details zur Idee einer möglichen Implementierung zur Generierung eines Erklärungsdatensatzes bzw. von Counterfactuals.
  • Aus der Veröffentlichung SHARMA, Shubham; HENDERSON, Jette; GHOSH, Joydeep: CERTIFAI: counterfactual explanations for robustness, transparency, interpretability, and fairness of artificial intelligence models, 20 May 2019. 8 S.; ist bekannt, zum Finden von Counterfactuals genetische Algorithmen einzusetzen. Diese Implementierung ist jedoch nicht immer effizient.
  • Aus der Veröffentlichung MC GRATH, Rory [et. AI.]: Interpretable credit application predictions with counterfactual explanations. 16. November 2018. 9S. ist bekannt, Counterfactuals bei einem Kreditvergabeprozess einzusetzen.
  • Ausgehend von diesem Stand der Technik ist es daher Aufgabe der Erfindung, für ein KI-Modul einen Erklärungsdatensatz bereitzustellen. Es ist weiter insbesondere Aufgabe der Erfindung, eine technische Implementierung für die Bereitstellung eines Erklärungsdatensatzes anzugeben.
  • Die Aufgabe wird gelöst durch ein System nach Anspruch 1.
  • Ein Aspekt betrifft ein Verfahren zum Bereitstellen eines Erklärungsdatensatzes für ein KI-Modul, umfassend:
    • - Empfangen eines Benutzerdatensatzes, der zumindest einen Eingangsdatensatz eines KI-Moduls angibt, wobei das KI-Modul dazu ausgebildet ist, für den Eingangsdatensatz, z.B. mittels einer Regression und/oder Klassifikation, einen Ausgangsdatensatz zu berechnen, wobei der Benutzerdatensatz zumindest eine Zielangabe umfasst, die einen Wert eines Datenelements in einem Ausgangsdatensatz des KI-Moduls angibt;
    • - Laden mindestens einer Optimierungsaufgabe, welche eine spezifische Metrik und/oder eine Ähnlichkeitsmetrik angibt;
    • - Berechnen mindestens einer Lösung der mindestens einen Optimierungsaufgabe als Erklärungsdatensatz unter Berücksichtigung des Benutzerdatensatzes und des KI-Moduls und unter Verwendung mindestens einer Optimierungsmethode, wobei das KI-Modul dazu ausgebildet ist, für den Erklärungsdatensatz einen Ausgangsdatensatz zu berechnen, der das durch die Zielangabe angegebene Datenelement umfasst;
    • - Bereitstellen des Erklärungsdatensatzes für das KI-Modul.
  • Die Aufgabe wird insbesondere gelöst durch ein System, umfassend
    • - mindestens eine Servereinheit, umfassend eine Vorrichtung zur Bereitstellung eines Erklärungsdatensatzes, umfassend:
      • - eine Server-Kommunikationsschnittstelle, die dazu ausgebildet ist, einen Benutzerdatensatz zu empfangen, der zumindest einen Eingangsdatensatz eines KI-Moduls angibt, wobei das KI-Modul dazu ausgebildet ist, für den Eingangsdatensatz, z.B. mittels einer Regression und/oder Klassifikation, einen Ausgangsdatensatz zu berechnen, wobei der Benutzerdatensatz zumindest eine Zielangabe umfasst, die einen Wert eines Datenelements in einem Ausgangsdatensatz des KI-Moduls angibt, wobei die Server-Kommunikationsschnittstelle ferner dazu ausgebildet ist, mindestens einen Anbieterdatensatz zu empfangen, wobei der Anbieterdatensatz das KI-Modul und mindestens eine Randbedingung für eine Vielzahl von Optimierungsaufgaben umfasst;
      • - eine Optimierungseinheit, die dazu ausgebildet ist, eine Vielzahl von Optimierungsaufgaben zu laden, welche jeweils eine Kombination einer konkreten spezifischen Metrik und/oder einer konkreten Ahnlichkeitsmetrik aus jeweiligen Klassen von spezifischen und Ähnlichkeitsmetriken angeben und die ferner dazu ausgebildet ist, eine Vielzahl von Lösungen der Vielzahl von Optimierungsaufgaben als Erklärungsdatensatz unter Berücksichtigung des Benutzerdatensatzes und des KI-Moduls unter Verwendung mindestens einer Optimierungsmethode zu berechnen, wobei der Erklärungsdatensatz eine Vielzahl von Erklärungen für den Eingangsdatensatz angibt, und wobei das KI-Modul dazu ausgebildet ist, für den Erklärungsdatensatz einen Ausgangsdatensatz zu berechnen, der das durch die Zielangabe angegebene Datenelement umfasst, wobei die Optimierungsmethode dazu ausgebildet ist, die Vielzahl von Optimierungsaufgaben unter Berücksichtigung der mindestens einen Randbedingung des Anbieterdatensatzes zu berechnen;
      • - eine Bereitstellungseinheit, die dazu ausgebildet ist, den Erklärungsdatensatz bereitzustellen
    • - mindestens eine erste Client-Einheit mit einer ersten Client-Kommunikationsschnittstelle, die dazu ausgebildet ist, eine Anfrage an die Server- Kommunikationsschnittstelle umfassend den Benutzerdatensatz zu senden und einen Erklärungsdatensatz von der Servereinheit zu empfangen;
    • - eine zweite Client-Einheit, die dazu ausgebildet ist, den Anbieterdatensatz an die Server- Kommunikationsschnittstelle zu senden.
  • Ein Kern der Erfindung ist, dass die Aufgabe des Findens eines Erklärungsdatensatzes als eine Optimierungsaufgabe modelliert wird. Dabei kann ein Benutzer eine Zielangabe bereitstellen, die ein gewünschtes Ergebnis für den Eingangsdatensatz nach der Verarbeitung durch das KI-Modul darstellen kann. Die Zielangabe gibt daher mindestens einen Wert eines Datenelements in einem Ausgangsdatensatz des KI-Moduls an.
  • Die Optimierungsaufgabe gibt eine spezifische und eine Ähnlichkeitsmetrik an, wobei das Minimieren der Metriken in einer Ausführungsform die Optimierungsaufgabe lösen kann. Dabei können die spezifische und die Ähnlichkeitsmetrik jeweils Klassen von Metriken angeben, sodass durch eine Kombination unterschiedlicher konkreter spezifischer und konkreter Ähnlichkeitsmetriken eine Vielzahl von Optimierungsaufgaben definiert werden können, deren Lösung jeweils unterschiedliche Ergebnisse liefert. Somit kann der Erklärungsdatensatz in einer Ausführungsform eine Vielzahl von unterschiedlichen Erklärungen für den Eingangsdatensatz liefern.
  • Darüber hinaus ist es auch möglich, die mindestens eine Optimierungsaufgabe mit unterschiedlichen Optimierungsmethoden zu lösen. Somit können unterschiedliche konkrete Metriken mit unterschiedlichen Optimierungsmethoden kombiniert werden, um eine große Anzahl von Erklärungen als Erklärungsdatensatz bereitzustellen.
  • In einer Ausführungsform kann der Benutzerdatensatz mindestens eine Randbedingung für die mindestens eine Optimierungsaufgabe umfassen, wobei die Optimierungsmethode die mindestens eine Optimierungsaufgabe unter Berücksichtigung der mindestens einen Randbedingung des Benutzerdatensatzes berechnen kann.
  • Es ist also möglich, dass ein Benutzer Randbedingungen für die Optimierungsaufgabe festlegen kann.
  • In einer Ausführungsform kann die mindestens eine Randbedingung eine Zulassungsangabe umfassen, wobei eine Zulassungsangabe angeben kann, in welchen durch den Eingangsdatensatz definierten Merkmalskategorien sich der Erklärungsdatensatz von dem Eingangsdatensatz unterscheiden darf.
  • Mit der beschriebenen Ausführungsform ist es möglich, dass ein Benutzer eine Art Blacklist und/oder Whitelist für Merkmalskategorien definiert, in denen sich der Erklärungsdatensatz von dem Eingangsdatensatz unterscheiden darf. So kann ein Benutzer festlegen, dass zum Beispiel ein im Eingangsdatensatz angegebenes Gehalt nicht geändert werden darf. Dies kann für Merkmalskategorien sinnvoll sein, die nicht geändert werden können. Durch die Randbedingungen können somit auch technische Limitierungen angegeben werden, wie zum Beispiel eine Höchstgeschwindigkeit eines Fahrzeugs oder ein maximaler Spannungswert.
  • In einer Ausführungsform kann die mindestens eine Randbedingung mindestens ein Gewicht umfassen, wobei ein Gewicht eine Präferenz für eine Änderung einer Merkmalskategorie des Eingangsdatensatzes im Erklärungsdatensatz angeben kann.
  • Es ist somit auch möglich, über eine Randbedingung Merkmalskategorien zu kennzeichnen, die leichter änderbar sind als andere. So sind positive und auch negative Gewichte denkbar. So kann ein Kunde einer Bank zum Beispiel leichter seine aktuelle Anstellung wechseln, als seinen Bildungshintergrund.
  • In einer Ausführungsform kann die mindestens eine Randbedingung mindestens eine Bereichsangabe umfassen, wobei die mindestens eine Bereichsangabe einen erlaubten Wertebereich einer Merkmalskategorie des Erklärungsdatensatzes angeben kann, insbesondere eine maximal und/oder minimal zugelassene Abweichung von einem Wert im Eingangsdatensatz.
  • Mit der vorstehend beschriebenen Ausführungsform ist es somit ferner möglich, zugelassene Wertebereiche im Ausgangsdatensatz anzugeben. Dies ist zum Beispiel dann vorteilhaft, wenn Bilddaten den Eingangsdatensatz bilden und die Datenelemente des Erklärungsdatensatzes auf bestimmte Farbwerte und/oder Helligkeitswerte begrenzt werden müssen, z.B. jeweils 0 bis 255 für Helligkeitswerte eines Farbkanals. Auch kann durch eine Begrenzung der zugelassenen Werte erreicht werden, dass eine sehr starke Änderung eines einzelnen Datenelements verhindert wird.
  • Insgesamt kann durch das Vorsehen von Randbedingungen, die von einem Benutzer oder einem Anbieter bzw. Betreiber eines KI-Moduls bereitgestellt bzw. definiert werden, der Lösungsraum der mindestens einen Optimierungsaufgabe eingeschränkt werden und der Benutzer erhält nur solche Lösungen als Erklärungsdatensatz, die für ihn relevant sind.
  • In einer Ausführungsform kann der Erklärungsdatensatz eine Vielzahl von Variationen des Eingangsdatensatzes umfassen, die jeweils die mindestens eine Randbedingung erfüllen.
  • Wie bereits obenstehend angedeutet, kann der Erklärungsdatensatz eine Vielzahl von Variationen des Eingangsdatensatzes umfassen, die durch eine Kombination unterschiedlicher Metriken und Optimierungsmethoden erzeugt werden können.
  • In einer Ausführungsform kann das Verfahren ein Empfangen mindestens eines Anbieterdatensatzes umfassen, wobei der Anbieterdatensatz mindestens eine Randbedingung für die mindestens eine Optimierungsaufgabe umfassen kann, wobei die Optimierungsmethode die mindestens eine Optimierungsaufgabe unter Berücksichtigung der mindestens einen Randbedingung des Anbieterdatensatzes berechnen kann.
  • Neben einem Benutzerdatensatz kann somit ebenfalls ein Anbieterdatensatz mit Randbedingungen empfangen werden. Somit können einerseits bestimmte Randbedingungen durch einen Benutzer eines KI-Moduls und andererseits durch einen Anbieter bzw. Betreiber eines KI-Moduls angegeben werden. Der Benutzerdatensatz und der Betreiberdatensatz können separat als zwei unterschiedliche Dateneinheiten empfangen werden oder auch als Teil eines einzelnen Datensatzes.
  • In einer Ausführungsform kann die mindestens eine Randbedingung des Anbieterdatensatzes eine Ausgabeanzahl angeben, wobei die Ausgabeanzahl angeben kann, wie viele Variationen des Eingangsdatensatzes berechnet werden und von dem Erklärungsdatensatz umfasst sind.
  • Um die Anzahl der möglichen Variationen des Eingangsdatensatzes überschaubar zu gestalten, kann die Anzahl der Variationen begrenzt werden. Zum Beispiel kann in einer Ausführungsform die Anzahl auf die Ausgabeanzahl begrenzt sein. In einer Ausführungsform kann die Ausgabeanzahl die Anzahl der zu lösenden Optimierungsaufgaben multipliziert mit der Anzahl der verwendeten Optimierungsmethoden angeben. In einer Ausführungsform kann das Bereitstellen des Erklärungsdatensatzes ein Filtern umfassen, wobei das Filtern ein Begrenzen der durch den Erklärungsdatensatz angegebenen Lösungen der mindestens einen Optimierungsaufgabe umfassen kann.
  • In einer Ausführungsform kann die mindestens eine Optimierungsmethode eine Gradientenmethode und/oder ein Newton-Verfahren umfassen. Eine Gradientenmethode und ein Newton-Verfahren sind effiziente Möglichkeiten, die mindestens eine Optimierungsaufgabe lösen.
  • In einer Ausführungsform kann die spezifische Metrik minimal sein, wenn die Zielangabe mit dem Datenelement des Ausgangsdatensatzes des KI-Moduls übereinstimmt, wobei die spezifische Metrik z.B. als Kreuzentropie und/oder als mittlere quadratische Abweichung ausgebildet sein kann.
  • Die Minimierung der spezifischen Metrik stellt somit sicher, dass der Ergebnisdatensatz zu einer Ausgabe des KI-Moduls führt, die der Zielangabe entspricht. Dabei kann eine Kreuzentropie oder auch eine mittlere quadratische Abweichung als spezifische Metrik verwendet werden. Beide dieser konkreten Metriken sind effizient zu implementieren und können von Optimierungsmethoden minimiert werden.
  • In einer Ausführungsform kann die Ähnlichkeitsmetrik als eine Lp-Norm ausgebildet sein, insbesondere als L0, L1- und/oder L2-Metrik.
  • Die Ähnlichkeitsmetrik stellt sicher, dass der Erklärungsdatensatz nah an dem Eingangsdatensatz liegt. Die Verwendung einer Ähnlichkeitsmetrik und deren mathematische Optimierung, d.h. Minimierung, durch Optimierungsmethoden hat den Vorteil, dass ein Änderungsvektor dünnbesetzt ist bzw. niedrige Werte umfasst, beispielsweise die minimale Anzahl veränderter Vektorwerte im Falle der L0-Metrik oder die kleinstmögliche Wurzel der Summe der quadrierten einzelnen Vektorwerte im Falle der L2-Metrik . Das bedeutet, dass sich der Eingangsdatensatz und der Erklärungsdatensatz nur in wenigen Datenelementen unterscheiden und die jeweiligen Unterschiede der Datenelemente zielgerichtet begrenzt werden. Dies ermöglicht sinnvolle Eingabevergleiche für den KI-Nutzer bzw. KI-Anwender.
  • In einer Ausführungsform kann die mindestens eine Optimierungsaufgabe durch die Formel min δ M s p ( δ ) + λ M i m ( δ )
    Figure DE102019131639B4_0001
    angegeben sein, wobei Msp die spezifische Metrik und Mim die Ähnlichkeitsmetrik angeben kann und δ aus einer Menge der zulässigen Veränderungen des Eingangsdatensatzes ausgewählt sein kann.
  • Die vorstehende Formel kann durch Optimierungsmethoden gelöst werden und stellt damit eine effiziente Implementierung der Optimierungsaufgaben bereit. Die Menge der zulässigen Veränderungen des Eingangsdatensatzes kann in einer Ausführungsform durch mindestens eine bzw. die mindestens eine Randbedingung des Benutzerdatensatzes und/oder des Anbieterdatensatzes bestimmt sein.
  • In einer Ausführungsform kann das Verfahren ein Berechnen eines Ausgangsdatensatzes unter Verwendung des KI-Moduls umfassen, wobei der Erklärungsdatensatz als Eingangsdatensatz des KI-Modul verwendet werden kann.
  • Das Verfahren kann somit auch das Verwenden des berechneten Erklärungsdatensatzes durch das KI-Modul umfassen. Damit kann geprüft, werden, ob der Erklärungsdatensatz zu dem durch die Zielangabe angegebenen Ergebnis führt.
  • Ein weiterer Aspekt betrifft ein computerlesbares Speichermedium, welches Instruktionen enthält, die mindestens einen Prozessor dazu veranlassen, ein Verfahren wie es vorstehend beschrieben wurde, zu implementieren, wenn die Instruktionen durch den mindestens einen Prozessor ausgeführt werden.
  • Ein weiterer Aspekt betrifft eine Vorrichtung zur Bereitstellung eines Erklärungsdatensatzes, umfassend:
    • - eine Empfangseinheit, die dazu ausgebildet ist, einen Benutzerdatensatz zu empfangen, der zumindest einen Eingangsdatensatz eines KI-Moduls angibt, wobei das KI-Modul dazu ausgebildet ist, für den Eingangsdatensatz, z.B. mittels einer Regression und/oder Klassifikation, einen Ausgangsdatensatz zu berechnen, wobei der Benutzerdatensatz zumindest eine Zielangabe umfasst, die einen Wert eines Datenelements in einem Ausgangsdatensatz des KI-Moduls angibt;
    • - eine Optimierungseinheit, die dazu ausgebildet ist, eine Optimierungsaufgabe zu laden, welche eine spezifische Metrik und/oder eine Ähnlichkeitsmetrik angibt und die ferner dazu ausgebildet ist, mindestens eine Lösung der mindestens einen Optimierungsaufgabe als Erklärungsdatensatz unter Berücksichtigung des Benutzerdatensatzes und des KI-Moduls unter Verwendung mindestens einer Optimierungsmethode zu berechnen, wobei das KI-Modul dazu ausgebildet ist, für den Erklärungsdatensatz einen Ausgangsdatensatz zu berechnen, der das durch die Zielangabe angegebene Datenelement umfasst;
    • - eine Bereitstellungseinheit, die dazu ausgebildet ist, den Erklärungsdatensatz bereitzustellen.
  • In einer Ausführungsform kann die Vorrichtung eine KI-Einheit umfassen, die dazu ausgebildet sein kann, einen Ausgangsdatensatz zu berechnen, wobei der Erklärungsdatensatz als Eingangsdatensatz des KI-Moduls verwendet werden kann.
  • In einer Ausführungsform kann die Empfangseinheit dazu ausgebildet sein, mindestens einen Anbieterdatensatz zu empfangen, wobei der Anbieterdatensatz mindestens eine Randbedingung für die mindestens eine Optimierungsaufgabe umfassen kann, wobei die Optimierungsmethode dazu ausgebildet sein kann, die mindestens eine Optimierungsaufgabe unter Berücksichtigung der mindestens einen Randbedingung des Anbieterdatensatzes zu berechnen.
  • Bezüglich des computerlesbaren Speichermediums und der Vorrichtung ergeben sich ähnliche oder identische Vorteile, wie sie bereits in Zusammenhang mit dem vorstehend beschriebenen Verfahren beschrieben worden sind.
  • Ein weiterer Aspekt betrifft ein System, umfassend:
    • - mindestens eine Servereinheit, die insbesondere eine Vorrichtung, wie sie vorstehend beschrieben ist und eine Server-Kommunikationseinheit aufweist;
    • - mindestens eine Clienteinheit mit einer Client-Kommunikationseinheit, die dazu ausgebildet ist, eine Anfrage an die Server-Kommunikationseinheit zu senden, insbesondere über ein Kommunikationsnetz;

    wobei die Server-Kommunikationseinheit dazu ausgebildet ist, eine anwendungsprogrammierbare Schnittstelle bereitzustellen, die dazu ausgebildet ist, einen Benutzerdatensatz zu empfangen und einen Erklärungsdatensatz zu senden.
  • Es ergeben sich ähnliche oder identische Vorteile, wie sie bereits im Zusammenhang mit dem vorstehend beschrieben Verfahren und der vorstehend beschriebenen Vorrichtung beschrieben worden sind.
  • Es wird explizit darauf hingewiesen, dass sämtliche hinsichtlich des Verfahrens beschriebenen Aspekte mit der Vorrichtung und dem System kombiniert werden können.
  • Weitere Ausführungsformen ergeben sich aus den Unteransprüchen.
  • Im Folgenden wird die Erfindung durch Ausführungsbeispiele näher erläutert. Dabei zeigen:
    • 1: eine schematische Darstellung eines Systems;
    • 2: eine schematische Darstellung der Funktionsweise eines KI-Moduls mit einem Erklärungsdatensatz;
    • 3: eine schematische Darstellung einer Vorrichtung zur Bereitstellung eines Erklärungsdatensatzes;
    • 4: eine schematische Darstellung einer Optimierungseinheit;
    • 5: ein Beispiel für einen Eingangsdatensatz;
    • 6: ein Beispiel für einen Erklärungsdatensatz;
    • 7: eine schematische Darstellung eines verteilten Systems.
  • Im Folgenden werden für gleiche oder gleichwirkende Teile dieselben Bezugsziffer verwendet.
  • 1 zeigt eine schematische Darstellung eines Systems 1, welches für einen Benutzerdatensatz 20 einen Erklärungsdatensatz 2 bestimmt. Das System 1 weist eine Vorrichtung 10 auf, die dazu ausgebildet ist, unter Berücksichtigung des Benutzerdatensatzes 20 und/oder eines Anbieterdatensatzes 30 den Erklärungsdatensatz 2 zu bestimmen. Eine solche Vorrichtung 10 kann auch als Counterfactory 10 bezeichnet werden.
  • Der Benutzerdatensatz 20 weist einen Eingangsdatensatz 21 auf. Der Eingangsdatensatz 21 umfasst eine Vielzahl von Datenelementen, die eine Eingabe für ein KI-Modul 31 bilden.
  • Der Eingangsdatensatz 21 kann in einem Ausführungsbeispiel Bilddaten umfassen, wobei die Datenelemente Helligkeitswerte für Pixel darstellen. In einem weiteren Ausführungsbeispiel kann der Eingangsdatensatz 21 die Eigenschaften eines Bankkunden umfassen, wobei die Datenelemente des Eingangsdatensatz 21 zum Beispiel das Einkommen, den Beruf und das Alter des Kunden angeben können.
  • Der Benutzerdatensatz 20 weist ferner eine Zulassungsangabe 22 auf, die angibt, in welchen Merkmalskategorien sich der Erklärungsdatensatz 2 von dem Eingangsdatensatz 21 unterscheiden darf. Der Benutzer hat somit in dem gezeigten Ausführungsbeispiel die Möglichkeit, anzugeben, welche Merkmale sich ändern dürfen und welche nicht. Die Zulassungsangabe 22 kann daher auch als eine Blacklist bzw. Whitelist angesehen werden. Der Benutzer kann in dem genannten Beispiel eines Bankkunden beispielsweise angeben, dass sich das Merkmal „Alter“ in dem Erklärungsdatensatz 2 nicht ändern darf, da er darauf keinen Einfluss hat. Die Zulassungsangabe 22 kann als Vektor angegeben sein, wobei die Anzahl der Dimensionen des Vektors mit der Anzahl der Merkmalskategorien des Eingangsdatensatzes 21 korrespondiert. Jedes Datenelement des Vektors kann angeben, ob eine Merkmalskategorie verändert werden darf.
  • Zusätzlich umfasst der Benutzerdatensatz 20 mindestens ein Gewicht 23, welches in dem gezeigten Ausführungsbeispiel eine Präferenz angibt, welche Merkmalskategorien in dem Erklärungsdatensatz 2 vorzugsweise verändert werden sollen oder welche nicht, ohne diese komplett zu blockieren. So könnte in dem Beispiel des Bankkunden dieser angeben, dass in dem Erklärungsdatensatz 2 ein Jobwechsel wahrscheinlicher sein soll, als eine Erhöhung des Einkommens.
  • Ferner umfasst der Benutzerdatensatz 20 in dem gezeigten Ausführungsbeispiel mindestens eine Bereichsangabe 24, die angibt, in welchen Bereichen sich die Variation eines Datenelements des Eingangsdatensatzes 21 bewegen darf. Dies ist dann sinnvoll, wenn bestimmte Änderungen nicht möglich sind. Zum Beispiel kann bei einem Eingangsdatensatz 21, der Bilddaten angibt, mit der Bereichsangabe 24 sichergestellt werden, dass eine Variation von Helligkeitswerten wieder ein zulässiger Helligkeitswert ist, z.B. im Bereich vom 0 bis 255.
  • Letztlich umfasst der Benutzerdatensatz 20 eine Zielangabe 25, die das gewünschte Ergebnis, welches durch das KI-Modul 31 bestimmt werden soll, angibt. Zum Beispiel könnte in einem Klassifikationsbeispiel die Zielangabe 25 eine Klasse angeben. Im Falle eines Regressionsbeispiels kann die Zielangabe 25 einen bestimmten Wert angeben. Im Beispiel des vorstehend beschriebenen Bankkunden kann die Zielangabe 25 z.B. angeben, dass ein Kredit gewährt werden soll.
  • Der Anbieterdatensatz 30 weist das KI-Modul 31 auf, welches dazu ausgebildet ist, eine Klassifikation und/oder Regression auszuführen. Das KI-Modul 31 kann eine Softwarekomponente sein, die der Vorrichtung 10 bereitgestellt wird. Zum Beispiel kann das KI-Modul 31 als Bibliothek einer objektorientierten Programmiersprache zur Verfügung gestellt werden. Es ist jedoch auch denkbar, dass das KI-Modul 31 über eine Anwendungsprogrammierbare Schnittstelle (API) zur Verfügung gestellt wird. Der Vorrichtung 10 wird in diesem Fall eine Beschreibung der API als KI-Modul 31 zur Verfügung gestellt.
  • Bei dem KI-Modul 31 kann es sich um ein beliebiges KI-Modul handeln. Zum Beispiel um ein KI-Modul, welches nach den Prinzipien des überwachten Lernens und/oder nicht-überwachten Lernens trainiert ist. Zum Beispiel kann es sich bei dem KI-Modul 31 um ein künstliches neuronales Netzwerk handeln. Es ist jedoch auch jede andere Implementierung eines KI-Moduls denkbar, solange dieses für einen Eingangsdatensatz 21 eine Regression und/oder Klassifikation ausführt.
  • Der Anbieterdatensatz 30 umfasst in dem gezeigten Ausführungsbeispiel weiterhin eine Zulassungsangabe 32, die, wie die Zulassungsangabe 22 des Benutzerdatensatzes 20, eine Angabe darüber aufweist, welche Merkmalskategorien verändert werden dürfen. Der Anbieter des KI-Moduls 31 kann zum Beispiel somit verhindern, dass Veränderungen bestimmter Merkmalskategorien als Erklärung vorgeschlagen werden, wie z.B. eine Hautfarbe.
  • Darüber hinaus weist der Anbieterdatensatz 30 eine Ausgabeanzahl 33 auf, die angibt, wie viele unterschiedliche Erklärungen bzw. Variationen der Erklärungsdatensatz 2 umfassen soll. Dadurch kann sichergestellt werden, dass der Benutzer nur eine übersichtliche Anzahl von Erklärungen erhält.
  • Ferner umfasst der Anbieterdatensatz 30 in dem gezeigten Ausführungsbeispiel eine Abweichungsangabe 34. Die Abweichungsangabe 34 gibt an, wie stark der Erklärungsdatensatz 2 von dem Eingangsdatensatz 21 mindestens abweichen muss. Zum Beispiel könnte eine Erklärung, dass ein Kredit bei einer Gehaltserhöhung von wenigen Cent gewährt worden wäre, bei einem Kunden sehr negativ auffallen. Es ist somit möglich, festzulegen, dass eine gewisse Mindeständerung in dem Erklärungsdatensatz 2 enthalten sein soll.
  • Insgesamt legen die Zulassungsangabe 22, das mindestens eine Gewicht 23, die Bereichsangabe 24, die Zielangabe 25, die Zulassungsangabe 32, die Ausgabeanzahl 33 und die Abweichungsangabe 34 Randbedingungen fest, die von der Vorrichtung 10 bei Bereitstellung des Erklärungsdatensatzes 2 berücksichtigt werden.
  • Die 2 zeigt eine schematische Darstellung des Ergebnisses der Verarbeitung des Erklärungsdatensatzes 2 durch ein KI-Modul 31. In der 2 ist schematisch dargestellt, dass ein durch eine Vorrichtung/Counterfactory 10 bereitgestellter Erklärungsdatensatz 2 als ein Eingangsdatensatz für ein KI-Modul 31 verwendet werden kann, sodass dieses einen Ausgangsdatensatz 3 bestimmt. Der Ausgangsdatensatz 3 gibt ein Datenelement 26 an, welches ein Regressionsergebnis oder ein Klassifikationsergebnis angeben kann. In dem Ausführungsbeispiel der 2 entspricht das Datenelement 26 der Zielangabe 25.
  • Die 3 zeigt eine schematische Detailansicht der Vorrichtung/Counterfactory 10. Die Counterfactory 10 empfängt durch eine Empfangseinheit 11 einen Benutzerdatensatz 20 und/oder einen Anbieterdatensatz 30. Eine Optimierungseinheit 12 ist dazu ausgebildet, unter Verwendung des Benutzerdatensatzes 20 und des Anbieterdatensatzes 30 einen Erklärungsdatensatz 2 zu bestimmen, der durch eine Bereitstellungseinheit 13 bereitgestellt wird.
  • Die Funktionsweise der Optimierungseinheit 12 ist in der 4 näher gezeigt. Die Optimierungseinheit 12 ist dazu ausgebildet, unter Verwendung einer spezifischen Metrik 14 und einer Ähnlichkeitsmetrik 15 eine Optimierungsaufgabe 16 zu definieren. Diese Optimierungsaufgabe 16 wird unter Verwendung einer Optimierungsmethode 17 und der durch den Benutzerdatensatz 20 bzw. Anbieterdatensatz 30 angegebenen Randbedingungen in der Löser- bzw. Solver-Einheit 18 gelöst, wobei die Lösung als Erklärungsdatensatz 2 bereitgestellt wird.
  • Eine Optimierungsaufgabe 16 ist durch die Formel: min δ M s p ( δ ) + λ M i m ( δ )
    Figure DE102019131639B4_0002
    angegeben, wobei Msp die spezifische Metrik 14 und Mim die Ähnlichkeitsmetrik 15 angeben und δ aus der Menge der zulässige Veränderungen des Eingangsdatensatzes 21 ausgewählt ist.
  • Durch Wahl unterschiedlicher konkreter Metriken kann auch eine Vielzahl von Optimierungsaufgaben 16 bestimmt werden. So kann die spezifische Metrik 14 als Kreuzentropie oder als mittlere quadratische Abweichung ausgebildet sein. Die Ähnlichkeitsmetrik 15 kann als L0, L1 oder als L2 -Norm ausgebildet sein.
  • Somit können durch die Kombination der unterschiedlichen Metriken viele Optimierungsaufgaben 16 definiert sein. Eine erste Optimierungsaufgabe kann z.B. die Kreuzentropie als spezifische Metrik 14 und die L0, L1 oder als L2 -Norm als Ähnlichkeitsmetrik 15 verwenden. Eine zweite Optimierungsaufgabe kann die mittlere quadratische Abweichung als spezifische Metrik 14 und die L0, L1 oder als L2-Norm als Ähnlichkeitsmetrik 15 verwenden.
  • Durch die Kombination unterschiedlicher konkreter Metriken als spezifische 14 bzw. Ähnlichkeitsmetrik 15 werden durch die Lösung der oben gezeigten Formel unterschiedliche mögliche Erklärungen berechnet, die von dem Erklärungsdatensatz 2 umfasst sind.
  • Darüber hinaus können zusätzlich oder alternativ unterschiedliche Optimierungsmethoden 17 zur Lösung der Optimierungsaufgaben 16 verwendet werden, sodass eine noch größere Anzahl von Erklärungen bestimmt werden können, die als Erklärungsdatensatz 2 bereitgestellt werden können.
  • Die 5 und 6 zeigen ein Beispiel für einen Eingangsdatensatz 21 und einen Erklärungsdatensatz 2 für einen Kunden einer Bank, der einen Kredit erhalten möchte. Mit dem gezeigten Eingangsdatensatz 21 bestimmt ein KI-Modul 31, dass der Kunde keinen Kredit bekommen wird. Das KI-Modul 31 führt somit eine Klassifikation durch. Der Eingangsdatensatz 21 umfasst die Merkmalskategorien ALTER 41, EINKOMMEN 41' und BERUF 41". Jeder der Merkmalskategorien 41, 41', 41" ist ein Wert 42, 42', 42" zugeordnet.
  • 6 zeigt einen Erklärungsdatensatz 2, der durch die Vorrichtung/Counterfactory 10 bereitgestellt ist. Der Vorrichtung 10 ist als Teil des Benutzerdatensatzes 20 eine Zielangabe 25 übergeben, sodass die Klassifikation durch das KI-Modul 31 ergeben soll, dass ein Kredit durch Veränderung des Datenelemente 42, 42', 42" gewährt wird. Als Randbedingung wird der Vorrichtung/Counterfactory 10 als Zulassungsangabe 22 übergeben, dass nur die Datenelemente der Merkmalskategorien EINKOMMEN 41' und BERUF 41" verändert werden dürfen.
  • Der Erklärungsdatensatz 2 entspricht im Wesentlichen dem Eingangsdatensatz 21. Lediglich in der Merkmalskategorie EINKOMMEN 41' ist der Wert verändert. Der Benutzer erhält somit mit dem Erklärungsdatensatz 2 einen Wert für das Einkommen, das notwendig ist, um bei andernfalls gleichbleibenden Merkmalen eine Klassifikation durch das KI-Modul 31 zu erhalten, sodass der Kredit gewährt wird.
  • 7 zeigt ein verteiltes System 4, welches einen Server 50 und einen Client 60 aufweist. Der Server 50 und der Client 60 können über ein Kommunikationsnetz 70, wie dem Internet, kommunizieren. Dazu weist der Client 60 eine Client-Kommunikationsschnittstelle 63 auf, die mit einer Client-Recheneinheit 62 kommunikativ verbunden ist. Der Client 60 weist ferner eine Client-Speichereinheit 61 auf, die dazu ausgebildet ist, einen Eingangsdatensatz 21 zu speichern.
  • Der Server 50 weist eine Server-Kommunikationsschnittstelle 53 auf, die mit einer Server-Recheneinheit 52 kommunikativ verbunden ist. Die Server-Recheneinheit 52 ist dazu ausgebildet, ein Programm, welches die Counterfactory 10 implementiert auszuführen.
  • Die Funktionalität der Counterfactory 10 wird in dem gezeigten Ausführungsbeispiel mittels einer API über die Server-Kommunikationsschnittstelle 53 bereitgestellt. Das bedeutet, dass der Client 60 dazu ausgebildet ist, über einen API-Aufruf einen Benutzerdatensatz 20 an den Server 50 bzw. die Server-Kommunikationsschnittstelle 53 zu übertragen. Der Server 50 bzw. die Server-Recheneinheit 52 lädt aus einer Server-Speichereinheit 51 einen Anbieterdatensatz 30. Zusätzlich oder alternativ kann der Server 50 den Anbieterdatensatz 30 auch von einem zweiten Client über die Server-Kommunikationsschnittstelle 53 erhalten.
  • Die Server-Recheneinheit 52 ist ferner dazu ausgebildet, unter Berücksichtigung des Benutzerdatensatzes 20 und des Anbieterdatensatz 30 einen Erklärungsdatensatz 2 zu bestimmen und diesen über die Server-Kommunikationsschnittstelle 53 an den Client 60 zu übertragen.
  • Durch das Verwenden einer API ist es auch möglich, sogenanntes kontinuierliches Auditing (Engl. „Continuous Auditing“) zu ermöglichen. Es kann also jederzeit die Funktion des KI-Moduls 31 geprüft werden.
  • In einem Ausführungsbeispiel ist es auch möglich, dass der Server 50 das KI-Modul 31 ausführt und die Ergebnisse, d.h. die jeweiligen Ausgangsdatensätze 3 speichert. Ein Benutzer bzw. ein Client 60 kann dann zu einem späteren Zeitpunkt einen Erklärungsdatensatz 2 abfragen. Dabei ist es optional möglich, dass in der Server-Speichereinheit 51 ebenfalls zu den jeweiligen Ausgangsdatensätzen 3 ein
  • Zustand des verwendeten KI-Moduls 31 mitgespeichert wird, sodass verschiedene Versionen des KI-Moduls 31 zeitlich nachvollzogen werden können. Dabei kann es vorteilhaft sein, einen Hash-Wert für den Zustand des KI-Moduls 31 zu speichern.
  • Bezugszeichenliste
  • 1
    System
    2
    Erklärungsdatensatz
    3
    Ausgangsdatensatz
    4
    Verteiltes System
    10
    Vorrichtung/Counterfactory
    11
    Empfangseinheit
    12
    Optimierungseinheit
    13
    Bereitstellungseinheit
    14
    Spezifische Metrik
    15
    Ähnlichkeitsmetrik
    16
    Optimierungsaufgabe
    17
    Optimierungsmethode
    18
    Solver
    20
    Benutzerdatensatz
    21
    Eingangsdatensatz
    22
    Zulassungsangabe
    23
    Gewicht
    24
    Bereichsangabe
    25
    Zielangabe
    26
    Datenelement
    30
    Anbieterdatensatz
    31
    KI-Modul
    32
    Zulassungsangabe/Whitelist
    33
    Ausgabeanzahl
    34
    Abweichungsangabe
    41, 41', 41''
    Merkmalskategorie
    42, 42', 42',42'''
    Datenelement
    50
    Server
    51
    Server-Speichereinheit
    52
    Server-Recheneinheit
    53
    Server-Kommunikationsschnittstelle/API
    60
    Client
    61
    Client-Speichereinheit
    62
    Client-Recheneinheit
    63
    Client-Kommunikationsschnittstelle
    70
    Kommunikationsnetzwerk

Claims (10)

  1. System (4), umfassend - mindestens eine Servereinheit (50), umfassend eine Vorrichtung zur Bereitstellung eines Erklärungsdatensatzes (2), umfassend: - eine Server-Kommunikationsschnittstelle (53), die dazu ausgebildet ist, einen Benutzerdatensatz (20) zu empfangen, der zumindest einen Eingangsdatensatz (21) eines KI-Moduls (31) angibt, wobei das KI-Modul (31) dazu ausgebildet ist, für den Eingangsdatensatz (21), z.B. mittels einer Regression und/oder Klassifikation, einen Ausgangsdatensatz (3) zu berechnen, wobei der Benutzerdatensatz (20) zumindest eine Zielangabe (25) umfasst, die einen Wert eines Datenelements (26) in einem Ausgangsdatensatz (3) des KI-Moduls (31) angibt, wobei die Server-Kommunikationsschnittstelle (53) ferner dazu ausgebildet ist, mindestens einen Anbieterdatensatz (30) zu empfangen, wobei der Anbieterdatensatz (30) das KI-Modul (31) und mindestens eine Randbedingung (32, 33, 34) für eine Vielzahl von Optimierungsaufgaben (16) umfasst; - eine Optimierungseinheit (12), die dazu ausgebildet ist, eine Vielzahl von Optimierungsaufgaben (16) zu laden, welche jeweils eine Kombination einer konkreten spezifischen Metrik (14) und/oder einer konkreten Ähnlichkeitsmetrik (15) aus jeweiligen Klassen von spezifischen und Ähnlichkeitsmetriken angeben und die ferner dazu ausgebildet ist, eine Vielzahl von Lösungen der Vielzahl von Optimierungsaufgaben (16) als Erklärungsdatensatz (2) unter Berücksichtigung des Benutzerdatensatzes (20) und des KI-Moduls (31) unter Verwendung mindestens einer Optimierungsmethode (17) zu berechnen, wobei der Erklärungsdatensatz eine Vielzahl von Erklärungen für den Eingangsdatensatz angibt, und wobei das KI-Modul (31) dazu ausgebildet ist, für den Erklärungsdatensatz (2) einen Ausgangsdatensatz (3) zu berechnen, der das durch die Zielangabe (25) angegebene Datenelement (26) umfasst, wobei die Optimierungsmethode (17) dazu ausgebildet ist, die Vielzahl von Optimierungsaufgaben (16) unter Berücksichtigung der mindestens einen Randbedingung (32, 33, 34) des Anbieterdatensatzes (30) zu berechnen; - eine Bereitstellungseinheit (13), die dazu ausgebildet ist, den Erklärungsdatensatz (2) bereitzustellen - mindestens eine erste Client-Einheit (60) mit einer ersten Client-Kommunikationsschnittstelle (63), die dazu ausgebildet ist, eine Anfrage an die Server- Kommunikationsschnittstelle (53) umfassend den Benutzerdatensatz (20) zu senden und einen Erklärungsdatensatz von der Servereinheit (50) zu empfangen; - eine zweite Client-Einheit, die dazu ausgebildet ist, den Anbieterdatensatz (30) an die Server-Kommunikationsschnittstelle (53) zu senden.
  2. System nach Anspruch 1, gekennzeichnet durch ein KI-Modul (31), das dazu ausgebildet ist, einen Ausgangsdatensatz (3) zu berechnen, wobei der Erklärungsdatensatz (2) als Eingangsdatensatz des KI-Moduls (31) verwendet wird.
  3. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Benutzerdatensatz (20) mindestens eine Randbedingung (22, 23, 24) für die Vielzahl von Optimierungsaufgaben (16) umfasst, wobei die Optimierungsmethode (17) dazu ausgebildet ist, die Vielzahl von Optimierungsaufgaben (16) unter Berücksichtigung der mindestens einen Randbedingung (22, 23, 24) des Benutzerdatensatzes (20) zu berechnen.
  4. System nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass die mindestens eine Randbedingung (22, 23, 24) eine Zulassungsangabe (22) umfasst, wobei eine Zulassungsangabe (22) angibt, in welchen durch den Eingangsdatensatz (21) definierten Merkmalskategorien (41, 41', 41") sich der Erklärungsdatensatz (2) von dem Eingangsdatensatz (21) unterscheiden darf.
  5. System nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass die mindestens eine Randbedingung (22, 23, 24) mindestens ein Gewicht (23) umfasst, wobei ein Gewicht (23) eine Präferenz für eine Änderung einer Merkmalskategorie (41, 41', 41") des Eingangsdatensatzes (21) im Erklärungsdatensatz (2) angibt.
  6. System nach einem der vorhergehenden Ansprüche dadurch gekennzeichnet, dass der Erklärungsdatensatz (2) eine Vielzahl von Variationen des Eingangsdatensatzes (21) umfasst, die jeweils die mindestens eine Randbedingung (21, 22, 23) erfüllen.
  7. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mindestens eine Optimierungsmethode (17) eine Gradientenmethode und/oder ein Newton-Verfahren umfasst.
  8. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die spezifische Metrik (14) minimal ist, wenn die Zielangabe (25) mit dem Datenelement des Ausgangsdatensatzes (3) des KI-Modules (31) übereinstimmt, wobei die spezifische Metrik (14) z.B. als Kreuzentropie und/oder als mittlere quadratische Abweichung ausgebildet ist.
  9. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ähnlichkeitsmetrik (15) als eine Lp-Norm ausgebildet ist, insbesondere als L0, L1- und/oder L2-Metrik.
  10. System nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vielzahl von Optimierungsaufgaben (16) jeweils durch die Formel min δ M s p ( δ ) + λ M i m ( δ )
    Figure DE102019131639B4_0003
    angegeben sind, wobei Msp die jeweilige konkrete spezifische Metrik (14) und Mim die jeweilige konkrete Ähnlichkeitsmetrik (15) angeben und δ aus einer Menge der zulässigen Veränderungen des Eingangsdatensatzes (21) ausgewählt ist.
DE102019131639.1A 2019-11-22 2019-11-22 System zum Bereitstellen eines Erklärungsdatensatzes für ein KI-Modul Active DE102019131639B4 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE102019131639.1A DE102019131639B4 (de) 2019-11-22 2019-11-22 System zum Bereitstellen eines Erklärungsdatensatzes für ein KI-Modul
EP20810956.1A EP4062329A1 (de) 2019-11-22 2020-11-19 Verfahren zum bereitstellen eines erklärungsdatensatzes für ein ki-modul, computerlesbares speichermedium, vorrichtung und system
US17/778,724 US20230025692A1 (en) 2019-11-22 2020-11-19 Method for Providing an Explanation Dataset for an AI Module, Computer-Readable Storage Medium, Device and System
CN202080080879.9A CN114830140A (zh) 2019-11-22 2020-11-19 为ai模块提供解释数据集的方法、计算机可读存储介质、设备和系统
PCT/EP2020/082749 WO2021099501A1 (de) 2019-11-22 2020-11-19 Verfahren zum bereitstellen eines erklärungsdatensatzes für ein ki-modul, computerlesbares speichermedium, vorrichtung und system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019131639.1A DE102019131639B4 (de) 2019-11-22 2019-11-22 System zum Bereitstellen eines Erklärungsdatensatzes für ein KI-Modul

Publications (2)

Publication Number Publication Date
DE102019131639A1 DE102019131639A1 (de) 2021-05-27
DE102019131639B4 true DE102019131639B4 (de) 2022-01-13

Family

ID=73497788

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019131639.1A Active DE102019131639B4 (de) 2019-11-22 2019-11-22 System zum Bereitstellen eines Erklärungsdatensatzes für ein KI-Modul

Country Status (5)

Country Link
US (1) US20230025692A1 (de)
EP (1) EP4062329A1 (de)
CN (1) CN114830140A (de)
DE (1) DE102019131639B4 (de)
WO (1) WO2021099501A1 (de)

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Automated Decisions and the GDPR. Harvard Journal of Law & Technology. 31. 841-887
MC GRATH, Rory [et al.]: Interpretable credit application predictions with counterfactual explanations. 16 November 2018. 9 S. – URL: https://arxiv.org/pdf/1811.05245 [abgerufen am 05.08.2020]
Sandra & Mittelstadt, Brent & Russell, Chris. (2018)
SHARMA, Shubham ; HENDERSON, Jette ; GHOSH, Joydeep: CERTIFAI : counterfactual explanations for robustness, transparency, interpretability, and fairness of artificial intelligence models, 20 May 2019. 8 S. – URL: https://arxiv.org/pdf/1905.07857.pdf [abgerufen am 05.08.2020]
WACHTER, Sandra ; MITTELSTADT, Brent ; RUSSELL, Chris: Counterfactual explanations without Opening the Black Box: Automated decisions and the GDPR. In: Harvard Journal of Law & Technology, Bd. 31, 2019, H. 2, S. 841-887. - ISSN 0897-3393 (P). URL: https://jolt.law.harvard.edu/assets/articlePDFs/v31/Counterfactual-Explanations-without-Opening-the-Black-Box-Sandra-Wachter-et-al.pdf [abgerufen am 2020-01-24].

Also Published As

Publication number Publication date
WO2021099501A1 (de) 2021-05-27
US20230025692A1 (en) 2023-01-26
CN114830140A (zh) 2022-07-29
EP4062329A1 (de) 2022-09-28
DE102019131639A1 (de) 2021-05-27

Similar Documents

Publication Publication Date Title
EP3785177B1 (de) Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neuronalen netzes
DE10245931A1 (de) Workflow-Management-System und Verfahren mit kontinuierlicher Status-Verwaltung
DE102005034160A1 (de) Verfahren zur Optimierung der Durchführung von Messungen
DE102018220941A1 (de) Auswertung von Messgrößen mit KI-Modulen unter Berücksichtigung von Messunsicherheiten
DE112014001359T5 (de) Prädiktives System zum Bereitstellen von Unternehmensanwendungen
DE60306494T2 (de) Vorrichtung, verfahren und computerprogrammprodukt zur modellierung der kausalität in einem flusssystem
DE102019131639B4 (de) System zum Bereitstellen eines Erklärungsdatensatzes für ein KI-Modul
EP3931760A1 (de) Training neuronaler netzwerke für effizientes implementieren auf hardware
DE102019213061A1 (de) Klassifizierung von KI-Modulen
DE102021200789A1 (de) Computer-implementiertes Verfahren und Vorrichtung zur Manipulationserkennung für Abgasnachbehandlungssysteme mithilfe Verfahren künstlicher Intelligenz
DE102019217300A1 (de) Verfahren zum Trainieren eines künstlichen neuronalen Netzes, Computerprogramm, Speichermedium, Vorrichtung, künstliches neuronales Netz und Anwendung des künstlichen neuronalen Netzes
EP3748574A1 (de) Adaptive bereinigung von messdaten um unterschiedliche arten von störungen
DE102019133174A1 (de) Kontextsensitiver Weißabgleich für Operationsmikroskope
DE102022128197B3 (de) Interpolationsbasierte Reverse Inference eines refraktiven Ergebnisses von AI-Basierter IOL-Bestimmung
DE102016207768A1 (de) Vorrichtung und Verfahren zum Bereitstellen einer Menge von Modultypen
WO2022242812A1 (de) Computerimplementiertes verfahren und system zur bestimmung von optimierten systemparametern eines technischen systems mittels einer kostenfunktion
DE102016113310A1 (de) Verfahren zur Bewertung von Aussagen einer Mehrzahl von Quellen zu einer Mehrzahl von Fakten
DE102022208614A1 (de) Rekonstruktion von Trainings-Beispielen im föderierten Training neuronaler Netzwerke
DE102022207072A1 (de) Verfahren zum Ermitteln einer optimalen Architektur eines künstlichen neuronalen Netzes
DE102022206892A1 (de) Verfahren zum Bestimmen einer optimalen Architektur eines künstlichen neuronalen Netzes
WO2021180663A1 (de) Mikroskopiesystem und verfahren zum verarbeiten von mikroskopbildern
DE102022125419A1 (de) Trainings-domänen-basiertes ai-boosting einer iol-bestimmung
DE102021129936A1 (de) Verfahren zur Erzeugung eines White-Box-Modells; System und Computerprogramm
DE102021207275A1 (de) Verfahren zum Erzeugen eines künstlichen neuronalen Netzes
DE102017210294A1 (de) Verfahren und Vorrichtung zum Steuern eines Betriebs zumindest eines hochautomatisierten Systems einer Mehrzahl von miteinander interaktionsfähigen, hochautomatisierten Systemen

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final