DE112020000537T5 - Verbesserung von fairness durch bestärkendes lernen - Google Patents

Abstract

Ein auf einem Computer implementiertes Verfahren zum Verbessern von Fairness in einem Modell für überwachtes maschinelles Lernen kann bereitgestellt werden. Das Verfahren weist ein Verknüpfen des Modells für überwachtes maschinelles Lernen mit einem Metamodell für bestärkendes Lernen, ein Auswählen einer Liste von Hyperparametern und Parametern des Modells für überwachtes maschinelles Lernen und ein Steuern zumindest eines Aspekts des Modells für überwachtes maschinelles Lernen durch Anpassen von Hyperparameterwerten und Parameterwerten der Liste von Hyperparametern und Parametern des Modells für überwachtes maschinelles Lernen durch eine Engine für bestärkendes Lernen, die sich auf das Metamodell für bestärkendes Lernen bezieht, durch Berechnen einer Belohnungsfunktion auf Grundlage mehrerer sich widersprechender Zielfunktionen auf. Das Verfahren weist des Weiteren ein iteratives Wiederholen der Schritte des Auswählens und Steuerns zum Verbessern eines Fairness-Wertes des Modells für überwachtes maschinelles Lernen auf.

Description

• GEBIET DER ERFINDUNG
• Die Erfindung bezieht sich allgemein auf ein Verfahren zum Verbessern von maschinellem Lernen und im Besonderen auf ein auf einem Computer implementiertes Verfahren zum Verbessern von Fairness und zum Verringern einer diskriminierenden Verzerrung in einem Modell für überwachtes maschinelles Lernen (supervised machine learning, SML). Die Erfindung bezieht sich des Weiteren auf ein damit in Zusammenhang stehendes System zum Verbessern von Fairness zum Verbessern von Fairness in einem Modell für überwachtes maschinelles Lernen und auf ein Computerprogrammprodukt.
• HINTERGRUND
• Künstliche Intelligenz, maschinelles Lernen und/oder kognitive Datenverarbeitung sind derzeit eines der gefragtesten Themen sowohl in der Forschung als auch bei Implementierungen in Unternehmen. In den letzten Jahren hat eine starke Zunahme von Ansätzen und Anwendungen künstlicher Intelligenz (artificial intelligence, AI) stattgefunden. Die Ergebnisse eines trainierten Modells für maschinelles Lernen sind jedoch nur so gut wie der zugrunde liegende Trainings-Datensatz. Dies ist einer der Gründe, warum Teile der Gesellschaft und bestimmte Branchengruppen bei einer Ersteinführung von AI-Technologien zurückhaltend sind. Eine Verzerrung, hier definiert als systematische Bevorzugung bestimmter privilegierter Teilgruppen, ist als ein Hauptproblem und Hindernis für einen weiteren Fortschritt der AI festgestellt worden.
• Es ist vorhergesagt worden, dass eine AI-Verzerrung explodieren wird, aber nur die unverzerrte AI überleben wird. Da auch einschlägige Antidiskriminierungsgesetze auf der ganzen Welt bestehen, ist somit ein Abschwächen einer Verzerrung in Modellen für maschinelles Lernen heutzutage ein Hauptanliegen.
• AI ist zweifellos eine der Hauptgründe für die aktuelle Entwicklung der IT(Informationstechnologie)-Branche. Diese Chance kann jedoch nur genutzt werden, wenn die etwa 70 bekannten Fairness-Metriken und etwa 10 bekannten Ansätze zum Abschwächen einer Verzerrung nach dem Stand der Technik aus der Forschung Einzug in praktische Anwendungen und die tatsächliche Praxis in so breitgefächerten Bereichen wie Finanzwesen, Personalwesen, Gesundheitswesen und Bildungswesen halten.
• Es sind mehrere Offenbarungen im Zusammenhang mit einem auf einem Computer implementierten Verfahren zum Steuern eines Modells für überwachtes maschinelles Lernen vorhanden:
• Das Dokument US 9 008 840 B1 offenbart einen Rahmen zum Übertragen von Wissen von einem externen Agenten an eine Robotersteuereinheit. Bei einer Anwendung zur Hindernisvermeidung/Zielannäherung kann die Steuereinheit so konfiguriert sein, dass sie ein Lehrsignal auf Grundlage einer sensorischen Eingabe ermittelt, wobei das Lehrsignal Informationen übermittelt, die einer Zielaktion in Übereinstimmung mit einer sensorischen Eingabe zugehörig sind, wobei die sensorische Eingabe einen Hinweis auf das Ziel/Hindernis gibt.
• Das Dokument US 2018/0012137 A1 offenbart ein Steuersystem und ein Verfahren zum Steuern eines Systems, das einen Datensatz einsetzt, der eine Mehrzahl von Zuständen und zugehörigen Trajektorien einer Umgebung des Systems darstellt. Es ermittelt iterativ eine Schätzung einer optimalen Steuerrichtlinie für das System.
• Ein Nachteil bekannter Lösungen kann darin bestehen, dass sie innerhalb der Grenzen ihrer eigenen Konfiguration bleiben, so dass sie nur innerhalb eines gegebenen Satzes von Parametern flexibel sind. Daher kann ein Bedarf daran bestehen, die Grenzen der derzeit bekannten Verfahren und Systeme zu überwinden, insbesondere um in einem viel größeren Umfang, als heute möglich ist, die Fairness eines Systems für maschinelles Lernen zu erhöhen und dessen Verzerrung zu verringern.
• KURZDARSTELLUNG
• Gemäß einem Aspekt der vorliegenden Erfindung kann ein auf einem Computer implementiertes Verfahren zum Verbessern von Fairness und zum Verringern einer diskriminierenden Verzerrung in einem Modell für überwachtes maschinelles Lernen bereitgestellt werden. Das Verfahren kann ein Verknüpfen des Modells für überwachtes maschinelles Lernen mit einem Metamodell für bestärkendes Lernen, ein Auswählen einer Liste von Hyperparametern und Parametern des Modells für überwachtes maschinelles Lernen und ein Steuern durch den zumindest einen Aspekt des Modells für überwachtes maschinelles Lernen durch Anpassen von Hyperparameterwerten und Parameterwerten der Liste von Hyperparametern und Parametern des Modells für überwachtes maschinelles Lernen durch eine Engine für bestärkendes Lernen, die sich auf das Metamodell für bestärkendes Lernen bezieht, durch Berechnen einer Belohnungsfunktion auf Grundlage mehrerer sich widersprechender Zielfunktionen aufweisen.
• Gemäß einem weiteren Aspekt der vorliegenden Erfindung kann ein damit in Zusammenhang stehendes System zum Verbessern von Fairness zum Verbessern von Fairness und zum Verringern einer diskriminierenden Verzerrung in einem Modell für überwachtes maschinelles Lernen bereitgestellt werden. Das System kann eine Verknüpfungskomponente, die zum Verknüpfen des Modells für überwachtes maschinelles Lernen mit einem Metamodell für bestärkendes Lernen ausgelegt ist, eine Auswahleinheit, die zum Auswählen einer Liste von Hyperparametern und Parametern des Modells für überwachtes maschinelles Lernen ausgelegt ist, und eine Steuereinheit aufweisen, die zum Steuern zumindest eines Aspekts des Modells für überwachtes maschinelles Lernen durch Anpassen von Hyperparameterwerten und Parameterwerten der Liste von Hyperparametern und Parametern des Modells für überwachtes maschinelles Lernen durch eine Engine für bestärkendes Lernen, die sich auf das Metamodell für bestärkendes Lernen bezieht, durch Berechnen einer Belohnungsfunktion auf Grundlage mehrerer sich widersprechender Zielfunktionen ausgelegt ist.
• Gemäß einer bevorzugten Ausführungsform kann das Verfahren darüber hinaus ein Unterbrechen des Wiederholens aufweisen, wenn ein Fairness-Wert größer als ein vordefinierter Fairness-Schwellenwert ist und ein Wert der Leistungsfähigkeit größer als ein vordefinierter Schwellenwert der Leistungsfähigkeit ist. Daher müssen unter Umständen beide Bedingungen erfüllt sein, um zu ermitteln, dass ein optimiertes Modell für maschinelles Lernen ermittelt worden ist.
• Figurenliste
• Es folgt eine ausführliche Beschreibung der Figuren. Alle Anweisungen in den Figuren sind schematisch. Zuerst wird ein Blockschaubild einer Ausführungsform des erfinderischen auf einem Computer implementierten Verfahrens zum Verbessern von Fairness in einem Modell für überwachtes maschinelles Lernen angeführt. Anschließend werden weitere Ausführungsformen sowie Ausführungsformen des Systems zum Verbessern von Fairness zum Verbessern von Fairness in einem Modell für überwachtes maschinelles Lernen beschrieben. Die oben definierten Aspekte und weitere Aspekte der vorliegenden Erfindung sind aus den Beispielen für Ausführungsformen ersichtlich, die im Folgenden zu beschreiben sind und unter Bezugnahme auf die Beispiele von Ausführungsformen erläutert werden, auf die die Erfindung jedoch nicht beschränkt ist.
• Bevorzugte Ausführungsformen der Erfindung werden lediglich als Beispiel und unter Bezugnahme auf die folgenden Zeichnungen beschrieben:
• 1 stellt einen Ablaufplan einer Ausführungsform des erfinderischen auf einem Computer implementierten Verfahrens zum Verbessern von Fairness und zum Verringern einer diskriminierenden Verzerrung in einem Modell für überwachtes maschinelles Lernen dar.
• 2 stellt ein Blockschaubild einer unerwünschten Verzerrung dar.
• 3 stellt ein Blockschaubild eines umfassenden Ablaufplans dar, der das vorgeschlagene Konzept auf einer hohen Ebene zusammenfasst.
• 4 stellt ein Blockschaubild einer Ausführungsform einer Umgebung aus verschiedenen Typen von Modellen für maschinelles Lernen und/oder verschiedenen Modellparametern dar.
• 5 stellt einen Ablaufplan eines Satzes von interagierenden Komponenten dar.
• 6 stellt als Beispiel einen Ablaufplan eines Algorithmus zur Kreditwürdigkeitsprüfung dar, der möglicherweise keine geschlechtsspezifischen Unterschiede aufweist.
• 7 stellt ein Blockschaubild einer Ausführungsform des Systems zum Verbessern von Fairness zum Verbessern von Fairness und zum Verringern einer diskriminierenden Verzerrung in einem Modell für überwachtes maschinelles Lernen dar.
• 8 stellt ein Blockschaubild einer Ausführungsform eines Datenverarbeitungssystems dar, das das System gemäß 7 aufweist.
• AUSFÜHRLICHE BESCHREIBUNG
• Im Rahmen dieser Beschreibung können die folgenden Konventionen, Begriffe und/oder Ausdrücke verwendet werden:
• Der Begriff Fairness' ausgedrückt als Fairness-Wert - kann im Rahmen dieses Dokuments bedeuten, dass Vorhersagen von Systemen für maschinelles Lernen und damit in Zusammenhang stehenden Algorithmen im Hinblick auf spezifische geschützte Attribute unverzerrt sein können. Im Hinblick auf diese geschützten Attribute (z.B. segmentierte relevante Teilgruppen usw.) - z.B. Geschlecht, Alter, ethnische Zugehörigkeit, physische Attribute, Nationalität, Geschlechtspräferenz, geschlechtliche Anziehung, Geschlechtsidentifikation, Glaubenspräferenz usw. -, Vorhersagen und/oder Klassifizierungen oder sonstige Ausgabewerte von Systemen für maschinelles Lernen, soll die erzeugte Ausgabe ausgewogen, d.h., mehr oder weniger gleich sein. Ein Erhöhen eines Fairness-Wertes kann also auch als Verringern eines Verzerrungswertes einer Ausgabe eines Systems für maschinelles Lernen interpretiert werden.
• Der Begriff Modell für überwachtes maschinelles Lernen' (SML) kann ein Modell mit damit in Zusammenhang stehenden Parametern bezeichnen, wie sie durch einen Trainings-Prozess erzeugt werden, bei dem ein System für maschinelles Lernen Parameter von Funktionen und Gewichtungsfaktoren zwischen den Funktionen ,lernen' und optimieren ,kann'. Das Modell kann also als ein Satz von Parametern betrachtet werden, der das Szenario eines spezifischen Systems für maschinelles Lernen beschreibt. Ein solches System für maschinelles Lernen kann durch einen Trainings-Datensatz trainiert werden, der Beispiele aufweist, entsprechend derer das Modell in dem System für maschinelles Lernen entwickelt wird oder sich selbst entwickelt. Es sei außerdem angemerkt, dass die Beispiele des Trainings-Datensatzes mit Anmerkungen versehen sind, die angeben, was als Ausgabewert für den gegebenen Eingabewert von dem System für maschinelles Lernen erwartet wird. Auf diese Weise können auch unbekannte Daten, die als Eingabe in das System für maschinelles Lernen verwendet werden, entsprechend dem abgeleiteten Modell (während der Trainings-Phase) kategorisiert werden.
• Der Begriff Metamodell für bestärkendes Lernen' kann - neben überwachtem maschinellen Lernen und unüberwachtem maschinellen Lernen - einen dritten Typ von AI-Systemen bezeichnen. Er zielt darauf ab, aus Interaktionen mit seiner Umgebung gewonnene Beobachtungen zu verwenden, um Aktionen durchzuführen, die eine Belohnungsfunktion maximieren oder eine gegebene Risikofunktion minimieren würden. So kann ein Algorithmus für bestärkendes Lernen - typischerweise als Agent implementiert - mithilfe von Iterationen fortlaufend von seiner Umgebung lernen. Im Rahmen dieses Dokuments werden die Iterationen im Hinblick auf Änderungen von Parametern und Hyperparametern des Modells für überwachtes maschinelles Lernen durchgeführt, wohingegen die Belohnungsfunktion als eine Kombination der Einschränkungen betrachtet werden kann, d.h., ein Fairness-Wert, der größer als ein vordefinierter Schwellenwert ist, und eine Mindestleistungsfähigkeit des Systems für maschinelles Lernen.
• Der Begriff ,Parameter' kann ein Beschreiben von Variablen eines gegebenen Algorithmus für maschinelles Lernen oder eines damit in Zusammenhang stehenden Systems bezeichnen. Bei einem neuronalen Netz können z.B. die Gewichtungsfaktoren zwischen den künstlichen Neuronen verschiedener Schichten sowie Aktivierungsfunktionen und systematische Abweichungen als Parameter betrachtet werden. Im Gegensatz dazu können Hyperparameter das Modell für maschinelles Lernen selbst beschreiben. So können z.B. bei einem neuronalen Netz der Typ selbst, die Anzahl von Eingabeneuronen, die Anzahl von Ausgabeneuronen, die Anzahl von Neuronen pro verdeckter Schicht sowie die Anzahl von verdeckten Schichten als Hyperparameter bezeichnet werden. So können die Hyperparameter die Architektur des Modells für maschinelles Lernen beschreiben, wohingegen die Parameter desselben Modells für maschinelles Lernen interne Variablen beschreiben, die während des Trainings-Prozesses angepasst werden können.
• Der Begriff ,Belohnungsfunktion' kann - abhängig von dem vorliegenden Problem - eine Funktion bezeichnen, die in einem Lernprozess eines Systems für bestärkendes maschinelles Lernen maximiert oder minimiert werden kann. Der Agent des Systems für bestärkendes maschinelles Lernen - der möglicherweise versucht, die Belohnungsfunktion zu optimieren - kann auch dafür verantwortlich sein, iterativ mit Umgebungsparametern zu „experimentieren“ (d.h., mit seiner Umgebung zu interagieren, indem er Parameter ändert). In dem vorgeschlagenen Konzept können diese Umgebungsparameter sowohl die Parameter des Modells für maschinelles Lernen als auch damit in Zusammenhang stehende Hyperparameter sein.
• Der Begriff „sich widersprechende Zielfunktionen“ kann einen Wert der Leistungsfähigkeit und einen Fairness-Wert bezeichnen, die gleichzeitig optimiert werden sollten. Auch zumindest eine dritte Variable - z.B. eine Genauigkeit des Modells für maschinelles Lernen - kann als Zielfunktion berücksichtigt werden. So sollten sowohl der Wert der Leistungsfähigkeit als auch der Fairness-Wert jeweils einen Mindestschwellenwert während einer gegebenen Höchstanzahl von Iterationen erreichen.
• Der Begriff ,F-Maß-Algorithmus' auch F1-Maß - kann ein Maß für die Korrektheit eines Tests bezeichnen. Er kann zum Berechnen des Maßes sowohl die Genauigkeit als auch die Trefferquote des Tests berücksichtigen. Dadurch kann die Genauigkeit die Anzahl von korrekten positiven Ergebnissen dividiert durch die Anzahl aller durch einen Klassifikator zurückgegebenen positiven Ergebnisse bezeichnen, wobei der Wert der Trefferquote die Anzahl der korrekten positiven Ergebnisse dividiert durch die Anzahl aller relevanten Stichproben (aller Stichproben, die als positiv hätten erkannt werden sollen) ist. Das F-Maß kann auch als harmonisches Mittel von Genauigkeit und Trefferquote betrachtet werden, wobei ein F-Maß seinen besten Wert bei 1 (perfekte Position und perfekte Trefferquote) und seinen schlechtesten bei 0 erreicht.
• Der Begriff algorithmische Verzerrung' kann eine Verzerrung bezeichnen, für die der ausgewählte Algorithmus verantwortlich sein kann. Er kann auch implizite Werte der Programmierer widerspiegeln, die damit befasst sind, ihn in den Daten für ein Trainieren des Algorithmus für maschinelles Lernen zu codieren, zu sammeln, auszuwählen oder zu verwenden.
• Der Begriff,Stichprobenverzerrung' kann eine Verzerrung bezeichnen, die durch die Daten entsteht, die für ein Trainieren eines Modells für maschinelles Lernen verwendet werden. Wenn der Datensatz möglicherweise 90 % Daten in Bezug auf Männer und nur 10 % Daten in Bezug auf Frauen aufweist, kann es offensichtlich sein, dass die Stichprobe im Hinblick auf Daten in Bezug auf Männer verzerrt ist.
• Der Begriff Verzerrung durch Voreingenommenheit' kann sich in gewisser Weise auf die ,Stichprobenverzerrung' beziehen und kann eine bewusste Manipulation von Stichprobendaten für ein Trainieren eines Systems für maschinelles Lernen aufgrund unbewiesener Annahmen eines Programmierers, eines Entwicklers oder eines menschlichen Trainers eines Modells für überwachtes maschinelles Lernen bezeichnen.
• Der Begriff,Messwertverzerrung' kann einen systematischen Fehler bezeichnen, der aufgrund fehlerhafter Messwerte sämtliche Daten verzerren würde, und der zu einer systematischen Verfälschung der Daten führt.
• Der Begriff Zyklus bestärkenden Lernens' kann hier einen Trainings-Zyklus des Modells für überwachtes maschinelles Lernen und eine Bewertung der damit in Zusammenhang stehenden Belohnungsfunktion bezeichnen. Während eines nächsten Zyklus kann das System für bestärkendes Lernen Parameter und/oder Hyperparameter des zugrunde liegenden Modells für überwachtes maschinelles Lernen ändern, die zu optimieren sind.
• Der Begriff,Bestärkungsagent' kann eine Implementierungsoption für ein System für bestärkendes maschinelles Lernen bezeichnen. Der Bestärkungsagent kann Parameter und/oder Hyperparameter des Modells für überwachtes maschinelles Lernen ändern, um dieses zu optimieren. In diesem Sinne kann die Umgebung des Modells für bestärkendes Lernen das Modell für überwachtes maschinelles Lernen sein.
• Der Begriff,neuronales Netz' kann ein durch das Gehirn inspiriertes Netz von künstlichen Neuronen bezeichnen, die durch Kanten mit einer Gewichtung verbunden sind. Typischerweise kann ein neuronales Netz als eine Anzahl von Schichten von Neuronen organisiert sein - eine Eingabeschicht, eine Mehrzahl von verdeckten Schichten und eine Ausgabeschicht - wobei jedes künstliche Neuron eine Aktivierungsfunktion aufweisen kann. Während eines Trainings als Beispiel mithilfe von kommentierten Datensätzen kann das neuronale Netz seine Parameter- d.h., Gewichtungsfaktoren und Aktivierungsfunktionsvariablen - anpassen, um auf Grundlage eines unbekannten Eingabedatensatzes Ausgabewerte entsprechend dem während der Trainings-Phase ermittelten Modell zu liefern.
• Der Begriff logistisches Regressionsmodell' kann das weit verbreitete statistische Modell bezeichnen, das in seiner Grundform eine logistische Funktion zum Modellieren einer binären abhängigen Variablen verwenden kann; es sind zahlreiche komplexere Erweiterungen vorhanden. In der Regressionsanalyse kann die logistische Regression (oder Logit-Regression) die Parameter eines logistischen Modells schätzen; sie ist eine Form der Binomialregression. Mathematisch gesehen weist ein binäres logistisches Modell eine abhängige Variable mit zwei möglichen Werten auf, zum Beispiel bestanden/durchgefallen, gewonnen/verloren, lebendig/tot oder gesund/krank; diese werden durch eine Indikatorvariable dargestellt, wobei die beiden Werte mit „0“ und „1“ bezeichnet werden. In dem logistischen Modell ist der Log-Odds (der Logarithmus der Chancen) für den mit „1“ bezeichneten Wert eine lineare Kombination aus einer oder mehreren unabhängigen Variablen („Prädiktoren“); die unabhängigen Variablen können jeweils eine binäre Variable (zwei Klassen, die durch eine Indikatorvariable codiert sind) oder eine stetige Variable (ein beliebiger realer Wert) sein. Die entsprechende Wahrscheinlichkeit des mit „1“ bezeichneten Wertes kann zwischen 0 (mit Sicherheit der Wert „0“) und 1 (mit Sicherheit der Wert „1“) variieren, daher die Bezeichnung; die Funktion, die Log-Odds in eine Wahrscheinlichkeit umwandelt, ist die logistische Funktion, daher der Name.
• Der Begriff ,Random-Forest-Modell' kann das bekannte Verfahren für maschinelles Lernen für Klassifizierung, Regression und sonstige Aufgaben bezeichnen, die durch Konstruieren einer Mehrzahl von Entscheidungsbäumen zur Zeit des Lernens und durch Ausgeben der Klasse arbeiten, wobei es sich um den Modus der Klassen (Klassifizierung) oder eine Mittelvorhersage (Regression) der einzelnen Bäume handelt.
• Der Begriff Support-Vector Machine' kann das bekannte Modell für überwachtes maschinelles Lernen mit seinem zugehörigen Algorithmus für maschinelles Lernen bezeichnen, der Daten analysieren kann, die zur Klassifizierung und Regressionsanalyse verwendet werden. Ein Support-Vector-Machine-Modell kann als eine Darstellung der Beispiele als Punkte im Raum verstanden werden, die so zugeordnet sind, dass die Beispiele der getrennten Kategorien durch eine klare, möglichst breite Lücke getrennt sind. Neue Beispiele können dann in demselben Raum zugeordnet werden, und je nachdem, auf welche Seite der Lücke sie fallen, kann vorhergesagt werden, dass sie zu einer Kategorie gehören.
• Der Begriff geschütztes Attribut' kann eine Variable in einem Datensatz (entweder in einem Trainings-Datensatz oder einem Abfragedatensatz) bezeichnen, in Bezug auf die das Modell für überwachtes maschinelles Lernen neutral, d.h., unverzerrt sein sollte. Ein Beispiel kann das Geschlecht einer Gruppe von Personen (z.B. segmentierte relevante Teilgruppen usw.) sein. Ausgabewerte des Modells für maschinelles Lernen sollten für verschiedene Geschlechter annähernd gleich sein.
• Es ist zu beachten, dass Ausführungsformen der Erfindung unter Bezugnahme auf verschiedene Gegenstände beschrieben werden. Im Besonderen werden einige Ausführungsformen unter Bezugnahme auf Ansprüche des Verfahrenstyps beschrieben, wohingegen andere Ausführungsformen unter Bezugnahme auf Ansprüche des Vorrichtungstyps beschrieben werden. Ein Fachmann wird jedoch dem Vorstehenden und der folgenden Beschreibung entnehmen, dass, sofern nichts anderes angegeben wird, zusätzlich zu einer beliebigen Kombination von Merkmalen, die zu einem Gegenstandstyp gehören, auch eine beliebige Kombination von Merkmalen, die sich auf unterschiedliche Gegenstände beziehen, im Besonderen von Merkmalen der Ansprüche vom Verfahrenstyp und Merkmalen der Ansprüche vom Vorrichtungstyp, als in diesem Dokument offenbart betrachtet wird.
• 1 stellt ein Blockschaubild einer Ausführungsform des auf einem Computer implementierten Verfahrens 100 zum Verbessern von Fairness und zum Verringern einer diskriminierenden Verzerrung in einem Modell für überwachtes maschinelles Lernen dar. Das Verfahren weist ein Verknüpfen, 102, des Modells für überwachtes maschinelles Lernen (machine-learning model, MLM) mit einem Metamodell für bestärkendes Lernen (reinforcement learning meta-model, RLMM), ein Auswählen, 104, einer Liste von Hyperparametern und Parametern des Modells für überwachtes maschinelles Lernen auf, die als Anfangsszenario des Modells für überwachtes maschinelles Lernen betrachtet werden kann. In einigen Ausführungsformen kann die Auswahl der Parameter zufällig erfolgen. Während des Verknüpfens steuert und konfiguriert das RLMM das überwachte MLM. Es wird darauf hingewiesen, dass das Verknüpfen (d.h., Steuern und Konfigurieren) des Modells für überwachtes maschinelles Lernen durch das Metamodell für bestärkendes Lernen zumindest zwei Faktoren umfasst, eine Konfiguration und ein Auslesen. Bei einer Konfiguration optimiert das System verschiedene Parameter in dem Modell und passt diese an. Bei einem Auslesen beobachtet das System die Vorhersage und berechnet die Belohnung optimal.
• Es sei jedoch darauf hingewiesen, dass es sinnvoll ist, zwischen Hyperparametern als den „äußeren Variablen oder Parametern“ eines Modus für maschinelles Lernen, die Merkmale wie - bei einem neuronalen Netz - den Typ der Aktivierungsfunktion, die Anzahl von Knoten pro Schicht, die Anzahl von Schichten im Falle eines neuronalen Netzes oder das Modell für maschinelles Lernen selbst definieren, und Parametern für das Modell für überwachtes Lernen wie den gelernten Variablen, insbesondere dem Gewichtungsfaktor von Kanten, die die künstlichen Neuronen verknüpfen, sowie Aktivierungsfunktionen und systematischen Abweichungen (internen Variablen oder Parametern) zu unterscheiden.
• Das Verfahren 100 kann darüber hinaus ein Steuern, 106, zumindest eines Aspekts - im Besonderen in Bezug auf einen geschützten Wert - des Modells für überwachtes maschinelles Lernen durch Anpassen von Hyperparameterwerten und Parameterwerten der Liste von Hyperparametern und Parametern des Modells für überwachtes maschinelles Lernen durch eine Engine für bestärkendes Lernen, die sich auf das Metamodell für bestärkendes Lernen bezieht, durch Berechnen einer Belohnungsfunktion auf Grundlage mehrerer sich widersprechender Zielfunktionen aufweisen.
• Dabei kann die Belohnungsfunktion eine Metrik sein, die angibt, wie gut die Bestärkungs-Engine ihr Ziel erreicht, was durch eine Metrik der Leistungsfähigkeit, eine Genauigkeitsmetrik und eine Fairness-Metrik definiert sein kann.
• Zu guter Letzt weist das Verfahren 100 eine iterative Wiederholung der Schritte des Auswählens und Steuerns zum Verbessern eines Fairness-Wertes des Modells für überwachtes maschinelles Lernen auf. Zu diesem Zweck wird eine Ermittlung 108 vorgenommen, ob der (durch einen definierten Schwellenwert gesteuerte) Fairness-Zielwert und der Zielwert der Leistungsfähigkeit in Kombination annehmbar sind. Es wird darauf hingewiesen, dass ein (nicht dargestellter) JA-Zweig von Schritt 108 angeben würde, dass Schritt 108 den Fairness-Zielwert erreicht hat, der auf Grundlage des Schwellenwerts und des Zielwertes der Leistungsfähigkeit annehmbar ist. Anderenfalls würde ein „NEIN“-Zweig von Schritt 108 zu Schritt 104 zurückkehren.
• In einer alternativen Ausführungsform kann das Verfahren ein Empfangen einer ursprünglichen Version eines Modells für maschinelles Lernen (MLM) aufweisen, das eine Mehrzahl von Parameterwerten, eine Mehrzahl von Hyperparameterwerten und einen ursprünglichen Fairness-Wert enthält, der Fairness im Hinblick auf segmentierte relevante Teilgruppen widerspiegelt. Außerdem kann das Verfahren in derselben alternativen Ausführungsform zumindest einige der Parameterwerte und/oder zumindest einige der Hyperparameterwerte der ursprünglichen Version des MLM anpassen, um eine vorläufige Version des MLM zu erstellen. Nach dem Anpassen der Parameter kann das Verfahren einen Fairness-Wert für die vorläufige Version des MLM durch Operationen ermitteln, die Folgendes enthalten: Empfangen eines Metamodells für bestärkendes Lernen (RLMM), das eine Mehrzahl von auf Fairness bezogenen Zielen und eine Belohnungsfunktion definiert, die die Mehrzahl von auf Fairness bezogenen Zielen widerspiegelt; Betreiben der vorläufigen Version des MLM; während des Betriebs der vorläufigen Version des MLM, Berechnen von Belohnungswerten durch das RLMM auf Grundlage der Belohnungsfunktion; und Ermitteln eines vorläufigen Fairness-Wertes für die vorläufige Version des MLM auf Grundlage der Belohnungswerte. In derselben alternativen Ausführungsform kann das Verfahren ermitteln, dass der vorläufige Fairness-Wert größer als der ursprüngliche Fairness-Wert ist, und die ursprüngliche Version des MLM durch die vorläufige Version des MLM ersetzen und den ursprünglichen Fairness-Wert durch den vorläufigen Fairness-Wert ersetzen.
• 2 stellt ein Blockschaubild einer unerwünschten Verzerrung dar. Unter der Annahme, dass das Rechteck 200 einen Data Lake (Datensee) darstellt, sollte ein Modell für maschinelles Lernen trainiert werden, das keine Verzerrung aufweist, wie durch die gestrichelten Linien dargestellt. Wenn 202 eine männliche Bevölkerung des Data Lake 200 darstellt und 204 eine weibliche Bevölkerung des Data Lake darstellt, kann ein ideal trainiertes System ebenso viele männliche Vorhersagen wie weibliche Vorhersagen, d.h., entsprechend der vertikalen Linie zwischen den Bereichen 202 und 204, zurückgeben.
• Im Allgemeinen wird beim überwachten maschinellen Lernen ein Modell auf Grundlage eines Datensatzes trainiert, um eine Metrik der Leistungsfähigkeit wie das F-Maß oder den Bereich unter der Kurve der Operationscharakteristik eines Beobachters (receiver operation characteristic, ROC) zu optimieren. Ein Prüfen auf eine Verzerrung könnte dann durchgeführt werden, indem ein Teilsatz der Daten gewählt wird und überprüft wird, ob eine bestimmte Teilgruppe unerwünscht bevorzugt wird. In der Veranschaulichung von 2 würde dieses Prüfen z.B. durch Berücksichtigen des männlichen und weiblichen Teilsatzes durchgeführt. Dabei wird angenommen, dass die Standardpraxis des maschinellen Lernens darin besteht, den Datensatz in Trainings-, Test- und Validierungsdatensätze zu unterteilen. Dieser allgemeine Ansatz hat jedoch keine Auswirkungen auf die hier vorgestellte Idee.
• Nach dem Prüfen der männlichen und weiblichen Teilsätze könnte ermittelt werden, ob eine geschlechtsspezifische Verzerrung besteht. Wenn eine solche Verzerrung vorliegt, müsste man manuell zurückgehen und die Trainings-Konfiguration ändern. Dies könnte zum Beispiel ein manuelles Ändern des Verhältnisses zwischen dem männlichen und dem weiblichen Trainings-Satz enthalten. Es ist offensichtlich, dass dies ein ineffizienter Prozess ist. Alternativ könnte die Verzerrungsmetrik zusätzlich zu der/den Metrik(en) der Leistungsfähigkeit in dem Optimierungsprozess enthalten sein. Eine solche Optimierung für mehrere Ziele kann jedoch komplex und zeitaufwändig sein.
• 3 stellt ein Blockschaubild eines umfassenden Ablaufplans 300 dar, der das vorgeschlagene Konzept auf einer hohen Ebene zusammenfasst. In 302 wird das Modell für überwachtes maschinelles Lernen trainiert. Dann werden Verzerrung und Leistungsfähigkeit getestet, 304, wonach eine Ermittlung 306 vorgenommen wird, ob die ermittelte Verzerrung an den ermittelten Werten der Leistungsfähigkeit annehmbar ist und innerhalb vorgegebener Grenzwerte liegt. Wenn dies der Fall ist - Fall „J“ - endet der Prozess, und das Modell für überwachtes maschinelles Lernen ist trainiert.
• Falls die Ermittlung 306 nicht zu einem positiven Ergebnis führt - Fall „N“ -, können die Parameter des Modells für maschinelles Lernen geändert werden, oder der Typ des maschinellen Lernens wird geändert, oder es wird eine erneute Auswahl von Trainings-Daten unter der Steuerung durch die Engine für bestärkendes Lernen durchgeführt (310). Mithilfe dieser neuen Parameter und/oder Hyperparameter beginnt der Prozess des Trainierens 302 des Modells für maschinelles Lernen erneut. Anderenfalls endet er, 308.
• 4 stellt ein Blockschaubild einer Ausführungsform einer Umgebung 400 aus verschiedenen Typen von Modellen für maschinelles Lernen und/oder verschiedenen Modellparametern dar. Die Umgebung 400 wird als x-y-Diagramm dargestellt. Auf der y-Achse werden die Typen von Modellen für maschinelles Lernen (nichtbeschränkend) dargestellt, z.B. ein neuronales Netz, eine Engine für logistische Regression, eine Random-Forest-Engine und eine Support-Vector Machine. Jedes dieser Modelle für maschinelles Lernen kann Parameter- und/oder Hyperparameter-Datensätze aufweisen (die nicht mit dem Trainings-Datensatz zu verwechseln sind), die beispielhaft als „alpha“, „beta“ und „gamma“ bezeichnet werden.
• Mithilfe dieser Modellumgebung wird nachvollziehbar, dass bestärkendes Lernen verwendet werden kann, um eine Verzerrung in Modellen für überwachtes maschinelles Lernen durch geeignete Parameteroptimierung abzuschwächen. Ein Agent arbeitet in einer mehrdimensionalen Umgebung (die hier der Einfachheit halber zweidimensional dargestellt wird) von verschiedenen Typen von Modellen für maschinelles Lernen und Sätzen von Modellparametern.
• Der Agent navigiert durch diese Umgebung, wobei er in einem Szenario bestärkenden Lernens geeignete Exploit-Explore-Entscheidungen trifft. Dieses Szenario enthält eine Optimierung zumindest eines Zielparameters, zum Beispiel des F-Maßes, und eines Zielschwellenwertes für eine Verzerrung. Mit anderen Worten, das abschließende Modell für maschinelles Lernen sollte so gut wie möglich abschneiden, aber keine Verzerrung über einen bestimmten Schwellenwert hinaus aufweisen. So kann zum Beispiel ausgehend von dem logistischen Regressionsmodell 402 mit den Parameter- und/oder Hyperparameter-Datensätzen alpha ein Iterationsschritt zu einem neuronalen Netz mit dem Parameter- und/oder Hyperparameter-Datensatz beta (404), einer SVM mit dem Parameter- und/oder Hyperparameter-Datensatz beta (406) oder gamma (408) führen. Im Grunde kann jedes sonstige Modell für maschinelles Lernen mit einem beliebigen sonstigen geeigneten Parameter- und/oder Hyperparameter-Datensatz gewählt werden.
• Dieser Ansatz hat den Vorteil, dass ein großer Raum von möglichen Typen von Modellen für maschinelles Lernen und Parametern/Hyperparametern effizient erforscht werden kann, um zu einem Modell für maschinelles Lernen zu gelangen, das im Hinblick auf die Metrik der Leistungsfähigkeit optimiert ist und innerhalb des akzeptierten Bereichs der Verzerrungsmetrik liegt.
• 5 stellt ein Blockschaubild 500 eines Satzes von interagierenden Komponenten dar, die in drei Phasen/drei Kategorien fallen: Steuern, Trainieren und Bewertung.
• Der Steuerabschnitt wird durch die Blöcke 514 und 516 symbolisiert. Im Zentrum dieses Ansatzes befindet sich eine Engine 516 für bestärkendes Lernen (reinforcement learning, RL), die die Aufgabe hat, ein Modell für überwachtes maschinelles Lernen zu steuern, um sowohl Fairness als auch Leistungsfähigkeit zu optimieren. Zu diesem Zweck navigiert die RL-Engine durch den Raum möglicher Modelle für maschinelles Lernen (vergleiche 4) und Modellparameter sowie Hyperparameter durch Berechnen einer Belohnung, die sowohl auf Leistungsfähigkeit als auch auf Fairness der Vorhersagen durch das Modell für überwachtes maschinelles Lernen beruht. Die Engine 516 für bestärkendes Lernen optimiert diesen Wert der Belohnungsfunktion iterativ durch Untersuchen mehrerer verschiedener Konfigurationen des Modells für überwachtes maschinelles Lernen, und die Beendigungs-Engine 514 ermittelt auf Grundlage der Konvergenz der Belohnungsfunktion, dass ein geeigneter Prädiktor gefunden worden ist. Die Beendigungs-Engine 514 kann auch sonstige explizite Kriterien aufweisen, die erfüllt sein müssen, bevor eine Beendigung erfolgt, z.B. Beschränkungen der erreichten Fairness. Wenn die Ergebnisse der Belohnungsfunktion konvergiert haben und das Modell für überwachtes maschinelles Lernen die vorgegebenen Anforderungen an Leistungsfähigkeit und Fairness erfüllt, wird das optimierte Modell für überwachtes maschinelles Lernen (SML) als Ergebnis dargestellt, 518 (und die maximale Anzahl von zulässigen Iterationen ist nicht überschritten worden). Anderenfalls wird angenommen, dass kein geeignetes Modell gefunden werden konnte, 520. Zu diesem Zeitpunkt ist das Modell also nicht optimiert (Fairness oder Leistungsfähigkeit sind nicht annehmbar, aber eine maximale Anzahl von Iterationen ist erreicht worden).
• Der Trainings-Abschnitt wird durch den Block 502 symbolisiert. Bei jeder Iteration ermittelt die Ausgabe der Engine 516 für bestärkendes Lernen die Konfiguration eines Modells für überwachtes maschinelles Lernen (SML), d.h., den Typ des Modells sowie seine Parameter und Hyperparameter. Das resultierende Modell für überwachtes maschinelles Lernen wird dann mithilfe eines Satzes von Attributen mit entsprechenden Bezeichnungen trainiert, der als Trainings-Datensatz bezeichnet wird. Das Modell für überwachtes maschinelles Lernen führt einen dreistufigen Prozess durch, der aus Vorverarbeitung, Trainieren und Nachverarbeitung besteht. Alle drei dieser Schritte sind durch die Engine 516 für bestärkendes Lernen konfigurierbar. Die Vorverarbeitung enthält hier eine Umwandlung des Trainings-Datensatzes, z.B. durch Normalisierung, Umverteilung oder die erwähnte Ungültigkeitsverringerung. Die Trainings-Phase zielt dann darauf ab, die Parameter des SML-Modells zu lernen, um eine Vorhersage der Bezeichnungen aus der Ausgabe des Vorverarbeitungsschritts zu ermöglichen. Es kann ein beliebiger Algorithmus verwendet werden, der zum Finden der Modellparameter geeignet ist. Schließlich können die durch das Modell erzeugten Vorhersagen Nachverarbeitungsschritten unterzogen werden, z.B. Skalieren, Schwellenwertbildung oder Kombinationen von diesen. Es sei darauf hingewiesen, dass das Trainieren dieses Modells zum Lernen seiner Parameter, das selbst häufig ein iterativer Prozess ist, einen Schritt der steuernden Engine für bestärkendes Lernen darstellt.
• Der Bewertungsabschnitt kann durch die Blöcke 504, 506, 508, 510, 512 symbolisiert werden. Nachdem das Modell für überwachtes maschinelles Lernen trainiert worden ist, wird es im Hinblick sowohl auf die Leistungsfähigkeit bei der Vorhersage als auch auf die Vorhersage-Fairness bewertet. Dies wird dadurch erreicht, dass das trainierte Modell für überwachtes maschinelles Lernen einen Satz von Vorhersagen an einem Validierungsdatensatz durchführen gelassen wird, der nicht in dem Trainings-Prozess des SML-Modells verwendet worden ist. Aus den resultierenden Vorhersagen werden dann die Größen berechnet: eine Metrik der Leistungsfähigkeit und eine Fairness-Metrik. Diese Spezifizierung dieser Metriken hängt von einem vorliegenden Problem ab. Ein Beispiel für eine Metrik der Leistungsfähigkeit ist das F-Maß. Ein Beispiel für eine Fairness-Metrik ist die durchschnittliche relative Differenz zwischen Datenstichproben, die sich nur in geschützten Attributen unterscheiden. Dies kann durch Aufteilen eines Testdatensatzes mit vorausgewählten kritischen/geschützten Merkmalen, 506, und durch Bewerten eines Fairness-Messwertes für jeden der Teilsätze, 508, erfolgen. Danach kann ein Teil der Bewertungsphase auch eine Konsolidierung der verschiedenen Fairness-Maße sein (z.B. Max-Funktion, Median usw.). Beide Metriken - d.h., Leistungsfähigkeit und Fairnesswerden dann als Eingabe in eine Belohnungsfunktion verwendet, 512. Dabei kann es sich um eine F-Maß-Funktion mit einer starken Abwertung handeln, wenn ein Fairness-Messwert zu niedrig ist.
• Die Spezifikation dieser Funktion hängt wiederum von dem Problem ab. Ein Beispiel für eine Belohnungsfunktion ist das Verhältnis zwischen der Metrik der Leistungsfähigkeit (F-Maß) und der Fairness-Metrik (durchschnittliche relative Differenz zwischen Datenstichproben, die sich nur in geschützten Attributen unterscheiden), 504. Die Ausgabe der Belohnungsfunktion wird dann an die steuernde Engine für bestärkendes Lernen übergeben, die entweder die nächste Dauer beginnen oder den Optimierungsprozess beenden kann, 514.
• 6 stellt den allgemeinen Ansatz dar, wie er im Zusammenhang mit 5 erörtert wurde, implementiert als Beispiel für einen Algorithmus 600 zur Kreditwürdigkeitsprüfung, der keine geschlechtsspezifische Verzerrung aufweisen darf (im Folgenden als geschützte Parameter bezeichnet). Es sind jedoch zahlreiche sonstige Attribute wie zum Beispiel Einkommen, Vermögen und sonstige vorhanden, die voraussichtlich eine erhebliche Auswirkung auf die Zuweisung einer Kreditwürdigkeit haben.
• Es wird ein SML-Modell zum Vorhersagen einer Kreditwürdigkeit auf Grundlage eines Satzes von Attributen (geschützten und sonstigen Attributen) erstellt. In diesem Beispiel wird ein neuronales Netz (NN) verwendet, es kann aber auch ein beliebiger sonstiger SML-Algorithmus angewendet werden. Das NN-Modell weist einen Satz von Hyperparametern auf, der das Modell definiert (z.B. die Anzahl von Schichten, das Ausmaß von Überabtastung, die Lerngeschwindigkeit usw.). Auch der Typ des Modells selbst kann ein Hyperparameter sein. Die Hyperparameter werden zufällig initialisiert, und das Modell wird mithilfe von Trainings-Daten trainiert (Stunner-Trainings-Prozess des SML-Algorithmus), 602.
• Die Metrik der Leistungsfähigkeit des Modells wird durch Berechnen des F-Maßes für den Testdatensatz bewertet, 604. Zur Veranschaulichung des Beispiels wird für diese Iteration ein F-Maß von 0,8 angenommen.
• Als Nächstes wird die Verzerrung der geschützten Metrik (z.B. des Geschlechts) gemessen. In diesem Beispiel erfolgt dies durch zufälliges Nehmen einer Stichprobe von 100 Frauen und einem passenden Satz von 100 Männern, die den ausgewählten Frauen in allen Attributen außer dem Geschlecht so weit wie möglich entsprechen, 606. Eine faire Bewertung (608) würde erfordern, dass jedes Paar eine ähnliche Kreditwürdigkeit aufweist, jegliche Unterschiede werden zu der Fairness-Metrik zusammengefasst, 610. In diesem Beispiel wird die Fairness-Metrik als durchschnittliche relative Differenz zwischen allen Paaren berechnet. Bei einem beliebigen sonstigen Verfahren zum Messen ist eine Verzerrung ebenfalls annehmbar. Zur Veranschaulichung des Beispiels wird ein Wert der Fairness-Metrik von 10 % (durchschnittliche relative Differenz) angenommen.
• Für den später verwendeten Algorithmus für bestärkendes Lernen wird eine Belohnungsfunktion berechnet, 612, bei der es sich um eine Kombination aus Leistungsfähigkeit und Verzerrung handelt. In diesem Beispiel ist dies durch die Summe aus dem F-Maß und der Verzerrungsmetrik gegeben. Die Verzerrungsmetrik ist in diesem Beispiel definiert als
• * (-1) wenn die Fairness-Metrik > 0,1 %,
• * 0 wenn die Fairness-Metrik < 0,1 %.
• Im Fall des Beispiels wird daher eine Belohnung von R = 0,8 - 1 = -0,2 (da 10 % > 0,1 %) dem RL-Netz zugeführt.
• Eine Beendigungs-Engine 614 verwendet die berechnete Belohnung, um zu entscheiden, ob eine beliebige Iteration zu initiieren ist. Sie beendet den Prozess, wenn eine definierte maximale Anzahl von Iterationen erreicht ist oder wenn sich die Belohnung nicht mehr verbessert (keine Konvergenz). Es kann auch angegeben werden, dass die Fairness-Metrik zum Beenden kleiner als 0,1 % sein muss. Im Falle des erörterten Beispiels wird außerdem angenommen, dass die Beendigungs-Engine eine weitere Iteration initiiert; auf diese Weise kann das SML-Modell weiter optimiert werden. So ermittelt die Beendigungs-Engine 614, dass ein optimiertes SML - z.B. eine optimierte Support-Vector Machine (SVM) oder ein neuronales Netz (NN) innerhalb der vordefinierten Anzahl von zulässigen Iterationen gefunden worden ist, 618, oder nicht, 620.
• Durch Durchlaufen mehrerer Iterationen findet die RL-Engine 616 daher eine optimale Kombination von Parametern und/oder Hyperparametern, die die Verzerrung unter dem angegebenen Schwellenwert verringert und gleichzeitig eine hohe Leistungsfähigkeit aufrechterhält, was zu einer fairen Kreditwürdigkeitsprüfung über Geschlechter hinweg führt.
• In einem nächsten Schritt verwendet die RL-Engine die berechnete Belohnung, um die Parameter und/oder Hyperparameter des SML-Modells effizient zu optimieren. Eine Optimierung für eine Belohnung führt zu einer Minimierung der Verzerrung, wie durch die Fairness-Metrik gemessen, und/oder zu einer Verbesserung der Leistungsfähigkeit des Modells, wie durch das F-Maß gemessen. Im Falle einer Kreditwürdigkeitsprüfung kann das RL-Modell ein mehrschichtiges neuronales Netz sein, das die Belohnung verwendet, um die Hyperparameter des überwachten Netzes zu optimieren (zum Beispiel durch Ändern seiner Anzahl von Schichten, des Ausmaßes von Überabtastung, der Lerngeschwindigkeit usw.).
• Der Vollständigkeit halber stellt 7 ein Blockschaubild einer Ausführungsform des Systems zum Verbessern von Fairness zum Verbessern von Fairness und zum Verringern einer diskriminierenden Verzerrung in einem Modell für überwachtes maschinelles Lernen dar. Das System weist eine Verknüpfungskomponente 702, die zum Verknüpfen des Modells für überwachtes maschinelles Lernen mit einem Metamodell für bestärkendes Lernen ausgelegt ist, eine Auswahleinheit 704, die zum Auswählen einer Liste von Parametern des Modells für überwachtes maschinelles Lernen ausgelegt ist, und eine Steuereinheit 706 auf, die zum Steuern zumindest eines Aspektes des Modells für überwachtes maschinelles Lernen durch Anpassen von Parameterwerten der Liste von Parametern des Modells für überwachtes maschinelles Lernen durch Berechnen einer Belohnungsfunktion auf Grundlage mehrerer sich widersprechender Zielfunktionen ausgelegt ist.
• Zu guter Letzt ist eine Wiederholungseinheit 708 dazu ausgelegt, die Auswahleinheit und die Steuereinheit iterativ für eine Verbesserung eines Fairness-Wertes des Modells für überwachtes maschinelles Lernen auszulösen.
• Ausführungsformen der Erfindung können unabhängig davon, ob die Plattform zum Speichern und/oder Ausführen von Programmcode geeignet ist, zusammen mit praktisch jedem Typ von Computer implementiert werden. 8 stellt als Beispiel ein Datenverarbeitungssystem 800 dar, das dazu geeignet ist, Programmcode im Zusammenhang mit dem vorgeschlagenen Verfahren auszuführen.
• Das Datenverarbeitungssystem 800 ist nur ein Beispiel für ein geeignetes Computersystem und soll keine Einschränkung hinsichtlich des Anwendungsbereichs oder der Funktionalität von hierin beschriebenen Ausführungsformen der Erfindung nahelegen, unabhängig davon, ob das Computersystem 800 in der Lage ist, implementiert zu werden und/oder eine beliebige der oben dargelegten Funktionen durchzuführen. In dem Computersystem 800 befinden sich Komponenten, die mit zahlreichen sonstigen Universal- oder Spezial-Datenverarbeitungssystem-Umgebungen oder -Konfigurationen betrieben werden können. Zu Beispielen für allgemein bekannte Datenverarbeitungssysteme, - Umgebungen und/oder -Konfigurationen, die zur Verwendung mit dem Computersystem/Server 800 geeignet sein können, zählen Personal-Computersysteme, Server-Computersysteme, Thin Clients, Thick Clients, Hand- oder Laptop-Einheiten, Mehrprozessorsysteme, Systeme auf Grundlage von Mikroprozessoren, Set-Top-Boxen, programmierbare Unterhaltungselektronik, Netzwerk-PCs, Minicomputersysteme, Großrechnersysteme und verteilte Cloud-Computing-Umgebungen, die beliebige der obigen Systeme oder Einheiten enthalten, und dergleichen, ohne auf diese beschränkt zu sein. Das Computersystem/der Server 800 kann im allgemeinen Zusammenhang von Anweisungen beschrieben werden, die durch ein Computersystem ausführbar sind, wie zum Beispiel Programmmodule, die durch ein Computersystem 800 ausgeführt werden. Im Allgemeinen können Programmmodule Routinen, Programme, Objekte, Komponenten, Logik, Datenstrukturen usw. enthalten, die bestimmte Aufgaben durchführen oder bestimmte abstrakte Datentypen implementieren. Das Computersystem/der Server 800 kann in verteilten Cloud-Computing-Umgebungen angewendet werden, in denen Aufgaben durch entfernt angeordnete Verarbeitungseinheiten durchgeführt werden, die durch ein Datenübertragungsnetzwerk miteinander verbunden sind. Bei einer verteilten Cloud-Computing-Umgebung können sich Programmmodule sowohl in lokalen als auch in entfernt angeordneten Computersystem-Speichermedien befinden, darunter in Speichereinheiten.
• Wie in der Figur gezeigt, wird das Computersystem/der Server 800 in Form einer Universal-Datenverarbeitungseinheit dargestellt. Zu den Komponenten des Computersystems/Servers 800 können ein oder mehrere Prozessoren oder Verarbeitungseinheiten 802, ein Systemspeicher 804 und ein Bus 806 zählen, der verschiedene Systemkomponenten einschließlich des Systemspeichers 804 mit dem einen oder den mehreren Prozessoren oder Verarbeitungseinheiten 802 verbindet, ohne auf diese beschränkt zu sein. Der Bus 806 stellt einen oder mehrere von mehreren beliebigen Typen von Busstrukturen dar, darunter einen Speicherbus oder eine Speichersteuereinheit, einen Peripheriebus, einen Accelerated Graphics Port und einen Prozessor- oder einen lokalen Bus unter Verwenden einer beliebigen von einer Vielfalt von Busarchitekturen. Beispielsweise, und ohne einschränkend zu wirken, enthalten solche Architekturen einen Industry-Standard-Architecture(ISA)-Bus, einen Micro-Channel-Architecture(MCA)-Bus, einen Enhanced-ISA(EISA)-Bus, einen lokalen Video-Electronics-Standards-Association(VESA)-Bus und einen Peripheral-Component-Interconnects(PCI)-Bus. Das Computersystem/der Server 800 enthält üblicherweise eine Vielfalt von durch ein Computersystem lesbaren Medien. Bei solchen Medien kann es sich um beliebige verfügbare Medien handeln, auf die durch das Computersystem/den Server 800 zugegriffen werden kann, und sie enthalten sowohl flüchtige als auch nichtflüchtige Medien sowie austauschbare und nichtaustauschbare Medien.
• Der Systemspeicher 804 kann durch ein Computersystem lesbare Medien in Form eines flüchtigen Speichers wie zum Beispiel eines Direktzugriffsspeichers (random access memory, RAM) 808 und/oder eines Cache 810 enthalten. Das Computersystem/der Server 800 kann des Weiteren sonstige austauschbare/nicht austauschbare, flüchtige/nichtflüchtige Computersystem-Speichermedien enthalten. Lediglich als Beispiel kann ein Speichersystem 812 zum Lesen von einem nicht austauschbaren, nichtflüchtigen (nicht dargestellten und üblicherweise als „Festplatte“ bezeichneten) Magnetmedium und zum Schreiben darauf bereitgestellt werden. Wenngleich es nicht dargestellt wird, kann ein Magnetplattenlaufwerk zum Lesen von einer austauschbaren, nichtflüchtigen Magnetplatte (z.B. einer „Diskette“) und zum Schreiben darauf und ein optisches Plattenlaufwerk zum Lesen von einer austauschbaren, nichtflüchtigen optischen Platte wie zum Beispiel einer CD-ROM, DVD-ROM oder sonstigen optischen Medien und zum Schreiben darauf bereitgestellt werden. In solchen Fällen kann jedes durch eine oder mehrere Datenmedien-Schnittstellen mit dem Bus 806 verbunden sein. Wie im Folgenden näher dargestellt und beschrieben wird, kann der Speicher 804 zumindest ein Programmprodukt enthalten, das einen Satz (z.B. zumindest eins) von Programmmodulen aufweist, die dazu konfiguriert sind, die Funktionen von Ausführungsformen der Erfindung auszuführen.
• Das Programm/Dienstprogramm, das einen Satz (zumindest eins) von Programmmodulen 816 aufweist, kann als Beispiel, das keine Einschränkung darstellen soll, in dem Speicher 804 gespeichert werden, wie auch ein Betriebssystem, ein oder mehrere Anwendungsprogramme, sonstige Programmmodule und Programmdaten. Von den Betriebssystemen, dem einen oder den mehreren Anwendungsprogrammen, den sonstigen Programmmodulen und Programmdaten und einigen Kombinationen von diesen kann jedes eine Implementierung einer Netzwerkumgebung enthalten. Die Programmmodule 816 führen im Allgemeinen die Funktionen und/oder Methoden von Ausführungsformen der Erfindung aus, wie sie hierin beschrieben werden.
• Das Computersystem/der Server 800 kann außerdem mit einer oder mehreren externen Einheiten 818 wie zum Beispiel einer Tastatur, einer Zeigeeinheit, einer Anzeige 820 usw., einer oder mehreren Einheiten, die einem Benutzer ermöglichen, mit dem Computersystem/dem Server 800 in Wechselwirkung zu treten, und/oder beliebigen Einheiten (z.B. einer Netzwerkkarte, einem Modem usw.) Daten austauschen, die dem Computersystem/Server 800 ermöglichen, Daten mit einer oder mehreren sonstigen Datenverarbeitungseinheiten auszutauschen. Ein solcher Datenaustausch kann über Eingabe-/Ausgabe(E/A)-Schnittstellen 814 durchgeführt werden. Weiterhin kann das Computersystem/der Server 800 mit einem oder mehreren Netzwerken wie zum Beispiel einem lokalen Netzwerk (local area network, LAN), einem allgemeinen Weitverkehrsnetzwerk (wide area network, WAN) und/oder einem öffentlichen Netzwerk (z.B. dem Internet) über einen Netzwerkadapter 822 Daten austauschen. Wie dargestellt, kann der Netzwerkadapter 822 Daten mit den sonstigen Komponenten des Computersystems/Servers 800 über den Bus 806 austauschen. Es versteht sich, wenngleich dies nicht dargestellt wird, dass sonstige Hardware- und/oder Software-Komponenten zusammen mit dem Computersystem/Server 800 verwendet werden könnten. Zu Beispielen zählen Mikrocode, Einheitentreiber, redundante Verarbeitungseinheiten, externe Plattenlaufwerk-Arrays, RAID-Systeme, Bandlaufwerke und Datenarchivierungs-Speichersysteme usw., ohne auf diese beschränkt zu sein.
• Darüber hinaus kann das System 700 zum Verbessern von Fairness zum Verbessern von Fairness in einem Modell für überwachtes maschinelles Lernen mit dem Bus 806 verbunden sein.
• Die Beschreibungen der verschiedenen Ausführungsformen der vorliegenden Erfindung erfolgten zur Veranschaulichung, sind jedoch nicht erschöpfend oder auf die offenbarten Ausführungsformen beschränkt gemeint. Viele Modifizierungen und Varianten sind für Fachleute ersichtlich, ohne vom Umfang und Wesensgehalt der beschriebenen Ausführungsformen abzuweichen. Die hierin verwendete Terminologie wurde gewählt, um die Grundgedanken der Ausführungsformen, die praktische Anwendung oder die technische Verbesserung gegenüber auf dem Markt erhältlichen Technologien am besten zu erläutern oder um anderen Fachleuten zu ermöglichen, die hierin offenbarten Ausführungsformen zu verstehen.
• Die vorliegende Erfindung kann als System, als Verfahren und/oder als Computerprogrammprodukt verkörpert werden. Das Computerprogrammprodukt kann (ein) durch einen Computer lesbare(s) Speichermedium (oder -medien) enthalten, auf dem/denen durch einen Computer lesbare Programmanweisungen gespeichert ist/sind, um einen Prozessor dazu zu veranlassen, Aspekte der vorliegenden Erfindung auszuführen.
• Bei dem Medium kann es sich um ein elektronisches, magnetisches, optisches, elektromagnetisches Medium, ein Infrarot- oder ein Halbleitersystem für ein Verbreitungsmedium handeln. Zu Beispielen für ein durch einen Computer lesbares Medium können ein Halbleiter- bzw. Festkörperspeicher, ein Magnetband, eine auswechselbare Computer-Diskette, ein Speicher mit wahlfreiem Zugriff (random access memory, RAM), ein Festwertspeicher (read-only memory, ROM), eine starre Magnetplatte und eine optische Speicherplatte zählen. Zu aktuellen Beispielen für optische Speicherplatten zählen eine CD-ROM (compact disk-read only memory, Kompakt-Disk-Festwertspeicher), eine CD-R/W (compact disk-read/write, Compact-Disk-Schreib-Lese-Speicher), eine DVD und eine Blu-Ray-Platte.
• Bei dem durch einen Computer lesbaren Speichermedium kann es sich um eine physische Einheit handeln, die Anweisungen zur Verwendung durch eine Einheit zur Ausführung von Anweisungen behalten und speichern kann. Bei dem durch einen Computer lesbaren Speichermedium kann es sich zum Beispiel um eine elektronische Speichereinheit, eine magnetische Speichereinheit, eine optische Speichereinheit, eine elektromagnetische Speichereinheit, eine Halbleiterspeichereinheit oder jede geeignete Kombination daraus handeln, ohne auf diese beschränkt zu sein. Zu einer nicht erschöpfenden Liste spezifischerer Beispiele des durch einen Computer lesbaren Speichermediums gehören die Folgenden: eine tragbare Computerdiskette, eine Festplatte, ein Direktzugriffsspeicher (RAM), ein Festwertspeicher (ROM), ein löschbarer programmierbarer Festwertspeicher (EPROM bzw. Flash-Speicher), ein statischer Direktzugriffsspeicher (SRAM), ein tragbarer Kompaktspeicherplatten-Festwertspeicher (CD-ROM), eine DVD (digital versatile disc), ein Speicher-Stick, eine Diskette, eine mechanisch codierte Einheit wie zum Beispiel Lochkarten oder erhabene Strukturen in einer Rille, auf denen Anweisungen gespeichert sind, und jede geeignete Kombination daraus. Ein durch einen Computer lesbares Speichermedium soll in der Verwendung hierin nicht als flüchtige Signale an sich aufgefasst werden, wie zum Beispiel Funkwellen oder andere sich frei ausbreitende elektromagnetische Wellen, elektromagnetische Wellen, die sich durch einen Wellenleiter oder ein anderes Übertragungsmedium ausbreiten (z.B. durch ein Glasfaserkabel geleitete Lichtimpulse) oder durch einen Draht übertragene elektrische Signale.
• Hierin beschriebene, durch einen Computer lesbare Programmanweisungen können von einem durch einen Computer lesbaren Speichermedium auf jeweilige Datenverarbeitungs-/Verarbeitungseinheiten oder über ein Netzwerk wie zum Beispiel das Internet, ein lokales Netzwerk, ein Weitverkehrsnetz und/oder ein drahtloses Netzwerk auf einen externen Computer oder eine externe Speichereinheit heruntergeladen werden. Das Netzwerk kann Kupferübertragungskabel, Lichtwellenübertragungsleiter, drahtlose Übertragung, Router, Firewalls, Vermittlungseinheiten, Gateway-Computer und/oder Edge-Server aufweisen. Eine Netzwerkadapterkarte oder Netzwerkschnittstelle in jeder Datenverarbeitungs-/Verarbeitungseinheit empfängt durch einen Computer lesbare Programmanweisungen aus dem Netzwerk und leitet die durch einen Computer lesbaren Programmanweisungen zur Speicherung in einem durch einen Computer lesbaren Speichermedium innerhalb der entsprechenden Datenverarbeitungs-/Verarbeitungseinheit weiter.
• Bei durch einen Computer lesbaren Programmanweisungen zum Ausführen von Arbeitsschritten der vorliegenden Erfindung kann es sich um Assembler-Anweisungen, ISA-Anweisungen (Instruction-Set-Architecture), Maschinenanweisungen, maschinenabhängige Anweisungen, Mikrocode, Firmware-Anweisungen, zustandssetzende Daten oder entweder Quellcode oder Objektcode handeln, die in einer beliebigen Kombination aus einer oder mehreren Programmiersprachen geschrieben sind, darunter objektorientierte Programmiersprachen wie Smalltalk, C++ o.ä. sowie herkömmliche prozedurale Programmiersprachen wie die Programmiersprache „C“ oder ähnliche Programmiersprachen. Die durch einen Computer lesbaren Programmanweisungen können vollständig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Software-Paket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernt angeordneten Computer oder vollständig auf dem entfernt angeordneten Computer oder Server ausgeführt werden. In letzterem Fall kann der entfernt angeordnete Computer mit dem Computer des Benutzers durch eine beliebige Art Netzwerk verbunden sein, darunter ein lokales Netzwerk (LAN) oder ein Weitverkehrsnetz (WAN), oder die Verbindung kann mit einem externen Computer hergestellt werden (zum Beispiel über das Internet unter Verwenden eines Internet-Dienstanbieters). In einigen Ausführungsformen können elektronische Schaltungen, darunter zum Beispiel programmierbare Logikschaltungen, feldprogrammierbare Gate-Arrays (FPGA) oder programmierbare Logik-Arrays (PLA) die durch einen Computer lesbaren Programmanweisungen ausführen, indem sie Zustandsdaten der durch einen Computer lesbaren Programmanweisungen nutzen, um die elektronischen Schaltungen zu personalisieren, um Aspekte der vorliegenden Erfindung durchzuführen.
• Aspekte der vorliegenden Erfindung sind hierin unter Bezugnahme auf Ablaufpläne und/oder Blockschaubilder von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es wird darauf hingewiesen, dass jeder Block der Ablaufpläne und/oder der Blockschaubilder sowie Kombinationen von Blöcken in den Ablaufplänen und/oder den Blockschaubildern mittels durch einen Computer lesbare Programmanweisungen implementiert werden können.
• Diese durch einen Computer lesbaren Programmanweisungen können einem Prozessor eines Universalcomputers, eines Spezialcomputers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung bereitgestellt werden, um eine Maschine zu erzeugen, so dass die über den Prozessor des Computers bzw. der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführten Anweisungen Mittel zur Umsetzung der in dem Block bzw. den Blöcken des Ablaufplans und/oder des Blockschaubildes festgelegten Funktionen/Schritte erzeugen. Diese durch einen Computer lesbaren Programmanweisungen können auch auf einem durch einen Computer lesbaren Speichermedium gespeichert sein, das einen Computer, eine programmierbare Datenverarbeitungsvorrichtung und/oder andere Einheiten so steuern kann, dass sie auf eine bestimmte Art funktionieren, so dass das durch einen Computer lesbare Speichermedium, auf dem Anweisungen gespeichert sind, ein Herstellungsprodukt aufweist, darunter Anweisungen, welche Aspekte der/des in dem Block bzw. den Blöcken des Ablaufplans und/oder des Blockschaubildes angegebenen Funktion/Schritts implementieren.
• Die durch einen Computer lesbaren Programmanweisungen können auch auf einen Computer, sonstige programmierbare Datenverarbeitungsvorrichtungen oder eine weitere Einheit geladen werden, um das Ausführen einer Reihe von Prozessschritten auf dem Computer bzw. der sonstigen programmierbaren Vorrichtungen oder sonstigen Einheit zu verursachen, um einen auf einem Computer ausgeführten Prozess zu erzeugen, so dass die auf dem Computer, der sonstigen programmierbaren Vorrichtungen oder der sonstigen Einheit ausgeführten Anweisungen die in dem Block bzw. den Blöcken des Ablaufplans und/oder des Blockschaubildes festgelegten Funktionen/Schritte umsetzen.
• Die Ablaufpläne und die Blockschaubilder in den Figuren veranschaulichen die Architektur, die Funktionalität und den Betrieb möglicher Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Erfindung. In diesem Zusammenhang kann jeder Block in dem Ablaufplan oder den Blockschaubildern ein Modul, ein Segment oder einen Teil von Anweisungen darstellen, die eine oder mehrere ausführbare Anweisungen zum Implementieren der bestimmten logischen Funktion(en) aufweisen. In einigen alternativen Implementierungen können die in dem Block angegebenen Funktionen in einer anderen Reihenfolge als in den Figuren gezeigt auftreten. Zwei nacheinander gezeigte Blöcke können zum Beispiel in Wirklichkeit im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können manchmal je nach entsprechender Funktionalität in umgekehrter Reihenfolge ausgeführt werden. Es ist ferner anzumerken, dass jeder Block der Blockschaubilder und/oder der Ablaufpläne sowie Kombinationen aus Blöcken in den Blockschaubildern und/oder den Ablaufplänen durch spezielle auf Hardware beruhende Systeme umgesetzt werden können, welche die festgelegten Funktionen oder Schritte durchführen, oder Kombinationen aus Spezial-Hardware und Computeranweisungen ausführen.
• Die hierin verwendete Terminologie dient lediglich der Beschreibung bestimmter Ausführungsformen und soll die Erfindung nicht beschränken. So, wie sie hierin verwendet werden, sollen die Singularformen „ein“, „eine“ und „der“, „die“, „das“ auch die Pluralformen enthalten, sofern dies aus dem Kontext nicht eindeutig anders hervorgeht. Es versteht sich des Weiteren, dass die Begriffe „aufweist“ und/oder „aufweisend“, wenn sie in dieser Beschreibung verwendet werden, das Vorhandensein von angegebenen Merkmalen, Ganzzahlen, Schritten, Vorgängen, Elementen und/oder Komponenten bezeichnen, jedoch nicht das Vorhandensein bzw. die Beifügung von einem/einer bzw. mehreren anderen Merkmalen, Ganzzahlen, Schritten, Vorgängen, Elementen, Komponenten und/oder Gruppen davon ausschließen.
• Die entsprechenden Strukturen, Materialien, Vorgänge und Entsprechungen aller Mittel oder Schritt-plus-Funktion-Elementen in den nachstehenden Ansprüchen sollen jede Struktur, jedes Material bzw. jede Handlung zum Durchführen der Funktion in Kombination mit anderen beanspruchten Elementen als ausdrücklich beansprucht enthalten. Die Beschreibung der vorliegenden Erfindung erfolgte zum Zweck der Veranschaulichung und Beschreibung, ist jedoch nicht erschöpfend oder auf die Erfindung in der offenbarten Form beschränkt gemeint. Viele Modifizierungen und Varianten sind für Fachleute ersichtlich, ohne vom Umfang und Wesensgehalt der Erfindung abzuweichen. Die Ausführungsformen werden gewählt und beschrieben, um die Grundgedanken der Erfindung und die praktische Anwendung am besten zu erläutern und um anderen Fachleuten das Verständnis der Erfindung für verschiedene Ausführungsformen mit verschiedenen, für den in Betracht gezogenen Einsatz geeigneten Modifizierungen zu ermöglichen.
• Schließlich lässt sich das vorgeschlagene Konzept in den folgenden Abschnitten kurz zusammenfassen:
1. 1. Ein auf einem Computer implementiertes Verfahren zum Verbessern von Fairness und zum Verringern einer diskriminierenden Verzerrung in einem Modell für überwachtes maschinelles Lernen, wobei das Verfahren aufweist
   • - Verknüpfen des Modells für überwachtes maschinelles Lernen mit einem Metamodell für bestärkendes Lernen,
   • - Auswählen einer Liste von Hyperparametern und Parametern des Modells für überwachtes maschinelles Lernen,
   • - Steuern zumindest eines Aspekts des Modells für überwachtes maschinelles Lernen durch Anpassen von Hyperparameterwerten und Parameterwerten der Liste von Hyperparametern und Parametern des Modells für überwachtes maschinelles Lernen durch eine Engine für bestärkendes Lernen, die sich auf das Metamodell für bestärkendes Lernen bezieht, durch Berechnen einer Belohnungsfunktion auf Grundlage mehrerer sich widersprechender Zielfunktionen,
   • - iteratives Wiederholen der Schritte des Auswählens und Steuerns zum Verbessern eines Fairness-Wertes des Modells für überwachtes maschinelles Lernen.
2. 2. Das Verfahren gemäß Abschnitt 1, das darüber hinaus aufweist
   • - Unterbrechen des Wiederholens, wenn ein Fairness-Wert größer als ein vordefinierter Fairness-Schwellenwert ist und ein Wert der Leistungsfähigkeit größer als ein vordefinierter Schwellenwert der Leistungsfähigkeit ist.
3. 3. Das Verfahren gemäß Abschnitt 2, das darüber hinaus aufweist
   • - Auswählen eines neuen Modells für überwachtes maschinelles Lernen, wenn nach einer vordefinierten Anzahl von Iterationen der Fairness-Wert kleiner als der vordefinierte Fairness-Schwellenwert ist oder der Wert der Leistungsfähigkeit kleiner als der vordefinierte Schwellenwert der Leistungsfähigkeit ist.
4. 4. Das Verfahren gemäß Abschnitt 2, wobei der Wert der Leistungsfähigkeit aus der Gruppe ausgewählt wird, die aus einem Geschwindigkeitswert, einem Wert der Vorhersagequalität, einer Anzahl von Zyklen besteht.
5. 5. Das Verfahren gemäß Abschnitt 4, das darüber hinaus aufweist
   • - Ermitteln des Wertes der Vorhersagequalität mithilfe von F-Maß, Trefferquote und
   Genauigkeit und/oder Korrektheit.
6. 6. Das Verfahren gemäß einem der vorhergehenden Abschnitte, wobei der Fairness-Wert im Hinblick auf eine algorithmische Verzerrung, eine Stichprobenverzerrung, eine Verzerrung durch Voreingenommenheit oder eine Messwertverzerrung ermittelt wird.
7. 7. Das Verfahren gemäß einem der vorhergehenden Abschnitte, wobei die Belohnungsfunktion eine Komponente eines Zyklus bestärkenden Lernens ist.
8. 8. Das Verfahren gemäß Abschnitt 7, das darüber hinaus aufweist
   • - Ausführen eines Bestärkungsagenten zum Steuern des Zyklus bestärkenden Lernens.
9. 9. Das Verfahren gemäß einem der vorhergehenden Abschnitte, wobei das Modell für überwachtes maschinelles Lernen aus der Gruppe ausgewählt wird, die ein neuronales Netz, ein logistisches Regressionsmodell, ein Random-Forest-Modell, ein Modell einer Support-Vector Machine und ein Entscheidungsbaummodell aufweist.
10. 10. Das Verfahren gemäß einem der vorhergehenden Abschnitte, wobei die sich widersprechenden Zielfunktionen zumindest zwei aufweisen, die aus der Gruppe ausgewählt werden, die eine Metrik der Leistungsfähigkeit, eine Genauigkeitsmetrik und eine Fairness-Metrik aufweist.
11. 11. Das Verfahren gemäß einem der vorhergehenden Abschnitte, wobei der Fairness-Wert durch eine durchschnittliche relative Differenz zwischen Stichprobendaten ermittelt wird, die sich nur in Werten eines geschützten Attributs unterscheiden.
12. 12. Das Verfahren gemäß Abschnitt 2 bis 11, das darüber hinaus aufweist
    • - bei Ermitteln, dass der Fairness-Wert kleiner als der vordefinierte Fairness-Schwellenwert ist,
    Modifizieren des Modells für überwachtes maschinelles Lernen durch Ändern der Hyperparameter, wobei sich die Hyperparameter auf den Typ des Modells für überwachtes maschinelles Lernen, seine Konfiguration, einen Vorverarbeitungsschritt und/oder einen Nachverarbeitungsschritt beziehen, oder durch Ändern der Parameter des Modells für überwachtes maschinelles Lernen.
13. 13. Ein System zum Verbessern von Fairness zum Verbessern von Fairness und zum Verringern einer diskriminierenden Verzerrung in einem Modell für überwachtes maschinelles Lernen, wobei das System aufweist
    • - eine Verknüpfungskomponente, die zum Verknüpfen des Modells für überwachtes maschinelles Lernen mit einem Metamodell für bestärkendes Lernen ausgelegt ist,
    • - eine Auswahleinheit, die zum Auswählen einer Liste von Hyperparametern und Parametern des Modells für überwachtes maschinelles Lernen ausgelegt ist,
    • - eine Steuereinheit, die zum Steuern zumindest eines Aspekts des Modells für überwachtes maschinelles Lernen durch Anpassen von Hyperparameterwerten und Parameterwerten der Liste von Hyperparametern und Parametern des Modells für überwachtes maschinelles Lernen durch eine Engine für bestärkendes Lernen, die sich auf das Metamodell für bestärkendes Lernen bezieht, durch Berechnen einer Belohnungsfunktion auf Grundlage mehrerer sich widersprechender Zielfunktionen ausgelegt ist,
    • - eine Wiederholungseinheit, die dazu ausgelegt ist, die Auswahleinheit und die Steuereinheit iterativ für eine Verbesserung eines Fairness-Wertes des Modells für überwachtes maschinelles Lernen auszulösen.
14. 14. Das System gemäß Abschnitt 13, das darüber hinaus aufweist
    • - Unterbrechen des Wiederholens, wenn ein Fairness-Wert größer als ein vordefinierter Fairness-Schwellenwert ist und ein Wert der Leistungsfähigkeit größer als ein vordefinierter Schwellenwert der Leistungsfähigkeit ist.
15. 15. Das System gemäß Abschnitt 14, das darüber hinaus aufweist
    • - Auswählen eines neuen Modells für überwachtes maschinelles Lernen, wenn nach einer vordefinierten Anzahl von Iterationen der Fairness-Wert kleiner als der vordefinierte Fairness-Schwellenwert ist oder der Wert der Leistungsfähigkeit kleiner als der vordefinierte Schwellenwert der Leistungsfähigkeit ist.
16. 16. Das System gemäß Abschnitt 13, wobei der Wert der Leistungsfähigkeit aus der Gruppe ausgewählt wird, die aus einem Geschwindigkeitswert, einem Wert der Vorhersagequalität, einer Anzahl von Zyklen besteht.
17. 17. Das System gemäß Abschnitt 16, das darüber hinaus aufweist
    • - eine Ermittlungseinheit, die zum Ermitteln des Wertes der Vorhersagequalität mithilfe von F-Maß, Trefferquote und Genauigkeit und/oder Korrektheit ausgelegt ist.
18. 18. Das System gemäß einem der Abschnitte 13 bis 17, wobei der Fairness-Wert im Hinblick auf eine algorithmische Verzerrung, eine Stichprobenverzerrung, eine Verzerrung durch Voreingenommenheit oder eine Messwertverzerrung ermittelt wird.
19. 19. Das System gemäß einem der Abschnitte 13 bis 18, wobei die Belohnungsfunktion eine Komponente eines Zyklus bestärkenden Lernens ist.
20. 20. Das System gemäß Abschnitt 19, das darüber hinaus aufweist
    • - ein Bestärkungsagentensystem zum Steuern des Zyklus bestärkenden Lernens.
21. 21. Das System gemäß einem der Abschnitte 13 bis 20, wobei das Modell für überwachtes maschinelles Lernen aus der Gruppe ausgewählt wird, die ein neuronales Netz, ein logistisches Regressionsmodell, ein Random-Forest-Modell, ein Modell einer Support-Vector Machine und ein Entscheidungsbaummodell aufweist.
22. 22. Das System gemäß einem der Abschnitte 13 bis 21, wobei die sich widersprechende Zielfunktion zumindest zwei aufweist, die aus der Gruppe ausgewählt werden, die eine Metrik der Leistungsfähigkeit, eine Genauigkeitsmetrik und eine Fairness-Metrik aufweist.
23. 23. Das Verfahren gemäß einem der Abschnitte 13 bis 22, wobei der Fairness-Wert durch eine durchschnittliche relative Differenz zwischen Stichprobendaten ermittelt wird, die sich nur in Werten eines geschützten Attributs unterscheiden.
24. 24. Das Verfahren gemäß einem der Abschnitte 14 bis 23, wobei die Wiederholungseinheit ausgelegt ist zu einem:
    • - bei Ermitteln, dass der Fairness-Wert kleiner als der vordefinierte Fairness-Schwellenwert ist, Ermitteln einer Dimension in einem verwendeten Trainings-Datensatz, in dem ein Merkmal des Trainings-Datensatzes die größte Unausgewogenheit aufweist, und Auswählen eines Teilsatzes des verwendeten Trainings-Datensatzes, für den die ermittelte Dimension eine Anzahl von Datenvektoren aufweist, die für alle Varianten für den Dimensionswert plus einen vordefinierten Deltawert gleich ist.
25. 25. Ein Computerprogrammprodukt zum Verbessern von Fairness in einem Modell für überwachtes maschinelles Lernen, wobei das Computerprogrammprodukt ein durch einen Computer lesbares Speichermedium aufweist, in dem Programmanweisungen verkörpert sind, wobei die Programmanweisungen durch ein(e) oder mehrere Datenverarbeitungssystem(e) oder Steuereinheit(en) so ausführbar sind, dass das eine oder die mehreren Datenverarbeitungssystem(e) veranlasst wird/werden zu einem
    • - Verknüpfen des Modells für überwachtes maschinelles Lernen mit einem Metamodell für bestärkendes Lernen,
    • - Auswählen einer Liste von Hyperparametern und Parametern des Modells für überwachtes maschinelles Lernen,
    • - Steuern zumindest eines Aspekts des Modells für überwachtes maschinelles Lernen durch Anpassen von Hyperparameterwerten und Parameterwerten der Liste von Hyperparametern und Parametern des Modells für überwachtes maschinelles Lernen durch Berechnen einer Belohnungsfunktion auf Grundlage mehrerer sich widersprechender Zielfunktionen,
    • - iteratives Wiederholen der Schritte des Auswählens und Steuerns zum Verbessern eines Fairness-Wertes des Modells für überwachtes maschinelles Lernen.
• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• US 9008840 B1 [0006]
• US 2018/0012137 A1 [0007]

Claims (20)

1. Auf einem Computer implementiertes Verfahren, wobei das Verfahren aufweist: Empfangen einer ursprünglichen Version eines Modells für maschinelles Lernen (MLM), das eine Mehrzahl von Parameterwerten, eine Mehrzahl von Hyperparameterwerten und einen ursprünglichen Fairness-Wert enthält, der Fairness im Hinblick auf segmentierte relevante Teilgruppen widerspiegelt; Anpassen zumindest einiger der Parameterwerte und/oder zumindest einiger der Hyperparameterwerte der ursprünglichen Version des MLM, um eine vorläufige Version des MLM zu erstellen; Ermitteln eines Fairness-Wertes für die vorläufige Version des MLM durch Operationen, die Folgendes enthalten: Empfangen eines Metamodells für bestärkendes Lernen (RLMM), das eine Mehrzahl von auf Fairness bezogenen Zielen und eine Belohnungsfunktion definiert, die die Mehrzahl von auf Fairness bezogenen Zielen widerspiegelt; Betreiben der vorläufigen Version des MLM; während des Betriebs der vorläufigen Version des MLM, Berechnen von Belohnungswerten durch das RLMM auf Grundlage der Belohnungsfunktion; und Ermitteln eines vorläufigen Fairness-Wertes für die vorläufige Version des MLM auf Grundlage der Belohnungswerte; Ermitteln, dass der vorläufige Fairness-Wert größer als der ursprüngliche Fairness-Wert ist; und als Reaktion auf die Ermittlung, dass der vorläufige Fairness-Wert größer als der ursprüngliche Fairness-Wert ist, Ersetzen der ursprünglichen Version des MLM durch die vorläufige Version des MLM und Ersetzen des ursprünglichen Fairness-Wertes durch den vorläufigen Fairness-Wert.
2. Auf einem Computer implementiertes Verfahren nach Anspruch 1, das des Weiteren aufweist: iteratives Wiederholen der Operationen, bis der ursprüngliche Fairness-Wert einen vorgegebenen Schwellenwert übersteigt.
3. Auf einem Computer implementiertes Verfahren nach Anspruch 1 oder 2, wobei das ursprüngliche MLM ein überwachtes MLM ist.
4. Auf einem Computer implementiertes Verfahren nach einem der Ansprüche 1 bis 3, wobei die auf Fairness bezogenen Ziele zumindest eines der Folgenden enthalten: Geschlecht, Alter, Nationalität, Glaubensvorstellungen, ethnische Zugehörigkeit und Orientierung.
5. Auf einem Computer implementiertes Verfahren nach einem der Ansprüche 1 bis 4, das des Weiteren aufweist: Verknüpfen des ursprünglichen MLM mit dem Metamodell für bestärkendes Lernen auf Grundlage einer Konfiguration und eines Auslesens.
6. Auf einem Computer implementiertes Verfahren nach einem der Ansprüche 1 bis 5, wobei die Mehrzahl von Parameterwerten einen Wert für zumindest einen der folgenden Parametertypen enthält: Gewichtungsfaktoren und Aktivierungsfunktionsvariablen.
7. Auf einem Computer implementiertes Verfahren nach Anspruch 1 bis 6, wobei die Mehrzahl von Hyperparameterwerten einen Wert für zumindest einen der folgenden Hyperparametertypen enthält: den Typ der Aktivierungsfunktion, die Anzahl von Knoten pro Schicht, die Anzahl von Schichten eines neuronalen Netzes und das Modell für maschinelles Lernen.
8. Computerprogrammprodukt, wobei das Computerprogrammprodukt aufweist: ein oder mehrere nichttransitorische, durch einen Computer lesbare Speichermedien und Programmanweisungen, die auf dem einen oder den mehreren nichttransitorischen, durch einen Computer lesbaren Speichermedien gespeichert sind, wobei die Programmanweisungen aufweisen: Programmanweisungen zum Empfangen einer ursprünglichen Version eines Modells für maschinelles Lernen (MLM), das eine Mehrzahl von Parameterwerten, eine Mehrzahl von Hyperparameterwerten und einen ursprünglichen Fairness-Wert enthält, der Fairness im Hinblick auf segmentierte relevante Teilgruppen widerspiegelt; Programmanweisungen zum Anpassen zumindest einiger der Parameterwerte und/oder zumindest einiger der Hyperparameterwerte der ursprünglichen Version des MLM, um eine vorläufige Version des MLM zu erstellen; Programmanweisungen zum Ermitteln eines Fairness-Wertes für die vorläufige Version des MLM durch Operationen, die Folgendes enthalten: Programmanweisungen zum Empfangen eines Metamodells für bestärkendes Lernen (RLMM), das eine Mehrzahl von auf Fairness bezogenen Zielen und eine Belohnungsfunktion definiert, die die Mehrzahl von auf Fairness bezogenen Zielen widerspiegelt; Programmanweisungen zum Betreiben der vorläufigen Version des MLM; während des Betriebs der vorläufigen Version des MLM, Programmanweisungen zum Berechnen von Belohnungswerten durch das RLMM auf Grundlage der Belohnungsfunktion; und Programmanweisungen zum Ermitteln eines vorläufigen Fairness-Wertes für die vorläufige Version des MLM auf Grundlage der Belohnungswerte; Programmanweisungen zum Ermitteln, dass der vorläufige Fairness-Wert größer als der ursprüngliche Fairness-Wert ist; und als Reaktion auf die Ermittlung, dass der vorläufige Fairness-Wert größer als der ursprüngliche Fairness-Wert ist, Programmanweisungen zum Ersetzen der ursprünglichen Version des MLM durch die vorläufige Version des MLM und Ersetzen des ursprünglichen Fairness-Wertes durch den vorläufigen Fairness-Wert.
9. Computerprogrammprodukt nach Anspruch 8, das des Weiteren aufweist: Programmanweisungen zum iterativen Wiederholen der Operationen, bis der ursprüngliche Fairness-Wert einen vorgegebenen Schwellenwert übersteigt.
10. Computerprogrammprodukt nach Anspruch 8 oder 9, wobei das ursprüngliche MLM ein überwachtes MLM ist.
11. Computerprogrammprodukt nach einem der Ansprüche 8 bis 10, wobei die auf Fairness bezogenen Ziele zumindest eines der Folgenden enthalten: Geschlecht, Alter, Nationalität, Glaubensvorstellungen, ethnische Zugehörigkeit und Orientierung.
12. Computerprogrammprodukt nach einem der Ansprüche 8 bis 11, das des Weiteren aufweist: Programmanweisungen zum Verknüpfen des ursprünglichen MLM mit dem Metamodell für bestärkendes Lernen auf Grundlage einer Konfiguration und eines Auslesens.
13. Computerprogrammprodukt nach einem der Ansprüche 8 bis 12, wobei die Mehrzahl von Parameterwerten einen Wert für zumindest einen der folgenden Parametertypen enthält: Gewichtungsfaktoren und Aktivierungsfunktionsvariablen.
14. Computerprogrammprodukt nach einem der Ansprüche 8 bis 13, wobei die Mehrzahl von Hyperparameterwerten einen Wert für zumindest einen der folgenden Hyperparametertypen enthält: den Typ der Aktivierungsfunktion, die Anzahl von Knoten pro Schicht, die Anzahl von Schichten eines neuronalen Netzes und das Modell für maschinelles Lernen.
15. Computersystem, das aufweist: einen oder mehrere Computerprozessoren; ein oder mehrere durch einen Computer lesbare Speichermedien; Programmanweisungen, die zum Ausführen durch zumindest einen des einen oder der mehreren Computerprozessoren auf dem einen oder den mehreren durch einen Computer lesbaren Speichermedien gespeichert sind, wobei die Programmanweisungen aufweisen: Programmanweisungen zum Empfangen einer ursprünglichen Version eines Modells für maschinelles Lernen (MLM), das eine Mehrzahl von Parameterwerten, eine Mehrzahl von Hyperparameterwerten und einen ursprünglichen Fairness-Wert enthält, der Fairness im Hinblick auf segmentierte relevante Teilgruppen widerspiegelt; Programmanweisungen zum Anpassen zumindest einiger der Parameterwerte und/oder zumindest einiger der Hyperparameterwerte der ursprünglichen Version des MLM, um eine vorläufige Version des MLM zu erstellen; Programmanweisungen zum Ermitteln eines Fairness-Wertes für die vorläufige Version des MLM durch Operationen, die Folgendes enthalten: Programmanweisungen zum Empfangen eines Metamodells für bestärkendes Lernen (RLMM), das eine Mehrzahl von auf Fairness bezogenen Zielen und eine Belohnungsfunktion definiert, die die Mehrzahl von auf Fairness bezogenen Zielen widerspiegelt; Programmanweisungen zum Betreiben der vorläufigen Version des MLM; während des Betriebs der vorläufigen Version des MLM, Programmanweisungen zum Berechnen von Belohnungswerten durch das RLMM auf Grundlage der Belohnungsfunktion; und Programmanweisungen zum Ermitteln eines vorläufigen Fairness-Wertes für die vorläufige Version des MLM auf Grundlage der Belohnungswerte; Programmanweisungen zum Ermitteln, dass der vorläufige Fairness-Wert größer als der ursprüngliche Fairness-Wert ist; und als Reaktion auf die Ermittlung, dass der vorläufige Fairness-Wert größer als der ursprüngliche Fairness-Wert ist, Programmanweisungen zum Ersetzen der ursprünglichen Version des MLM durch die vorläufige Version des MLM und Ersetzen des ursprünglichen Fairness-Wertes durch den vorläufigen Fairness-Wert.
16. Computersystem nach Anspruch 15, das des Weiteren aufweist: Programmanweisungen zum iterativen Wiederholen der Operationen, bis der ursprüngliche Fairness-Wert einen vorgegebenen Schwellenwert übersteigt.
17. Computersystem nach Anspruch 15 oder 16, wobei die auf Fairness bezogenen Ziele zumindest eines der Folgenden enthalten: Geschlecht, Alter, Nationalität, Glaubensvorstellungen, ethnische Zugehörigkeit und Orientierung.
18. Computersystem nach einem der Ansprüche 15 bis 17, das des Weiteren aufweist: Programmanweisungen zum Verknüpfen des ursprünglichen MLM mit dem Metamodell für bestärkendes Lernen auf Grundlage einer Konfiguration und eines Auslesens.
19. Computersystem nach einem der Ansprüche 15 bis 18, wobei die Mehrzahl von Parameterwerten einen Wert für zumindest einen der folgenden Parametertypen enthält: Gewichtungsfaktoren und Aktivierungsfunktionsvariablen.
20. Computersystem nach einem der Ansprüche 15 bis 19, wobei die Mehrzahl von Hyperparameterwerten einen Wert für zumindest einen der folgenden Hyperparametertypen enthält: den Typ der Aktivierungsfunktion, die Anzahl von Knoten pro Schicht, die Anzahl von Schichten eines neuronalen Netzes und das Modell für maschinelles Lernen.

Images