-
Querverweis auf verwandte Anmeldungen
-
Diese Anmeldung beansprucht die Priorität der vorläufigen amerikanischen Patentanmeldung 62/858,165 mit dem Titel „MULTI-METHOD SYSTEM FOR OPTIMAL PREDICTIVE MODEL SELECTION“, die am 6. Juni 2019 eingereicht wurde und die hiermit in ihrer Gesamtheit für alle Zwecke miteingeschlossen ist.
-
Hintergrund
-
Weltweit verwenden Firmen künstliche
-
Intelligenz (Kl) und Maschinenlernen (ML), um Abweichungen vorherzusagen, die Effizienz zu verbessern und Gewinne zu maximieren. Typischerweise erfordert die Einbindung von datengetriebenen KI/ML-Techniken in die Geschäftsabläufe eines Unternehmens wesentliche Einstellmaßnahmen, etwa die Änderung von betriebsinternen Strukturen. Diese Thematik wird in breiter Weise angesprochen und erläutert; siehe beispielsweise:
- Forbes, 30. November 2018 - „Why Transforming Your Organization Using Data Science Must Come From The Top“
- https://www.forbes.com/sites/forbestechcouncil/2018/11/30/why-transforming-your-organization-using-data-science-must-come-from-the-top/#365af652da87); und
- Harvard-Businessausgabe August 2017 - „How to make AI work for your business“
- https://www.mckinsev.com/business-functions/mckinsev-analytics/our-insights/how-to-make-ai-work-for-your-business.
-
Der Großteil der Diskussion darüber, wie Unternehmen sich ändern müssen, um KI/ML erfolgreich einzusetzen, zielt auf organisatorische Unterstützung, Verfahren zur Erkennung und zur Sicherung „von frühen Gewinnen“ (Erfolgen) ab, und zielt darauf ab, wie im Allgemeinen KI/ML-Aktivitäten an den Unternehmenszielen und Ergebnissen allgemein auszurichten sind. Jedoch wird in der Praxis die Aufgabe der tatsächlichen Erstellung und Auswahl von KI/ML-Modellen für gewöhnlich speziellen Analysten oder Datenwissenschaftlern zugewiesen, die Modellierungs-/analytische Software (1) verwenden, um „genaue“ Modelle für gemessene Antworten, etwa Absicht-zum-Kaufen, Betrug, Anlagenausfall oder Wartungserfordernisse, Abweichungen unterschiedlicher Arten zu erstellen, oder (2) eine Struktur in den Daten zu erkennen, wozu Abweichungen von erwarteten Mustern gehören.
-
Nahezu alle implementierten KI/ML-Algorithmen bieten üblicherweise Optionen zur Nutzung der Genauigkeit, oder Indizes, die direkt mit der Genauigkeit in Beziehung stehen, um Vorhersagemodelle zu bewerten und zu vergleichen. Sie fordern Analysten dazu auf eine Auswahl zu treffen, oder sie wählen automatisch das genaueste Modell für den Einsatz; siehe beispielsweise:
- https://en.wikipedia.org/wiki/Model selection; oder https://en.wikipedia.org/wiki/Evaluation of binary classifiers.
-
Sogenannte „Wettbewerbsbewertung von Modellen-”Ansätze und „Auto-ML-Verfahren“ wenden automatisch diverse ML-Algorithmen und Strategien auf verfügbare Trainingsdaten an, und bewerten die Genauigkeit unterschiedlicher Modelle in einer Durchhalte- oder Testprobe. Die Testprobe wird lediglich für die Modellbewertung und nicht für die eigentliche Modellerstellung verwendet, um Information über unterschiedliche Modellgenauigkeit bereitzustellen.
-
Figurenliste
-
Für ein vollständigeres Verständnis der Merkmale und Vorteile der vorliegenden Offenbarung wird nunmehr auf die detaillierte Beschreibung sowie auf die begleitenden Zeichnungen verwiesen, in denen entsprechende Bezugszeichen in den unterschiedlichen Figuren einander entsprechende Teile bezeichnen und in denen:
- 1A eine Darstellung eines Blockdiagramms eines Systems zur Erzeugung algorithmischer Modelle ist, die zur Erzeugung vorhersagender Analytiken aus einem Modelldatensatz für einen Prozess verwendet werden, gemäß gewisser anschaulicher Ausführungsformen;
- 1 B eine Darstellung von durch ein UI-Modul erzeugten Maßzahlen zur Anzeige auf einem Anzeigemodul für eine Gruppe bekannter oder erzeugter vorhersagender Modelle ist, wobei ein AutoML-gestütztes System ausschließlich ein einziges Modellleistungskriterium verwendet, um die Vorhersagemodelle zu erzeugen oder zu ermitteln, gemäß gewissen anschaulichen Ausführungsformen;
- 1C eine Darstellung von durch ein Ul-Modul erzeugten Maßzahlen zur Anzeige auf einem Anzeigemodul für eine Gruppe aus ermittelten oder erzeugten Vorhersagemodellen ist, wobei ein AutoML-gestütztes System und Wunschfunktionsmodul Kriterien mit Mehrfachvariablen verwenden, um die Vorhersagemodelle zu erzeugen oder zu ermitteln, gemäß gewissen anschaulichen Ausführungsformen;
- 2A-2B Darstellungen eines algorithmischen Flussdiagramms eines Logikablaufs für den algorithmischen Modellgenerator gemäß gewissen anschaulichen Ausführungsformen sind; und
- 3 eine Darstellung einer Rechenanlage zur Verarbeitung von Daten und zur Auswahl der optimalen Vorhersagemodellauswahl und zum Ausführen des optimalen Vorhersagemodells gemäß gewissen anschaulichen Ausführungsformen ist.
-
Detaillierte Beschreibung
-
Obwohl im Folgenden die Erstellung und die Verwendung diverser Ausführungsformen der vorliegenden Offenbarung detailliert erläutert ist, sollte dennoch beachtet werden, dass die vorliegende Offenbarung viele anwendbare erfindungsgemäße Konzepte vorstellt, die in einer Vielzahl spezifischer Umgebungen verwirklicht werden können. Die hierin erläuterten speziellen Ausführungsformen sind lediglich anschaulich und schränken den Schutzbereich der vorliegenden Offenbarung nicht ein. Im Sinne der Klarheit sind nicht alle Merkmale einer tatsächlichen Implementierung in der vorliegenden Offenbarung beschrieben. Selbstverständlich sollte beachtet werden, dass bei der Entwicklung einer derartigen tatsächlichen Ausführungsform zahlreiche implementationsspezifische Entscheidungen getroffen werden müssen, um die speziellen Ziele des Entwicklers, etwa die Verträglichkeit mit systembezogenen und unternehmensbezogenen Rahmenbedingungen, die sich von einer Implementierung zur anderen unterscheiden, zu erreichen. Des Weiteren ist zu beachten, dass ein derartiger Entwicklungsaufwand komplex und zeitaufwendig sein kann, aber dennoch für den Fachmann auf dem Gebiet, der den Inhalt dieser Offenbarung verfügbar hat, eine Routinemaßnahme darstellt.
-
Genauigkeit ist selten das bedeutsamste Maß für die Auswahl unter unterschiedlichen ML/KI-Modulen, um einen Maximalwert für einen Vorhersagewert für ein Unternehmen zu erreichen. Erst jüngst hat es Versuche gegeben, Kosten und ROI als Kriterien zur Auswahl eines „besten Modells“ aus vielen Vorhersagemodellen zu integrieren, die unter Anwendung herkömmlicher allgemeiner Genauigkeitskriterien erzeugt wurden; jedoch deckt diese Vorgehensweise nicht die tatsächliche Problematik der Ausrichtung der Modellerstellung und der Auswahl in Bezug auf organisatorische Prioritäten Erfordernisse und Ziele ab.
-
Es gibt eine deutliche Trennung zwischen der genauigkeitsgestützten Bewertung von ML/KI-Vorhersagemodellen und den Gesamtzielen und den praktischen Rahmenbedingungen nahezu aller Unternehmen, die eine Verwendung derartiger Modelle wünschen oder benötigen. Beispielsweise kann/können ein höchstgenaues Vorhersagemodell:
- - zu komplex und somit ungeeignet für die Verwendung bei Datenströmen mit geringer Verarbeitungszeit sein (beispielsweise seien Ensemblemodelle und robotische Systeme mit geringer Verarbeitungszeit betrachtet);
- - ausreichend komplex sein, so dass der Rechenaufwand für die Bewertung neuer Daten deutlich höher wäre als der erwartete Rücklauf der Investition (ROI) bei der Ausführung einer derartigen Bewertung;
- - spezielle teure Daten für die Eingabe erforderlich sein, so dass die Verwendung dieses Modells im Vergleich zum erwarteten ROI zu teuer wäre;
- - Erzeuger von Vorhersagen fehlen, die Verteilungen entsprechen, wie sie in den realen Daten beobachtet werden, wodurch das ausgewählte Modul sich als ungeeignet für Auswertungen mit hoher Genauigkeit von „Was-ist-Szenarien“, Simulation von Prozessen oder Optimierungsprojekte (wie sie typisch in Anwendungen für die Industrie 4.0 sind) erweisen;
- - nicht kompatibel zu speziellen geschäftlichen, gesetzlichen Rahmenbedingungen oder Kombinationen aus anderen festen oder aufwendigen veränderbaren Rahmenbedingungen sein; und
- - weniger genau für spezielle (diskrete, kontinuierliche) Werte oder Wertebereiche für spezielle Voraussagen sein, in denen die Genauigkeit von größtem Wert ist; so können etwa Voreinstellungen im Hinblick auf die Genauigkeit für spezielle Beobachtungen auch zu unerwünschten Grundwerten und nachteiligem Unterscheidungseinfluss führen, wenn das Modell in der Produktion angewendet wird.
-
Um den geschäftlichen Wert eines besten Modells für ein Unternehmen oder einen speziellen Prozess zu maximieren, müssen andere Maßzahlen, etwa die Datensammlung (Kosten der Daten), die Modellkomplexität, Modellbewertungskriterien, Risiken für Grundeinstellungen oder für Unterscheidungseinflüsse, Erteilungskosten und andere Modelleigenschaften zu den Unternehmenszielen, Ressourcen, Rahmenbedingungen und gewünschten geschäftlichen Resultaten ausgerichtet werden. Ansonsten können ML- und Kl-Algorithmen zu sehr genauen Modellen führen, die dennoch scheitern, einen Wert (ROI - Rücklauf der Investition) für ein Unternehmen zu schaffen, oder im schlechteren Falle, Verluste zu verursachen.
-
Aktuell konzentrieren sich verfügbare kommerzielle Lösungen oder offene Lösungen für automatische Modellerstellung und automatische Auswahl bester Modelle, wie sie etwa eingerichtet sind in:
- H20 fahrerlose KI (https://www.h2o.ai/products/h2o-driverless-ai/);
- Auto-sklearn (https://github.com/automl/auto-sklearn);
- Auto-keras (https://github.com/keras-team/autokeras);
- MLBox; (https://github.com/AxeldeRomblay/MLBox); und
- viele kommerzielle Lösungen auf die technischen Herausforderungen für die Erstellung und/oder das Auffinden des Vorhersagemodells mit der höchsten Genauigkeit. In der KI/ML-Industrie werden sie als automatische Maschinenlernsysteme präsentiert und werden als AutoML-gestützte Systeme bezeichnet.
-
Es werden hier eine Vorrichtung, ein System und ein Verfahren zur Erzeugung algorithmischer Modelle vorgestellt, die zum Erzeugen von vorhersagenden Analysen aus einem Modelldatensatz für einen Prozess, beispielsweise einen Unternehmensprozess, verwendet werden. Die Vorrichtung, das System und das Verfahren verbessern signifikant die aktuell verfügbaren bekannten Systeme und erweitern diese, d.h., AutoML-gestützte Systeme und andere Systeme zur Erzeugung und Bewertung von Vorhersagemodellen, indem automatische oder andere Verfahren und beste praktische Lösungen für die Erzeugung von Maschinenlernmodellen mit speziehen geschäftlichen Ergebnissen und Rahmenbedingungen in Einklang gebracht werden. Dies wiederum verkürzt die Zeit ausgehend von der Definition eines Geschäftsproblems, das unter Anwendung von Maschinenlernen und KI gelöst werden kann, bis zur erfolgreichen und dauerhaft nachhaltigen Verteilung von ML/KI-gestützten Lösungen unter vorgegebenen aktuellen Geschäftsrahmenbedingungen. Daher ermöglichen die Vorrichtung, das System und das Verfahren einen schnelleren und größeren tatsächlichen Wert und ROI für Unternehmen und andere Parteien.
-
Das Konzept von „Attraktivität bzw. Erwünschtheit“ hat eine lange dokumentierte Geschichte im Bereich angewandter Statistik, um Entscheidungen über die beste Wahl für Werte von Eingaben in Vorhersagemodellen für mehrere Ausgaben oder KPls zu informieren, wobei jede die eigenen angestrebten Eigenschaften und Rahmenbedingungen hat; siehe beispielsweise Derringer, G. und Suich, R., 2018, Journal of Quality Technology, Band 2, Seiten 214-219.
-
Angegeben unter www.itl.nist.gov/div898/handbook/pri/section5/pri5322.htm:
- „Der Ansatz mit Erwünschtheitsfunktion ist eines der am häufigsten verwendeten Verfahren in der Industrie für die Optimierung von Prozessen mit mehreren Antworten. Er beruht auf dem Konzept, dass die „Qualität“ eines Produkts oder eines Prozesses, der mehrere Qualitätseigenschaften hat, wobei eine davon außerhalb einiger „gewünschter bzw. angestrebter“ Grenzen liegt, vollkommen inakzeptabel ist. Das Verfahren ermittelt Betriebsbedingungen, die die „am meisten wünschenswerten“ Antwortwerte bereitstellt.”
-
Im Allgemeinen führen die vorgeschlagenen Formeln zu einem einzigen Erwünschtheitswert, der Erwünschtheit spezieller Werte oder Wertebereiche für mehrere gemessene oder eingeordnete KPls (Schlüsselleistungsindikatoren) oder Qualitätskriterien kombiniert. Die Werte, die den einzigen Erwünschtheitswert bilden, der eine Funktion von Qualitätskriterien ist, kann als ein Kostenaufwand, ein neutraler Posten, ein Vorteil oder irgendwas dazwischen eingestuft werden. In dieser Offenbarung werden die Begriffe Wert und Vorteil im Hinblick auf einen mit einem Kriterium im Zusammenhang stehenden Wert als gleichbedeutend aufgefasst und werden gegebenenfalls wechselseitig verwendet.
-
Die vorliegende Offenbarung wendet diese Formeln auf ein System und ein Verfahren an, in denen mehrere KPIs, die üblicherweise mit der Qualität und der Anwendung von Vorhersagemodellen im Zusammenhang stehen oder diese beschränken, wie dies in 2A und 2B, in den Blöcken 46 bis 54 beschrieben ist. Die nominale oder gemessene Wichtigkeit für mehrere Kriterien, die die Gesamterwünschtheit, die mit Vorhersagemodellen im Zusammenhang steht, beeinflussen, ist in 2A und 2B beschrieben und kann zu einem einzigen Wert der Erwünschtheit für jedes Vorhersagemodell kombiniert werden, wobei bekannte oder vom Benutzer bereitgestellte Gleichungen für die Berechnung der gesamten Erwünschtheit aus den Wertebereichen oder den gemessenen Bewertungskriterien, etwa dem Wert oder dem Kostenaufwand einzelner KPls verwendet werden.
-
Die von Derringer und Suich bereitgestellten Gleichungen, wie sie zuvor angegeben sind, stellen ein Beispiel davon bereit, wie die Erwünschtheitswerte oder Wertebereiche über mehrere Kriterien hinweg zu einem einzigen Erwünschtheitswert kombiniert werden können. Da die Erwünschtheit über mehrere Kriterien hinweg kombiniert wird, indem ein geometrischer Mittelwert (durch die Multiplikation einzelner Erwünschtheitswerte im Bereich von 0,0 bis 1,0) berechnet wird, ist, wenn irgendein Kriterium eine Erwünschtheit von 0 (Null) hat, die Erwünschtheit des entsprechenden Vorhersagemodells ebenfalls 0 (Null), und ist somit ungewünscht. Dies ist nur eine der möglichen Vorgehensweisen, um unterschiedliche KPls zu einem einzigen Erwünschtheitswert zu kombinieren.
-
Mit dieser Vorgehensweise werden Modell, die auf der Grundlage mehrerer Bewertungskriterien ausgewählt werden, etwa Kosten, Konsistenz in Bezug auf Unternehmensziele, Schlüsselleistungsindikatoren (KPIs), Rahmenbedingungen, und mögliche Risiken, oder eine beliebige Kombination dieser Kriterien, werden zu Prozessen und Verfahren ausgerichtet und mit diesen vereinheitlicht, die angewendet werden, um KI/ML-Modelle für die Nutzung zu erstellen und auszuwählen. Der Modellerstellungsprozess sowie andere Eigenschaften der KI/ML-Modelle werden als Eingaben für ein Optimierungsproblem mit mehreren Zielen betrachtet, das eine Modellerwünschtheit wiedergibt, die eine Funktion der mehreren Bewertungskriterien, etwa Modellgenauigkeit oder Anwendungskosten sowie die erwarteten Vorteile von Modellen ist, wobei in den gesamten Modellerwünschtheitswerten anwendbare Rahmenbedingungen im Hinblick auf Leistungserfordernisse und Ressourcen sowie mögliche Haftung und Risiken aufgrund unbeabsichtigter benachteiligender Einflüsse oder Ungenauigkeiten in gewissen Eingabegebieten eines algorithmischen Modells, widerspiegeln.
-
Wenn KI/ML-Modelle erstellt und ausgewählt werden, betrachten die Vorrichtung, das System und das Verfahren zur Erzeugung algorithmischer Modelle, die zur Erzeugung einer vorhersagenden Analyse aus einem Modelldatensatz für einen Prozess verwendet werden, die Erwünschtheit von Modellen auf der Grundlage jeweils der folgenden Kriterien (nicht vollständig):
- - die Kosten für die Erfassung von Datenelementen, die zur Bewertung neuer Beobachtungen erforderlich sind;
- - verborgene Muster in Unterbereichen des Datensatzes;
- - Modelleingaben und -ausgaben auf der Grundlage von benutzerdefinierten Rahmenbedingungen;
- - Modellkomplexität und Zeit, die zum Bewerten einer neuen Beobachtung erforderlich sind;
- - Modellkomplexität und Kosten, die mit der Bewertung einer neuen Beobachtung im Zusammenhang stehen;
- - Modellkomplexität und die Kosten/Zeit, die zur Erstellung und/oder zum Neukalibrieren des Modells erforderlich sind;
- - die Kosten für falsch positive und falsch negative Ergebnisse während des Betriebs;
- - die Risiken, die mit Grundeinstellungen bzw. Verschiebungen in Modellvorhersagen einhergehen, oder benachteiligende Einflüsse, wenn das Modell für eine automatische Entscheidungsfindung bei der Produktion eingesetzt werden soll;
- - die Übereinstimmungsgenauigkeit der Verteilungen von Vorhersagen in Bezug auf tatsächliche Verteilungen von Werten; und
- - statistische und aus Vorhersagegenauigkeit abgeleiteten Leistungsindikatoren.
-
Durch die Verwendung eines berechneten Gesamtmodellerwünschtheitswerts, wie dies zuvor erläutert ist, berücksichtigen die Vorrichtung, das System und das Verfahren statistische Maßzahlen und Geschäftsmaßzahlen sowie Rahmenbedingungen, die als Anleitung für die automatische Maschinenlernanlage dienen, während geeignete KI/ML-Modelle trainiert, bewertet und verglichen werden. In dieser Offenbarung sind KI/ML-Modelle und Vorhersagemodelle das gleiche und können zueinander austauschbar verwendet werden. Die Vorrichtung, das System und das Verfahren stellen eine Anleitung für einen Benutzer dar und befördern die Automation, um das oder die beste bzw. besten KI/ML-Modell bzw. Modelle für die Anwendung unter dem gegebenen erwarteten Geschäftswert auszuwählen, der dem ausgewählten Modell zugeordnet ist, wobei auch geschäftliche Erfordernisse und Rahmenbedingungen berücksichtigt werden.
-
Eine Erwünschtheitsfunktion ist eine Funktion, die auf dem Gebiet der Statistik und der Datenwissenschaft verwendet und gut verstanden ist. Die Erwünschtheitsfunktion definiert die Zuordnung von Werten und Wertebereiche über unterschiedliche Bewertungskriterien zu dem Gesamterwünschtheitswert für ein Vorhersagemodell in Bezug auf entsprechende Unternehmensziele, Regeln oder andere Schlüsselleistungsindikatoren. Kriterien, etwa Bewertungskosten oder Modellgenauigkeit und andere, die in den vorhergehenden Paragraphen beschrieben sind, sind die Dimensionen, die von dem jeweiligen Unternehmen berücksichtigt werden müssen, um die Gesamterwünschtheit eines Modells zu bewerten. Eine Rahmenbedingung definiert zulässige Werte oder Wertebereiche für ein Kriterium, Kriterien oder Kombinationen aus Kriterien. Rahmenbedingungen bzw. Bedingungen können eine fest oder veränderbar sein. Eine feste Bedingung kann beispielsweise eine sein, in der die Erwünschtheit des Vorhersagemodells 0 (Null) ist, wenn der Wert eines Kriteriums außerhalb der zulässigen Grenze liegt, die die Bedingung definiert (beispielsweise hat ein spezielles Modell gegebenenfalls einen nachteiligen Einfluss, der größer ist, als es gesetzlich zulässig ist, und kann somit nicht ausgewählt und von dem Unternehmen verwendet werden). Eine weiche bzw. veränderbare Bedingung kann beispielsweise eine sein, in der gewisse Wertebereiche für Kriterien oder Kombinationen von Kriterien dazu führen, dass ein Modell zunehmend weniger erwünscht bzw. wünschenswert ist.
-
Wenn beispielsweise die Kosten für die Bewertung eines einzigen neuen Falles, einer Reihe oder eines Ereignisses mit einem vorgegebenen gewissen Vorhersagemodell einen gewissen Wert übersteigt, dann wird das Ausmaß, mit dem die Kosten der Bewertung diesen Wert übersteigen, schnell die Erwünschtheit dieses Modells in Richtung 0 (Null) verkleinern. Die Erwünschtheitsfunktion kann speziell gemessene oder zugewiesene Werte für ein Kriterium oder Kriterien, Umstände, Sachlagen oder Einschlüsse in einen numerischen Wert umwandeln, der eine Gesamterwünschtheit in Bezug auf die unerwünschten Konsequenzen und gewünschte Vorteile angibt, von denen erwartet wird, dass sie sich für die Firma oder das Unternehmen ansammeln, wenn das entsprechende Vorhersagemodell zum Bewerten neuer Daten verwendet wird, und wenn diese Vorhersagen wiederum verwendet werden, um Prozessentscheidungen bekannt zu geben, die Unternehmensergebnisse beeinflussen werden. Kriteriumswerte, die mit kleinen Erwünschtheitswerten im Zusammenhang stehen, können ein entsprechendes Modell als weniger wünschenswert erscheinen lassen; Kriteriumswerte, die mit größeren Erwünschtheitswerten im Zusammenhang stehen, führen dazu, dass das entsprechende Modell wünschenswerter ist.
-
AutoML ist ein Forschungsbereich, der auf die Automatisierung des Prozesses der Erstellung komplexer algorithmischer Modelle abzielt. AutoML, d.h., automatisiertes Maschinenlern-, Modul betrifft im hierin verwendeten Sinne AutoML-gestützte Systeme. Diese Systeme sind Software-Lösungen, die diverse Bereiche des Automatisierungsprozesses betreffen. Diese Software-Lösungen sind aktuell mit offenem Quellcode aber auch auf dem kommerziellen Markt verfügbar. Eine Beobachtung in dieser Anmeldung bedeutet eine logische Reihe in einem Datensatz. Eine Vorhersagevariable in dieser Anmeldung bezeichnet eine unabhängige Variable, die in algorithmischen Modellen verwendet wird, die Information über eine abhängige Variable für ein definiertes Ergebnis bereitstellt. Eine Ergebnisvariable ist eine abhängige Variable, die sich in Reaktion auf Änderungen an einer Eingabevariablen ändert. Die Ausdrucksweise „mindestens einer von bzw. oder“ soll so aufgefasst werden, dass damit eine Konjunktion oder keine Konjunktion abgedeckt ist. Anders ausgedrückt, mindestens eines aus A und B bzw. A und/oder B soll so interpretiert werden, dass sowohl A als auch B oder nur A oder nur B miteingeschlossen sind.
-
Ein Algorithmus ist das spezielle Rechenverfahren, das zum Abschätzen der Parameter eines Vorhersagemodells verwendet wird. Ein analytisches Verfahren bezeichnet den Prozess, mit dem Vorhersagemodelle erzeugt werden, indem beispielsweise automatisiertes Maschinenlernen (AutoML) benutzt wird, oder indem a-priori gewisse statistische Algorithmen oder Maschinenlernalgorithmen ausgewählt werden, um Vorhersagemodelle aus Modelltrainingsdaten zu erstellen. Ein analytischer Ansatz definiert eine Kategorie eines Algorithmus für einen speziellen Zweck oder hat gewisse gemeinsame Eigenschaften, beispielsweise gibt es analytische Ansätze für Klassifizierungsaufgaben, die viele Maschinenlernalgorithmen beinhalten, die für vorhersagende Klassifizierungen geeignet sind, etwa ob ein Kreditkartenkonsument Schulden abzahlen wird oder nicht, oder mit Bildklassifizierung; oder beispielsweise gibt es analytische Ansätze für Regressionsaufgaben, die viele Algorithmen für regressive Vorhersage kontinuierlicher Ergebnisvariablen enthalten. Es gibt viele Arten, wie Maschinenlernalgorithmen in Typen analytischer Ansätze eingeteilt werden können, und die spezielle Art, mit der analytische Ansätze definiert werden können, ist für gewöhnlich speziell für gewisse Felder (unterschiedlich in unterschiedlichen Geschäftsbereichen).
-
Es sei nun auf 1A verwiesen, in der eine Blockansicht eines Systems zur Erzeugung algorithmischer Modelle gezeigt ist, die zum Erzeugen vorhersagender Analysen aus einem Modelldatensatz für einen Prozess gemäß gewissen anschaulichen Ausführungsformen verwendet werden, wie dies allgemein als 10 bezeichnet ist. Das System 10 beinhaltet einen algorithmischen Modellgenerator 12, ein Geschäftsmodell 14, ein Datenwissenschafts- und Geschäftsanalyseeingabemodell 16, mehrere Modellsätze 18 und einen Anzeigegenerator 20. Im Wesentlichen erzeugt das System 10 algorithmische Modelle, Vorhersageergebnisse, d.h. Beobachtungen, und Maßzahlen auf Grundlage vordefinierter Kriterien unter Anwendung eines Geschäftsmodells, das für einen speziellen Prozess relevant ist, etwa ein Geschäftsmodell für einen Vorgang im Bankbereich, unter Verwendung von Vorhersagevariablen und Ergebnisvariablen.
-
Das Geschäftsmodell 14 ist ein Datensatz von Variablen, die einen Prozess beschreiben, etwa eine Organisationsstruktur, in der der Abteilungsaufbau eines Unternehmens, Prozesse und Produkte umfasst. Das Datenwissenschafts- und Geschäftsauswertemodul 16 ist ein Modul, das es einem Benutzer ermöglicht, ausgewählte Variablen, etwa Vorhersagevariablen und Vorhersagevariablentypen und Ergebnisvariablen und Ergebnisvariablentypen, Modellanalysetypen, ein algorithmisches Modellgenauigkeitskriterium oder Kriterien, ein Bewertungskriterium oder Kriterien für die algorithmische Modellqualität und ein Bewertungskriterium oder Kriterien, die die Modellerwünschtheit bzw. Modellattraktivität beeinflussen, einzugeben. Der algorithmische Modellgenerator 12 umfasst ein AutoML-gestütztes System oder andere Systeme, die dazu äquivalent sind, um Vorhersagemodelle 12a zu erzeugen, und beinhaltet ein Erwünschtheitsfunktionsmodul 12b. Der Modelldatensatz 18 ist eine Datenbanksammlung mit Modelldatensätzen, die für ein Geschäftsmodell relevant sind und verwendet werden, um algorithmische Modelle zu trainieren, so dass vorhersagende Ergebnisse für gewisse Vorhersage- und Ergebnisvariablen und Typen erhalten werden. Der Anzeigegenerator 20 ist eine interaktive Grafikanzeige und ein programmierbares Benutzerschnittstellen- (UI-) Modul, das grafische Anzeigen zum Anzeigen der algorithmischen Modelle, der Graphen, der Diagramme, des Kriteriums und Kriterien, und von Variablen, die von dem algorithmischen Modellgenerator 12 erzeugt werden, erzeugt und eine Benutzerrückmeldung für den algorithmischen Modellgenerator 12 bereitstellt.
-
In einer Ausführungsform verarbeitet das Erwünschtheitsfunktionsmodul 12b Ergebnis- und Vorhersagevariablen, Ergebnis- und Vorhersagevariablentypen, Modellanalysetypen, ein algorithmisches Modellgenauigkeitskriterium oder Kriterien, ein Bewertungskriterium oder Kriterien für die algorithmische Modellqualität und ein Bewertungskriterium oder Kriterien, die die Erwünschtheit der Modellanwendung beeinflussen, etwa, ohne darauf einschränken zu wollen, monetäre Kosten, Wert, Risiken, Grad der Verträglichkeit mit Regeln oder Auflagen, und andere, wie sie in 2a und 2b als 48-52 aufgeführt sind, um eine Erwünschtheitsfunktion zu erzeugen. Das Modellerstellungs-/Erzeugungs-System oder automatisierte AutoML-gestützte System 12a führt eine Abtastung an den Modelldatensätzen ab, um damit einen Satz aus trainierten algorithmischen Modellen und Vorhersageergebnissen, d.h. Beobachtungen, auf der Grundlage von Ergebnis-, Eingabe- und Vorhersagevariablen, Ergebnis-, Eingabe- und Vorhersagevariablentypen, Modellanalysetypen und der von dem Erwünschtheitsfunktionsmodul 12b bereitgestellten Erwünschtheitsfunktion zu erzeugen. Der Anzeigegenerator 20 erzeugt eine interaktive logische Schnittstelle unter Anwendung einer graphischen Anzeigesprache, etwa von Java-gestützter HTML (Hypertext Markup Sprache), und synchronisiert die Schnittstelle mit dem Anzeigemodul 20. 1B ist eine Darstellung von Maßzahlen, die von dem Anzeigegenerator 20 erzeugt sind, für eine Gruppe aus ermittelten oder erzeugten Vorhersagemodellen, wobei das Modellerstellungs-/Erzeugungs-System oder AutoML-gestütztes System 12a ausschließlich ein Leistungskriterium verwendet, um die Vorhersagemodelle zu erzeugen oder zu ermitteln. 1B ist eine Darstellung von Maßzahlen, die von dem Anzeigegenerator 20 erzeugt sind, für eine Gruppe aus ermittelten oder erzeugten Vorhersagemodellen, wobei das Modellerstellungs-/Erzeugungs-System oder AutoML-gestütztes System 12a und das Erwünschtheitsfunktionsmodul 12b Kriterien mit mehreren Variablen verwenden, um die Vorhersagemodule zu erzeugen oder zu ermitteln.
-
Der algorithmische Modellgenerator 12 kann Vorhersagemodelle auf der Grundlage der Modelldatensätze 18 und vom Benutzer bereitgestellten Eingabevariablen und Ergebnisvariablen zum Vorhersagen der Ergebnisvariablen aus den Eingabevariablen, wie sie durch ein entsprechendes Unternehmen ausgewählt sind, erstellen. Die Eingabevariablen können unabhängige Variablen (ursachenbezogen) und Vorhersagevariablen sein. Der algorithmische Modellgenerator 12 kann ein vollständig automatisiertes AutoML-System einrichten, wie dies zuvor beschrieben ist, oder er kann eine Liste unterschiedlicher analytischer Ansätze oder Algorithmen zyklisch durchlaufen. Des Weiteren kann das Modellerstellungs-/Erzeugungs-System oder AutoML-gestütztes System 12a das Erwünschtheitsfunktionsmodul 12b verwenden, um mindestens ein algorithmisches Modell zu erzeugen; beispielsweise kann das Modellerstellungs-/Erzeugungs-System oder AutoML-gestütztes System 12a einen Gesamterwünschtheitswert oder Werte verwenden, die von dem Erwünschtheitsfunktionsmodul 12b auf der Grundlage gewisser Kriterien oder eines Kriteriums erzeugt werden, beispielsweise die Kosten einer fehlerhaften Einstufung (inkorrekte Vorhersage) einer Reihe oder eines Falles, abhängig von der speziellen Kategorie, zu der der entsprechende Falle gehört, und abhängig von der speziellen Kategorie, in die dieser fälschlich eingegliedert wurde, um vorhersagende Klassifizierungsmodelle zu erzeugen, die den gesamten Erwünschtheitswert oder Werten genügen. Selbst wenn jedoch das erzeugte Modell nicht auf der Grundlage von Kriterien erzeugt wird, kann jedes erzeugte Modell speziellen Werten für spezielle Kriterien zugeordnet werden, wie dies zuvor erläutert ist; diese Kriterien können in einen Erwünschtheitswert für jedes algorithmische Modell mittels der in 12b dargestellten Erwünschtheitsfunktion umgewandelt werden. Die resultierende Tabelle aus Vorhersagemodellen, den Werten zugehöriger Kriterien für jedes Modell und des Werts der gesamten Erwünschtheit für jedes Modell wird dann über den Anzeigegenerator 20 für den Benutzer angezeigt. Der Benutzer kann diese Ergebnisse mittels des Anzeigegenerators 20 für jedes Modell prüfen und ein Modell auswählen oder das System und die UI konfigurieren derart, dass das wünschenswerteste Modell für die endgültige Verwendung für den entsprechenden zugehörigen Geschäftsprozess, auf den das entsprechende Vorhersagemodell anzuwenden ist, automatisch ausgewählt wird. Einzelheiten der Ergebnisse, Werte von Kriterien und Erwünschtheitswerte können über den Anzeigegenerator 20 angezeigt werden. Der Anzeigegenerator 20 ermöglicht es ferner Benutzern, unterschiedliche Variablen manuell auszuwählen oder wahlweise die speziellen Algorithmen und analytischen Ansätze, die in dem algorithmischen Modellgeneratorblock 12 verwendet sind, zu modifizieren.
-
Es sei nun auf 2A-2B verwiesen, in denen ein algorithmisches Flussdiagramm eines Logikablaufs für den algorithmischen Modellgenerator 12 gezeigt und allgemein als 40 bezeichnet ist. Im Block 44 können auf der Grundlage eines speziellen Prozesses Ergebnisvariablen, Ergebnistypen, Vorhersagevariablen, Vorhersagevariablentypen, Eingabevariablen, Eingabevariablentypen und analytische Verfahren, Algorithmustypen und Ansätze für ML, Kl oder lineare Modelle für eine einfache Interpretation und Nachverfolgbarkeit von Ursachen ausgewählt werden. Im Block 46 werden die Bewertung oder Bewertungen für die Modellgenauigkeit, Komplexität und Abbildungstreue ausgewählt. Es können Maßnahmen für die Modellgenauigkeit, Komplexität und Maßgenauigkeit ausgewählt werden. Die Rangordnung der Wichtigkeit für jedes Kriterium und ein Gewicht für jedes Kriterium auf der Grundlage der Wichtigkeit können ebenfalls ausgewählt werden.
-
Im Block 48 können Bewertungskriterien für den Modellanwendungswert (Vorteil) und Kosten ausgewählt werden. Eine nicht vollständige Liste beinhaltet: Aufwand bzw. Kosten für die Auswertung und Anwendung einer vorausgewählten Anzahl trainierter algorithmischer Modelle und Vorhersageergebnisse; Kosten für eine falsch positive Vorhersage pro kategorischer Ergebnisvariable; Kosten/Erwünschtheit einer falsch positiven Vorhersage pro kategorischer Ergebnisvariable; Wert der korrekten Vorhersage pro kategorischem Ergebnis; Kosten für einen Vorhersagefehler pro kontinuierlicher Ergebnisvariable; Kosten der Datenerfassung für jede Vorhersagevariable; und Kosten der Erstellung und Neukalibrierung eines trainierten algorithmischen Modells. Einer oder mehrere Aspekte bezüglich der Kosten und Werte können durch Eingabewerte pro Klasse zusammengefasst werden.
-
Im Block 50 können andere Geschäftskriterien oder ein Geschäftskriterium ausgewählt werden. Es kann ein Qualitätskriterium für algorithmische Modelle bezüglich Genauigkeit, Komplexität, Abbildungstreue, Anwendung, Wert und Kosten ausgewählt werden. Jedes im Block 46 und 48 aufgeführte Kriterium kann einer Bedingung zugeordnet werden. Des Weiteren können Bedingungen zugeordnet werden für: einen Leistungswert für trainierte algorithmische Modelle, Kosten oder für beides; trainierte algorithmische Modelle für Modellabschätzungskosten; Grenzen für Anwendungskosten für trainierte algorithmische Modelle: maximale Anzahl von Eingaben für die Interpretierbarkeit trainierter algorithmischer Modelle; und Kriterien oder ein Kriterium pro Variable, um diesbezüglich einen nachteiligen Einfluss algorithmischer Modelle zu bewerten.
-
Es kann der Zeitaufwand zur Anwendung und zur Bewertung eines trainierten algorithmischen Modells in Betracht gezogen werden. Die Zeitdauer, die nötig ist, um eine einzige Datenaufzeichnung (einen einzigen Datenpunkt) auszuführen, kann insbesondere für ein Szenario bei Verwendung einer Cloud relevant sein, da hier Kosten mit der Ressourcennutzung im Zusammenhang stehen. Es kann die räumliche Komplexität bei der Anwendung bzw. Verteilung und bei der Bewertung eines trainierten algorithmischen Modells in Betracht gezogen werden. Der Platzbedarf zum Ausführen eines einzigen Datenpunkts kann verwendet werden, um die Zuweisung von Systemressourcen zielgenau auszuführen. Je weniger Platz eingenommen wird, desto höher ist die Anzahl an Datenpunkten, die mit der gleichen Hardware (Beispiel: virtuelle Maschinen, Behälter, und dergleichen) ausgeführt werden kann.
-
Ein Verteilungsvergleich zur Anwendung und zur Bewertung trainierter algorithmischer Modelle kann in Betracht gezogen werden. Ein Vergleich zwischen den Verteilungen von Zielwerten für das Training, das Prüfen und vorgehaltenen Datensätzen im Vergleich zu den Vorhersagen über den vorgehaltenen Datensatz dienen zur Bewertung der Modellangleichung. Bei einer großen Anzahl an Beobachtungen müssen die Verteilungen beobachteter und vorhergesagter Werte ähnlich sein. Ein Vergleich von Ausgaben aus simulierten Daten in Bezug auf gewisse Vorhersagen, etwa demographische Eigenschaften, die eine Verschiebung und einen nachteiligen Einfluss eines trainierten algorithmischen Modells kennzeichnen würden, können ebenfalls berücksichtigt werden.
-
Es kann ein Modellauffrischungsmaß für die Anwendung und die Bewertung eines trainierten algorithmischen Modells in Betracht gezogen werden. Angewandte bzw. verteilte trainierte algorithmische Modelle können regelmäßig überprüft und aufgefrischt werden, um Relevanz und Leistung beizubehalten. Dieses Maß schließt Information darüber mit ein, wie lange es dauert, um das gleiche Modell erneut mit frischen Daten neu zu trainieren. Beispielweise benötigt ein lineares Regressionsmodell nicht viel Zeit für ein erneutes Trainieren. Ein komplexes neuronales Netzwerk kann jedoch unter Umständen signifikante Systemressourcen benötigen.
-
Es kann eine unterschiedliche Wichtigkeit der Genauigkeit für Teilgebiete in vorhergesagten Verteilungen betrachtet werden. Dieses Maß erfasst Information über die Genauigkeit von Vorhersagen in Teilgebieten der Daten (einschließlich der Wirkung von Kosten für falsche Klassifizierungen). Beispielsweise kann ein trainiertes algorithmisches Modell in der Lage sein, die Abwanderungsrate für Personen mit einem Alter zwischen 20 und 30 Jahren zu ermitteln, aber nicht für Personen, die älter als 30 sind. Wenn das wichtigste und wertvolle demographische Segment für das Unternehmen das Segment im Alter von 20 bis 30 Jahren ist, dann sollte der Modellerstellungs- und Bewertungs/Vergleichsprozess diese Unternehmenspräferenz/Anforderung wiedergeben. Eine derartige Information kann auch für die Ermittlung von Mustern in den Daten und für die Datensäuberung wichtig sein.
-
Es kann ein rahmenbedingungsgestütztes Trainieren algorithmischer Modelle betrachtet werden. Während des Trainingsprozesses können spezielle Rahmenbedingungen bzw. Bedingungen für ein algorithmisches Modell ausgewählt werden. In einem Szenario, in welchem mehrere Modelle, beispielsweise AutoML oder Modellgittersuche, erzeugt werden, kann es zweckdienlich sein, ein gewisses Maß an Training auf Basis von Rahmenbedingungen zu haben. Beispielsweise können gegebenenfalls nur Modelle spezifiziert werden, die in weniger als 10 ms abgearbeitet werden und weniger als 5 MB Platz benötigen, für die Produktion berücksichtigt werden. Dieses Maß ist in Szenarien mit geringen Ressourcen zweckdienlich, etwa bei loT (Internet der Dinge) oder in Fällen, in denen Benutzer ein begrenztes Finanzbudget für die Anwendung haben. Eine weitere Art an Rahmenbedingung für Zeitreihen- (zeitindizierte) Variablen besteht darin, die kleinste zulässige Nachlaufzeit für gewisse Vorhersagevariablen zu begrenzen, um damit sicherzustellen, dass die Werte für diese Vorhersagen verfügbar sind, wenn sie benötigt werden, um die Vorhersagen in einem Echtzeitsystem mit geringer Verarbeitungszeit zu unterstützen.
-
Es können die Kosten für die Daten zur Anwendung und zur Bewertung eines trainierten algorithmischen Modells berücksichtigt bzw. betrachtet werden. In einigen Szenarien für die Modellierung und die Anwendung kann das Erhalten (Messen) der Werte für einige Vorhersagevariablen teuer sein. Wenn beispielsweise Kundendaten modelliert werden, müssen gegebenenfalls spezielle Haushaltsinformationen und demographische Informationen von Datenhändlern gekauft werden; bei Fertigungsanwendungen können gewisse Messungen es gegebenenfalls notwendig machen, dass eine zerstörende Prüfung oder ansonsten kostenaufwendige Prüfung erforderlich ist. Unter Anwendung dieser Maßzahl können die Kosten für die Datenerfassung für spezielle Vorhersagen sowohl für das Training (erneute Kalibrierung) als auch für die Bewertung neuer Datenpunkte berücksichtigt werden.
-
Im Block 52 kann jedes Kriterium als ein festes oder veränderbares Kriterium zugewiesen werden. Es kann auch ein Gewicht für jedes Kriterium, das die Bedeutung für jedes Auswahlkriterium für ein algorithmisches Modell kennzeichnet, zugewiesen werden. Im Block 54 wird der gesamte Modellerwünschtheitswert erzeugt und für einen Benutzer angezeigt. Der Benutzer kann Was-Wenn-Szenarien und Auswertungen an der Gesamtmodellerwünschtheit ausführen. Im Block 56 können ein Algorithmusmodell oder Modelle auf der Grundlage ausgewählter Ergebnis- und Vorhersagevariablen, Ergebnis- und Vorhersagevariablentypen, Modellauswertetypen, einer Kombination aus einer Erwünschtheitsfunktion, und einer beliebigen Modifizierung, die von dem Benutzer vorgenommen wird, trainiert werden. Es sollte beachtet werden, dass der Block 56 im logischen Ablauf vor oder nach dem Block 54 ausgeführt werden kann.
-
Es sei nun auf 3 verwiesen, in der eine Rechenanlage 100 und ein Systemanwendungsmodul 200 gemäß anschaulichen Ausführungsformen gezeigt sind. Die Rechenanlage 100 kann einem von diversen Computern, Mobilgerät, Laptop-Computer, Server, eingebettetem System, oder Computersystem entsprechen, wie sie hierin präsentiert sind. Das Modul 200 kann ein oder mehrere Hardware- oder Software-Elemente aufweisen, die dazu ausgebildet sind, es der Rechenanlage 100 zu ermöglichen, die diversen Verfahren und Verarbeitungsfunktionen, wie sie hierin angegeben sind, auszuführen. Die Rechenanlage 100 kann diverse interne oder angeheftete Komponenten aufweisen, etwa einen Prozessor 110, einen Systembus 120, einen Systemspeicher 130, Speichermedien 140, eine Eingabe/Ausgabe-Schnittstelle 150 und eine Netzwerkschnittstelle 160 zur Kommunikation mit einem Netzwerk 170, beispielsweise eine Rückmeldeschleife, ein lokales Netzwerk, ein Weitbereichsnetzwerk, Funk/GPS, Bluetooth, WIFI und WIMAX.
-
Die Rechenanlage 100 kann als ein konventionelles Computersystem, eine eingebettete Steuerung, ein Laptop, ein Server, ein Mobilgerät, ein intelligentes Telefon, ein am Körper tragbarer Rechner, eine kundenspezifische Einrichtung, oder eine andere Hardware-Plattform oder als eine Kombination oder als mehrere davon eingerichtet sein. Die Rechenanlage 100 und die zugehörigen logischen Elemente und Module können ein verteiltes System sein, das ausgebildet ist, seine Funktion unter Anwendung mehrerer Recheneinrichtungen auszuführen, die über ein Datennetzwerk und/oder ein Bussystem miteinander verbunden sind.
-
Der Prozessor 110 kann dazu ausgebildet sein, Code-Befehle auszuführen, um die Operationen und die Funktionen auszuführen, wie sie hierin beschrieben sind, um den Ablauf von Anforderungen und Adressenzuordnungen zu verwalten und Berechnungen auszuführen und Befehle zu erzeugen. Der Prozessor 110 kann ausgebildet sein, die Funktion der Komponenten in den Rechenanlagen zu überwachen und zu steuern. Der Prozessor 110 kann ein Prozessor für Allgemeinzwecke, ein Prozessorkern, ein Mehrfachprozessor, ein rekonfigurierbarer Prozessor, eine Mikrosteuerung, ein digitaler Signalprozessor („DSP“), eine anwendungsspezifische integrierte Schaltung („ASIC“), eine Steuerung, eine Zustandsmaschine, eine Gatterlogik, diskrete Hardware-Komponenten, eine beliebige andere Verarbeitungseinheit oder eine Kombination oder eine Vielfalt davon sein. Der Prozessor 110 kann eine einzelne Verarbeitungseinheit, mehrere Verarbeitungseinheiten, ein einzelner Verarbeitungskern, mehrere Verarbeitungskerne, Verarbeitungskerne für spezielle Zwecke, Co-Prozessoren oder eine Kombination sein. Gemäß gewissen Ausführungsformen kann der Prozessor 110 zusammen mit anderen Komponenten der Rechenanlage 100 eine Software-gestützte oder Hardware-gestützte virtualisierte Rechenanlage sein, die in einer oder mehreren anderen Rechenanlagen ausgeführt wird.
-
Der Systemspeicher 130 kann nicht flüchtige Speicher, etwa einen Nur-Lese-Speicher („ROM“), ein programmierbarer Nur-Lese-Speicher („PROM“), ein löschbarer programmierbarer Nur-Lese-Speicher („EPROM“), ein Flash-Speicher oder eine andere Einrichtung sein, die in der Lage ist, Programmbefehle oder Daten mit oder ohne angelegter Spannung zu speichern. Der Systemspeicher 130 kann ferner flüchtige Speicher, etwa Direkt-Zugriffsspeicher („RAM“), einen statischen Direkt-Zugriffsspeicher („SRAM“), einen dynamischen Direkt-Zugriffsspeicher („DRAM“) und einen synchronen dynamischen Direkt-Zugriffsspeicher („SDRAM“), beinhalten. Es können auch andere Arten von RAM verwendet werden, um den Systemspeicher 130 einzurichten. Der Systemspeicher 130 kann unter Anwendung eines einzigen Speichermoduls oder mehrerer Speichermodule eingerichtet werden. Obwohl der Systemspeicher 130 als Teil der Rechenanlage dargestellt ist, erkennt der Fachmann, dass der Systemspeicher 130 von der Rechenanlage 100 getrennt sein kann, ohne damit vom Bereich der vorliegenden Technik abzuweichen. Es sollte auch beachtet werden, dass der Systemspeicher 130 eine nicht flüchtige Speichereinrichtung enthalten oder in Verbindung damit arbeiten kann, etwa in Form der Speichermedien 140.
-
Die Speichermedien 140 können eine Festplatte, eine Diskette, eine Kompaktdiskette als Nur-Lese-Speicher („CD-ROM“), eine digitale Vielfältigkeitsdiskette („DVD“), eine Blu-ray-Diskette, ein Magnetband, einen Flash-Speicher, oder eine andere nicht flüchtige Speichereinrichtung, einen Halbleiterspeicher („SSD“), eine magnetische Speichereinrichtung, eine optische Speichereinrichtung, eine elektrische Speichereinrichtung, eine beliebige Halbleiterspeichereinrichtung, eine beliebige Speichereinrichtung auf physikalischer Basis, oder eine andere Datenspeichereinrichtung oder eine Kombination oder Vielzahl davon beinhalten. Die Speichermedien 140 können ein oder mehrere Betriebssysteme, Anwendungsprogramme oder Programmmodule, Daten oder eine andere Information speichern. Die Speichermedien 140 können Teil der Rechenanlage sein oder können mit dieser verbunden sein. Die Speichermedien 140 können auch Teil einer oder mehrerer anderer Rechenanlagen sein, die mit der Rechenanlage in Verbindung stehen, etwa in Form von Servern, Datenbankservern, Cloud-Speicher, mit Netzwerk verbundenem Speicher, usw.
-
Das Anwendungsmodul 200 kann ein oder mehrere Hardware- oder Software-Elemente aufweisen, die ausgebildet sind, die Rechenanlage in die Lage zu versetzen, die diversen Verfahren und Verarbeitungsfunktionen, wie sie hierin angegeben sind, auszuführen. Das Anwendungsmodul 200 und andere OS-Anwendungsmodule können einen oder mehrere Algorithmen oder Sequenzen aus Befehlen enthalten, die als Software oder Firmware im Zusammenhang mit dem Systemspeicher 130, den Speichermedien 140 oder beiden gespeichert sind. Die Speichermedien 140 können daher Beispiele von maschinen- oder computerlesbaren Medien darstellen, auf denen Befehle oder Code, die von dem Prozessor 110 auszuführen sind, gespeichert werden können. Maschinen- oder computerlesbare Medien können im Allgemeinen beliebige Medien oder ein Medium bezeichnen, die dazu dienen, Befehle für den Prozessor 110 bereitzustellen. Derartige maschinen- oder computerlesbare Medien, die mit dem Anwendungsmodul 200 oder anderen OS-Anwendungsmodulen verbunden sind, können ein Computer-Software-Produkt aufweisen. Es sollte beachtet werden, dass ein Computer-Software-Produkt mit dem Anwendungsmodul 200 und anderen OS-Anwendungsmodulen auch mit einem oder mehreren Prozessen oder Verfahren für die Bereitstellung des Anwendungsmoduls 200 und anderer OS-Anwendungsmodule für die Rechenanlage mittels eines Netzwerks, eines signaltragenden Mediums, oder einer anderen Kommunikation- oder Bereitstellungstechnik im Zusammenhang stehen kann. Das Anwendungsmodul 200 und andere OS-Anwendungsmodule können auch Hardware-Schaltungen oder Information zum Konfigurieren von Hardware-Schaltungen, etwa eine Mikrocode- oder Konfigurationsinformation für ein FPGA oder eine andere PLD, aufweisen. In einer anschaulichen Ausführungsform können das Anwendungsmodul 200 und andere OS-Anwendungsmodule Algorithmen enthalten, die in der Lage sind, die Funktionen auszuführen, die durch die Flussdiagramme und die Computersysteme beschrieben sind, wie sie hierin angegeben sind.
-
Die Eingabe/Ausgabe-(„I/O-“)Schnittstelle 150 kann dazu ausgebildet sein, ein oder mehrere externe Geräte anzukoppeln, Daten aus dem einen oder den mehreren externen Geräten zu empfangen und Daten zu dem einen oder den mehreren externen Geräten zu senden. Derartige externe Geräte zusammen mit den diversen internen Einrichtungen können auch als periphere Geräte bekannt sein. Die I/O-Schnittstelle 150 kann sowohl elektrische als auch physische Verbindungen zur Ankopplung der diversen peripheren Geräte an die Rechenanlage oder den Prozessor 100 enthalten. Die I/O-Schnittstelle 150 kann ausgebildet sein, Daten, Adressen und Steuersignale zwischen den peripheren Geräten, der Rechenanlage oder dem Prozessor 110 auszutauschen. Die I/O-Schnittstelle 150 kann ausgebildet sein, eine Standard-Schnittstelle, etwa eine kleine Computersystem-Schnittstelle („SCSI“), eine seriell angebundene SCSI („SAS“), einen Faserkanal, eine periphere Komponentenverbindung („PCI“), einen PCI-Express (PCle), einen seriellen Bus, einen parallelen Bus, fortschrittliche Technologieverbindung („ATA“), eine serielle ATA („SATA“), einen universellen seriellen Bus („USB“), Thunderbolt, FireWire, diverse Videobusse und dergleichen, einzurichten. Die I/O-Schnittstelle 150 kann ausgebildet sein, lediglich eine einzelne Schnittstelle oder eine Bustechnik einzurichten. Alternativ kann die I/O-Schnittstelle 150 ausgebildet sein, mehrere Schnittstellen oder Bustechnologien einzurichten. Die I/O-Schnittstelle 150 kann als Teil des Systembusses 120 oder als gesamter Systembus oder als in Verbindung damit arbeitend ausgebildet sein. Die I/O-Schnittstelle 150 kann einen oder mehrere Puffer zur Speicherung von Übertragungen zwischen einem oder mehreren externen Geräten, internen Geräten, der Rechenanlage oder dem Prozessor 120 enthalten.
-
Die I/O-Schnittstelle 120 kann die Rechenanlage mit diversen Eingabeeinrichtungen, einschließlich einer Maus, berührungsempfindlichen Bildschirmen, Abtastern, elektronischem Digitalisieren, Sensoren, Empfängern, Berührflächen, Zeigerkugeln, Kameras, Mikrofonen, Tastaturen, und anderen Zeigergeräten oder einer Kombination davon, verbinden. Die I/O-Schnittstelle 120 kann die Rechenanlage mit diversen Ausgabeeinrichtungen verbinden, einschließlich von Videoanzeigen, Lautsprechern, Druckern, Projektoren, Geräten mit fühlbarer Rückmeldung, Automatisierungssteuerungen, Roboterkomponenten, Aktuatoren, Motoren, Gebläsen, Elektromagneten, Ventilen, Pumpen, Übertrager, Signalemitter, Beleuchtungen usw.
-
Die Rechenanlage 100 kann in einer vernetzten Umgebung unter Anwendung logischer Verbindungen für die NIC 160 mit einem oder mehreren anderen Systemen oder Recheneinrichtungen in einem Netzwerk arbeiten. Das Netzwerk kann Weitbereichsnetzwerke (WAN), Nahbereichsnetzwerke (LAN), Intranetze, das Internet, Netzwerke mit drahtlosem Zugriff, verdrahtete Netzwerke, mobile Netzwerke, Telefonnetzwerke, optische Netzwerke oder Kombinationen davon beinhalten. Das Netzwerk kann paketgeführt, durch Schaltung vermittelt, oder von einer beliebigen Topologie sein, und kann ein beliebiges Kommunikationsprotokoll verwenden. Kommunikationsverbindungen innerhalb des Netzwerks können diverse digitale oder analoge Kommunikationsmedien beinhalten, etwa Faseroptikkabel, begrenzungsfreie Optiken, Wellenleiter, elektrische Leiter, drahtlose Verbindungen, Antennen, Hochfrequenzkommunikation, und dergleichen.
-
Der Prozessor 110 kann mit anderen Elementen der Rechenanlage oder den diversen peripheren Geräten, wie sie hierin erläutert sind, über den Systembus 120 verbunden sein. Es sollte beachtet werden, dass der Systembus 120 in dem Prozessor 110, außerhalb des Prozessors 110 oder beides liegen kann. Gemäß einigen Ausführungsformen können die Prozessoren 110, die anderen Elemente der Rechenanlage und/oder die diversen Peripheriegeräte, wie sie hierin erläutert sind, zu einer einzigen Vorrichtung zusammengefasst sein, etwa ein System auf einem Chip („SOC“), einem System in einem Gehäuse („SOP“), oder einem ASIC-Bauteil.
-
Ausführungsformen können ein Computerprogramm beinhalten, das die hierin beschriebenen und dargestellten Funktionen umsetzt, wobei das Computerprogramm in einem Computersystem implementiert ist, das in einem maschinenlesbaren Medium gespeicherte Befehle und einen Prozessor aufweist, der die Befehle ausführt. Es sollte jedoch ersichtlich sein, dass es viele unterschiedliche Möglichkeiten zum Implementieren von Ausführungsformen bei der Computerprogrammierung gibt, und dass die Ausführungsformen nicht als eine Einschränkung auf einen einzelnen Satz aus Computerprogrammbefehlen erachtet werden sollten, sofern dies nicht anderweitig für eine anschauliche Ausführungsform offenbart ist. Ferner wäre ein versierter Programmierer in der Lage, ein derartiges Computerprogramm zu erstellen, um eine Ausführungsform der offenbarten Ausführungsformen zu implementieren, wobei dies auf der Grundlage der angehängten Flussdiagramme, Algorithmen und zugehörige Beschreibung im Anmeldetext erfolgt. Daher wird eine Offenbarung einer speziellen Gruppe aus Programmiercodebefehlen nicht als notwendig erachtet, um ein adäquates Verständnis davon zu erhalten, wie Ausführungsformen zu erstellen und anzuwenden sind. Des Weiteren erkennt der Fachmann, dass einer oder mehrere Aspekte von hierin beschriebenen Ausführungsformen durch Hardware, Software oder eine Kombination davon ausgeführt werden können, wie dies in einer oder mehreren Rechensystemen vorhanden ist. Ferner sollte ein beliebiger Verweis auf einen von einem Computer ausgeführten Vorgang nicht als einer verstanden werden, der von einem einzelnen Computer ausgeführt wird, da auch mehr als ein Computer diesen Vorgang ausführen können.
-
Die hierin beschriebenen anschaulichen Ausführungsformen können in Verbindung mit Computer-Hardware und -Software angewendet werden, die die Verfahren und Verarbeitungsfunktionen, wie sie zuvor beschrieben sind, ausführen. Die hierin beschriebenen Systeme, Verfahren und Prozeduren können in einem programmierbaren Computer, in einer Computer ausführbaren Software oder in einer digitalen Schaltung umgesetzt werden. Die Software kann auf computerlesbaren Medien gespeichert sein. Beispielsweise können die computerlesbaren Medien eine Diskette, einen RAM, einen ROM, eine Festplatte, entnehmbare Medien, einen Flash-Speicher, einen Speicherstift, optische Medien, magnetoptische Medien, eine CD-ROM, und dergleichen beinhalten. Digitale Schaltungen können integrierte Schaltungen, Gatterarrays, Funktionsblocklogik, vor Ort programmierbare Gatterarrays, (FPGA), und dergleichen beinhalten
-
Die in den Ausführungsformen beschriebenen beispielhaften Systeme, Verfahren und Vorgänge, die auch zuvor dargestellt sind, sind lediglich anschaulicher Natur, und in alternativen Ausführungsformen können gewisse Vorgänge in einer Reihenfolge, parallel miteinander ausgeführt werden oder können vollständig weggelassen werden, und/oder diese können zwischen unterschiedlichen anschaulichen Ausführungsformen kombiniert werden, und/oder gewisse zusätzliche Vorgänge können ausgeführt werden, ohne von dem Schutzbereich und dem Grundgedanken diverser Ausführungsformen abzuweichen. Daher sind derartige alternative Ausführungsformen in der Beschreibung hierin miteingeschlossen.
-
Im hierin verwendeten Sinne sollen die Singularformen „einer“, „eine“, „ein“ und „der“, „die“, „das“ die Pluralformen ebenfalls miteinschließen, sofern der Kontext nicht eindeutig etwas anderes angibt. Des Weiteren ist zu beachten, dass die Begriffe „umfassen bzw. beinhalten“ und/oder „umfassend bzw. mit“ bei Verwendung in dieser Anmeldung das Vorhandensein angegebener Merkmale, ganzer Zahlen, Schritte, Operationen, Elemente und/oder Komponenten bezeichnen, aber das Vorhandensein oder das Hinzufügen eines oder mehrerer anderer Merkmale, ganzer Zahlen, Schritte, Operationen, Elemente, Komponenten und/oder Gruppen davon nicht ausschließen. Im hierin verwendeten Sinne umfasst der Begriff „und/oder“ eine und alle Kombinationen eines oder mehrerer der zugehörigen aufgeführten Elemente. Im hierin verwendeten Sinne sollen Ausdrucksweisen, etwa „zwischen X und Y“ und „zwischen ungefähr X und Y“ so aufgefasst werden, dass X und Y miteingeschlossen sind. Im hierin verwendeten Sinne bedeuten Ausdrucksweisen, etwa „zwischen ungefähr X und Y“ „zwischen ungefähr X und ungefähr Y“. Im hierin verwendeten Sinne bedeuten Ausdrucksweisen, etwa „von ungefähr X bis ungefähr Y“ „von ungefähr X bis ungefähr Y“.
-
Im hierin verwendeten Sinne kann „Hardware“ eine Kombination aus einzelnen Komponenten, eine integrierte Schaltung, eine anwendungsspezifische integrierte Schaltung, ein vor Ort programmierbares Gatterarray oder eine andere geeignete Hardware beinhalten. Im hierin verwendeten Sinne kann „Software“ ein oder mehrere Objekte, Agenten, Programmfäden, Codezeilen, Unterroutinen, separate Software-Anwendungen, zwei oder mehr Codezeilen oder andere geeigneten Software-Strukturen, die in zwei oder mehr Software-Anwendungen auf einem oder mehreren Prozessoren (wobei ein Prozessor einen oder mehrere Mikrocomputer oder andere geeignete Datenverarbeitungseinheiten, Speichereinrichtungen, Eingabe-/AusgabeEinrichtungen, Anzeigen, Dateneingabeeinrichtungen, etwa eine Tastatur oder eine Maus, Peripheriegeräte, etwa Drucker und Lautsprecher, zugehörige Treiber, Steuerkarten, Energiequellen, Netzwerkgeräte, Dockinggeräte, oder andere geeignete Geräte, die unter Steuerung von Software-Systemen in Verbindung mit dem Prozessor oder anderen Geräten arbeiten, enthält) oder anderen geeigneten Software-Strukturen abgearbeitet werden, enthalten. In einer anschaulichen Ausführungsform kann die Software eine oder mehrere Codezeilen oder andere geeignete Software-Strukturen beinhalten, die in einer Software-Anwendung für Allgemeinzwecke ausgeführt werden, etwa in einem Betriebssystem, oder sie kann eine oder mehrere Codezeilen oder andere geeignete Software-Strukturen enthalten, die in einer Software-Anwendung für Spezialzwecke ausgeführt werden. Im hierin verwendeten Sinne kann der Begriff „Koppeln“ und die entsprechenden abgeleiteten Begriffe, etwa „koppelt“ und „gekoppelt“ eine physische Verbindung (etwa einen Kupferleiter), eine virtuelle Verbindung (etwa durch zufällig zugewiesene Speicherplätze eines Datenspeichers), eine logische Verbindung (etwa durch Logikgatter eines Halbleiterbauelements) oder andere geeignete Verbindungen oder eine geeignete Kombination derartiger Verbindungen enthalten. Der Begriff „Daten“ kann sich auf eine geeignete Struktur zur Verwendung, zum Transport oder zur Speicherung von Daten beziehen, etwa auf ein Datenfeld, einen Datenpuffer, eine Datennachricht mit einem Datenwert und Sender/Empfänger-Adressdaten, einer Steuernachricht mit dem Datenwert und einem oder mehreren Operatoren, die das Empfangen des Systems oder die Komponente veranlassen, eine Funktion unter Anwendung der Daten auszuführen, oder andere geeignete Hardware- oder Software-Komponenten für die elektronische Verarbeitung von Daten.
-
Im Allgemeinen ist ein Software-System ein System, das in einem Prozessor abläuft, um vordefinierte Funktionen in Reaktion auf vorbestimmte Datenfelder auszuführen. Beispielsweise kann ein System durch die Funktion, die es ausführt, und durch die Datenfelder, an denen es die Funktion ausführt, definiert sein. Im hierin verwendeten Sinne ist ein Namen-System, in welchem Name typischerweise der Name der allgemeinen Funktionen ist, die von dem System ausgeführt wird, die Bezeichnung für ein Software-System, das ausgebildet ist, in einem Prozessor abgearbeitet zu werden und die offenbarte Funktion an den offenbarten Datenfeldern auszuführen. Sofern kein spezieller Algorithmus offenbart ist, kann sodann ein beliebiger geeigneter Algorithmus, der dem Fachmann bekannt sein kann, zum Ausführen der Funktion unter Anwendung der zugehörigen Datenfelder als innerhalb des Bereichs der Offenbarung liegend erachtet werden. Beispielsweise würde ein Nachrichtensystem, das eine Nachricht erzeugt, die ein Senderadressenfeld, ein Empfängeradressenfeld und ein Nachrichtenfeld enthält, eine Software bezeichnen, die in einem Prozessor abgearbeitet wird, der das Senderadressenfeld, das Empfängeradressenfeld und das Nachrichtenfeld aus einem geeigneten System oder einem Gerät des Prozessors ermitteln kann, etwa einer Puffereinrichtung oder einem Puffersystem, und er kann das Senderadressenfeld, das Empfängeradressenfeld und das Nachrichtenfeld in einem geeigneten elektronischen Nachrichtenformat zusammenfassen (etwa eine elektronische Nachricht, eine TCP/IP-Nachricht oder ein anderes geeignetes Nachrichtenformat, das ein Senderadressenfeld, ein Empfängeradressenfeld und ein Nachrichtenfeld hat), und der Prozessor kann die elektronische Nachricht unter Verwendung elektronischer Nachrichtensysteme und Einrichtungen des Prozesses über ein Kommunikationsmedium, etwa ein Netzwerk, übertragen. Der Fachmann wäre in der Lage, die spezielle Codierung für eine spezielle Anwendung auf der Grundlage der vorhergehenden Offenbarung bereitzustellen, die anschauliche Ausführungsformen der vorliegenden Offenbarung bereitstellen soll und keinen Lehrgang für jemanden darstellen soll, der kein Fachwissen auf dem Gebiet besitzt, etwa jemand, der mit Programmieren und Prozessoren in einer geeigneten Programmiersprache nicht vertraut ist. Ein spezieller Algorithmus zum Ausführen einer Funktion kann in Form eines Flussdiagramms oder in anderen geeigneten Formaten bereitgestellt werden, wobei die Datenfelder und zugehörige Funktionen in einer anschaulichen Reihenfolge aus Operationen aufgeführt sein kann, wobei die Reihenfolge nach Eignung umgeändert werden kann und diese soll nicht einschränkend sein, sofern dies nicht explizit als Einschränkung beschrieben ist.
-
Die zuvor offenbarten Ausführungsformen sind zum Zwecke der Darstellung präsentiert und ermöglichen es einem Fachmann auf dem Gebiet, die Offenbarung umzusetzen, wobei jedoch die Offenbarung nicht beabsichtigt, allumfassend oder einschränkend für die offenbarten Formen zu sein. Es ergeben sich viele unwesentliche Modifizierungen und Varianten für den Fachmann, ohne dass von dem Schutzbereich und dem Grundgedanken der Offenbarung abgewichen werden muss. Der Schutzbereich der Ansprüche soll in breiter Weise die offenbarten Ausführungsformen und derartige Modifizierungen abdecken. DeEs Weiteren repräsentieren die folgenden Beispiele weitere Ausführungsformen der Offenbarung und sollten als innerhalb des Schutzbereichs der Offenbarung liegend erachtet werden:
- Beispiel 1, eine Vorrichtung zur Erzeugung algorithmischer Modelle, die zum Erzeugen vorhersagender Analysen aus einem Modelldatensatz für einen Prozess verwendet sind, wobei die Vorrichtung aufweist: ein Erwünschtheitsfunktionsmodul, das ausgebildet, eine Erwünschtheitsfunktion zu erzeugen, wobei die Erwünschtheitsfunktion definiert: mindestens eine Ergebnisvariable und einen ergebnisvariablen Typ und mindestens eine Vorhersagevariable und mindestens einen Vorhersagevariablentyp; mindestens ein Bewertungskriterium für algorithmische Modellqualität und mindestens ein Bewertungskriterium für Modellanwendungskosten; und ein automatisiertes Maschinenlernmodul, das ausgebildet ist zum: Erzeugen mindestens eines algorithmischen Modells mit einem Variablensatz, der entsprechend der Erwünschtheitsfunktion ausgewählt ist; und zum Trainieren des mindestens einen algorithmischen Modells mit dem Modelldatensatz;
- Beispiel 2, die Vorrichtung nach Beispiel 1, wobei der analytische Modelltyp mindestens eines aufweist, das aus einer Gruppe ausgewählt ist, die beinhaltet: ein analytisches Verfahren, ein analytischer Algorithmus und ein analytischer Ansatz;
- Beispiel 3, die Vorrichtung nach Beispiel 1, wobei das Bewertungskriterium für die algorithmische Modellqualität mindestens eins aus der Gruppe enthält, die beinhaltet: Maße für die algorithmische Modellgenauigkeit; Maße für die algorithmische Modellkomplexität; und Maße für die algorithmische Modellabbildungstreue;
- Beispiel 4, die Vorrichtung nach Beispiel 1, wobei das Bewertungskriterium für die Modellanwendungskosten mindestens eines aus einer Gruppe enthält, die beinhaltet: Kosten der Bewertung des mindestens einen algorithmischen Modells; Kosten einer falsch positiven Vorhersage pro Kategorieergebnis; Kosten für eine falsch negative Vorhersage pro Kategorieergebnis; Wert der korrekten Vorhersage pro Kategorieergebnis; Kosten für einen Vorhersagefehler pro kontinuierlichem Ergebnis; Kosten zur Datenerfassung für jede Vorhersagevariable; und Kosten für Modellerstellung und Neukalibrierung;
- Beispiel 5, die Vorrichtung nach Beispiel 4, wobei die Kosten für eine falsch positive Vorhersage pro Kategorieergebnis durch jeden Eingabewert pro Klasse geschichtet ist; wobei die Kosten einer falsch negativen Vorhersage pro Kategorieergebnis durch jeden Eingabewert pro Klasse geschichtet ist; wobei der Wert der korrekten Vorhersage pro Kategorieergebnis durch jeden Eingabewert pro Klasse gegeben ist und wobei die Kosten für einen Vorhersagefehler pro kontinuierlichem Ergebnis optional für jeden Eingabewert pro Klasse geschichtet ist;
- Beispiel 6, die Vorrichtung nach Beispiel 1, wobei die Erwünschtheitsfunktion ferner mindestens einen Aspekt aus einer Gruppe definiert, die beinhaltet: Modellqualitätskriterium; Modellleistungswert; Modellleistungskosten; Grenzen für Modellschätzkosten; Grenzen für Modellanwendungskosten; maximale Anzahl an Eingaben für Interpretierbarkeit von Modellen; Kriterien für Variablen, die zum Bewerten eines nachteiligen Einflusses von Vorhersagemodellen verwendet sind;
- Beispiel 7, die Vorrichtung nach Beispiel 1, wobei die Erwünschtheitsfunktion ferner Gewichte, feste Grenzen oder eine Kombination aus Gewichten und festen Grenzen definiert für eines oder mehrere des mindestens einen algorithmischen Modellgenauigkeitskriteriums; und/oder das mindestens eine Bewertungskriterium für die algorithmische Modellqualität; und/oder das mindestens eine Bewertungskriterium für Modellanwendungskosten;
- Beispiel 8, ein System zur Erzeugung algorithmischer Modelle, die zum Erzeugen vorhersagender Analysen aus einem Modelldatensatz für einen Prozess verwendet sind, wobei das System aufweist: ein Erwünschtheitsfunktionsmodul, das ausgebildet ist, eine Erwünschtheitsfunktion zu erzeugen, wobei die Erwünschtheitsfunktion definiert: mindestens eine Ergebnisvariable und einen Ergebnisvariablentyp und mindestens eine Vorhersagevariable und mindestens einen Vorhersagevariablentyp; und mindestens ein algorithmisches Modellgenauigkeitskriterium, mindestens einen Modellanalysetyp, mindestens ein Bewertungskriterium für algorithmische Modellqualität, und mindestens ein Bewertungskriterium für Modellanwendungskosten; ein automatisiertes Maschinenlernmodul, das ausgebildet ist zum: Erzeugen mindestens eines algorithmischen Modells mit einem variablen Satz, der gemäß der Erwünschtheitsfunktion ausgewählt ist; und zum Trainieren des mindestens einen algorithmischen Modells mit dem Modelldatensatz; und ein UI-(Benutzerschnittstellen-)Modul, das ausgebildet ist, eine Benutzerschnittstelle zu erzeugen, um das mindestens eine algorithmische Modellgenauigkeitskriterium, den mindestens einen Modellanalysetyp, das mindestens eine Bewertungskriterium für algorithmische Modellqualität und das mindestens eine Bewertungskriterium für die Modellanwendungskosten anzuzeigen, wobei die angezeigten Kriterien und Kosten auswählbar und definierbar sind;
- Beispiel 9, das System nach Beispiel 8, wobei das Bewertungskriterium für algorithmische Modellqualität zumindest eines aus einer Gruppe enthält, die beinhaltet: Maße für algorithmische Modellgenauigkeit; Maße für algorithmische Modellkomplexität; und Maße für algorithmische Modellabbildungstreue;
- Beispiel 10, das System nach Beispiel 8, wobei das Bewertungskriterium für Modellanwendungskosten mindestens eines aus einer Gruppe beinhaltet, die enthält: Kosten für die Bewertung des mindestens einen algorithmischen Modells; Kosten für eine falsch positive Vorhersage pro Kategorieergebnis; Kosten für eine falsch negative Vorhersage pro Kategorieergebnis; Wert einer korrekten Vorhersage pro Kategorieergebnis; Kosten für einen Vorhersagefehler pro kontinuierlichem Ergebnis; Kosten für die Datenerfassung für jede Vorhersagevariable; und Kosten für die Modellerstellung und Neukalibrierung;
- Beispiel 11, das System nach Beispiel 10, wobei die Kosten für eine falsch positive Vorhersage pro Kategorieergebnis durch jeden Eingabewert pro Klasse geschichtet ist; wobei die Kosten für eine falsch negative Vorhersage pro Kategorieergebnis durch jeden Eingabewert pro Klasse geschichtet ist; wobei der Wert einer korrekten Vorhersage pro Kategorieergebnis durch jeden Eingabewert pro Klasse erfolgt; und wobei Kosten für einen Vorhersagefehler pro kontinuierlichem Ergebnis optional für jeden Eingabewert pro Klasse geschichtet ist;
- Beispiel 12, das System nach Beispiel 8, wobei die Erwünschtheitsfunktion ferner mindestens einen Aspekt aus einer Gruppe definiert, die beinhaltet: Modellqualitätskriterium; Modellleistungswert; Modellleistungskosten; Grenzen für Modellschätzkosten; Grenzen für Modellanwendungskosten; maximale Anzahl an Eingaben für Interpretierbarkeit von Modellen; Kriterien für Variablen, die zum Bewerten eines nachteiligen Einflusses von Vorhersagemodellen verwendet sind;
- Beispiel 13, das System nach Beispiel 8, wobei die Erwünschtheitsfunktion ferner Gewichte, feste Grenzen oder eine Kombination aus Gewichten und festen Grenzen für eines oder mehrere des mindestens einen algorithmischen Modellgenauigkeitskriteriums; und/oder das mindestens eine Bewertungskriterium für die algorithmische Modellqualität; und/oder das mindestens eine Bewertungskriterium für Modellanwendungskosten;
- Beispiel 14, ein Verfahren zur Erzeugung algorithmischer Modelle, die zur Erzeugung vorhersagender Analysen aus einem Modelldatensatz für einen Prozess verwendet werden, wobei das Verfahren umfasst: Erzeugen einer Erwünschtheitsfunktion; Definieren mindestens einer Ergebnisvariablen und eines Ergebnisvariablentyps und mindestens einer Vorhersagevariablen und mindestens eines Vorhersagevariablentyps; Definieren mindestens eines algorithmischen Modellgenauigkeitskriteriums, mindestens eines Modellanalysetyps, mindestens eines Bewertungskriteriums für algorithmische Modellqualität und mindestens eines Bewertungskriteriums für Modellanwendungskosten; Erzeugen mindestens eines algorithmischen Modells mit einem variablen Satz, der gemäß der Erwünschtheitsfunktion ausgewählt wird; Trainieren des mindestens einen algorithmischen Modells mit dem Modelldatensatz; und Erzeugen einer Benutzerschnittstelle zur Anzeige des mindestens einen algorithmischen Modellgenauigkeitskriteriums, des mindestens einen Modellanalysetyps, des mindestens einen Bewertungskriteriums für algorithmische Modellqualität und des mindestens einen Bewertungskriteriums für Modellanwendungskosten; wobei die angezeigten Kriterien und Kosten auswählbar und definierbar sind;
- Beispiel 15, das Verfahren nach Beispiel 14, wobei der analytische Modelltyp mindestens eines enthält, das ausgewählt ist aus der Gruppe, mit: ein analytisches Verfahren, ein analytischer Algorithmus und ein analytischer Ansatz;
- Beispiel 16, das Verfahren nach Beispiel 14, wobei das Bewertungskriterium für algorithmische Modellqualität mindestens eines aus einer Gruppe enthält, mit: Maße für algorithmische Modellgenauigkeit; Maße für algorithmische Modellkomplexität; und Maße für algorithmische Modellabbildungstreue;
- Beispiel 17, das Verfahren nach Beispiel 14, wobei das Bewertungskriterium für Modellanwendungskosten mindestens eines aus einer Gruppe enthält, mit: Kosten für die Bewertung des mindestens einen algorithmischen Modells; Kosten für eine falsch positive Vorhersage pro Kategorieergebnis; Kosten für eine falsch negative Vorhersage pro Kategorieergebnis; Wert einer korrekten Vorhersage pro Kategorieergebnis; Kosten für einen Vorhersagefehler pro kontinuierlichem Ergebnis; Kosten für die Datenerfassung für jede Vorhersagevariable; und Kosten der Modellerstellung und Neukalibrierung;
- Beispiel 18, das Verfahren nach Beispiel 17, wobei die Kosten für die falsch positive Vorhersage pro Kategorieergebnis durch jeden Eingabewert pro Klasse geschichtet wird; wobei die Kosten einer falsch negativen Vorhersage pro Kategorieergebnis durch jeden Eingabewert pro Klasse geschichtet wird; wobei der Wert einer korrekten Vorhersage pro Kategorieergebnis durch jeden Eingabewert pro Klasse erfolgt; und wobei Kosten für einen Vorhersagefehler pro kontinuierlichem Ergebnis optional für jeden Eingabewert pro Klasse geschichtet wird;
- Beispiel 19, das Verfahren nach Beispiel 14, das ferner beinhaltet: Definieren mindestens eines aus einer Gruppe, mit: Modellqualitätskriterium; Modellleistungswert, Modellleistungskosten; Grenzen für Modellabschätzungskosten; Grenzen für Modellanwendungskosten; maximale Anzahl von Eingaben für die Interpretierbarkeit von Modellen; Kriterien für Variablen, die zum Bewerten eines nachteiligen Einflusses von Vorhersagemodellen verwendet werden; und
- Beispiel 20, das Verfahren nach Beispiel 14, das ferner beinhaltet: Definieren von Gewichten, festen Grenzen oder einer Kombination von Gewichten und festen Grenzen für das mindestens eine algorithmische Modellgenauigkeitskriterium; und/oder das mindestens eine Bewertungskriterium für algorithmische Modellqualität; und/oder das mindestens eine Bewertungskriterium für Modellanwendungskosten.
