DE202024100608U1

DE202024100608U1 - Rechensystem zur Bereitstellung von Blackbox-Rechensystem-Eingaben

Info

Publication number: DE202024100608U1
Application number: DE202024100608.9U
Authority: DE
Original assignee: Amadeus SAS
Current assignee: Amadeus SAS
Priority date: 2024-02-07
Filing date: 2024-02-07
Publication date: 2024-04-10
Anticipated expiration: 2034-02-08

Abstract

Rechensystem zum Bestimmen einer Eingabe für ein Blackbox-Informationsverarbeitungssystem in einer Umgebung, wobei das Blackbox-Informationsverarbeitungssystem eine oder mehrere nicht-deterministische Beobachtungsgrößen für jede Ausführung auf der Grundlage der Eingabe erzeugt, wobei die Eingabe für das Blackbox-Informationsverarbeitungssystem für eine Zeitperiode gleich bleibt, wobei die eine oder mehreren Beobachtungsgrößen sich auf Werte beziehen, die über eine gegebene Zeitperiode für eine gegebene Eingabe aggregiert werden, wobei das System umfasst:einen ersten Speicher, in dem historische Daten gespeichert sind, die sich auf die Eingabe in historischen Zeiträumen und die eine oder mehrere Beobachtungsgrößen beziehen;einen zweiten Speicher, der ein Umgebungsmodell speichert, wobei das Umgebungsmodell die eine oder die mehreren Beobachtungsgrößen auf der Grundlage einer Eingabe schätzt;ein Modellerstellungsmodul, das mit dem ersten und zweiten Speicher verbunden ist, wobei das Modellerstellungsmodul so konfiguriert ist, dass es:aus dem ersten Speicher die historischen Daten empfängt;das Umgebungsmodell durch Modellierung eines oder mehrerer stochastischer Prozesse der einen oder mehreren Beobachtungsgrößen auf der Grundlage der historischen Daten erstellt; unddas Umgebungsmodells im zweiten Speicher speichert; undein Eingabebestimmungsmodul, das mit dem zweiten Speicher verbunden ist, wobei das Eingabebestimmungsmodul so konfiguriert ist, dass es:aus dem zweiten Speicher das Umgebungsmodell empfängt;über eine Kommunikationsschnittstelle ein Optimierungskriterium empfängt,das sich auf eine oder mehrere der Beobachtungsgrößen bezieht;über die Kommunikationsschnittstelle eine oder mehrere Optimierungsnebenbedingungen empfängt;das Umgebungsmodell zur Ableitung von Wahrscheinlichkeitsfunktionen des Optimierungskriteriums und der einen oder mehreren Optimierungsnebenbedingungen in Abhängigkeit von einer Eingabe anwendet;eine bedingten Wahrscheinlichkeitsdichte berechnet, sodass eine gegebene Eingabe den höchsten oder niedrigsten Wert für das Optimierungskriterium unter Berücksichtigung der einen oder mehrerenOptimierungsnebenbedingungen auf der Grundlage der Wahrscheinlichkeitsfunktionen erreicht; undeine optimierte Eingabe entsprechend der bedingten Wahrscheinlichkeit bestimmt.

Description

FELD
Die vorliegende Offenbarung bezieht sich auf eine spezifische Architektur und Implementierung eines Rechensystems zur Bestimmung einer Eingabe in ein Blackbox-Informationsverarbeitungssystem.
HINTERGRUND
Die technische Welt ist heutzutage weit verteilt. Unternehmen bieten ihren Kunden, z. B. anderen Unternehmen oder Privatpersonen, Rechenleistungen an. Die Rechendienste erfordern Eingaben in bestimmter Form und liefern den Nachfragern Ergebnisse. Den Nachfragern ist jedoch nicht bekannt, wie die zugrundeliegenden Informationsverarbeitungssysteme, die zur Bereitstellung der Rechendienste verwendet werden, die Ausgaben auf der Grundlage der Eingaben bestimmen, d. h. die Systeme, die die Rechendienste bereitstellen, sind für die Nachfrager so genannte Blackbox-Informationsverarbeitungssysteme.
Die Antragsteller müssen ihre Eingaben, die sie den Blackbox-Informationsverarbeitungssystemen zur Verfügung stellen, möglicherweise so optimieren, dass die Ausgabe bestimmte Anforderungen erfüllt. Diese Aufgabe wird schwieriger, wenn das Blackbox-Informationsverarbeitungssystem keine deterministischen Ausgaben liefert, sondern mit einer Art von Zufälligkeit konfrontiert ist. Daher benötigen die Antragsteller verbesserte Rechensysteme, die in der Lage sind, die Eingabe für die Interaktion mit diesen nichtdeterministischen Blackbox-Informationsverarbeitungssystemen zu bestimmen.
ZUSAMMENFASSUNG
In diesem Zusammenhang wird ein Rechensystem zur Bestimmung einer Eingabe für ein Blackbox-Informationsverarbeitungssystem in einer Umgebung bereitgestellt. Das Blackbox-Informationsverarbeitungssystem erzeugt eine oder mehrere nicht-deterministische Beobachtungsgrößen für jede Ausführung auf der Grundlage der Eingabe, wobei die Eingabe für das Blackbox-Informationsverarbeitungssystem für einen Zeitraum gleich bleibt, wobei die eine oder mehreren Beobachtungsgrößen sich auf Werte beziehen, die über einen gegebenen Zeitraum für eine gegebene Eingabe aggregiert werden.
Das Rechensystem umfasst einen ersten Speicher, in dem historische Daten gespeichert sind, die sich auf die Eingabe in historischen Zeiträumen und die eine oder mehrere Beobachtungsgrößen beziehen, und einen zweiten Speicher, in dem ein Umgebungsmodell gespeichert ist, wobei das Umgebungsmodell die eine oder mehrere Beobachtungsgrößen auf der Grundlage einer Eingabe schätzt.
Das Rechensystem umfasst ferner ein Modellerstellungsmodul, das mit dem ersten und dem zweiten Speicher verbunden ist, wobei das Modellerstellungsmodul so konfiguriert ist, dass es von dem ersten Speicher die historischen Daten empfängt, das Umgebungsmodell durch Modellierung eines oder mehrerer stochastischer Prozesse der einen oder mehreren Beobachtungsgrößen auf der Grundlage der historischen Daten erstellt und das Umgebungsmodell in dem zweiten Speicher speichert.
Das Rechensystem umfasst ferner ein Eingabebestimmungsmodul, das mit dem zweiten Speicher verbunden ist, wobei das Eingabebestimmungsmodul so konfiguriert ist, dass es aus dem zweiten Speicher das Umgebungsmodell empfängt, über eine Kommunikationsschnittstelle ein Optimierungskriterium empfängt, das sich auf eine oder mehrere der einen oder mehreren Beobachtungsgrößen bezieht, über die Kommunikationsschnittstelle eine oder mehrere Optimierungsnebenbedingungen empfängt, das Umgebungsmodell anwenden, um Wahrscheinlichkeitsfunktionen des Optimierungskriteriums und der einen oder mehreren Optimierungsnebenbedingungen in Abhängigkeit von einer Eingabe abzuleiten, eine bedingte Wahrscheinlichkeitsdichte berechnen, dass eine gegebene Eingabe den höchsten oder niedrigsten Wert für das Optimierungskriterium unter Berücksichtigung der einen oder mehreren Optimierungsnebenbedingungen auf der Grundlage der Wahrscheinlichkeitsfunktionen erreicht, und eine optimierte Eingabe gemäß der bedingten Wahrscheinlichkeit bestimmen.
In einigen Ausführungsformen umfasst das System ferner ein Kommunikationsmodul, das so konfiguriert ist, dass es die ermittelte optimierte Eingabe an das Blackbox-Informationsverarbeitungssystem zur Anwendung während eines nächsten Zeitraums übermittelt. In zusätzlichen Ausführungsformen ist das Kommunikationsmodul ferner so konfiguriert, dass es die eine oder mehrere Beobachtungsgrößen vom Blackbox-Informationsverarbeitungssystem für den nächsten Zeitraum erhält.
In einigen Ausführungsformen umfasst die Modellierung eines oder mehrerer stochastischer Prozesse das Training eines oder mehrerer wahrscheinlichkeitsdichteregressiver neuronaler Netze auf der Grundlage eines oder mehrerer Merkmale, die für Entitäten in der Umgebung und die historischen Daten spezifisch sind. In zusätzlichen Ausführungsformen werden das eine oder die mehreren wahrscheinlichkeitsdichteregressiven neuronalen Netze auf denselben Eingaben trainiert, wobei die letzten beiden Schichten in Abhängigkeit von der jeweiligen Beobachtungsgröße variieren. In weiteren zusätzlichen Ausführungsformen werden das eine oder die mehreren wahrscheinlichkeitsdichteregressiven neuronalen Netze kontinuierlich mit einer oder mehreren Beobachtungsgrößen aktualisiert, die von dem Blackbox-Informationsverarbeitungssystem für die nachfolgenden Zeiträume empfangen werden. In noch weiteren zusätzlichen Ausführungsformen wird die Aktualisierung des einen oder der mehreren wahrscheinlichkeitsdichteregressiven neuronalen Netze periodisch zu bestimmten Zeiträumen durchgeführt und/oder durch die Menge der Daten bezüglich der einen oder der mehreren Beobachtungsgrößen ausgelöst, die von dem Blackbox-Informationsverarbeitungssystem für die nachfolgenden Zeiträume nach der letzten Aktualisierung des einen oder der mehreren wahrscheinlichkeitsdichteregressiven neuronalen Netze empfangen wurden.
In einigen Ausführungsformen beträgt die Zeitspanne einen Tag, eine Woche, einen Monat oder ein Jahr. In einigen weiteren Ausführungsformen befindet sich das Blackbox-Informationsverarbeitungssystem entfernt von mindestens dem Eingabebestimmungsmodul. In einigen weiteren Ausführungsformen werden das Optimierungskriterium und/oder eine oder mehrere Optimierungsnebenbedingungen von einem Benutzer an einem Benutzergerät eingegeben und über die Kommunikationsschnittstelle an das Eingabebestimmungsmodul übertragen. In einigen weiteren Ausführungsformen beziehen sich die Optimierungsnebenbedingungen auf eine oder mehrere der Beobachtungsgrößen.
In einigen Ausführungsformen basieren die ein oder mehreren stochastischen Prozesse der ein oder mehreren Beobachtungsgrößen auf stochastischen Verteilungen einer oder Kombinationen aus einer Poisson-, Gamma-, Binomial-, Beta- oder logarithmischen Normalverteilung. In einigen weiteren Ausführungsformen wird die optimierte Eingabe gemäß dem Erwartungswert der bedingten Wahrscheinlichkeitsdichte bestimmt. In einigen weiteren Ausführungsformen werden der erste Speicher, der zweite Speicher, das Modellerstellungsmodul und das Eingabebestimmungsmodul in einer verteilten Weise implementiert.
In einigen weiteren Ausführungsformen handelt es sich bei dem Blackbox-Informationsverarbeitungssystem um ein Online-Werbeauktionssystem in einer Marktplatzumgebung, wobei die Eingabe ein Gebot ist, wobei die über einen Zeitraum aggregierten Beobachtungswerte eines oder mehrere der folgenden Elemente umfassen: eine Anzahl erfolgreicher Gebote, eine Anzahl von Auktionen, eine Anzahl von Gewinnen, eine Anzahl von Klicks, eine Anzahl von Konversionen, Kosten für die Abgabe der Gebote und ein durch die Gebote erzielter Umsatz.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Die vorgenannten und weitere Objekte, Merkmale und Vorteile des vorliegenden Gegenstands werden aus der folgenden Beschreibung beispielhafter Ausführungsformen unter Bezugnahme auf die beigefügten Zeichnungen ersichtlich, in denen gleiche Ziffern verwendet werden, um gleiche Elemente darzustellen:

ist eine schematische Übersicht über das Rechensystem zur Bestimmung einer Eingabe in ein Blackbox-Informationsverarbeitungssystem.
ist eine weitere schematische Übersicht des Rechensystems gemäß Ausführungsformen.
zeigt die Interaktion des Rechensystems mit dem Blackbox-Informationsverarbeitungssystem und den Client-Geräten gemäß Ausführungsformen.
ist eine Beispieldarstellung eines neuronalen Netzes, das in einigen Ausführungsformen implementiert ist.
zeigt mögliche Dichteverteilungen von Beobachtungsgrößen gemäß Ausführungsformen.
zeigt Diagramme, die sich auf die Gebotsabhängigkeit eines Optimierungskriteriums und einer Optimierungsbedingung gemäß Ausführungsformen beziehen.
zeigt ein Beispiel für die Berechnung von Wahrscheinlichkeiten und bedingten Wahrscheinlichkeiten gemäß Ausführungsformen.
ist eine schematische Darstellung eines Rechensystems, das alle oder einen Teil der hier beschriebenen Funktionen implementieren kann.

AUSFÜHRLICHE BESCHREIBUNG
Die vorliegende Offenbarung bezieht sich auf ein Rechensystem zur Bestimmung einer Eingabe in ein Blackbox-Informationsverarbeitungssystem. Das hier beschriebene Rechensystem kann von einem einzigen Computer, Server oder dergleichen implementiert werden, der alle Komponenten umfasst, die für die Ausführung der Prozesse erforderlich sind. Alternativ kann das Rechensystem auf mehrere Verarbeitungssysteme, wie Computer, Server und dergleichen, verteilt sein, die sich in einem geografischen Gebiet befinden. Zusätzlich oder alternativ können sich einige Komponenten des hier beschriebenen Rechensystems entfernt von den anderen befinden, z. B. in der Cloud. Daher sind verschiedene Konfigurationen des Rechensystems denkbar, solange alle hier beschriebenen Komponenten vorhanden und bei Bedarf miteinander verbunden sind.
Blackbox-Informationsverarbeitungssysteme sind Systeme, die in Bezug auf ihre Eingänge und Ausgänge (oder Übertragungsmerkmale) betrachtet werden können, ohne dass ihre interne Funktionsweise bekannt ist. Die Implementierung ist „undurchsichtig“ (black). Ein Blackbox-Informationsverarbeitungssystem bezieht sich oft auf ein Gerät, das von einem Verkäufer oder Dienstleister zur Verfügung gestellt wird, um das Produkt des Verkäufers oder die Dienstleistung des Dienstleisters zu nutzen. Es ist häufig der Fall, dass der Verkäufer oder Dienstleister die Ausrüstung für die Verarbeitung (d. h. das Blackbox-Informationsverarbeitungssystem) wartet und unterstützt, und das Unternehmen oder der Auftraggeber der Dienstleistung, der die Blackbox nutzt, hat in der Regel keine Kenntnis von der internen Funktionsweise.
Ein allgegenwärtiges Beispiel für den Einsatz eines Blackbox-Informationsverarbeitungssystems sind Online-Anzeigenauktionsmarktplätze, wie sie z.B. auf Metasuche-Plattformen angeboten werden. Unternehmen, die im Sinne dieser Offenbarung als Nachfrager auftreten, übermitteln diesen auktionsgeprägten Marktplätzen zunächst ein Gebot, damit sie als erstes als Suchergebnis angezeigt werden. Das Gebot stellt eine Eingabe in das Blackbox-Informationsverarbeitungssystem, d.h. in das bereitgestellte Auktionssystem, dar. Die Unternehmen wissen nicht, wie dieses Auktionssystem funktioniert. Außerdem ist der Zuschlag mit einem Gebot nicht deterministisch und kann als stochastischer Prozess angesehen werden.
Die Auktionen werden daher in der Regel von Dritten durchgeführt, wobei die Unternehmen, die Gebote abgeben, keine Kontrolle über die Ereignisse haben. Es werden nur wenige Gebotsstrategien und Zielerreichungsoptionen zur Segmentierung der Gebote angeboten, aber die Unternehmen haben keine Kenntnis von den inneren Abläufen. Wie die Auktionen genau ablaufen oder welche Faktoren die Gewinnwahrscheinlichkeit einer bestimmten Auktion beeinflussen, ist nicht bekannt. Solche Plattformen, die Online-Marktplätze für Anzeigenauktionen anbieten, sind daher ein nicht zu vernachlässigendes Beispiel für Blackbox-Informationsverarbeitungssysteme, die eine Interaktion nur durch die Änderung der Gebote und die regelmäßige Beobachtung der aggregierten (gebündelten) Anzahl von Gewinnen, Klicks und Buchungen ermöglichen.
Die Herausforderung bei Metasuche-Plattformen besteht darin, die richtigen Gebote pro vermarktetem Objekt oder allgemeiner gesagt für Artikel wie Hotels, Flüge, Restaurants, Veranstaltungen, touristische Dienstleistungen und dergleichen zu wählen. Das Ziel kann z. B. darin bestehen, den Umsatz zu maximieren, während gleichzeitig geschäftliche Kennziffern wie der Return On Ad Spend (ROAS) über einem bestimmten Schwellenwert gehalten werden müssen. Diese Herausforderung stellt sich natürlich bei jedem Blackbox-Informationsverarbeitungssystem in einer Umgebung, das eine oder mehrere Eingaben entgegennimmt und nicht-deterministische Beobachtungswerte liefert. Das Ziel kann ein anderes sein, z. B. kann es erforderlich sein, die gelieferte Elektrizität zu maximieren, wenn man ein Informationsverarbeitungssystem für ein Netz für erneuerbare Energien betrachtet, das die Elektrizitätsproduktion in Wind- oder Solarparks auf einem sicheren Niveau hält.
Um diese Herausforderung zu lösen und die Eingabe zu optimieren, die dem Blackbox-Informationsverarbeitungssystem zur Verfügung gestellt wird, wird hier eine spezifische Architektur und Implementierung eines Rechensystems vorgestellt, das auf einer maschinellen Lernlösung basiert, die die optimale Eingabe, z. B. das optimale Gebot, unter Berücksichtigung von Optimierungskriterien, z. B. geschäftlichen Einschränkungen für Sammelauktionen von Dritten, bestimmt. Die vorgestellte Lösung ist direkt auf Metasuche-Plattformen anwendbar, aber nicht darauf beschränkt.
ist eine schematische Übersicht über das Rechensystem 10 zur Bestimmung einer Eingabe für ein Blackbox-Informationsverarbeitungssystem. Das Blackbox-Informationsverarbeitungssystem erzeugt bei jeder Ausführung des Blackbox-Informationsverarbeitungssystems auf der Grundlage der Eingabe, die in der Regel für einen bestimmten Zeitraum gleich bleibt, eine oder mehrere nicht-deterministische Beobachtungswerte. In einigen Beispielen bezieht sich eine Zeitspanne auf eine oder mehrere Stunden, einen oder mehrere Tage, eine oder mehrere Wochen, einen oder mehrere Monate oder ein oder mehrere Jahre, je nach dem zugrunde liegenden Blackbox-Informationsverarbeitungssystem. Die Aktualisierungshäufigkeit ist also nicht festgelegt, sondern hängt von der Domäne und den Daten ab. Die eine oder mehrere Beobachtungsgrößen beziehen sich auf Werte, die über einen bestimmten Zeitraum für eine bestimmte Eingabe aggregiert werden.
Die Eingabe kann z. B. das Gebot für eine Metasuchplattform in einer Marktplatzumgebung sein, auf der den Kunden Angebote wie Hotels (oder Flüge, Veranstaltungen o. ä.) präsentiert werden können. Das Gebot kann z. B. einen Tag lang gleich bleiben. Mit anderen Worten: Das Gebot für ein bestimmtes Hotel, das den Kunden präsentiert werden soll, bleibt bei allen Suchvorgängen während des Tages gleich. Die eine oder mehrere Beobachtungsgrößen in diesem Beispiel können sich dann auf eine oder mehrere der folgenden Größen beziehen: Anzahl der erfolgreichen Gebote, Anzahl der Auktionen, Anzahl der Gewinne, Anzahl der Klicks, Anzahl der Konversionen, Kosten für die Abgabe der Gebote und durch die Gebote erzielte Einnahmen.
Das hier beschriebene Rechensystem 10 umfasst einen ersten Speicher 11, einen zweiten Speicher 12, ein Modellerstellungsmodul 13 und ein Eingabebestimmungsmodul 14. Der erste Speicher 11 speichert historische Daten, die sich auf verschiedene Eingaben in historischen Zeiträumen und die jeweilige(n) Beobachtungsgröße(n) in diesen historischen Zeiträumen beziehen.
Im Beispiel einer Metasuche-Auktion können die historischen Daten der Inputs und Beobachtungsgrößen das in Tabelle 1 dargestellte Format haben. Tabelle 1

Woche Angebot Auktionen Gewinnt Klicks Umrechnungen Kosten Einnahmen

1 0.8% 1000 900 60 2 50 800

2 1.1% 900 700 70 5 80 2000

... ... ... ... ... ... ... ...
In Tabelle 1 definiert die erste Spalte die Kalenderwoche in einem Jahr, die zweite Spalte zeigt das Gebot in Prozent relativ zu den Kosten des gesuchten Aufenthalts. Die dritte Spalte zeigt die Anzahl der mit dem Gebot durchgeführten Auktionen in der jeweiligen Kalenderwoche. Die Anzahl der Gewinne der gesamten Auktionen wird in der vierten Spalte angezeigt, ebenso die Anzahl der Klicks der Kunden in der fünften Spalte. Klicks bedeuten, dass der Kunde auf die jeweilige Hotel-Website geklickt hat, die auf der Metasuche-Website oder auf der Benutzeroberfläche der Anwendung angezeigt wird. Die sechste Spalte zeigt dann die Anzahl der Konversionen, d.h. die Anzahl der Kunden, die tatsächlich einen Aufenthalt im jeweiligen Hotel gebucht haben. Die letzten beiden Spalten stellen dann die Kosten für die Gebote und den durch die Konversionen erzielten Umsatz dar.
Im Beispiel der Metasuche gilt ein Gebot, das zu den höchsten Geboten gehört, als gewonnen und das Hotel erscheint an erster Stelle der Suchergebnisse. Die genaue Position und Reihenfolge wird durch eine eigene, dem Bieter unbekannte Optimierung des Marktplatzes bestimmt. Der Online-Nutzer kann das inserierte Hotel in der Liste anklicken. Geschieht dies, wird das absolute Gebot an den Marktplatz gezahlt und es entstehen Kosten. Erfolgt kein Klick, fallen keine Kosten für die Auktion an. Dies wird als Cost-per-Click (CPC)-Gebot bezeichnet. Ein Beispiel: Ein Kunde sucht nach einem Aufenthalt von drei Nächten in einem Hotel in Berlin. Das Hotel, für das ein Gebot abgegeben werden soll, könnte 300 Euro für drei Nächte kosten, was bedeutet, dass ein Gebot von 1 % einen Wert von 3 Euro hätte. Wenn ein Klick erfolgt, wird der Online-Nutzer auf die Website des Hotels weitergeleitet, wo er eine Buchung vornehmen kann oder auch nicht. Kommt es zu einer Buchung, wird ein Konversionsereignis registriert, und der Umsatz entspricht dem Wert der Buchung. In diesem Fall ist der Umsatz höher als der gesuchte Wert, der zur Ermittlung der Kosten für einen Klick verwendet wird. In jedem Zeitraum, bis das Gebot geändert wird, findet eine gewisse Anzahl solcher Auktionen statt, und am Ende des Zeitraums wird das in Tabelle 1 dargestellte Gesamtergebnis ermittelt. Kosten und Einnahmen werden über alle Klick- bzw. Konversionsereignisse summiert, während es sich bei allen anderen Feldern um Zählungen handelt.
Das Modellerstellungsmodul 13 ist mit dem ersten Speicher 11 und dem zweiten Speicher 12 verbunden. Das Modellerstellungsmodul 13 kann mit dem ersten Speicher 11 und dem zweiten Speicher 12 über einen Bus oder eine andere drahtgebundene Verbindung verbunden sein, wenn das Modellerstellungsmodul 13 und die Speicher 11, 12 in einem einzigen Computer oder Server implementiert sind. Da zumindest der erste Speicher 11 erforderlich sein kann, um viele Daten zu speichern, kann es in einigen Ausführungsformen vorteilhaft sein, zumindest den ersten Speicher 11 getrennt von dem Modellerstellungsmodul 13 und/oder dem zweiten Speicher 12 zu haben. Der erste Speicher 11 kann zum Beispiel ein Cloud-Speicher sein. In solchen Beispielen, in denen sich das Modellerstellungsmodul 13, der erste Speicher 11 und/oder der zweite Speicher 12 an einem entfernten Standort befinden und von verschiedenen Servern (oder ähnlichen Verarbeitungssystemen) implementiert werden, können die Komponenten 11, 12 und/oder 13 über ein Weitverkehrsnetz, ein globales Netz, das Internet oder ein ähnliches Netz verbunden sein, das ein öffentliches oder privates Netz sein kann und mehrere miteinander verbundene Netze umfassen kann, wie es in der Technik bekannt ist.
Das Modellerstellungsmodul 13 ist so konfiguriert, dass es ein Umgebungsmodell durch Modellierung eines oder mehrerer stochastischer Prozesse der einen oder mehreren Beobachtungsgrößen auf der Grundlage der im ersten Speicher 11 gespeicherten historischen Daten erstellt. Daher erhält das Modellerstellungsmodul 13 historische Daten aus dem ersten Speicher 11, wie mit Pfeil 101 gezeigt. Das Modellerstellungsmodul 13 erstellt das Umgebungsmodell und speichert das Modell in dem zweiten Speicher 12, wie mit Pfeil 102 gezeigt.
Das Umgebungsmodell kann jede Art von Modell sein, das sich zur Modellierung eines oder mehrerer stochastischer Prozesse der einen oder mehreren Beobachtungsgrößen eignet. Der Zweck des Umgebungsmodells besteht darin, so genau wie möglich abzuschätzen, was beobachtet würde, wenn ein konstanter Input über einen bestimmten Zeitraum angewendet würde. Daher kann das Umgebungsmodell alle stochastischen Prozesse modellieren, die das Ergebnis, d. h. die Beobachtungsgrößen, bestimmen. In einer Ausführungsform ist das Umgebungsmodell ein Ensemble aus einem oder mehreren neuronalen Netzen, z. B. einem oder mehreren wahrscheinlichkeitsdichteregressiven neuronalen Netzen.
Bei den stochastischen Prozessen handelt es sich in der Regel um Wahrscheinlichkeitsverteilungen, die die Wahrscheinlichkeit des Eintretens bestimmter Ereignisse beschreiben. Die Wahrscheinlichkeitsverteilungen können unterschiedlicher Art sein und eine oder eine Kombination aus einer Poisson-, Binomial-, geometrischen, Beta-, Boltzmann-, Gamma-, Normal-, logarithmischen, Zeta- oder einer anderen geeigneten Verteilung darstellen. Die Art der Verteilung der Beobachtungswerte kann in einem Vorverarbeitungsschritt bestimmt werden, z. B. durch einen Administrator, der die Art der Verteilung schätzt, und die entsprechenden Verteilungsparameter werden dann wie unten beschrieben bestimmt. Alternativ kann auch ein maschinelles Lernmodell die Art der Verteilung schätzen und dasselbe oder ein anderes maschinelles Lernmodell kann die Verteilungsparameter schätzen.
Die Verteilungen der Beobachtungsgrößen können als Zufallsvariablen modelliert werden, die durch zu schätzende latente Zufallsvariablen beschrieben werden. Bei den zu schätzenden latenten Variablen handelt es sich also um die Parameter, die die Form dieser Verteilungen bestimmen. Im Allgemeinen haben die Entitäten, für die Eingaben gemacht werden, z. B. Hotels oder Veranstaltungen oder Wind- oder Solarparks, in der Umgebung einige charakteristische Merkmale, die hier mit z bezeichnet werden. Wenn man die Eingabe mit x bezeichnet und annimmt, dass es n unabhängige Zufallsvariablen (Beobachtungsgrößen) gibt, die geschätzt werden müssen, bestimmt das Umgebungsmodell die Funktionen: $f_{n} (x; z) = Y_{n} \sim D ({λ_{i} (x; z)}_{n})$
wobei Y_n eine der n unabhängigen Beobachtungsgrößen ist, die gemäß der Verteilung D verteilt ist, die durch einige beobachtungsabhängige Parameter {λ_i(x; z)}_n definiert ist, die die interessierenden latenten Zufallsvariablen sind.
Das Erlernen von Funktionen über hochdimensionale Merkmalsräume kann mit maschinellem Lernen, z. B. neuronalen Netzen, erreicht werden. Die Verwendung von Merkmalen ermöglicht es dem Modell, Signale zu lernen, die in den erfassten Daten nicht sichtbar sind. Die stochastische Natur der zu erlernenden Prozesse kann eine Bayes'sche Modellierung durch Variationsarchitekturen nahelegen. Wenn jedoch die Eingabedatenmenge groß ist, kann das direkte Lernen der latenten Variablen eine Herausforderung darstellen. Die Verwendung von wahrscheinlichkeitsdichteregressiven neuronalen Netzen kann daher in einigen Ausführungsformen von Vorteil sein.

Im Beispiel der Metasuche kann der Metasuchmarktplatz mit CPC-Geboten durch sechs unabhängige Zufallsvariablen modelliert werden, die durch sechs oder mehr zu lernende latente Variablen repräsentiert werden, wie in Tabelle 2 dargestellt. Der Kürze halber wird die allgemeine Merkmalsabhängigkeit weggelassen, sondern es wird nur hervorgehoben, welche latenten Variablen vom Gebot abhängen. Alle latenten Variablen werden mit kleinen griechischen Buchstaben bezeichnet, während die beobachtbaren Variablen in römischer Schrift großgeschrieben werden. Tabelle 2

Latente Variable	Gebotsabgabe.	Beschreibung der Beobachtung	Verteilung der beobachtbaren
Auktionspreis τ	keine	Geschätzte Auktion pro Zeitabschnitt	*T~ Poisson(τ)* mit *τ ~ Gamma*
Gewinnrate v(x)	ja	Geschätzte Gewinne pro Zeitperiode für Angebot x	*W∼Binom(T, v(x))* mit *v(x)∼Beta(α(x), β(x))* , so eingeschränkt ist, dass $\begin{array}{l} ν (0) \\ = 0, lim_{x \infty} ν (x) \\ = 1, \frac{d}{d x} ν (x) \geq 0 \end{array}$
Klick-Wahrscheinlichkeit γ₁	keine	Geschätzte Klicks pro Zeitperiode	C ₁ *~ Binom(W, γ* ₁ ) mit γ ₁ *∼ Beta(α* ₁, β ₁ )
Konversionswahrscheinlichkeit γ₂	keine	Geschätzte Konversionen pro Zeitabschnitt	C ₂ *∼ Binom(W, γ* ₂ ) mit γ ₂ *∼ Beta (α* ₂, β ₂ )
µ_V, σ_V bezogen auf den gesuchten Durchschnittswert V	keine	Durchschnittliche geschätzte Kosten geteilt durch Klicks pro Zeitperiode	*V ~ LogNormal (µ* _V, σ _V )
µ_A, σ_A im Zusammenhang mit Arbitrage A	keine	Geschätzter mittlerer relativer Unterschied zwischen gesuchtem und gebuchtem Wert	*A ∼ LogNormal(µ* _A, σ _A )

Der Kürze halber wird in Tabelle 2 nur die explizite Abhängigkeit vom Gebot angegeben. Alle Größen hängen auch implizit von den Merkmalen z ab, die bei Hotels aus kategorialen Merkmalen bestehen können, wie Lage, Sternebewertung, Zimmernummer und dergleichen. Um das Umgebungsmodell mit Hilfe von neuronalen Netzen zu erstellen, können sechs neuronale Netze erforderlich sein, die alle dieselben Eingaben (d. h. x und z) annehmen, bei denen aber z. B. die letzten beiden Schichten je nach der zu schätzenden latenten Variable variieren. Die vorletzte Schicht kann dann die latente Variable ausgeben und die letzte Schicht ist die Verteilungsschicht, die der Verteilung der entsprechenden Beobachtungsgröße entspricht.
Das Eingabebestimmungsmodul 14 ist mit dem zweiten Speicher 12 verbunden, z. B. über einen Bus oder eine andere drahtgebundene Verbindung, wenn das Eingabebestimmungsmodul 14 und der zweite Speicher 12 in einem einzigen Computer oder Server implementiert sind. In einigen Ausführungsformen kann es von Vorteil sein, den zweiten Speicher 12 getrennt vom Eingabebestimmungsmodul 14 zu haben. Zum Beispiel kann der zweite Speicher 12 ein Cloud-Speicher sein. In solchen Beispielen, in denen das Eingabebestimmungsmodul 14 und der zweite Speicher 12 entfernt liegen und von verschiedenen Servern (oder ähnlichen Verarbeitungssystemen) implementiert werden, können das Eingabebestimmungsmodul 14 und der zweite Speicher 12 über ein Weitverkehrsnetz, ein globales Netz, das Internet oder ein ähnliches Netz verbunden sein, das ein öffentliches oder ein privates Netz sein kann und mehrere miteinander verbundene Netze umfassen kann, wie es in der Technik bekannt ist.
Das Eingabebestimmungsmodul 14 ist so konfiguriert, dass es vom zweiten Speicher 12 das Umgebungsmodell empfängt, das vom Modellerstellungsmodul 13 erstellt wurde, wie mit Pfeil 103 gezeigt. Das Eingabebestimmungsmodul 14 ist ferner so konfiguriert, dass es über eine Kommunikationsschnittstelle 15 ein Optimierungskriterium empfängt, das sich auf eine oder mehrere der einen oder mehreren Beobachtungsgrößen bezieht, wie mit Pfeil 104 dargestellt ist. Die Kommunikationsschnittstelle kann Teil des Eingabebestimmungsmoduls 14 sein oder eine separate Komponente sein, die Teil des Rechensystems 10 sein kann oder auch nicht. Die Kommunikationsschnittstelle 15 kann in Hardware und/oder Software implementiert sein und es dem Rechensystem 10 ermöglichen, mit externen Geräten zu kommunizieren, z. B. mit Client-Geräten, die von Kunden oder Administratoren verwendet werden.
Das Eingabebestimmungsmodul 14 ist ferner so konfiguriert, dass es über die Kommunikationsschnittstelle 15 eine oder mehrere Optimierungsnebenbedingungen empfängt, wie mit Pfeil 105 dargestellt. Das Optimierungskriterium, das auch aus einer Vielzahl von Optimierungskriterien bestehen und auch als Ziel bezeichnet werden kann, und die eine oder mehreren Optimierungsnebenbedingungen können von denselben oder verschiedenen Computergeräten empfangen werden. In einigen Ausführungsformen können das Optimierungskriterium und/oder die Optimierungsnebenbedingungen von einem Benutzer an einem Benutzergerät eingegeben und über die Kommunikationsschnittstelle 15 an das Eingabebestimmungsmodul 14 übertragen werden. In einigen weiteren Ausführungsformen können sich das Optimierungskriterium und/oder die Optimierungsnebenbedingungen auf eine oder mehrere der einen oder mehreren Beobachtungsgrößen beziehen. Im Beispiel der Metasuche können das Optimierungskriterium und/oder die Optimierungsnebenbedingungen Geschäftskennzahlen sein, die sich auf die Beobachtungsgrößen beziehen.
Das Eingabebestimmungsmodul 14 ist auch so konfiguriert, dass es das Umgebungsmodell anwendet, um Wahrscheinlichkeitsfunktionen des Optimierungskriteriums und der einen oder mehreren Optimierungsnebenbedingungen in Abhängigkeit von den Eingaben abzuleiten. Die Wahrscheinlichkeitsfunktionen des Optimierungskriteriums und der einen oder mehreren Optimierungsnebenbedingungen sind also Funktionen der gelernten latenten Variablen und in der Regel abhängig von der Eingabe (z. B. dass nur Gebote, die gewinnen, zu Klicks führen können usw.). Darüber hinaus ist das Eingabebestimmungsmodul 14 so konfiguriert, dass es auf der Grundlage der Wahrscheinlichkeitsfunktionen eine bedingte Wahrscheinlichkeitsdichte berechnet, dass eine bestimmte Eingabe den höchsten oder niedrigsten Wert für das Optimierungskriterium unter Berücksichtigung der einen oder mehreren Optimierungsnebenbedingungen erreicht.
Dies kann am Beispiel der Metasuche veranschaulicht werden. Das Optimierungskriterium und die Optimierungsnebenbedingungen werden als Geschäftsmetrik bezeichnet M_i(x)bezeichnet, die Funktionen der gelernten latenten Variablen sind. Da diese vom Angebot abhängen, werden die Geschäftsmetriken als Funktionen des Angebots ermittelt. Das zu lösende Problem wird eingeführt, indem einige der Geschäftsmetriken bedingt werden (d. h. diese als Optimierungsnebenbedingungen betrachtet werden), während z. B. die Maximierung anderer gefordert wird (d. h. diese als Optimierungskriterien betrachtet werden). Die zu lösende Frage zur Bestimmung der optimalen Eingabe lautet zum Beispiel $\underset{x}{m a x} M_{0} (x), g i v e n {M_{i} (x) \geq k_{i}}$
für einen bestimmten Wert k. Da die M_i(x) von Zufallsvariablen abgeleitet sind, handelt es sich auch um Zufallsvariablen.
Der Erfinder hat erkannt, dass die Berechnung der bedingten Wahrscheinlichkeitsdichte, dass ein gegebenes Gebot den größten Zielwert erreicht, wenn die Nebenbedingungen erfüllt sind, zu einer Lösung für die Bestimmung der Eingabe führt, die wie folgt verteilt ist: $X \sim P (M_{0} (x) > M_{0} (x') \forall x' \neq x | M_{1 (x)} \geq k)$
Dabei wird das Ziel nicht global, sondern bedingt maximiert, was die Kompromisse berücksichtigt, die sich aus den Optimierungsnebenbedingungen ergeben. Das Gebot kann dann relativ zu dieser resultierenden Zufallsvariablen bestimmt werden. Um das Problem im Durchschnitt über mehrere Perioden zu lösen, kann der Erwartungswert herangezogen werden: $x * = E [X]$
Alternativ kann das Gebot mit der größten Wahrscheinlichkeit gewählt werden, oder, wenn Erkundung erwünscht ist, eine Stichprobe X ähnlich wie beim Thompson-Sampling herangezogen werden.
Schließlich ist das Eingabebestimmungsmodul 14 so konfiguriert, dass es eine optimierte Eingabe entsprechend der berechneten bedingten Wahrscheinlichkeit bestimmt.
Dies lässt sich wiederum am Beispiel der Metasuche veranschaulichen. Ein typisches Problem bei der Gebotsabgabe in der Metasuche ist der Versuch, die Gewinnspanne zu maximieren und gleichzeitig die Rendite der Werbeausgaben (ROAS) über einem bestimmten Schwellenwert zu halten. Die Motivation besteht darin, einen guten Wert für die Werbebudgets zu garantieren und gleichzeitig zu versuchen, das Geschäft zu maximieren. Die Nichttrivialität des Problems ergibt sich daraus, dass ROAS ein Verhältnis ist. Ein ROAS von 10 mag isoliert betrachtet ein gutes Ergebnis sein, aber wenn der ROAS darauf beschränkt ist, nur 1 Euro auszugeben und 10 Euro Umsatz zu erzielen, ist dies nicht ausreichend. Ein ROAS von 10 bei einem Umsatz von 1000 Euro wäre sicherlich besser. Außerdem ist eine Mindestgewinnquote von 60 % wünschenswert, um das Unternehmen (z. B. ein Hotel), für das das Gebot abgegeben wird, bekannt zu machen.
Zur Ableitung von Marge und ROAS im Rahmen des Umgebungsmodells können die Einnahmen aufgrund von Buchungen und die Kosten aufgrund von Klicks wie folgt definiert werden $\begin{matrix} R e v (x) = V \times A \times C_{2}, & C_{2} \sim B i n o m (T, ν (x) γ_{1} γ_{2}) \end{matrix}$
$\begin{matrix} C o s t (x) = x \times V \times C_{1}, & C_{1} \sim B i n o m (T, ν (x) γ_{1}) \end{matrix}$
wobei die Eigenschaften einer bedingten Binomialverteilung verwendet werden, um die latente Variablenabhängigkeit von Klicks C₁ und Konversionen C₂. Marge (M₀) und ROAS (M₁) werden dann als ihre Differenz bzw. ihr Verhältnis definiert, wobei die Mindestgewinnrate (M₂) als zusätzliche Geschäftskennzahl hinzugefügt: $M_{0} (x) = R e v (x) - C o s t (x), M_{1} (x) = \frac{R e v (x)}{C o s t (X)}, M_{2} (x) = ν (x)$
ist eine weitere schematische Übersicht über ein Rechensystem 20 gemäß Ausführungsformen. Das Rechensystem 20 umfasst wiederum den ersten Speicher 11, den zweiten Speicher 12, das Modellerstellungsmodul 13, das Eingabebestimmungsmodul 14 und eine Kommunikationsschnittstelle, die die gleichen Prozesse wie in beschrieben durchführen. In diesem Beispiel umfasst das Rechensystem 20 ferner ein Kommunikationsmodul 26, das so konfiguriert ist, dass es die ermittelte optimierte Eingabe an das Blackbox-Informationsverarbeitungssystem zur Anwendung in einem nächsten Zeitraum übermittelt.
Daher stellt das Eingabebestimmungsmodul 14 die ermittelte optimierte Eingabe dem Kommunikationsmodul 26 zur Verfügung, wie mit Pfeil 206 gezeigt wird. In einigen Ausführungsformen kann das Kommunikationsmodul 26 die vom Eingabebestimmungsmodul 14 empfangenen Informationen der ermittelten optimierten Eingabe so umformatieren oder konvertieren, dass das Blackbox-Informationsverarbeitungssystem die Informationen verstehen kann. Beispielsweise kann das Blackbox-Informationsverarbeitungssystem ein bestimmtes Format verlangen, in dem die Eingabe bereitgestellt wird, und das Kommunikationsmodul wird die ermittelte optimierte Eingabe in dieses bestimmte Format konvertieren.
Das Kommunikationsmodul 26 stellt die ermittelte optimierte Eingabe, z. B. in einigen Ausführungsformen nach der Umwandlung der vom Eingabebestimmungsmodul 14 empfangenen Informationen in ein bestimmtes Format, dem Blackbox-Informationsverarbeitungssystem zur Verfügung, wie mit Pfeil 207 gezeigt wird. In einigen Ausführungsformen (obwohl in nicht dargestellt) kann das Kommunikationsmodul 26 auch die Kommunikationsschnittstelle 15 verwenden, um die Eingabe an das Blackbox-Informationsverarbeitungssystem zu liefern.
zeigt die Interaktion des Rechensystems mit dem Blackbox-Informationsverarbeitungssystem und den Client-Geräten gemäß den Ausführungsformen. Das Rechensystem 10, 20 ist mit mindestens einem Client-Gerät 31 und einem Blackbox-Informationsverarbeitungssystem 32 verbunden. Das Rechensystem 10, 20 und das mindestens eine Client-Gerät 31 und/oder das Blackbox-Informationsverarbeitungssystem können drahtgebunden oder drahtlos und/oder über ein Weitverkehrsnetz, ein globales Netz, das Internet oder ein ähnliches Netz verbunden sein, das ein öffentliches oder ein privates Netz sein kann und mehrere miteinander verbundene Netze umfassen kann, wie es in der Technik bekannt ist. Über die Verbindung 301 kann das Rechensystem 10, 20 das Optimierungskriterium und die eine oder mehrere Optimierungsnebenbedingungen empfangen. Über die Verbindung 302 kann das Rechensystem 10, 20 die optimierte Eingabe an das Blackbox-Informationsverarbeitungssystem liefern und in einigen Ausführungsformen auch die eine oder mehrere Beobachtungsgrößen vom Blackbox-Informationsverarbeitungssystem für die nächste Zeitperiode erhalten.
In einigen Ausführungsformen ist das Blackbox-Informationsverarbeitungssystem 32 vom Rechensystem 10, 20, insbesondere vom Eingabebestimmungsmodul 14 und/oder dem Kommunikationsmodul 26, entfernt. In einigen Ausführungsformen handelt es sich bei dem Blackbox-Informationsverarbeitungssystem 32 um ein Online-Anzeigenauktionssystem in einer Marktplatzumgebung, wie es oben zur Veranschaulichung der Architektur und Implementierung verwendet wurde. In diesen Beispielen ist die Eingabe ein Gebot, und die über einen bestimmten Zeitraum aggregierten Beobachtungsdaten umfassen eine oder mehrere der folgenden Größen: Anzahl der erfolgreichen Gebote, Anzahl der Auktionen, Anzahl der Gewinne, Anzahl der Klicks, Anzahl der Konversionen, Kosten für die Abgabe der Gebote und durch die Gebote erzielte Einnahmen.
Wie bereits erwähnt, kann das Umgebungsmodell auf maschinellem Lernen beruhen. Die stochastischen Prozesse der beobachtbaren und latenten Variablen können durch Training eines oder mehrerer wahrscheinlichkeitsdichteregressiver neuronaler Netze modelliert werden, die auf einem oder mehreren Merkmalen basieren, die für Entitäten in der Umgebung und die historischen Daten spezifisch sind. ist eine Beispielsdarstellung eines solchen wahrscheinlichkeitsdichteregressiven neuronalen Netzes 40, das in einigen Ausführungsformen implementiert ist. Die Beobachtungsgrößen sind Zufallsvariablen, während die latenten Variablen, die die Verteilungsformen definieren, Skalare sind. Im Wesentlichen schätzt das neuronale Netz 40 den stochastischen Prozess, der die Beobachtungsgröße erzeugt, am besten ab.
Das neuronale Netz 40 wird auf einen Merkmalsvektor 41 angewendet, der die Eingabe x des Blackbox-Informationsverarbeitungssystems 32 und die charakteristischen Merkmale z einer jeweiligen Entität umfasst. Die Eingangsschicht 401 verarbeitet den Eingangsvektor 41. Das neuronale Netz 40 kann mehrere versteckte Schichten 402, 403, 404, 405 haben. Es sei darauf hingewiesen, dass die Anzahl der Schichten nicht auf die in gezeigten beschränkt ist, sondern wesentlich größer sein kann. Das Gleiche gilt für die Anzahl der Knoten in jeder Schicht. Im Beispiel von hat das neuronale Netz 40 vier versteckte Schichten, kann aber auch mehr oder weniger haben. Einige dieser versteckten Schichten können eingebettete Schichten zur Vorverarbeitung der Merkmale z sein. Das neuronale Netz 40 kann ein Netz mit typischen Regularisierungen sein, dessen Tiefe von der zu verarbeitenden Datenmenge abhängt.
Die vorletzte Schicht, in mit 406 bezeichnet, kann i Knoten für jede der λ_i latenten Variablen der Verteilung D_n bestimmt werden. Die letzte Schicht (in nicht explizit dargestellt) kann eine Verteilungsschicht vom Typ D_n sein, die eine Verteilung für den Eingabe-Merkmalsvektor {x, z} liefert. Bei der Verwendung von wahrscheinlichkeitsdichteregressiven neuronalen Netzen werden die Verteilungen nicht unvoreingenommen bestimmt, sondern beruhen auf einer Modellierungsentscheidung. Welche Verteilung für jede Beobachtungsgröße angenommen wird, ist daher eine Modelldefinition. Die wahrscheinlichkeitsdichteregressiven neuronalen Netze ermitteln die jeweiligen Parameter, d. h. die latenten Variablen, der Verteilung über die eingegebenen Merkmalsvektoren. In alternativen Ausführungsformen können auch echte Bayes'sche neuronale Netze verwendet werden, bei denen die Verteilungstypen nicht festgelegt, sondern abgeleitet werden. Während solche Modelle im Prinzip ein besseres Verständnis der zugrunde liegenden modellierten Prozesse ermöglichen, sind sie schwieriger zu trainieren und erfordern mehr Daten. Daher können wahrscheinlichkeitsdichteregressive neuronale Netze in einigen Ausführungsformen als geeignete Wahl angesehen werden.
In dem nicht einschränkenden Beispiel des neuronalen Netzes 40 von , D_n eine Normalverteilung und die latenten Variablen bestehen aus dem Mittelwert (µ) 42 und die Standardabweichung (σ) 43. Eine negative Log-Wahrscheinlichkeit der Beobachtungsgrößen relativ zu D_n kann z. B. als Verlustfunktion für das Training des neuronalen Netzes 40 verwendet werden. Zum Aufbau des Umgebungsmodells im Beispiel der Metasuche können sechs neuronale Netze, die alle die gleichen Eingaben erhalten, bei denen aber die letzten beiden Schichten je nach der zu schätzenden latenten Variable variieren, wie oben beschrieben eingesetzt werden. Die vorletzte Schicht gibt die latente Variable aus, und die letzte Schicht ist die Verteilungsschicht, die der Verteilung der entsprechenden Beobachtungsgröße entspricht.
In einigen Ausführungsformen wird das neuronale Netz 40 (oder ein anderer geeigneter Algorithmus für maschinelles Lernen zur Vorhersage der stochastischen Verteilungen der Beobachtungsgrößen) vor der Anwendung trainiert, kann aber auch kontinuierlich mit neuen Daten aktualisiert werden, die für die eine oder mehrere Beobachtungsgrößen vom Blackbox-Informationsverarbeitungssystem für einen nachfolgenden (d. h. nächsten) Zeitraum empfangen werden. Durch kontinuierliche Aktualisierung oder Neutraining des neuronalen Netzes kann sichergestellt werden, dass das neuronale Netz 40 die der Umgebung zugrunde liegenden stochastischen Prozesse korrekt modelliert. Die Aktualisierung des neuronalen Netzes 40 kann in vordefinierten Zeitabständen erfolgen, z. B. einmal pro Tag, pro Woche, pro Monat oder ähnlichem. Zusätzlich oder alternativ kann die Aktualisierung des neuronalen Netzes 40 durch die Menge der gesammelten Daten ausgelöst werden. Im Beispiel der Metasuche kann die Aktualisierung entsprechend der Anzahl der Datensätze (z. B. Anzahl der Auktionen) ausgelöst werden, die von der Metasuchplattform für verschiedene Gebote für verschiedene Hotels empfangen wurden. Wenn die Anzahl einen Schwellenwert überschreitet, kann die Aktualisierung des neuronalen Netzes 40 gestartet werden. Andernfalls, wenn die Anzahl der Datensätze sehr gering ist, kann es sich nicht lohnen, das Modell zu aktualisieren, da die Beobachtungsgrößen viel verrauschter sind und zu einer Verschlechterung des Modells führen können.
Im Beispiel der Metasuche werden die latenten Variablen der Verteilungen für ein bestimmtes Objekt (Hotel) ermittelt, um das/die Auktionsergebnis(e) für dieses Hotel über einen Bereich von Geboten vorherzusagen. veranschaulicht solche gelernten Verteilungen und zeigt mögliche Dichteverteilungen von Beobachtungsgrößen gemäß Ausführungsformen, z. B. gemäß der Metasuch-Ausführungsform. In der oberen Grafik von ist die Gewinnrate in Bezug auf den CPC in Prozent dargestellt. Dies ist eine klare gebotsabhängige Verteilung, wie sie auch in Tabelle 2 oben hervorgehoben wird. Je höher der CPC in Prozent ist, desto höher ist die Gewinnwahrscheinlichkeit. Die unteren Diagramme in zeigen verschiedene Verteilungen mit unterschiedlichen Erwartungswerten/Varianzen. Die Verteilungen auf der unteren Seite der Graphen gehören in der Regel zu Beobachtungsgrößen, die nicht direkt vom Gebot abhängig sind, z. B. Auktionen, Klicks, Konversionen, gesuchter Wert und Arbitrage, wie in Tabelle 2 oben gezeigt.
zeigt Diagramme, die sich auf die Gebotsabhängigkeit eines Optimierungskriteriums und einer Optimierungsnebenbedingung gemäß Ausführungsformen beziehen. Wie bereits oben erwähnt, besteht ein typisches Problem bei Metasuchgeboten darin, die Gewinnspanne zu maximieren und gleichzeitig den ROAS über einem bestimmten Schwellenwert zu halten. Darüber hinaus ist eine Mindestgewinnrate über einem Schwellenwert wünschenswert, um die Sichtbarkeit des Unternehmens (z. B. des Hotels), für das das Gebot abgegeben wird, zu erhöhen. veranschaulicht die Gebotsabhängigkeit von ROAS und Marge (die Gebotsabhängigkeit der Gewinnrate ist auf der linken Seite von dargestellt).
Es wird davon ausgegangen, dass die Marge maximiert werden soll, wenn die ROAS größer als 10 ist. Das obere Diagramm in zeigt die vom Gebot abhängige Nebenbedingung (ROAS), aber da ROAS eine Zufallsvariable ist, ist es nicht offensichtlich, welcher Wert die optimale Eingabe für das Blackbox-Informationsverarbeitungssystem ist, wenn der Erwartungswert von ROAS die Schwelle von 10 überschreitet. Das untere Diagramm in zeigt die Marge, die (bei niedrigeren CPC fast immer) umso höher ist, je höher die CPC sind.
Daher wird die bedingte Wahrscheinlichkeitsdichte von X ausgewertet, um die Wahrscheinlichkeitsverteilung zu finden, die die Gewinnspanne maximiert und gleichzeitig beide Geschäftsbedingungen erfüllt. zeigt Beispiele für die Berechnung von Wahrscheinlichkeiten und bedingten Wahrscheinlichkeiten für derartige Ausführungsformen. Das obere Diagramm in zeigt, dass die Wahrscheinlichkeit, dass die ROAS-Bedingung erfüllt wird, mit steigendem Gebot (nach ihrem Maximum) gleichmäßig abnimmt, wie mit Linie 71 dargestellt. Die Gewinnrate benötigt ein ausreichend hohes Gebot, um erfüllt zu werden, wie mit Linie 72 gezeigt wird. Das untere Diagramm in zeigt außerdem, dass das Maximum der Marge ohne Nebenbedingung - wie mit Linie 73 angegeben - außerhalb des Bereichs liegt, in dem die ROAS-Nebenbedingung erfüllt wird, was durch einen Vergleich der Linien 71 und 73 ersichtlich ist.
Das untere Diagramm in zeigt auch, dass, wenn die Wahrscheinlichkeiten von ROAS und Marge kombiniert werden, indem die bedingte Wahrscheinlichkeit wie oben erläutert ausgewertet wird, die optimale Gebotswahrscheinlichkeitsdichte leicht gefunden werden kann, was die Linie 74 ist. Das Eingabebestimmungsmodul 14 kann dann als nächstes Gebot den Erwartungswert dieser Bedingungswahrscheinlichkeit wählen, der hier knapp über 0,002% CPC liegt.
ist eine schematische Darstellung der internen Komponenten eines Rechensystems 80, das die Funktionalität einer oder mehrerer der hier beschriebenen Komponenten 11, 12, 13 und 14 implementiert. Das Rechensystem 80 umfasst mindestens einen Prozessor 81, eine Benutzerschnittstelle 82, eine Netzwerkschnittstelle 83 und einen Hauptspeicher 86, die über einen Bus 85 miteinander kommunizieren. Optional kann das Rechensystem 80 auch einen statischen Speicher 87 und eine Plattenlaufwerkeinheit (nicht dargestellt) umfassen, die ebenfalls über den Bus 85 miteinander kommunizieren. Als Beispiele für die Benutzerschnittstelle 82 können eine Videoanzeige, eine alphanumerische Eingabevorrichtung und eine Cursorsteuerungsvorrichtung vorgesehen sein. Darüber hinaus kann das Rechensystem 80 auch eine oder mehrere Grafikverarbeitungseinheiten (GPU) 84 umfassen.
Die GPUs 84 können auch eine Vielzahl von GPU-Kernen oder Streaming-Multiprozessoren umfassen, die aus vielen verschiedenen Komponenten bestehen, wie z. B. mindestens einem Register, mindestens einem Cache und/oder gemeinsamem Speicher und einer Vielzahl von ALUs, FPUs, Tensor Processing Unit (TPU) oder Tensor-Kernen und/oder anderen optionalen Verarbeitungseinheiten. GPUs können mehrere Berechnungen gleichzeitig durchführen und ermöglichen so die Verteilung von Trainingsprozessen und die Beschleunigung von maschinellen Lernprozessen.
Der Hauptspeicher 86 kann ein Speicher mit wahlfreiem Zugriff (RAM) und/oder ein weiterer flüchtiger Speicher sein. Der Hauptspeicher 86 kann Programmcode 88a und auch zusätzliche Programmdaten 88 speichern, die für die Bereitstellung der hier beschriebenen Funktionen erforderlich sind. Darüber hinaus kann der Hauptspeicher 86 auch einen Cache 89 enthalten.
Gemäß einem Aspekt wird ein Computerprogramm mit Anweisungen bereitgestellt. Wenn das Programm von einem Computer ausgeführt wird, veranlassen diese Anweisungen den Computer, die hier beschriebenen Verfahren auszuführen. Der Programmcode, der in einem der hier beschriebenen Systeme verkörpert ist, kann individuell oder kollektiv als Programmprodukt in einer Vielzahl verschiedener Formen verbreitet werden. Insbesondere kann der Programmcode unter Verwendung eines computerlesbaren Speichermediums verbreitet werden, das computerlesbare Programmanweisungen enthält, die einen Prozessor veranlassen, Aspekte der hier beschriebenen Ausführungsformen auszuführen.
Zu den computerlesbaren Speichermedien, die von Natur aus nicht flüchtig sind, können kurzzeitige und nicht kurzzeitige sowie entfernbare und nicht entfernbare materielle Medien gehören, die in einem beliebigen Verfahren oder einer beliebigen Technologie zur Speicherung von Informationen, wie z. B. computerlesbaren Anweisungen, Datenstrukturen, Programmmodulen oder anderen Daten, implementiert sind. Zu den computerlesbaren Speichermedien können ferner ein Direktzugriffsspeicher (RAM), ein Festwertspeicher (ROM), ein löschbarer programmierbarer Festwertspeicher (EPROM), ein elektrisch löschbarer programmierbarer Festwertspeicher (EEPROM), ein Flash-Speicher oder eine andere Festkörperspeichertechnologie, ein tragbarer Compact-Disc-Festwertspeicher (CD-ROM) oder ein anderer optischer Speicher, Magnetkassetten, Magnetbänder, Magnetplattenspeicher oder andere magnetische Speichervorrichtungen oder jedes andere Medium gehören, das zur Speicherung der gewünschten Informationen verwendet werden und von einem Computer gelesen werden kann.
Ein computerlesbares Speichermedium sollte nicht als transitorische Signale per se verstanden werden (z. B. Radiowellen oder andere sich ausbreitende elektromagnetische Wellen, elektromagnetische Wellen, die sich durch ein Übertragungsmedium wie einen Wellenleiter ausbreiten, oder elektrische Signale, die durch eine Leitung übertragen werden). Computerlesbare Programmanweisungen können von einem computerlesbaren Speichermedium auf einen Computer, eine andere Art von programmierbarem Datenverarbeitungsgerät oder ein anderes Gerät oder über ein Netz auf einen externen Computer oder ein externes Speichergerät heruntergeladen werden.
Es sollte anerkannt werden, dass, obwohl hier bestimmte Ausführungsformen und Variationen beschrieben wurden, weitere Modifikationen und Alternativen für Personen, die in den relevanten Fachgebieten erfahren sind, offensichtlich sind. Insbesondere werden die Beispiele zur Veranschaulichung der Prinzipien und zur Bereitstellung einer Reihe spezifischer Methoden und Anordnungen zur Umsetzung dieser Prinzipien angeboten.
In bestimmten Ausführungsformen können die in den Flussdiagrammen, Sequenzdiagrammen und/oder Blockdiagrammen angegebenen Funktionen und/oder Handlungen neu geordnet, seriell abgearbeitet und/oder gleichzeitig abgearbeitet werden, ohne dass dies den Rahmen der Offenbarung sprengt. Darüber hinaus kann jedes der Flussdiagramme, Sequenzdiagramme und/oder Blockdiagramme mehr oder weniger Blöcke enthalten, als in den Ausführungsformen der Offenbarung dargestellt sind.
Die hier verwendete Terminologie dient lediglich der Beschreibung bestimmter Ausführungsformen und ist nicht als Einschränkung der Ausführungsformen der Offenbarung zu verstehen. Es versteht sich ferner, dass die Begriffe „umfassen“ und/oder „beinhalten“, wenn sie in dieser Beschreibung verwendet werden, das Vorhandensein bestimmter Merkmale, ganzer Zahlen, Prozesse, Operationen, Elemente und/oder Komponenten spezifizieren, aber das Vorhandensein oder Hinzufügen eines oder mehrerer anderer Merkmale, ganzer Zahlen, Prozesse, Operationen, Elemente, Komponenten und/oder Gruppen davon nicht ausschließen. Soweit die Ausdrücke „einschließlich“, „besitzt“, „hat“, „mit“, „bestehend aus“ oder Varianten davon in der ausführlichen Beschreibung oder den Ansprüchen verwendet werden, sind diese Ausdrücke in ähnlicher Weise wie der Ausdruck „umfassend“ zu verstehen.
Während eine Beschreibung verschiedener Ausführungsformen das Verfahren veranschaulicht hat und diese Ausführungsformen sehr detailliert beschrieben wurden, ist es nicht die Absicht der Anmelder, den Umfang der beigefügten Ansprüche auf solche Details zu beschränken oder in irgendeiner Weise zu begrenzen. Zusätzliche Vorteile und Modifikationen werden dem Fachmann ohne weiteres einleuchten. Die Offenbarung im weiteren Sinne ist daher nicht auf die dargestellten und beschriebenen spezifischen Details, repräsentativen Geräte und Verfahren sowie anschaulichen Beispiele beschränkt. Dementsprechend sind die beschriebenen Ausführungsformen als Beispiel zu verstehen, um die allgemeinen Merkmale und Prinzipien zu lehren, aber nicht als Einschränkung des Umfangs zu verstehen, der in den beigefügten Ansprüchen definiert ist.

Claims

Rechensystem zum Bestimmen einer Eingabe für ein Blackbox-Informationsverarbeitungssystem in einer Umgebung, wobei das Blackbox-Informationsverarbeitungssystem eine oder mehrere nicht-deterministische Beobachtungsgrößen für jede Ausführung auf der Grundlage der Eingabe erzeugt, wobei die Eingabe für das Blackbox-Informationsverarbeitungssystem für eine Zeitperiode gleich bleibt, wobei die eine oder mehreren Beobachtungsgrößen sich auf Werte beziehen, die über eine gegebene Zeitperiode für eine gegebene Eingabe aggregiert werden, wobei das System umfasst: einen ersten Speicher, in dem historische Daten gespeichert sind, die sich auf die Eingabe in historischen Zeiträumen und die eine oder mehrere Beobachtungsgrößen beziehen; einen zweiten Speicher, der ein Umgebungsmodell speichert, wobei das Umgebungsmodell die eine oder die mehreren Beobachtungsgrößen auf der Grundlage einer Eingabe schätzt; ein Modellerstellungsmodul, das mit dem ersten und zweiten Speicher verbunden ist, wobei das Modellerstellungsmodul so konfiguriert ist, dass es: aus dem ersten Speicher die historischen Daten empfängt; das Umgebungsmodell durch Modellierung eines oder mehrerer stochastischer Prozesse der einen oder mehreren Beobachtungsgrößen auf der Grundlage der historischen Daten erstellt; und das Umgebungsmodells im zweiten Speicher speichert; und ein Eingabebestimmungsmodul, das mit dem zweiten Speicher verbunden ist, wobei das Eingabebestimmungsmodul so konfiguriert ist, dass es: aus dem zweiten Speicher das Umgebungsmodell empfängt; über eine Kommunikationsschnittstelle ein Optimierungskriterium empfängt, das sich auf eine oder mehrere der Beobachtungsgrößen bezieht; über die Kommunikationsschnittstelle eine oder mehrere Optimierungsnebenbedingungen empfängt; das Umgebungsmodell zur Ableitung von Wahrscheinlichkeitsfunktionen des Optimierungskriteriums und der einen oder mehreren Optimierungsnebenbedingungen in Abhängigkeit von einer Eingabe anwendet; eine bedingten Wahrscheinlichkeitsdichte berechnet, sodass eine gegebene Eingabe den höchsten oder niedrigsten Wert für das Optimierungskriterium unter Berücksichtigung der einen oder mehreren Optimierungsnebenbedingungen auf der Grundlage der Wahrscheinlichkeitsfunktionen erreicht; und eine optimierte Eingabe entsprechend der bedingten Wahrscheinlichkeit bestimmt.
System nach Anspruch 1, das ferner ein Kommunikationsmodul umfasst, das so konfiguriert ist, dass es die ermittelte optimierte Eingabe an das Blackbox-Informationsverarbeitungssystem zur Anwendung während eines nächsten Zeitraums übermittelt.
System nach Anspruch 2, wobei das Kommunikationsmodul ferner so konfiguriert ist, dass es die eine oder die mehreren Beobachtungsgrößen vom Blackbox-Informationsverarbeitungssystem für die nächste Zeitperiode erhält.
System nach einem der vorhergehenden Ansprüche, wobei die Modellierung eines oder mehrerer stochastischer Prozesse das Trainieren eines oder mehrerer wahrscheinlichkeitsdichteregressiver neuronaler Netze auf der Grundlage eines oder mehrerer Merkmale umfasst, die für Entitäten in der Umgebung und die historischen Daten spezifisch sind.
System nach Anspruch 4, wobei das eine oder die mehreren wahrscheinlichkeitsdichteregressiven neuronalen Netze auf denselben Eingaben trainiert werden, wobei die letzten beiden Schichten in Abhängigkeit von der jeweiligen Beobachtungsgröße variieren.
System nach Anspruch 5, wobei das eine oder die mehreren wahrscheinlichkeitsdichteregressiven neuronalen Netze kontinuierlich mit einer oder mehreren Beobachtungsgrößen aktualisiert werden, die von dem Blackbox-Informationsverarbeitungssystem für die nachfolgenden Zeiträume empfangen werden.
System nach Anspruch 6, wobei die Aktualisierung des einen oder der mehreren wahrscheinlichkeitsdichteregressiven neuronalen Netze periodisch in definierten Zeitabschnitten durchgeführt und/oder durch die Menge der Daten bezüglich der einen oder der mehreren Beobachtungsgrößen ausgelöst wird, die von dem Blackbox-Informationsverarbeitungssystem für die nachfolgenden Zeitabschnitte nach der letzten Aktualisierung des einen oder der mehreren wahrscheinlichkeitsdichteregressiven neuronalen Netze empfangen wurden.
System nach einem der vorhergehenden Ansprüche, wobei die Zeitspanne ein Tag, eine Woche, ein Monat oder ein Jahr ist.
System nach einem der vorhergehenden Ansprüche, wobei das Blackbox-Informationsverarbeitungssystem von mindestens dem Eingabebestimmungsmodul entfernt angeordnet ist.
System nach einem der vorhergehenden Ansprüche, wobei das Optimierungskriterium und/oder eine oder mehrere Optimierungsnebenbedingungen von einem Benutzer an einem Benutzergerät eingegeben und über die Kommunikationsschnittstelle an das Eingabebestimmungsmodul übermittelt werden.
System nach einem der vorhergehenden Ansprüche, wobei sich die Optimierungsnebenbedingungen auf eine oder mehrere der Beobachtungsgrößen beziehen.
System nach einem der vorhergehenden Ansprüche, wobei der eine oder die mehreren stochastischen Prozesse der einen oder der mehreren Beobachtungsgrößen auf stochastischen Verteilungen einer oder Kombinationen einer Poisson-, Gamma-, Binomial-, Beta- oder einer logarithmischen Normalverteilung beruhen.
System nach einem der vorhergehenden Ansprüche, wobei die optimierte Eingabe nach dem Erwartungswert der bedingten Wahrscheinlichkeitsdichte bestimmt wird.
System nach einem der vorhergehenden Ansprüche, wobei der erste Speicher, der zweite Speicher, das Modellerstellungsmodul und das Eingabebestimmungsmodul in einer verteilten Weise implementiert sind.
System nach einem der vorhergehenden Ansprüche, wobei das Blackbox-Informationsverarbeitungssystem ein Online-Werbeauktionssystem innerhalb einer Marktplatzumgebung ist, wobei die Eingabe ein Gebot ist, wobei die über einen Zeitraum aggregierten Beobachtungswerte eines oder mehrere aus einer Anzahl erfolgreicher Gebote, einer Anzahl von Auktionen, einer Anzahl von Gewinnen, einer Anzahl von Klicks, einer Anzahl von Konversionen, einer Kosten für die Abgabe der Gebote und einem durch die Gebote erzielten Umsatz umfassen.