DE112013000752T5

DE112013000752T5 - Verwalten von Verarbeitungselementen in einem Streaming-Datensystem

Info

Publication number: DE112013000752T5
Application number: DE112013000752.5T
Authority: DE
Inventors: c/o IBM Corporation Santosuosso John; c/o IBM Corporation Schulz Brandon; c/o IBM Corporation Cradick Ryan Kirk; c/o IBM Corporation Branson Michael
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 2012-01-30
Filing date: 2013-01-10
Publication date: 2014-12-11
Anticipated expiration: 2033-01-11
Also published as: US20180074862A1; GB2510769A; US10296386B2; CN104094232B; US9535707B2; CN104094232A; GB201409144D0; US20170004014A1; DE112013000752B4; US20130198489A1; WO2013114228A1; US9870262B2; US9405553B2; US20130198318A1

Abstract

Datenstromanwendungen können die Hardware-Ressourcen unwirksam nutzen, die die Verarbeitungselemente des Datenstroms ausführen. Ein Rechenknoten kann zum Beispiel vier Verarbeitungselemente beherbergen und jedes jeweils unter Verwenden einer CPU ausführen. Andere CPUs auf dem Rechenknoten können jedoch inaktiv sein. Um diese verfügbaren Hardware-Ressourcen zu nutzen, kann ein Datenstromprogrammierer ein oder mehrere Verarbeitungselemente identifizieren, die geklont sein können. Die geklonten Verarbeitungselemente können verwendet werden, um einen anderen Ausführungspfad zu erzeugen, der parallel zu dem Ausführungspfad besteht, der die ursprünglichen Verarbeitungselemente enthält. Da die geklonten Verarbeitungselemente dieselben Operatoren enthalten wie die ursprünglichen Verarbeitungselemente, kann der Datenstrom, der zuvor nur durch das ursprüngliche Verarbeitungselement geflossen ist, geteilt und sowohl durch die ursprünglichen als auch die geklonten Verarbeitungselemente gesendet werden. Auf diese Weise kann der parallele Ausführungspfad nicht voll ausgelastete Hardware-Ressourcen verwenden, um den Durchsatz des Datenstroms zu verbessern.

Description

Hintergrund
Gebiet der Erfindung
Ausführungsformen der vorliegenden Erfindung beziehen sich allgemein auf Anwendungen der Datenstromverarbeitung. Die offenbarten Ausführungsformen offenbaren insbesondere ein Verteilen von Verarbeitungselementen oder Operatoren, um nicht voll ausgelastete Hardware-Ressourcen in einer Umgebung einer Datenstromverarbeitung zu nutzen.
Beschreibung des Standes der Technik
Mit den in hohem Maße entwickelten Computerdatenbanken sind auch die Datenverarbeitungsanforderungen rasch gestiegen, die an Datenbanksysteme gestellt werden. Datenbanksysteme sind üblicherweise so konfiguriert, dass der Vorgang zum Speichern von Daten von dem Zugreifen auf Daten, die in der Datenbank gespeichert sind, ihrem Bearbeiten oder Verwenden getrennt ist. Datenbanken verwenden insbesondere ein Modell, bei dem Daten zuerst gespeichert, dann indexiert und schließlich abgefragt werden. Dieses Modell kann jedoch die Leistungsanforderungen einiger Echtzeitanwendungen nicht erfüllen. Die Geschwindigkeit, mit der ein Datenbanksystem zum Beispiel eingehende Daten empfangen und speichern kann, begrenzt die Menge der Daten, die verarbeitet oder anderweitig bewertet werden kann. Dies kann im Gegenzug die Fähigkeit von Datenbankanwendungen einschränken, große Datenmengen in Echtzeit zu verarbeiten.
KURZDARSTELLUNG
Ausführungsformen der Erfindung stellen ein Verfahren, ein System und ein Computerprogrammprodukt zum Verarbeiten von Daten bereit. Das Verfahren, das System und das Computerprogramm empfangen Streaming-Daten, die von einer Vielzahl von Verarbeitungselementen verarbeitet werden sollen, welche einen oder mehrere Operatoren aufweisen. Die Operatoren verarbeiten mindestens einen Teil der empfangenen Daten durch den Betrieb eines oder mehrerer Computerprozessoren. Das Verfahren, das System und das Computerprogramm erstellen einen Operatorgraphen aus der Vielzahl von Operatoren. Der Operatorgraph definiert mindestens einen Ausführungspfad, bei dem ein erster Operator aus der Vielzahl von Operatoren so konfiguriert ist, dass er Datentupel von mindestens einem vorgelagerten Operator empfängt und Datentupel an mindestens einen nachgelagerten Operator übermittelt. Das Verfahren, das System und das Computerprogramm identifizieren mit Bezug auf vordefinierte Kriterien eine nicht voll ausgelastete Hardware-Ressource in einem Datenverarbeitungssystem, das die Operatoren ausführt. Das Verfahren, das System und das Computerprogramm klonen ein erstes Verarbeitungselement aus der Vielzahl von Verarbeitungselementen, so dass das geklonte Verarbeitungselement denselben oder mehrere Operatoren wie das erste Verarbeitungselement aufweist. Das Verfahren, das System und das Computerprogramm verarbeiten die empfangenen Streaming-Daten in einem ersten Ausführungspfad, der das geklonte Verarbeitungselement enthält, wobei der erste Ausführungspfad parallel zu einem zweiten Ausführungspfad ausgeführt wird, der das erste Verarbeitungselement enthält. Das geklonte Verarbeitungselement verarbeitet darüber hinaus die empfangenen Streaming-Daten unter Verwendung der nicht voll ausgelasteten Hardware-Ressource.
Bei einer anderen Ausführungsform weist ein Verfahren, das Streaming-Daten empfängt, die von einer Vielzahl von Verarbeitungselementen verarbeitet werden sollen, einen oder mehrere Operatoren auf. Die Operatoren verarbeiten mindestens einen Teil der empfangenen Daten durch den Betrieb eines oder mehrerer Computerprozessoren. Das Verfahren erstellt einen Operatorgraphen aus der Vielzahl von Operatoren. Der Operatorgraph definiert mindestens einen Ausführungspfad, bei dem ein erster Operator aus der Vielzahl von Operatoren so konfiguriert ist, dass er Datentupel von mindestens einem vorgelagerten Operator empfängt und Datentupel an mindestens einen nachgelagerten Operator übermittelt. Das Verfahren identifiziert mit Bezug auf vordefinierte Kriterien eine nicht voll ausgelastete Hardware-Ressource in einem Datenverarbeitungssystem, das die Operatoren ausführt. Das Verfahren trennt ferner einen ersten Operator von einem ersten Verarbeitungselement aus der Vielzahl von Verarbeitungselementen, wobei das erste Verarbeitungselement eine Vielzahl von Operatoren aufweist. Das Verfahren fügt den ersten Operator mit einem zweiten Verarbeitungselement aus der Vielzahl von Verarbeitungselementen zusammen. Nach dem Zusammenfügen des ersten Operators verarbeitet das Verfahren mindestens einen Teil der empfangenen Streaming-Daten unter Verwendung des ersten Operators, wobei der erste Operator den Teil der empfangenen Streaming-Daten unter Verwendung der nicht voll ausgelasteten Hardware-Ressource verarbeitet.
KURZBESCHREIBUNG DER ZEICHNUNGEN
Um die Art und Weise, wie die oben aufgeführten Aspekte erreicht werden, genau verstehen zu können, kann eine genauere Beschreibung der Ausführungsformen der oben kurz zusammengefassten Erfindung durch Bezugnahme auf die beigefügten Zeichnungen erhalten werden.
Es ist jedoch anzumerken, dass die beigefügten Zeichnungen lediglich typische Ausführungsformen dieser Erfindung zeigen und daher nicht als deren Umfang einschränkend betrachtet werden dürfen, da die Erfindung andere gleich wirksame Ausführungsformen zulassen kann.
Die 1A und 1B veranschaulichen eine Datenverarbeitungsinfrastruktur, die so konfiguriert ist, dass sie eine Datenstromverarbeitungsanwendung gemäß Ausführungsformen der Erfindung ausführt.
2 ist eine genauere Ansicht des Rechenknotens der 1A und 1B gemäß einer Ausführungsform der Erfindung.
3 ist eine genauere Ansicht des Server-Verwaltungssystems der 1A und 1B gemäß einer Ausführungsform der Erfindung.
4 ist ein Ablaufplan, der eine Technik zum Klonen eines Verarbeitungselements in einem Operatorgraphen gemäß einer Ausführungsform der Erfindung veranschaulicht.
Die 5A bis 5C veranschaulichen ein Klonen eines Verarbeitungselements, um gemäß Ausführungsformen der Erfindung einen parallelen Ausführungspfad zu erzeugen.
Die 6A und 6B veranschaulichen ein Verteilen von geklonten Verarbeitungselementen an CPUs auf einem oder mehreren Computerknoten gemäß Ausführungsformen der Erfindung.
Die 7A und 7B veranschaulichen ein Klonen einer Vielzahl von Verarbeitungselementen auf einem einzelnen Ausführungspfad, um gemäß Ausführungsformen der Erfindung einen oder mehrere parallele Ausführungspfade zu erzeugen.
Die 8A bis 8D veranschaulichen ein Trennen und Verteilen von Operatoren eines Verarbeitungselements auf eine Vielzahl von CPUs gemäß Ausführungsformen der Erfindung.
Um das Verständnis zu erleichtern, wurden nach Möglichkeit identische Bezugszeichen verwendet, um identische Elemente, die den Figuren gemeinsam sind, zu bezeichnen. Es ist vorgesehen, dass Elemente, die bei einer Ausführungsform offenbart wurden, bei anderen Ausführungsformen vorteilhaft verwendet werden können, ohne dass dies ausdrücklich erwähnt wird.
AUSFÜHRLICHE BESCHREIBUNG
Die auf Datenströmen beruhende Datenverarbeitung und die auf Datenströmen beruhende Datenbankverarbeitung stellen eine sich entwickelnde Technologie für Datenbanksysteme dar. Es sind Produkte erhältlich, mit deren Hilfe Benutzer Anwendungen erstellen können, die Streaming-Daten verarbeiten und abfragen, bevor diese in eine Datenbankdatei gelangen. Mit dieser sich entwickelnden Technologie können Benutzer eine Verarbeitungslogik spezifizieren, die während des laufenden Betriebs auf eingehende Datensätze angewendet wird, wobei die Ergebnisse in sehr kurzer Zeit, oftmals innerhalb von Millisekunden, zur Verfügung stehen. Das Schaffen einer Anwendung unter Verwendung dieser Art von Verarbeitung hat zu einem neuen Programmierparadigma geführt, das die Entwicklung einer großen Vielfalt von innovativen Anwendungen, Systemen und Prozessen ermöglicht und neue Herausforderungen für Anwendungsprogrammierer und Datenbankentwickler mit sich bringt.
Bei einer Datenstromverarbeitungsanwendung sind Operatoren so untereinander verbunden, dass Daten von einem Operator zum nächsten fließen (z. B. über ein TCP/IP-Socket). Eine Skalierbarkeit wird erreicht, indem eine Anwendung durch Erstellen ausführbarer Dateien (d. h. Verarbeitungselemente) auf Rechenknoten verteilt wird, sowie dadurch, dass Verarbeitungselemente auf mehreren Knoten repliziert werden und ein Lastausgleich zwischen ihnen durchgeführt wird. Operatoren in einer Datenstromverarbeitungsanwendung können zusammengefügt werden, um ein ausführbares Verarbeitungselement zu bilden. Dadurch können die Verarbeitungselemente einen gemeinsamen Prozessraum gemeinsam nutzen, was zu einem viel schnelleren Datenaustausch zwischen Operatoren führt als beim Verwenden von Interprozess-Datenübertragungstechniken (z. B. unter Verwendung eines TCP/IP-Socket). Verarbeitungselemente können des Weiteren in einen Operatorgraphen, der den Datenfluss durch die Datenstromverarbeitungsanwendung darstellt, dynamisch eingefügt oder dynamisch aus diesem entfernt werden.
Datenstromanwendungen können ferner die Hardware-Ressourcen unwirksam nutzen, die die Verarbeitungselemente des Datenstroms ausführen. Ein Rechenknoten kann zum Beispiel vier Verarbeitungselemente beherbergen und jedes jeweils unter Verwenden einer CPU ausführen. Andere CPUs auf dem Rechenknoten können jedoch inaktiv sein. Um diese verfügbaren Hardware-Ressourcen zu nutzen, kann ein Datenstromprogrammierer oder -entwickler ein oder mehrere Verarbeitungselemente identifizieren, die geklont sein können. Die geklonten Verarbeitungselemente können verwendet werden, um einen anderen Ausführungspfad zu erzeugen, der parallel zu dem Ausführungspfad besteht, der die ursprünglichen Verarbeitungselemente enthält. Da die geklonten Verarbeitungselemente dieselben Operatoren enthalten wie die ursprünglichen Verarbeitungselemente, kann der Datenstrom, der zuvor nur durch das ursprüngliche Verarbeitungselement geflossen ist, geteilt und sowohl durch die ursprünglichen als auch die geklonten Verarbeitungselemente gesendet werden. Auf diese Weise kann der parallele Ausführungspfad nicht voll ausgelastete Hardware-Ressourcen verwenden, um den Durchsatz des Datenstroms zu verbessern.
Bei einer anderen Ausführungsform können die Operatoren eines Verarbeitungselements verteilt werden, um die verfügbare Computer-Hardware zu nutzen. Nach einem Erkennen einer inaktiven CPU zum Beispiel kann die Streaming-Anwendung die Operatoren in dem Verarbeitungselement aufteilen und sie in mehreren Verarbeitungselementen unterbringen, wobei eines oder mehrere der Verarbeitungselemente der inaktiven CPU zugeordnet ist bzw. sind.
Im Folgenden wird Bezug auf Ausführungsformen der Erfindung genommen. Es versteht sich jedoch, dass die Erfindung nicht auf bestimmte beschriebene Ausführungsformen beschränkt ist. Stattdessen ist eine beliebige Kombination der folgenden Merkmale und Elemente unabhängig davon, ob sie mit unterschiedlichen Ausführungsformen im Zusammenhang steht, denkbar, um die Erfindung auszuführen und in die Praxis umzusetzen. Eine bestimmte Ausführungsform schränkt die Erfindung unabhängig davon nicht ein, ob ein bestimmter Vorteil durch eine bestimmte Ausführungsform erzielt wird, obwohl Ausführungsformen der Erfindung Vorteile gegenüber anderen möglichen Lösungen und/oder gegenüber dem Stand der Technik erzielen können. Daher sind die folgenden Aspekte, Merkmale, Ausführungsformen und Vorteile lediglich veranschaulichend und sind nicht als Elemente oder Einschränkungen der beigefügten Ansprüche gedacht, ausgenommen in Fällen, in denen dies in einem Anspruch bzw. in Ansprüchen ausdrücklich angegeben ist. Ebenso ist der Bezug auf ”die Erfindung” nicht als Verallgemeinerung eines hierin offenbarten Erfindungsgegenstands auszulegen und nicht als Element oder Einschränkung der beigefügten Ansprüche anzusehen, ausgenommen in Fällen, in denen dies in einem Anspruch bzw. in Ansprüchen ausdrücklich angegeben ist.
Für den Fachmann ist ersichtlich, dass Aspekte der vorliegenden Erfindung als System, Verfahren oder Computerprogrammprodukt ausgeführt werden können. Aspekte der vorliegenden Erfindung können daher die Form einer kompletten Hardware-Ausführung, einer kompletten Software-Ausführung (darunter Firmware, residente Software, Mikrocode usw.) oder eine Ausführungsform haben, bei der Hardware- und Software-Aspekte kombiniert sind, die allgemein hierin als ”Schaltung”, ”Modul” oder ”System” bezeichnet werden können. Aspekte der vorliegenden Erfindung können des Weiteren die Form eines Computerprogrammprodukts haben, das in einem oder mehreren computerlesbaren Medien ausgeführt ist, die über einen darin enthaltenen computerlesbaren Programmcode verfügen.
Es können beliebige Kombinationen von einem oder mehreren computerlesbaren Medien verwendet werden. Bei dem computerlesbaren Medium kann es sich um ein computerlesbares Signalmedium oder ein computerlesbares Speichermedium handeln. Bei einem computerlesbaren Speichermedium kann es sich zum Beispiel um ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot- oder Halbleitersystem, eine solche Vorrichtung oder Einheit oder eine geeignete Kombination davon handeln, ohne darauf beschränkt zu sein. Zu genauen Beispielen (einer nicht vollständigen Liste) für das computerlesbare Speichermedium gehören wie folgt: eine elektrische Verbindung mit einer oder mehreren Leitungen, eine tragbare Computer-Diskette, eine Festplatte, ein Direktzugriffsspeicher (RAM), ein Nur-Lese-Speicher (ROM), ein löschbarer programmierbarer Nur-Lese-Speicher (EPROM oder Flash-Speicher), ein Lichtwellenleiter, ein tragbarer Compact-Disc-Nur-Lese-Speicher (CD-ROM), eine optische Speichereinheit, eine magnetische Speichereinheit oder eine geeignete Kombination davon. Im Zusammenhang mit diesem Dokument kann es sich bei einem computerlesbaren Speichermedium um ein beliebiges physisches Medium handeln, das ein Programm enthalten oder speichern kann, welches von oder in Verbindung mit einem System, einer Vorrichtung oder Einheit zum Ausführen von Befehlen verwendet wird.
Ein computerlesbares Signalmedium kann ein sich ausbreitendes Datensignal mit darin enthaltenem computerlesbarem Programmcode beinhalten, zum Beispiel im Basisband oder als Teil einer Trägerwelle. Ein solches sich ausbreitendes Signal kann eine Vielfalt von Formen haben, darunter elektromagnetische, optische Formen oder eine geeignete Kombination davon, ohne darauf beschränkt zu sein. Bei einem computerlesbaren Signalmedium kann es sich um ein beliebiges computerlesbares Medium handeln, das kein computerlesbares Speichermedium ist und das ein Programm zur Verwendung durch oder in Verbindung mit einem System, einer Vorrichtung oder Einheit zum Ausführen von Befehlen übertragen, weitergeben oder transportieren kann.
In einem computerlesbaren Medium enthaltener Programmcode kann unter Verwendung eines geeigneten Mediums übermittelt werden, das drahtlos, drahtgebunden, ein Lichtwellenleiterkabel, HF usw. oder eine geeignete Kombination davon sein kann, ohne darauf beschränkt zu sein.
Computerprogrammcode zum Ausführen von Operationen in Verbindung mit Aspekten der vorliegenden Erfindung kann in einer beliebigen Kombination von einer oder mehreren Programmiersprachen geschrieben werden, zu denen eine objektorientierte Programmiersprache wie beispielsweise Java, Smalltalk, C++ oder ähnliche sowie herkömmliche prozedurale Programmiersprachen wie beispielsweise die Programmiersprache ”C” oder ähnliche Programmiersprachen gehören. Der Programmcode kann ganz auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als eigenständiges Software-Paket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernt angeordneten Computer oder ganz auf dem entfernt angeordneten Computer oder Server ausgeführt werden. Im letztgenannten Szenario kann der entfernt angeordnete Computer über ein beliebiges Netzwerk mit dem Computer des Benutzers verbunden sein, zum Beispiel über ein lokales Netzwerk (LAN) oder ein Weitverkehrsnetzwerk (WAN), oder es kann die Verbindung zu einem externen Computer hergestellt werden (beispielsweise über das Internet durch einen Internetdienstanbieter).
Nachstehend werden Aspekte der vorliegenden Erfindung unter Bezugnahme auf Ablaufplandarstellungen und/oder Blockschaltbilder von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Erfindung beschrieben. Es versteht sich, dass jeder Block der Ablaufplandarstellungen und/oder der Blockschaltbilder sowie Kombinationen von Blöcken in den Ablaufplandarstellungen und/oder in den Blockschaltbildern durch Computerprogrammbefehle umgesetzt werden können. Diese Computerprogrammanweisungen können einem Prozessor eines Universalrechners, eines Spezialrechners oder einer anderen programmierbaren Datenverarbeitungsvorrichtung bereitgestellt werden, um eine Maschine zu bilden, so dass die Befehle, die über den Prozessor des Computers oder der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführt werden, ein Mittel erzeugen, um die in dem Block oder den Blöcken des Ablaufplans und/oder des Blockschaltbilds festgelegten Funktionen/Maßnahmen umzusetzen.
Diese Computerprogrammanweisungen können auch in einem computerlesbaren Medium gespeichert werden, das einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder andere Einheiten steuern kann, um auf eine bestimmte Weise zu funktionieren, so dass die in dem computerlesbaren Medium gespeicherten Befehle einen Herstellungsartikel einschließlich der Befehle erzeugen, die die in dem Block oder den Blöcken des Ablaufplans und/oder des Blockschaltbilds festgelegte Funktion/Maßnahme umsetzen.
Die Computerprogrammbefehle können ferner in einen Computer, eine andere programmierbare Datenverarbeitungsvorrichtung oder andere Einheiten geladen werden, um eine Reihe von Funktionsschritten auszulösen, die auf dem Computer, in der anderen programmierbaren Vorrichtung oder den anderen Einheiten durchgeführt werden, um einen auf einem Computer implementierten Prozess zu erzeugen, so dass die Befehle, die auf dem Computer oder in der anderen programmierbaren Vorrichtung ausgeführt werden, Prozesse bereitstellen, um die in dem Block oder den Blöcken des Ablaufplans und/oder des Blockschaltbilds festgelegten Funktionen/Maßnahmen umzusetzen.
Ausführungsformen der Erfindung können Endbenutzern über eine Cloud-Datenverarbeitungsinfrastruktur bereitgestellt werden. Der Begriff Cloud-Datenverarbeitung (cloud computing) bezeichnet allgemein das Bereitstellen skalierbarer Datenverarbeitungsressourcen als Dienst über ein Netzwerk. Genauer ausgedrückt kann Cloud-Computing als Datenverarbeitungsfähigkeit definiert werden, die eine Abstraktion zwischen der Datenverarbeitungsressource und der ihr zugrunde liegenden technischen Architektur (z. B. Server, Speicher, Netzwerke) bereitstellt, die einen benutzerfreundlichen, bedarfsorientierten Netzwerkzugriff auf einen gemeinsam genutzten Pool von konfigurierbaren Datenverarbeitungsressourcen ermöglicht, die mit minimalem Verwaltungsaufwand oder Interaktion mit dem Dienstanbieter schnell bereitgestellt und freigegeben werden können. Daher ermöglicht das Cloud-Computing einem Benutzer unabhängig von den zugrunde liegenden physischen Systemen (oder den Standorten dieser Systeme), die zum Bereitstellen der Datenverarbeitungsressourcen verwendet werden, auf virtuelle Datenverarbeitungsressourcen (z. B. Speicher, Daten, Anwendungen und selbst vollständige virtualisierte Datenverarbeitungssysteme) in der ”Cloud” zuzugreifen.
In der Regel werden Cloud-Computing-Ressourcen einem Benutzer auf der Grundlage der Kosten pro Nutzung (pay-per-use) bereitgestellt, bei der Benutzer nur Kosten für die tatsächlich genutzten Datenverarbeitungsressourcen (z. B. eine Größe des von einem Benutzer verwendeten Speicherplatzes oder eine Anzahl virtualisierter Systeme, die der Benutzer instanziiert hat) in Rechnung gestellt werden. Ein Benutzer kann über das Internet jederzeit und von überall auf beliebige der Ressourcen zugreifen, die sich in der Cloud befinden. Im Zusammenhang mit der vorliegenden Erfindung kann ein Benutzer auf Anwendungen und zugehörige Daten zugreifen, die in der Cloud zur Verfügung stehen. Bei den Knoten zum Beispiel, die zum Erzeugen einer Datenstromverarbeitungsanwendung verwendet werden, kann es sich um virtuelle Maschinen handeln, die von einem Cloud-Dienstanbieter bereitgehalten werden. Dies ermöglicht einem Benutzer, von einem beliebigen Datenverarbeitungssystem, das an ein mit der Cloud verbundenes Netzwerk (z. B. das Internet) angeschlossen ist, auf Daten zuzugreifen.
Die 1A und 1B veranschaulichen eine Datenverarbeitungsinfrastruktur, die so konfiguriert ist, dass sie eine Datenstromverarbeitungsanwendung gemäß einer Ausführungsform der Erfindung ausführt. Wie dargestellt, beinhaltet die Datenverarbeitungsinfrastruktur 100 ein Verwaltungssystem 105 und eine Vielzahl von Rechenknoten 130 _1bis4 – d. h. Hosts –, die unter Verwendung einer oder mehrerer Datenübertragungseinheiten 120 miteinander verbunden sind. Bei den Datenübertragungseinheiten 120 kann es sich um einen Server, ein Netzwerk oder eine Datenbank handeln, die ein bestimmtes Datenübertragungsprotokoll verwenden können, um Daten zwischen den Rechenknoten 130 _1bis4 zu übermitteln. Obgleich dies nicht dargestellt ist, können die Rechenknoten 130 _1bis4 interne Datenübertragungseinheiten zum Übermitteln von Daten zwischen Verarbeitungselementen (VE) aufweisen, die sich auf demselben Rechenknoten 130 befinden.
Das Verwaltungssystem 105 enthält einen Operatorgraphen 132 und einen Datenstrommanager 134. Wie nachfolgend ausführlicher beschrieben, stellt der Operatorgraph 132 eine Datenstromanwendung dar, die bei einem oder mehreren Quellenoperatoren beginnt und bis zu einem oder mehreren Senkenoperatoren reicht. Dieser Strom von der Quelle zur Senke wird hierin allgemein als Ausführungspfad bezeichnet. Obgleich 1B abstrahiert ist, um verbundene VE darzustellen, kann der Operatorgraph 132 Datenflüsse zwischen Operatoren im selben VE oder unterschiedlichen VE aufweisen. In der Regel empfangen Verarbeitungselemente ein n-Tupel von Datenattributen aus dem Datenstrom und geben ein n-Tupel von Datenattributen an den Datenstrom aus (ausgenommen bei einem Senkenoperator, bei dem der Datenstrom endet, oder einem Quellenoperator, bei dem der Datenstrom beginnt).
Selbstverständlich muss das von einem Verarbeitungselement empfangene n-Tupel nicht dasselbe n-Tupel sein, das an ein nachgeordnetes Element gesendet wird. Darüber hinaus können die VE so konfiguriert sein, dass sie Tupel in anderen Formaten empfangen oder ausgeben (z. B. könnten die VE oder Operatoren Daten austauschen, die als XML-Dokumente gekennzeichnet sind). Des Weiteren kann jeder Operator in einem VE so konfiguriert sein, dass er an dem empfangenen Tupel eine beliebige Form von Datenverarbeitungsfunktionen ausführt, darunter zum Beispiel das Schreiben in Datenbanktabellen oder das Durchführen anderer Datenbankoperationen wie beispielsweise Datenverknüpfungen, Datenaufteilungen, Lesevorgänge usw. sowie das Durchführen anderer Datenanalysefunktionen oder Operationen.
Der Datenstrommanager 134 kann so konfiguriert sein, dass er eine Datenstromverarbeitungsanwendung überwacht, die auf den Rechenknoten 130 _1bis4 ausgeführt wird, und die Bereitstellung des Operatorgraphen 132 ändert. Der Datenstrommanager 134 kann VE von einem Rechenknoten 130 zu einem anderen verschieben, um zum Beispiel die Verarbeitungslasten der Rechenknoten 130 in der Datenverarbeitungsinfrastruktur 100 zu verwalten. Der Datenstrommanager 134 kann weiterhin die Datenstromverarbeitungsanwendung steuern, indem die Verarbeitungselemente und Operatoren (oder die Datentupel, die zu den Verarbeitungselementen fließen), die auf den Rechenknoten 130 _1bis4 ausgeführt werden, eingefügt, entfernt, zusammengefügt, getrennt oder auf sonstige Weise geändert werden. Ein Beispiel für eine Datenstromverarbeitungsanwendung ist InfoSphere^® Streams von IBM^® (es sei darauf hingewiesen, dass InfoSphere^® ein Warenzeichen der International Business Machines Corporation ist, das in vielen Rechtsordnungen weltweit eingetragen ist).
1B veranschaulicht einen beispielhaften Operatorgraphen 132, der zehn (mit VE1 bis VE10 gekennzeichnete) Verarbeitungselemente aufweist, die auf den Rechenknoten 130 _1bis4 ausgeführt werden. Ein Verarbeitungselement ist aus einem oder mehreren Operatoren zusammengesetzt, die zu einem eigenständig ausgeführten Prozess mit einer eigenen Prozesskennung (process ID, PID) und einem eigenen Speicherbereich zusammengefügt wurden. In Fällen, in denen zwei (oder mehrere) Verarbeitungselemente eigenständig ausgeführt werden, kann eine Interprozess-Datenübertragung unter Verwendung eines ”Transportmittels” (z. B. ein Netzwerk-Socket, TCP/IP-Socket oder ein gemeinsam genutzter Speicher) auftreten. Wenn Operatoren jedoch zusammengefügt werden, können die zusammengefügten Operatoren schnellere Datenübertragungstechniken verwenden, um Tupel zwischen Operatoren in jedem Verarbeitungselement weiterzugeben.
Wie gezeigt, beginnt der Operatorgraph 132 bei einer Quelle 135 (die in das mit VE1 gekennzeichnete Verarbeitungselement gelangt) und endet bei der Senke 140 _1bis2 (die von den mit VE6 und VE10 gekennzeichneten Verarbeitungselementen kommt). Der Rechenknoten 130, enthält die Verarbeitungselemente VE1, VE2 und VE3. Die Quelle 135 gelangt in das Verarbeitungselement VE1, das wiederum Tupel ausgibt, die von VE2 und VE3 empfangen werden. VE1 kann zum Beispiel in einem Tupel empfangene Datenattribute aufteilen und einige Datenattribute an VE2 weitergeben, während andere Datenattribute an VE3 weitergegeben werden. Daten, die zu VE2 gelangen, werden von den in VE2 enthaltenen Operatoren verarbeitet, und die entstandenen Tupel werden anschließend an VE4 in dem Rechenknoten 130 ₂ ausgegeben. Desgleichen gelangen die Datentupel, die von VE4 ausgegeben wurden, zu der Senke VE6 140 ₁. Ebenso erreichen Datentupel, die von VE3 zu VE5 gelangen, auch die Senke VE6 140 ₁. VE6 könnte daher außer, dass es als Senke für diesen beispielhaften Operatorgraphen dient, so konfiguriert werden, dass es eine Verbindungsoperation durchführt, bei der von VE4 und VE5 empfangene Tupel kombiniert werden. Dieser beispielhafte Operatorgraph zeigt außerdem Datentupel, die von VE3 zu VE7 an dem Rechenknoten 130 ₃ gelangen, der seinerseits Datentupel zeigt, die zu VE8 und zurück zu VE7 gelangen. Von VE8 ausgegebene Datentupel gelangen zu VE9 an dem Rechenknoten 130 ₄, der wiederum Tupel ausgibt, die von der Senke VE10 140 ₂ verarbeitet werden sollen.
Da ein Verarbeitungselement eine Sammlung von zusammengefügten Operatoren darstellt, ist es auch richtig, den Operatorgraphen als Ausführungspfade zwischen spezifischen Operatoren zu beschreiben, die Ausführungspfade zu verschiedenen Operatoren im selben Verarbeitungselement enthalten können. Zum besseren Verständnis veranschaulicht 1B Ausführungspfade zwischen Verarbeitungselementen.
Obgleich Ausführungsformen der vorliegenden Erfindung im Zusammenhang einer Datenstromverarbeitungsanwendung beschrieben werden, stellt dies darüber hinaus nicht den einzigen Zusammenhang dar, der für die vorliegende Offenbarung von Bedeutung ist. Eine solche Beschreibung weist stattdessen keine Beschränkungen auf und dient lediglich zur Veranschaulichung. Ein Fachmann wird selbstverständlich erkennen, dass Ausführungsformen der vorliegenden Erfindung so konfiguriert werden können, dass sie mit einem beliebigen Computersystem oder einer beliebigen Anwendung arbeiten, das/die in der Lage ist, die hierin beschriebenen Funktionen durchzuführen. Ausführungsformen der Erfindung können zum Beispiel so konfiguriert sein, dass sie in einer Cluster-Umgebung mit einer herkömmlichen Datenbankverarbeitungsanwendung arbeiten.
2 ist eine genauere Ansicht des Rechenknotens 130 der 1A und 1B gemäß einer Ausführungsform der Erfindung. Wie gezeigt, beinhaltet der Rechenknoten 130 mindestens eine CPU 205, eine Netzwerkschnittstelle 215, eine Verbindung 220, einen Speicher 225 und einen Speicher 230, ohne darauf beschränkt zu sein. Der Rechenknoten 130 kann außerdem eine E/A-Einheitenschnittstelle 210 enthalten, die zum Anschluss von E/A-Einheiten 212 (z. B. Tastatur-, Anzeige- und Mauseinheiten) an den Rechenknoten 130 verwendet wird.
Jede CPU 205 ruft in dem Speicher 225 gespeicherte Programmieranweisungen ab und führt diese aus. Ebenso ruft die CPU 205 in dem Speicher 225 befindliche Anwendungsdaten ab und speichert diese. Die Verbindung 220 wird verwendet, um Programmieranweisungen und Anwendungsdaten zwischen jeder CPU 205, der E/A-Einheitenschnittstelle 210, dem Speicher 230, der Netzwerkschnittstelle 215 und dem Speicher 225 zu übermitteln. Die CPU 205 ist stellvertretend für eine einzelne CPU, mehrere CPUs, eine einzelne CPU mit mehreren Verarbeitungskernen und Ähnlichem enthalten. Bei einer Ausführungsform wird ein VE 235 für ein Ausführen durch nur eine CPU 205 zugewiesen, obwohl die Operatoren 240 eines VE 235 bei anderen Ausführungsformen einen oder mehrere Threads aufweisen können, die auf einer Vielzahl von CPUs 205 ausgeführt werden. Der Speicher 225 steht allgemein stellvertretend für einen Direktzugriffsspeicher (z. B. DRAM oder Flash). Der Speicher 230 wie zum Beispiel ein Festplattenlaufwerk, eine Halbleiterlaufwerk (SSD) oder ein Flash-Speicherlaufwerk können nichtflüchtige Daten speichern.
Bei diesem Beispiel enthält der Speicher 225 eine Vielzahl von Verarbeitungselementen 235. Jedes VE 235 enthält eine Sammlung von Operatoren 240, die zusammengefügt sind. Wie oben erwähnt, kann jeder Operator 240 einen kleinen Block mit Code bereitstellen, der so konfiguriert ist, dass er Prozessdaten, die in ein Verarbeitungselement (z. B. VE 235) gelangen, verarbeitet und Daten an andere Operatoren 240 in diesem VE 235 oder an andere VE in der Datenstromverarbeitungsanwendung ausgibt. Solche Verarbeitungselemente können sich auf demselben Rechenknoten 130 oder auf anderen Rechenknoten befinden, auf die über das Datenübertragungsnetzwerk 120 zugegriffen werden kann.
Wie gezeigt, enthält der Speicher 230 einen Pufferspeicher 260. Der Pufferspeicher 260 wird zwar als im Speicher befindlich dargestellt, er kann sich jedoch in dem Speicher 225 des Rechenknotens 130 oder einer Kombination von beidem befinden. Der Speicher 230 kann darüber hinaus einen Speicherplatz außerhalb des Rechenknotens 130 enthalten.
3 ist eine genauere Ansicht des Server-Verwaltungssystems 105 von 1 gemäß einer Ausführungsform der Erfindung. Wie gezeigt, beinhaltet das Server-Verwaltungssystem 105 mindestens eine CPU 305, eine Netzwerkschnittstelle 315, eine Verbindung 320, einen Speicher 325 und einen Speicher 330, ohne darauf beschränkt zu sein. Das Client-System 130 kann außerdem eine E/A-Einheitenschnittstelle 310 enthalten, die E/A-Einheiten 312 (z. B. Tastatur-, Anzeige- und Mauseinheiten) mit dem Server-Verwaltungssystem 105 verbindet.
Wie die CPU 205 von 2 ist die CPU 305 so konfiguriert, dass sie im Speicher 325 und Speicher 330 gespeicherte Programmieranweisungen abruft und ausführt. Ebenso ist die CPU 305 so konfiguriert, dass sie in dem Speicher 325 und Speicher 330 befindliche Anwendungsdaten speichert und abruft. Die Verbindung 320 ist so konfiguriert, dass sie Daten wie beispielsweise Programmieranweisungen und Anwendungsdaten zwischen der CPU 305, der E/A-Einheitenschnittstelle 310, der Speichereinheit 330, der Netzwerkschnittstelle 305 und dem Speicher 325 bewegt. Wie die CPU 205 ist die CPU 305 stellvertretend für eine einzelne CPU, mehrere CPUs, eine einzelne CPU mit mehreren Verarbeitungskernen und Ähnlichem enthalten. Der Speicher 325 ist allgemein stellvertretend für einen Direktzugriffsspeicher enthalten. Die Netzwerkschnittstelle 315 ist so konfiguriert, dass sie Daten über das Datenübertragungsnetzwerk 120 übermittelt. Obwohl der Speicher 330 als eine einzelne Einheit dargestellt ist, kann es sich bei dem Speicher um eine Kombination aus festen und/oder auswechselbaren Speichereinheiten wie beispielsweise Festplattenlaufwerke, auswechselbare Speicherkarten, optischem Speicher, Halbleiterlaufwerke oder Flash-Speichereinheiten, netzgebundenem Speicher (network attached storage, NAS) oder Verbindungen zu Speichernetzwerkeinheiten (storage area-network, SAN) handeln.
Wie gezeigt, ist ein Datenstrommanager 134 in dem Speicher 325 gespeichert. Der Speicher 330 enthält zusätzlich einen primären Operatorgraphen 132. Der Datenstrommanager 134 kann den primären Operatorgraphen 132 verwenden, um Tupel zum VE 235 zum Verarbeiten weiterzuleiten. Der Datenstrommanager 134 enthält auch einen Klonmanager 350 zum Klonen ausgewählter VE 235, um verfügbare Hardware wie beispielsweise den Speicher 225 oder die CPUs 205 zu nutzen.
4 ist ein Ablaufplan, der eine Technik zum Klonen eines Verarbeitungselements in einem Operatorgraphen gemäß einer Ausführungsform der Erfindung veranschaulicht. Bei Schritt 405 identifiziert der Klonmanager 350 verfügbare oder nicht voll ausgelastete Hardware-Ressourcen in der Datenverarbeitungsinfrastruktur 100. Der Klonmanager 350 kann zum Beispiel verschiedene Hardware-Ressourcen in den Rechenknoten 130 _1bis4 überwachen, um zu ermitteln, ob eine CPU inaktiv ist. Wie hierin verwendet bedeutet eine ”inaktive” CPU eine CPU 205 auf einem Rechenknoten 130, die zum gegenwärtigen Zeitpunkt nicht zum Ausführen eines VE oder bei einigen Ausführungsformen eines Operators, der sich in dem Operatorgraphen befindet, zugewiesen ist. Der Klonmanager 350 kann zusätzlich die CPU-Nutzung der CPUs 205 (oder Kerne der CPU) überwachen und CPUs oder CPU-Kerne kennzeichnen, deren Nutzung unter einen festgelegten Grenzwert fällt. Der Klonmanager 150 kann zusätzlich oder alternativ die Nutzung des Speichers 225 eines Rechenknotens 130 überwachen. Wenn Zugriffe auf den Speicher zum Beispiel unter einen bestimmten Grenzwert fallen, kann der Klonmanager 350 den Speicher 225 als nicht voll ausgelastet kennzeichnen. Der Klonmanager 350 kann auch ermitteln, ob ein grenzwertiger Speicherumfang für ein festgelegtes Zeitintervall nicht genutzt wurde oder verfügbar ist.
Bei Schritt 410 stellt der Klonmanager 350 fest, welche VE auf der Grundlage der verfügbaren Hardware-Ressourcen geklont werden können. Bei einer Ausführungsform kann nur eine Teilmenge der VE in dem Operatorgraphen geklont werden. Der Klonmanager 350 kann feststellen, ob ein Datenstromprogrammierer die VE als ”klonbar” gekennzeichnet hat. Die gekennzeichneten VE können angeben, dass die VE keine Tupel in der Reihenfolge, in der sie empfangen werden, verarbeiten müssen. Das heißt, das Verarbeiten aktuell empfangener Tupel hängt nicht von Tupeln ab, die zuvor empfangen wurden. Der Datenstromprogrammierer kann ein oder mehrere VE, die diese Eigenschaft aufweisen, als klonbar identifizieren. Wenn der Klonmanager 350 feststellt, dass eine Computer-Ressource nicht voll ausgelastet ist, ermittelt er, welches der klonbaren VE geklont werden soll, damit die Hardware-Ressourcen der Infrastruktur 100 wirksamer genutzt werden.
Bei einer Ausführungsform kann der Klonmanager 350 die Computer-Ressourcen und die klonbaren VE anhand ihrer Position abgleichen. Wenn ein Rechenknoten 130 zum Beispiel eine inaktive CPU 205 aufweist, kann der Klonmanager 350 zuerst ermitteln, ob klonbare VE 235 aktuell auf demselben Rechenknoten 130 wie die nicht voll ausgelastete CPU 205 beherbergt werden. Ist dies der Fall, kann dieses VE 235 aus der Gruppe klonbarer VE ausgewählt werden.
Bei einer anderen Ausführungsform kann der Klonmanager 350 die Computer-Ressourcen und klonbaren VE anhand der Anzahl von verfügbaren CPUs 205 und eines Teils des Ausführungsgraphen abgleichen, der eine Vielzahl von direkt verbundenen, klonbaren VE enthält. Wenn der Klonmanager 350 zum Beispiel feststellt, dass zwei CPUs 205 zur Verfügung stehen und dass es zwei klonbare VE gibt, die direkt in einem Ausführungspfad verbunden sind, kann er beide dieser VE klonen, auch wenn sie anderen Rechenknoten 130 zugewiesen sind. Der Klonmanager 350 kann des Weiteren so konfiguriert sein, dass er diese Option vor einem einzelnen klonbaren VE auswählt, das sich auf demselben Rechenknoten 130 wie die inaktiven CPUs 205 befindet. Die offenbarten Ausführungsformen sind jedoch nicht auf ein bestimmtes Verfahren zum Auswählen der VE beschränkt, die aus einer Gruppe von klonbaren VE geklont werden sollen.
Bei Schritt 415 kann der Klonmanager 350 VE in den Operatorgraphen einfügen, um den Datenstrom zu teilen und zusammenzuführen. Dies wird im Einzelnen in den 5A bis 5C dargestellt.
Die 5A bis 5C veranschaulichen ein Klonen eines Verarbeitungselements, um gemäß Ausführungsformen der Erfindung einen parallelen Ausführungspfad zu erzeugen. 5A zeigt einen Teil eines Ausführungspfads 500, der VE1 bis 3 enthält, wobei VE2 ein klonbares VE ist. Während die Streaming-Anwendung ausgeführt wird, werden Tupel von den Operatoren von VE1 an VE2 und von den Operatoren von VE2 an VE3 weitergeleitet.
5B veranschaulicht ein Einfügen von VE, um die im Ausführungspfad fließenden Daten zu teilen und zusammenzuführen. Wie gezeigt, wird VE4, das einen Teilungsoperator 505 enthält, zwischen VE1 und VE2 eingefügt. Der Teilungsoperator 505 teilt den Datenstrom, der in dem Ausführungspfad 501 zwischen zwei oder mehr VE fließt. Der Teilungsoperator 505 teilt die Tupel insbesondere in zwei getrennte Datenströme. Der Zusammenführungsoperator 510 in VE5 dagegen empfängt Tupel von zwei unterschiedlichen Datenströmen und führt die Tupel zusammen, um einen einzigen Datenstrom zu erzeugen.
Bei einer Ausführungsform kann der Klonmanager 350 VE4 und VE5 dynamisch einfügen, während die Streaming-Anwendung Daten verarbeitet. Das heißt, der Datenstrom, der durch den Ausführungspfad 501 fließt, wird durch das Einfügen der neuen VE nicht unterbrochen. Sobald das geklonte VE (oder die geklonten VE) erzeugt ist, kann der Klonmanager 350 VE4 und VE5 aktivieren.
Alternativ können VE4 und VE5 in den Ausführungspfad 501 eingefügt werden, bevor die Streaming-Anwendung mit dem Verarbeiten von Streaming-Daten beginnt. VE4 und VE5 können jedoch inaktiv bleiben, bis der Klonmanager 350 entscheidet, VE2 zu klonen. Das heißt, die Tupel gehen durch VE4 und VE5, ohne von den Operatoren 505, 510 verarbeitet zu werden. Der Klonmanager 350 kann des Weiteren in Erwartung, dass die klonbaren VE repliziert werden können, VE mit Teilungs- und Zusammenführungsoperatoren vor und nach einer Vielzahl von klonbaren VE (d. h. einer Kette klonbarer VE) in den Operatorgraphen einfügen.
Zurück zu 4: bei Schritt 420 klont der Klonmanager 350 mindestens ein klonbares VE, um einen zweiten unabhängigen Datenstrom zu erzeugen. Das klonbare VE kann beliebig oft geklont werden. Jedes Mal, wenn ein VE geklont ist, erstellt der Klonmanager 350 einen anderen parallelen Ausführungspfad.
5C veranschaulicht ein Erzeugen von zwei parallelen Ausführungspfaden 502, 503 mit mindestens einem geklonten Verarbeitungselement. Wie gezeigt, fügt der Klonmanager 350 VE4, VE5 und das geklonte VE2 zu dem Operatorgraphen hinzu. Der Klonmanager 350 verbindet auch die Operatoren dieser VE, um zwei parallele Ausführungspfade zu erzeugen. Der Ausführungspfad 502 beinhaltet VE1, VE4, VE2, VE5 und VE3, während der Ausführungspfad 503 VE1, VE4, das geklonte VE2, VE5 und VE3 beinhaltet. Da das geklonte VE2 dieselben der in VE2 gefundenen Operatoren insgesamt beinhalten kann, sind die Ausführungspfade 502, 503 parallel, da sie dasselbe Ergebnis angesichts derselben zu verarbeitenden Tupel ergeben. Somit sind die parallelen Ausführungspfade 502, 503 bei einer Ausführungsform genaue Kopien.
Obwohl die 5B und 5C das Einfügen der Teilungs-/Zusammenführungs-VE in einem separaten Schritt im Vergleich zum Einfügen des geklonten VE zeigen, können sie gleichzeitig eingefügt werden. Die geklonten VE können darüber hinaus dynamisch in den Operatorgraphen eingefügt werden, während die Streaming-Anwendung Daten verarbeitet. Auf diese Weise können die Teilungs-/Zusammenführungs-VE und geklonten VE aktiviert werden, sobald sie eingefügt werden. Die geklonten VE können alternativ in den Operatorgraphen eingefügt werden, bevor die Streaming-Anwendung mit dem Verarbeiten von Daten beginnt, und zwar in der Erwartung, dass der Klonmanager 350 später entscheiden kann, das geklonte VE (und die Teilungs-/Zusammenführungs-VE) zu aktivieren, um einen Datenstrom in dem Ausführungspfad 503 zu erzeugen.
Bei einer Ausführungsform kann ein paralleler Ausführungspfad mit mindestens einem geklonten VE ohne das Verwenden von Teilungs-/Zuführungs-VE erstellt werden. Das heißt, dass Schritt 415 bei dem Verfahren 400 ausgelassen werden kann. Die Verarbeitungselemente können zum Beispiel Filtern oder dynamische Verbindungen verwenden, um parallele Ausführungspfade zu erzeugen. Filtern ist ein Operatorkonstrukt, das festlegt, welche empfangenen Datentupel verarbeitet werden sollen. VE2 kann zum Beispiel ein Filter aufweisen, das dieses anweist, auf der Grundlage einer eindeutigen Tupelkennung nur die ungeraden Tupel zu verarbeiten, während ein Filter auf dem geklonten VE2 dieses anweist, nur die geraden Datentupel zu verarbeiten. Dynamische Verbindungen ermöglichen es dem Datenstrommanager 134, zwei separate Aufträge (jobs) zu verbinden, so dass Datentupel zwischen den Aufträgen fließen können. Hier kann das geklonte VE2 Teil eines anderen Auftrags als das ursprüngliche VE2 sein. Der Datenstrommanager 134 kann den Operatorgraphen so konfigurieren, dass der zu dem geklonten VE2 gehörige Auftrag Tupel von VE1 empfängt, die von dem geklonten VE verarbeitet und anschließend an VE3 übermittelt werden. Beide Techniken zum Erzeugen paralleler Ausführungspfade ohne das Verwenden von Teilungs-/Zusammenführungs-VE können durchgeführt werden, während die Streaming-Anwendung arbeitet. Die Streaming-Anwendung kann alternativ vorübergehend unterbrochen werden, während der Datenstrommanager 134 das Filtern oder die dynamischen Verbindungen konfiguriert.
Die 6A und 6B veranschaulichen ein Verteilen geklonter Verarbeitungsrechenknoten an CPUs auf einem oder mehreren Computerknoten gemäß Ausführungsformen der Erfindung. Die Figuren zeigen insbesondere unterschiedliche Ausführungsformen für ein Zuweisen der Verarbeitungselemente von 5C an CPUs, um verfügbare Hardware-Ressourcen zu nutzen.
6A veranschaulicht ein Zuweisen eines geklonten VE zu einer inaktiven CPU im selben Rechenknoten 130 wie das geklonte Verarbeitungselement. Wie gezeigt, werden alle Verarbeitungselemente der Ausführungspfade 502 und 503 CPUs im selben Rechenknoten 130 zugewiesen – d. h., die Operatoren der Verarbeitungselemente werden alle von den CPUs des Rechenknotens 130 ausgeführt. Der Klonmanager 350 kann zum Beispiel festgestellt haben, dass CPU4 inaktiv war, und als Reaktion darauf den parallelen Ausführungspfad 503 erzeugt haben. Wenn das geklonte VE2 in den Operatorgraphen eingefügt wird, weist der Klonmanager 350 das Verarbeitungselement (und seine Operatoren) CPU4 zu. Der Klonmanager 350 kann darüber hinaus die Teilungs-/Zusammenführungs-VE (d. h. VE4 und VE5) der inaktiven CPU zuweisen. Bei einer Ausführungsform kann der Klonmanager 350 jedoch einen Lastausgleich durchführen, indem die CPU-Auslastung von CPU1 bis 4 verglichen wird, um zu ermitteln, wo VE4 und VE5 zugewiesen werden sollen.
6B veranschaulicht ein Zuweisen eines geklonten VE zu einer inaktiven CPU, die sich auf einem anderen Rechenknoten wie das geklonte Verarbeitungselement befindet. Wie gezeigt, wird VE2 CPU2 auf dem Rechenknoten 130A zugewiesen. Der Klonmanager 350 kann feststellen, dass ein anderer Rechenknoten (z. B. Rechenknoten 130C) in der Computerinfrastruktur 100 eine inaktive CPU (d. h. CPU4) aufweisen kann. Der Klonmanager 350 kann das geklonte VE entsprechend erzeugen und dieses VE CPU4 zuweisen.
Es ist anzumerken, dass, wenn das geklonte VE2 oder die Teilungs-/Zusammenführungs-VE in den Operatorgraphen eingefügt würde bzw. würden, bevor die Streaming-Anwendung mit dem Verarbeiten von Daten begonnen hat, die Verarbeitungselemente einer beliebigen CPU zugewiesen werden könnten. Da es sich bei den inaktiven Operatoren von VE2, VE4 und VE5 im Wesentlichen um NOPs handelt, dürfte das Zuweisen der Verarbeitungselemente zu beispielsweise CPU2 den Durchsatz der CPU nicht beeinträchtigen. Wenn der Klonmanager 350 jedoch entscheidet, die Operatoren des geklonten VE2 und die Teilungs-/Zusammenführungs-VE zu aktivieren, kann er anschließend die Verarbeitungselemente erneut der inaktiven CPU4 zuweisen.
Bei einer Ausführungsform kann der Klonmanager 350 die Unterschiede zwischen knoteninternen und Interknoten-Datenübertragungsverfahren beim Ermitteln, wo ein geklontes VE untergebracht werden soll, berücksichtigen. Angenommen, der Rechenknoten, der VE1 beherbergt, weist eine CPU auf, die nur zu 50% ausgelastet ist, während ein anderer Rechenknoten eine inaktive CPU aufweist. Unter gleichen Bedingungen würde der Klonmanager 350 das geklonte VE2 der inaktiven CPU zuweisen. Das Zuweisen des geklonten VE zu der CPU auf demselben Rechenknoten wie VE1 hat jedoch den Vorteil, dass knoteninterne Datenübertragungsverfahren zum Übermitteln von Tupeln von VE1 an das geklonte VE2 verwendet werden. In einigen Fällen können knoteninterne Datenübertragungsverfahren (z. B. gemeinsam genutzter Speicher oder ein Datenbus) schneller als Interknoten-Datenübertragungsverfahren (z. B. ein TCP/IP-Socket) sein. Auch wenn die CPU auf dem anderen Rechenknoten inaktiv ist, kann der Klonmanager 350 somit feststellen, dass der parallele Ausführungspfad 503 schneller ausgeführt würde, wenn das geklonte VE2 der CPU auf demselben Rechenknoten wie VE1 zugewiesen würde, um dem Ausführungspfad 503 zu erlauben, ein knoteninternes Datenübertragungsverfahren anstatt ein Interknoten-Datenübertragungsverfahren zu verwenden.
Der Klonmanager 350 kann zudem die verschiedenen Arten von Interknoten-Datenübertragungsverfahren oder Protokollen beim Ermitteln, wo ein geklontes VE untergebracht werden soll, berücksichtigen. Unterschiedliche Rechenknoten 130 können unter Verwendung unterschiedlicher Datenübertragungsprotokolle (z. B. RDMA, TCP/IP, gemeinsam genutzter Datenbankzugriff, PCIe usw.) verbunden werden, die unterschiedliche Datengeschwindigkeiten bereitstellen. Der Klonmanager 350 kann daher das Interknoten-Datenübertragungsprotokoll in Betracht ziehen, bevor einer CPU in einem anderen Rechenknoten ein geklontes VE zugewiesen wird. Das heißt, der Klonmanager 350 kann entscheiden, das geklonte VE2 nicht einer inaktiven CPU4 des Rechenknotens 130C zuzuweisen, wenn es sich bei der Interknoten-Datenübertragung zwischen den Rechenknoten 130A und 130C um eines der langsameren Datenübertragungsprotokolle handelt.
Der Klonmanager 350 kann darüber hinaus die gegenwärtig verfügbare Bandbreite der Interknoten-Datenübertragungsverbindung feststellen, bevor das geklonte VE einem anderen Rechenknoten zugewiesen wird. Auch wenn für die Datenübertragungsverbindung zwischen den Rechenknoten 130A und 130C zum Beispiel das schnellste verfügbare Protokoll verwendet wird, kann der Klonmanager 350 entscheiden, das geklonte VE2 nicht der CPU4 zuzuweisen, wenn mehr als z. B. 90% der Bandbreite der Verbindung aktuell verwendet werden.
Bei einer Ausführungsform kann der Klonmanager 350 eine andere Hardware-Ressource auf einem Rechenknoten wie beispielsweise einem verfügbaren Speicher in Betracht ziehen. Wenn der Klonmanager 350 feststellt, dass ein Rechenknoten 130 unterhalb eines Grenzwertes auf seinen Speicher (z. B. RAM, Cachespeicher und Ähnliches) zugreift, kann der Manager 350 ein geklontes VE auf diesem Rechenknoten aktivieren. Ähnlich wie bei der CPU-Auslastung kann der Klonmanager 350 darüber hinaus einem anderen Rechenknoten als dem Rechenknoten, der das ursprüngliche VE beherbergt, ein geklontes VE zuweisen, wenn der entfernt angeordnete Rechenknoten einen nicht voll ausgelasteten Speicher aufweist.
Bei einer anderen Ausführungsform kann der Klonmanager 350 eine Kombination unterschiedlicher Hardware-Ressourcen überwachen und in Betracht ziehen, wenn er ermittelt, wann und wo ein geklontes VE aktiviert werden soll. Der Klonmanager 350 kann zum Beispiel ein geklontes VE aktivieren, wenn die Auslastung mindestens einer CPU auf einem Rechenknoten weniger als 50% beträgt und die Anforderungen nach im RAM gespeicherten Daten unterhalb eines festgelegten Grenzwertes liegen.
Die 7A und 7B veranschaulichen ein Klonen einer Vielzahl von Verarbeitungselementen in einem einzelnen Ausführungspfad gemäß einer Ausführungsform der Erfindung. 7A veranschaulicht zwei parallele Ausführungspfade, wobei mindestens zwei Verarbeitungselemente geklont wurden. Insbesondere VE2 und VE3 des Ausführungspfads 701 wurden geklont, um einen Ausführungspfad 702 zu erzeugen, der das geklonte VE2 und das geklonte VE3 beinhaltet. Auf diese Weise kann eine Vielzahl von Verarbeitungselementen, die direkt in einem Ausführungspfad verbunden sind, geklont werden, um einen parallelen Ausführungspfad zu erzeugen, bei dem die geklonten Verarbeitungselemente ebenfalls direkt verbunden sind. Bei dieser Ausführungsform bedeutet ”direkt verbunden” in einem Ausführungspfad, dass Tupel zwischen den Verarbeitungselementen weitergeleitet werden. Eine beliebige Anzahl von direkt verbundenen Verarbeitungselementen kann geklont werden, um einen parallelen Ausführungspfad zu erzeugen.
Jedes der geklonten VE kann in der Computerinfrastruktur 100 untergebracht werden, um verfügbare Hardware-Ressourcen wie bei den vorherigen Ausführungsformen beschrieben zu nutzen. Das geklonte VE2 und das geklonte VE3 können sich zum Beispiel auf einer oder mehreren inaktiven CPUs befinden.
7B veranschaulicht ein mehrmaliges Klonen desselben VE, wodurch mehrere parallele Ausführungspfade erzeugt werden. Wie gezeigt, kann der Klonmanager 350 VE2 und VE3 mehrmals klonen, um die parallelen Ausführungspfade 702 und 703 zu erzeugen. Der Klonmanager 350 kann zum Beispiel vier inaktive CPUs in einem Rechenknoten identifizieren und den CPUs die vier geklonten Verarbeitungselemente zuweisen. Auf diese Weise kann der Datenstrom so viele parallel Ausführungspfade erzeugen, wie er verfügbare Ressourcen aufweist.
Obgleich dies nicht dargestellt ist, können die Ausführungspfade in den 7A und 7B auch ein VE mit einem Teilungsoperator enthalten, der dem geklonten VE2 vorgelagert ist, und ein VE mit einem Zusammenführungsoperator, der dem geklonten VE3 nachgelagert ist.
Die 8A bis 8D veranschaulichen ein Trennen und Verteilen von Operatoren eines Verarbeitungselements auf eine Vielzahl von CPUs gemäß Ausführungsformen der Erfindung. Anstatt VE zu klonen, um parallele Ausführungspfade zu erzeugen, kann der Datenstrommanager 134 die Operatoren eines Verarbeitungselements trennen, um verfügbare Hardware-Ressourcen zu nutzten – z. B. inaktive CPUs, verfügbaren Speicher und Ähnliches.
Wie oben erwähnt, kann ein VE eine Vielzahl von zusammengefügten Operatoren enthalten. Bei einer Ausführungsform werden die zusammengefügten Operatoren eines VE als ein einzelner Prozess ausgeführt. So wird jeder der zusammengefügten Operatoren von der CPU ausgeführt, der der Prozess zugewiesen wurde. Für ein Verschieben eines Operators in eine andere CPU kann es notwendig sein, dass der Operator von dem aktuellen Verarbeitungselement (d. h. dem Prozess) getrennt wird und in ein anderes Verarbeitungselement übertragen wird.
8A veranschaulicht einen Ausführungspfad 801, bei dem VE2 aus drei zusammengefügten Operatoren besteht – Operator A, B und C. Der Datenstrommanager 134 kann unter Verwendung der oben beschriebenen Kriterien feststellen, dass der Rechenknoten, dem VE2 zugewiesen ist, inaktive CPUs aufweist. Anstatt VE2 zu klonen, um einen parallelen Ausführungspfad zu erzeugen, kann der Datenstrommanager 134 einen oder mehrere der Operatoren in VE2 trennen, um zusätzliche Verarbeitungselemente zu erzeugen. Da ein Verarbeitungselement bei einer Ausführungsform nur einer einzelnen CPU zugewiesen werden kann, müssen die in diesem Verarbeitungselement enthaltenen Operatoren von dieser CPU ausgeführt werden.
8B veranschaulicht, dass der Datenstrommanager 134 die Operatoren in VE2 trennen kann, um VE4 mit Operator A, VE5 mit Operator B und VE6 mit Operator C zu erzeugen. Auf diese Weise kann jedes Verarbeitungselement mit zwei oder mehr Operatoren getrennt werden, so dass mindestens einer der Operatoren an ein neues Verarbeitungselement oder an ein bestehendes Verarbeitungselement übermittelt wird, das bereits einen oder mehrere Operatoren enthält. Der Klonmanager 350 kann zum Beispiel nur Operator C von VE2 trennen, um ein neues Verarbeitungselement zu erzeugen. Dadurch würde VE2 immer noch die Operatoren A und B enthalten.
Bei einer Ausführungsform muss der Datenstrommanager 134 unter Umständen sicherstellen, dass die neuen Verarbeitungselemente in der richtigen Reihenfolge angeordnet sind. Wenn Operator A zum Beispiel Datentupel in VE2 unter Verwendung eines knoteninternen Datenübertragungsverfahrens an Operator B weitergeleitet hätte, würde der Datenstrommanager 134 sicherstellen, dass VE4 VE5 vorgelagert ist, um die gleiche Reihenfolge beizubehalten.
8C veranschaulicht einen Rechenknoten, der die in 8A dargestellten VE beherbergen kann. Wie gezeigt, beherbergen CPU3 und CPU4 keines der Verarbeitungselemente in dem Ausführungspfad 801. Der Datenstrommanager 134 kann die inaktiven CPUs identifizieren und entscheiden, die Operatoren von VE2 zu trennen, um die verfügbaren Hardware-Ressourcen zu nutzen. Es sei darauf hingewiesen, dass der Datenstrommanager 134 die gleichen Techniken zum Identifizieren verfügbarer Hardware-Ressource wie oben beschrieben verwenden kann.
8D veranschaulicht den in 8C gezeigten Rechenknoten nach dem Trennen der Operatoren, um verfügbare Hardware-Ressourcen zu nutzen. Wie gezeigt, veranschaulicht 8D, dass sich die Verarbeitungselemente von Ausführungspfad 802 jeweils in separaten CPUs befinden können. Das heißt, Operator B (d. h. VE5) wird von CPU3 ausgeführt, während Operator C (d. h. VE6) von CPU4 ausgeführt wird. Ein Übermitteln der Operatoren an Verarbeitungselemente, die inaktiven CPUs zugewiesen sind, kann dazu führen, dass der Ausführungspfad 802 Datentupel schneller als der Ausführungspfad 801 verarbeitet.
Es sei darauf hingewiesen, dass Operatoren getrennt werden und anderen Rechenknoten zugewiesen werden können, als den Rechenknoten, auf denen die Operatoren aktuell ausgeführt werden. Der Datenstrommanager 134 kann jedoch wie der Klonmanager 350 die Unterschiede zwischen knoteninternen Datenübertragungsverfahren und Interknoten-Datenübertragungsverfahren, die verschiedenen Arten von Interknoten-Datenübertragungsprotokollen oder die Bandbreitennutzung der Verbindungen zwischen Rechenknoten berücksichtigen, wenn er ermittelt, wann und wo die verschiedenen Operatoren übermittelt werden sollen. Bevor beispielsweise Operator B oder C zum Ausführen durch eine CPU auf einem anderen Rechenknoten übermittelt wird, kann der Datenstrommanager 134 ermitteln, ob die Vorteile eines Nutzens einer inaktiven CPU auf einem anderen Rechenknoten den Nachteil überwiegen, der sich durch ein Verwenden eines Interknoten-Datenübertragungsverfahrens anstatt eines knoteninternen Datenübertragungsverfahrens zum Übermitteln von Datentupeln zwischen den Operatoren ergibt.
Zusammenfassung
Datenstromanwendungen können die Hardware-Ressourcen, die die Verarbeitungselemente des Datenstroms ausführen, ineffizient nutzen. Ein Rechenknoten kann zum Beispiel vier Verarbeitungselemente beherbergen und jedes jeweils unter Verwenden einer CPU ausführen. Andere CPUs auf dem Rechenknoten können jedoch inaktiv sein. Um diese verfügbaren Hardware-Ressourcen zu nutzen, kann ein Datenstromprogrammierer ein oder mehrere Verarbeitungselemente identifizieren, die geklont sein können. Die geklonten Verarbeitungselemente können verwendet werden, um einen anderen Ausführungspfad zu erzeugen, der parallel zu dem Ausführungspfad besteht, der die ursprünglichen Verarbeitungselemente enthält. Da die geklonten Verarbeitungselemente dieselben Operatoren enthalten wie die ursprünglichen Verarbeitungselemente, kann der Datenstrom, der zuvor nur durch das ursprüngliche Verarbeitungselement geflossen ist, geteilt und sowohl durch die ursprünglichen als auch die geklonten Verarbeitungselemente gesendet werden. Auf diese Weise kann der parallele Ausführungspfad die verfügbare Hardware-Ressource verwenden, um den Durchsatz des Datenstroms zu verbessern.
Zusätzlich können Operatoren in einem Verarbeitungselement, die von derselben CPU oder demselben CPU-Kern ausgeführt werden, geteilt und in einem anderen Verarbeitungselement zusammengefügt werden, um eine inaktive CPU oder einen nicht voll ausgelasteten Speicher zu nutzen. Ein Operator kann zum Beispiel von dem ursprünglichen VE getrennt und in einem neuen VE untergebracht werden, das einer zuvor inaktiven CPU zugewiesen ist.
Der Ablaufplan und die Blockschaltbilder in den Figuren veranschaulichen die Architektur, Funktionalität und den Betrieb möglicher Ausführungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedener Ausführungsformen der vorliegenden Erfindung. In dieser Hinsicht kann jeder Block in dem Ablaufplan oder den Blockschaltbildern ein Modul, Segment oder einen Teil eines Codes darstellen, das/der eine oder mehrere ausführbare Befehle zur Umsetzung der festgelegten Logikfunktion(en) aufweist. Es ist ferner darauf hinzuweisen, dass die im Block angegebenen Funktionen bei einigen alternativen Ausführungen in einer anderen Reihenfolge als in den Figuren dargestellt ablaufen können. Zwei aufeinanderfolgend dargestellte Blöcke können zum Beispiel tatsächlich im Wesentlichen gleichzeitig ausgeführt werden, oder die Blöcke können je nach entsprechender Funktionalität manchmal in umgekehrter Reihenfolge ausgeführt werden. Des Weiteren ist darauf hinzuweisen, dass jeder Block der Blockschaltbilder und/oder der Ablaufplandarstellung sowie Kombinationen von Blöcken in den Blockschaltbildern und/oder der Ablaufplandarstellung durch spezielle auf Hardware beruhende Systeme umgesetzt werden können, die die angegebenen Funktionen oder Maßnahmen durchführen, oder durch Kombinationen von spezieller Hardware und Computerbefehlen.
Obwohl das Vorstehende auf Ausführungsformen der vorliegenden Erfindung gerichtet ist, können andere und weitere Ausführungsformen der Erfindung entwickelt werden, ohne von deren grundlegendem Umfang abzuweichen, und deren Umfang wird durch die nachfolgenden Ansprüche festgelegt.

Claims

Verfahren, das aufweist: Empfangen von Streaming-Daten, die von einer Mehrzahl von Verarbeitungselementen verarbeitet werden sollen, die einen oder mehrere Operatoren aufweisen, wobei die Operatoren mindestens einen Teil der empfangenen Daten durch den Betrieb eines oder mehrerer Computerprozessoren verarbeiten; Erstellen eines Operatorgraphen aus der Mehrzahl von Operatoren, wobei der Operatorgraph mindestens einen Ausführungspfad definiert, bei dem ein erster Operator aus der Mehrzahl von Operatoren so konfiguriert ist, dass er Datentupel von mindestens einem vorgelagerten Operator empfängt und Datentupel an mindestens einen nachgelagerten Operator übermittelt; Identifizieren mit Bezug auf vordefinierte Kriterien einer nicht voll ausgelasteten Hardware-Ressource in einem Datenverarbeitungssystem, das die Operatoren ausführt; Klonen eines ersten Verarbeitungselements aus der Mehrzahl von Verarbeitungselementen, so dass das geklonte Verarbeitungselement denselben oder mehrere Operatoren wie das erste Verarbeitungselement aufweist; und Verarbeiten von mindestens einem Teil der empfangenen Streaming-Daten in einem ersten Ausführungspfad, der das geklonte Verarbeitungselement enthält, wobei der erste Ausführungspfad parallel zu einem zweiten Ausführungspfad ausgeführt wird, der das erste Verarbeitungselement enthält, wobei das geklonte Verarbeitungselement den Teil der empfangenen Streaming-Daten verarbeitet, der die nicht voll ausgelastete Hardware-Ressource verwendet.
Verfahren nach Anspruch 1, das weiterhin aufweist: Aktivieren in dem Operatorgraphen vor dem geklonten Verarbeitungselement und dem ersten Verarbeitungselement eines zweiten Verarbeitungselements, das einen Trennungsoperator aufweist, der Datentupel an Operatoren sowohl in dem geklonten Verarbeitungselement als auch in dem ersten Verarbeitungselement übermittelt; und Aktivieren in dem Operatorgraphen nach dem geklonten Verarbeitungselement und dem ersten Verarbeitungselement eines dritten Verarbeitungselements, das einen Zusammenführungsoperator aufweist, der von Operatoren empfangene Datentupel sowohl in dem geklonten Verarbeitungselement als auch in dem ersten Verarbeitungselement zusammenführt.
Verfahren nach Anspruch 2, das weiterhin ein Einfügen des geklonten, des zweiten und des dritten Verarbeitungselements in den Operatorgraphen aufweist, während die Mehrzahl von Verarbeitungselementen die empfangenen Streaming-Daten verarbeitet.
Verfahren nach Anspruch 1, bei dem die nicht voll ausgelastete Hardware-Ressource mindestens eines von beidem ist: eine CPU oder ein Teil eines Speichers.
Verfahren nach Anspruch 4, bei dem es sich bei der nicht voll ausgelasteten Hardware-Ressource um eine CPU handelt, die aktuell keinen der Operatoren eines Verarbeitungselements aus der Mehrzahl von Verarbeitungselementen ausführt.
Verfahren nach Anspruch 1, das weiterhin aufweist: Klonen eines zweiten Verarbeitungselements aus der Mehrzahl von Verarbeitungselementen, um ein zweites geklontes Verarbeitungselement zu erzeugen, das denselben oder mehrere Operatoren wie das zweite Verarbeitungselement aufweist, wobei das zweite Verarbeitungselement direkt mit dem ersten Verarbeitungselement in dem zweiten Ausführungspfad verbunden ist; und Verarbeiten der empfangenen Streaming-Daten in dem ersten Ausführungspfad, der das zweite geklonte Verarbeitungselement enthält, wobei das zweite geklonte Verarbeitungselement die empfangenen Streaming-Daten unter Verwenden der nicht voll ausgelasteten Hardware-Ressource verarbeitet.
Verfahren nach Anspruch 1, das weiterhin ein Ermitteln aufweist, ob das erste Verarbeitungselement klonbar ist, wobei ein klonbares Verarbeitungselement in der Lage ist, die empfangenen Datentupel in einer anderen Reihenfolge als der Reihenfolge, in der die Datentupel empfangen wurden, zu verarbeiten.
Computerprogrammprodukt, aufweisend: ein computerlesbares Speichermedium mit einem darin enthaltenen computerlesbaren Programmcode, wobei der computerlesbare Programmcode einen computerlesbaren Programmcode aufweist, der so konfiguriert ist, dass er: Streaming-Daten empfängt, die von einer Mehrzahl von Verarbeitungselementen verarbeitet werden sollen, die einen oder mehrere Operatoren aufweisen, wobei die Operatoren mindestens einen Teil der empfangenen Daten verarbeiten; einen Operatorgraphen aus der Mehrzahl von Operatoren erstellt, wobei der Operatorgraph mindestens einen Ausführungspfad definiert, bei dem ein erster Operator aus der Mehrzahl von Operatoren so konfiguriert ist, dass er Datentupel von mindestens einem vorgelagerten Operator empfängt und Datentupel an mindestens einen nachgelagerten Operator übermittelt; mit Bezug auf vordefinierte Kriterien eine nicht voll ausgelastete Hardware-Ressource in einem Datenverarbeitungssystem identifiziert, das die Operatoren ausführt; ein erstes Verarbeitungselement aus der Mehrzahl von Verarbeitungselementen klont, so dass das geklonte Verarbeitungselement denselben oder mehrere Operatoren wie das erste Verarbeitungselement aufweist; und mindestens einen Teil der empfangenen Streaming-Daten in einem ersten Ausführungspfad verarbeitet, der das geklonte Verarbeitungselement enthält, wobei der erste Ausführungspfad parallel zu einem zweiten Ausführungspfad ausgeführt wird, der das erste Verarbeitungselement enthält, wobei das geklonte Verarbeitungselement den Teil der empfangenen Streaming-Daten verarbeitet, der die nicht voll ausgelastete Hardware-Ressource verwendet.
Computerprogrammprodukt nach Anspruch 8, das weiterhin computerlesbaren Programmcode enthält, der so konfiguriert ist, dass er: in dem Operatorgraphen vor dem geklonten Verarbeitungselement und dem ersten Verarbeitungselement ein zweites Verarbeitungselement aktiviert, das einen Trennungsoperator aufweist, der Datentupel an Operatoren sowohl in dem geklonten Verarbeitungselement als auch in dem ersten Verarbeitungselement übermittelt; und in dem Operatorgraphen nach dem geklonten Verarbeitungselement und dem ersten Verarbeitungselement ein drittes Verarbeitungselement aktiviert, das einen Zusammenführungsoperator aufweist, der von Operatoren empfangene Datentupel sowohl in dem geklonten Verarbeitungselement als auch in dem ersten Verarbeitungselement zusammenführt.
Computerprogrammprodukt nach Anspruch 9, das weiterhin computerlesbaren Programmcode aufweist, der so konfiguriert ist, dass er das geklonte, das zweite und das dritte Verarbeitungselement in den Operatorgraphen einfügt, während die Mehrzahl von Verarbeitungselementen die empfangenen Streaming-Daten verarbeitet.
Computerprogrammprodukt nach Anspruch 8, bei dem die nicht voll ausgelastete Hardware-Ressource mindestens eines von beidem ist: eine CPU oder ein Teil eines Speichers.
Computerprogrammprodukt nach Anspruch 11, bei dem es sich bei der nicht voll ausgelasteten Hardware-Ressource um eine CPU handelt, die aktuell keinen der Operatoren eines Verarbeitungselements aus der Mehrzahl von Verarbeitungselementen ausführt.
Computerprogrammprodukt nach Anspruch 8, das weiterhin computerlesbaren Programmcode enthält, der so konfiguriert ist, dass er: ein zweites Verarbeitungselement aus der Mehrzahl von Verarbeitungselementen klont, um ein zweites geklontes Verarbeitungselement zu erzeugen, das denselben oder mehrere Operatoren wie das zweite Verarbeitungselement aufweist, wobei das zweite Verarbeitungselement direkt mit dem ersten Verarbeitungselement in dem zweiten Ausführungspfad verbunden ist; und die empfangenen Streaming-Daten in dem ersten Ausführungspfad verarbeitet, der das zweite geklonte Verarbeitungselement enthält, wobei das zweite geklonte Verarbeitungselement die empfangenen Streaming-Daten unter Verwenden der nicht voll ausgelasteten Hardware-Ressource verarbeitet.
Computerprogrammprodukt nach Anspruch 8, das weiterhin computerlesbaren Programmcode aufweist, der so konfiguriert ist, dass er ermittelt, ob das erste Verarbeitungselement klonbar ist, wobei ein klonbares Verarbeitungselement in der Lage ist, die empfangenen Datentupel in einer anderen Reihenfolge als der Reihenfolge, in der die Datentupel empfangen wurden, zu verarbeiten.
System, das aufweist: einen Computerprozessor; und einen Speicher, der ein Programm enthält, das, wenn es auf dem Computerprozessor ausgeführt wird, eine Operation zum Verarbeiten von Daten durchführt, wobei das System aufweist: Empfangen von Streaming-Daten, die von einer Mehrzahl von Verarbeitungselementen verarbeitet werden sollen, die einen oder mehrere Operatoren aufweisen, wobei die Operatoren mindestens einen Teil der empfangenen Daten durch den Betrieb eines oder mehrerer Computerprozessoren verarbeiten; Erstellen eines Operatorgraphen aus der Mehrzahl von Operatoren, wobei der Operatorgraph mindestens einen Ausführungspfad definiert, bei dem ein erster Operator aus der Mehrzahl von Operatoren so konfiguriert ist, dass er Datentupel von mindestens einem vorgelagerten Operator empfängt und Datentupel an mindestens einen nachgelagerten Operator übermittelt; Identifizieren mit Bezug auf vordefinierte Kriterien einer nicht voll ausgelasteten Hardware-Ressource in einem Datenverarbeitungssystem, das die Operatoren ausführt; Klonen eines ersten Verarbeitungselements aus der Mehrzahl von Verarbeitungselementen, so dass das geklonte Verarbeitungselement denselben oder mehrere Operatoren wie das erste Verarbeitungselement aufweist; und Verarbeiten von mindestens einem Teil der empfangenen Streaming-Daten in einem ersten Ausführungspfad, der das geklonte Verarbeitungselement enthält, wobei der erste Ausführungspfad parallel zu einem zweiten Ausführungspfad ausgeführt wird, der das erste Verarbeitungselement enthält, wobei das geklonte Verarbeitungselement den Teil der empfangenen Streaming-Daten verarbeitet, der die nicht voll ausgelastete Hardware-Ressource verwendet.
System nach Anspruch 15, das weiterhin aufweist: Aktivieren in dem Operatorgraphen vor dem geklonten Verarbeitungselement und dem ersten Verarbeitungselement eines zweiten Verarbeitungselements, das einen Trennungsoperator aufweist, der Datentupel an Operatoren sowohl in dem geklonten Verarbeitungselement als auch in dem ersten Verarbeitungselement übermittelt; und Aktivieren in dem Operatorgraphen nach dem geklonten Verarbeitungselement und dem ersten Verarbeitungselement eines dritten Verarbeitungselements, das einen Zusammenführungsoperator aufweist, der von Operatoren empfangene Datentupel sowohl in dem geklonten Verarbeitungselement als auch in dem ersten Verarbeitungselement zusammenführt.
System nach Anspruch 16, das weiterhin ein Einfügen des geklonten, des zweiten und des dritten Verarbeitungselements in den Operatorgraphen aufweist, während die Mehrzahl von Verarbeitungselementen die empfangenen Streaming-Daten verarbeitet.
System nach Anspruch 15, bei dem die nicht voll ausgelastete Hardware-Ressource mindestens eines von beidem ist: eine CPU oder ein Teil eines Speichers.
System nach Anspruch 18, bei dem es sich bei der nicht voll ausgelasteten Hardware-Ressource um eine CPU handelt, die aktuell keinen der Operatoren eines Verarbeitungselements aus der Mehrzahl von Verarbeitungselementen ausführt.
System nach Anspruch 15, das weiterhin aufweist: Klonen eines zweiten Verarbeitungselements aus der Mehrzahl von Verarbeitungselementen, um ein zweites geklontes Verarbeitungselement zu erzeugen, das denselben oder mehrere Operatoren wie das zweite Verarbeitungselement aufweist, wobei das zweite Verarbeitungselement direkt mit dem ersten Verarbeitungselement in dem zweiten Ausführungspfad verbunden ist; und Verarbeiten der empfangenen Streaming-Daten in dem ersten Ausführungspfad, der das zweite geklonte Verarbeitungselement enthält, wobei das zweite geklonte Verarbeitungselement die empfangenen Streaming-Daten unter Verwenden der nicht voll ausgelasteten Hardware-Ressource verarbeitet.