DE102021132529A1

DE102021132529A1 - Adaptive zeitliche bildfilterung zum rendern einer realistischen beleuchtung

Info

Publication number: DE102021132529A1
Application number: DE102021132529.3A
Authority: DE
Inventors: Alexey Panteleev
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2020-12-10
Filing date: 2021-12-09
Publication date: 2022-06-15
Also published as: US20220189109A1; US20230326124A1; CN114627234A; US11651547B2

Abstract

Es können robuste zeitliche Gradienten, die Differenzen in Schattierungsergebnissen repräsentieren, zwischen gegenwärtigen und vorhergehenden Frames in einem zeitliche Entrauscher für Raytracing-Renderer berechnet werden. Es kann eine Rückwärtsprojektion verwendet werden, um übereinstimmende Oberflächen zu lokalisieren, wobei die relevanten Parameter dieser Oberflächen übertragen und zum Patchen verwendet werden. Es kann eine Rückwärtsprojektion für jede Schicht in einem gegenwärtigen Frame durchgeführt werden, wobei eine Schicht einen Satz benachbarter Pixel repräsentiert. Es wird ein Pixel aus jeder Schicht, die im vorhergehenden Frame eine übereinstimmende Oberfläche aufweist, unter Verwendung von Bewegungsvektoren ausgewählt, die während der Rendering-Prozesses erzeugt werden. Es kann ein Vergleich der Tiefe der Normalen, oder der Sichtbarkeitspufferdaten verwendet werden, um festzustellen, ob eine gegebene Oberfläche im gegenwärtigen Frame und im vorhergehenden Frame dieselbe ist, und falls dem so ist, dann werden Parameter der Oberfläche aus dem vorhergehenden Frame-G-Puffer verwendet, um den G-Puffer für den gegenwärtigen Frame zu patchen.

Description

HINTERGRUND
Durch den Schub in Richtung physikalisch basierten Rendern wird stochastisches Abtasten der Schattierung (z.B. unter Verwendung von Path Tracing) beim Echtzeit-Rendering zunehmend wichtiger. Um eine hohe Leistung in Echtzeit und/oder unter anderen zeit- oder verarbeitungsempfindlichen Bedingungen zu erreichen, kann die Abtastung auf niedrigere Abtastzahlen beschränkt werden. Jedoch können niedrigere Abtastzahlen zu Rauschen führen, was die Verwendung von hochentwickelten Rekonstruktionsfiltern erfordert, um Ergebnisse mit besserer Qualität zu erzeugen. Die Forschung an derartigen Filtern hat dramatische Verbesserungen sowohl der Qualität als auch der Leistung gezeigt, da sie die Kohärenz aufeinanderfolgender Frames ausnutzen, indem sie zeitliche Informationen wiederverwenden, um stabile, entrauschte Ergebnisse zu erzielen. Jedoch erzeugen vorhandene zeitliche Filter häufig störende Artefakte wie Geisterbilder und Nachziehen.
Zeitliche Gradienten, die Differenzen zwischen (verrauschten) Schattierungsergebnissen von gegenwärtigen und vorhergehenden Frames für eine Teilmenge von Oberflächen entsprechen, die auf dem Bildschirm sichtbar sind, können verwendet werden, um zu versuchen, die Anzahl von Artefakten in einer gerenderten Sequenz von Bildern oder Frames zu reduzieren. Ein herkömmlicher Ansatz zum Berechnen zeitlicher Gradienten besteht darin, den Sichtbarkeitspuffer - einen Puffer, der Geometrieinformationen für jedes Pixel speichert - des vorhergehenden Frames zu verwenden. Einige Pixel aus dem vorhergehenden Frame werden in den gegenwärtigen Frame vorwärtsprojiziert, und sie ersetzen reguläre Pixel im gegenwärtigen Frame. Für diese Gradienten-Pixel werden primäre Strahlen zu den wieder projizierten Oberflächen verfolgt, nicht für einen festen Abstand in einer Richtung, die nur durch die Pixelposition bestimmt wird, wie sie es normalerweise werden. Leider funktioniert dieser Ansatz nicht gerasterten Geometriepuffern oder „G-Puffern“ (d.h. Bildschirmraum-Darstellungen der Geometrie und Materialinformationen), da man den Rasterizer nicht dazu bringen kann, benutzerdefinierte Subpixel-Offsets für jedes Pixel zu verwenden.
Ein auf Vorwärtsprojektion basierender Ansatz funktioniert auch nicht gut mit Reflexionen und Refraktionen, wie jenen, die unter Verwendung von Primary Surface Replacement (PSR) gerendert werden. Ein Grund dafür ist, dass in mindestens einigen Systemen nur die wahre primäre Oberfläche (d.h. der erste Vertex des primären spekularen Wegs) vorwärts projiziert werden kann. Die nachfolgenden Wegvertices können nicht wieder projiziert werden, da ihnen die Informationen über die Reflexions-/Refraktionskette fehlen, die benötigt werden, um die neue Position zu berechnen, sowie aufgrund der Tatsache, dass man den gesamten Weg verfolgen muss, nicht nur einen primären Sichtbarkeitsstrahl, um festzustellen, ob die sekundäre Oberfläche sichtbar ist. Der Versuch, die Vorwärtsprojektion nur am ersten Weg-Vertex in eine PSR-Renderer zu verwenden, führt zu falsch positiven Gradienten, wenn sich entweder die Kamera bewegt, oder sich die sekundären Oberflächen bewegen, was den akkumulierten Verlauf im Entrauscher ungültig macht und mehr Rauschen erzeugt als es sollte.
Figurenliste
Es werden verschiedene Ausführungsformen gemäß der vorliegenden Offenbarung unter Bezugnahme auf die Zeichnungen beschrieben, in denen:

1A und 1B stellen Bilder in einer Bildsequenz gemäß mindestens einer Ausführungsform dar;
2A, 2B, 2C, und 2D stellen Beleuchtungsunterschiede zwischen zwei Bildern in einer Sequenz gemäß mindestens einer Ausführungsform dar;
3A, 3B, 3C, und 3D stellen Stufen eines Projektionsansatzes gemäß mindestens einer Ausführungsform dar;
4 stellt eine beispielhafte Raytracing-Pipeline gemäß mindestens einer Ausführungsform dar;
5A und 5B stellen einen Prozess zum Bestimmen von Pixeldaten für ein Bild in einer Sequenz gemäß mindestens einer Ausführungsform dar;
6 stellt Komponenten eines Systems zum Erzeugen von Bilddaten gemäß mindestens einer Ausführungsform dar;
7A stellt eine Inferenz- und/oder Trainingslogik gemäß mindestens einer Ausführungsform dar;
7B stellt eine Inferenz- und/oder Trainingslogik gemäß mindestens einer Ausführungsform dar;
8 stellt ein beispielhaftes Datenzentrumssystem gemäß mindestens einer Ausführungsform dar;
9 stellt ein Computersystem gemäß mindestens einer Ausführungsform dar;
10 stellt ein Computersystem gemäß mindestens einer Ausführungsform dar;
11 stellt mindestens Abschnitte eines Grafikprozessors gemäß einer oder mehreren Ausführungsformen dar;
12 stellt mindestens Abschnitte eines Grafikprozessors gemäß einer oder mehreren Ausführungsformen dar;
13 ist ein beispielhaftes Datenflussdiagramm für eine fortschrittliche Rechen-Pipeline gemäß mindestens einer Ausführungsform;
14 ist ein Systemdiagramm für eine beispielhaftes System zum Trainieren, Anpassen, Instanziieren und Einsetzen von maschinellen Lernmodellen in einer fortschrittlichen Rechen-Pipeline gemäß mindestens einer Ausführungsform; und
15A und 15B stellen ein Datenflussdiagramm für einen Prozess, um ein maschinelles Lernmodell zu trainieren, sowie eine Client-Server-Architektur, um Annotationswerkzeuge mit vortrainierten Annotationsmodellen zu verbessern, gemäß mindestens einer Ausführungsform dar.

DETAILLIERTE BESCHREIBUNG
Ansätze gemäß verschiedener Ausführungsformen können die Bestimmung robuster zeitlicher Gradienten zur Erzeugung von Inhalten wie Bildsequenzen, Videos oder Animationen vorsehen. Insbesondere sehen verschiedene Ausführungsformen das Berechnen robuster zeitlicher Gradienten zwischen gegenwärtigen und vorhergehenden Frames in einem zeitlichen Entrauscher für Raytracing-Renderer vor. Ansätze gemäß mindestens einigen dieser Ausführungsformen können eine Rückwärtsprojektion nutzen, um übereinstimmende Oberflächen für eine Gradientenschätzung zu lokalisieren, gefolgt durch Oberflächenparameter-Übertrag und -Patching.
In mindestens einer Ausführungsform kann ein Bilderzeugungssystem eine Sequenz von Bildern oder Video-Frames erzeugen, die, wenn sie nacheinander abgespielt werden, eine Inhaltsszene darstellen, wie eine Animations- oder Spielszene. In jedem derartigen Bild können verschiedene Objekte dargestellt werden, die sowohl Vordergrund- als auch Hintergrundobjekte enthalten können, die statisch oder dynamisch sein können. Der Ort, die Größe und die Ausrichtung von jedem dieser Objekte kann sich mindestens teilweise beruhend auf einer Bewegung einer virtuellen Kamera ändern, sei es statisch oder dynamisch, die verwendet wird, um Faktoren, wie eine Perspektive oder Zoomstufe für das Bild zu bestimmen. In einem derartigen Bild oder Videosequenzen können diese Änderungen der Ansicht, des Orts, der Größe und der Ausrichtung als ein Satz von Bewegungen einzelner Pixel betrachtet werden, die verwendet werden, um diese Objekte darzustellen. Eine derartige Bewegung von Merkmalen zwischen Pixelorten in unterschiedlichen Frames kann etwas zackig, verrauscht oder ruckartig erscheinen, wenn nur Positionsinformationen für diese Merkmale in einem gegenwärtigen Frame betrachtet werden. Um die scheinbare Bewegung oder Animation zu glätten, können Pixeldaten aus einem oder mehreren vorhergehenden Frames mit den Pixeldaten für einen gegenwärtigen Frame gemischt werden. Um diese Pixelwerte zu mischen, ist es jedoch notwendig, die Pixel zu korrelieren, die ähnliche Objektmerkmale in diesen unterschiedlichen Bildern darstellen. In mindestens einigen Ausführungsformen wird es auch geeignet sein, die Beleuchtung oder Schattierung dieser Objekte oder von der diese beeinflusst werden, genau zu rendern, wenn sie sich zwischen diesen Frames bewegen.
Man betrachte beispielsweise den Anfangsbildframe 100 der 1A, der einem Frame einer Videosequenz entsprechen kann. In diesem Beispiel gibt es zwei Lichtquellen, die eine primäre Lichtquelle 102 (wie die Sonne oder den Mond) und eine sekundäre Lichtquelle 104 umfassen, wie eine Straßenlaterne. Es kann in anderen Beispielen weniger oder zusätzliche Lichtquellen ähnlicher oder anderer Typen geben. In diesem Beispiel wird die Lichtquelle 102 als primäre Lichtquelle angesehen, weil sie die hellste Lichtquelle in dieser Szene ist. Es gibt auch mehrere andere Objekte in dieser Szene, einschließlich Vordergrund- und Hintergrundobjekten. Diese Objekte umfassen dynamische Objekte wie etwa eine Person 106, ein erstes Fahrzeug 108 und ein zweites Fahrzeug 110. Um die Szene mindestens etwas realistisch erscheinen zu lassen, können die relativen Positionen der Lichtquellen 102, 104 zu den Objekten der Szene so angesehen werden, dass sie diese Objekte richtig beleuchten oder beschatten. Zusätzlich zur Beleuchtung der Objekte werden diese Relativpositionsinformationen verwendet, um Schatten 112, 114, 116 zu berechnen, die durch verschiedene Objekte in Bezug auf dies Lichtquellen geworfen werden. Ferner kann es Reflexionen 118 von Objekten geben, die in diesem Bild dargestellt werden, wie Reflexionen von Objekten 106, 108, die auf einer glänzenden Oberfläche eines anderen Objekts 110 sichtbar sind.
1B stellt eine nächsten oder nachfolgenden Bildframe 150 dar, der für diese beispielhafte Sequenz erzeugt wird. In diesem Bild können sich mindestens einige der Objekte an anderen Orten, in anderen Stellungen, Ansichten oder Ausrichtungen befinden, was dazu führt, dass Merkmale dieser Objekte an unterschiedlichen Pixelorten in unterschiedlichen Frames in einer Sequenz dargestellt werden. Wie erwähnt, kann es erwünscht sein, mindestens einige der „historischen“ Pixeldaten des Anfangsframe 100 mit Pixeldaten dieses nachfolgenden Frames 150 zu mischen, um für eine glatte Animation zwischen diesen Frames zu sorgen. Dazu kann ein Mischprozess versuchen, die Orte dieser Merkmale zu korrelieren, mindestens in dem Umfang, in dem sie in beiden Frames dargestellt werden, um dieses Mischen durchzuführen, sowie um eine Gewichtung für das Mischen oder andere derartige Aspekte zu bestimmen. Eine Art, zu versuchen, diese Informationen zu korrelieren, besteht darin, die Pixelbewegung zwischen diesen beiden Bildern zu bestimmen. In 1B wird eine Anzahl von Bewegungsvektoren dargestellt, die repräsentieren, wie bestimmte Merkmale ausgewählter Objekte relativ zu den Orten dieser Merkmale im Anfangsframe 100 bewegt werden. Wie dargestellt, können sich eine oder mehrere der Lichtquellen, sowie ein oder mehrere der Objekte bewegt haben, die durch diese Lichtquellen beleuchtet werden. Dies kann nicht nur die Positionen von Merkmalen dieser Objekte beeinflussen, sondern auch die Positionen der entsprechenden Schatten. Ferner können sich mindestens teilweise auf der Bewegung dieser anderen Objekte beruhend ebenso Reflexionen von Objekten ändern. Beispielsweise werden Reflexionen 118 der Person 106 und des Fahrzeugs 108 am Fahrzeug 110 beruhend auf der Bewegung dieser Objekte in der Szene ihre Position ändern, und die Erscheinung dieser Objekte wird sich mindestens teilweise beruhend auf der unterschiedlichen Beleuchtung dieser Objekte aufgrund der Bewegung ändern.
Wie erwähnt, können zeitliche Gradienten, die Differenzen zwischen Schattierungsergebnissen von gegenwärtigen und vorhergehenden Frames für eine Teilmenge von Oberflächen repräsentieren, die auf dem Bildschirm sichtbar sind, verwendet werden, um die Anzahl von Artefakten zu reduzieren und eine Animation in einer Sequenz zu glätten. Wie ebenfalls erwähnt, funktionieren herkömmliche Ansätze zum Bestimmen zeitlicher Gradienten, wie durch Vorwärtsprojektion, nicht gut mit Reflexionen und Refraktionen. Um besser zu verstehen, wie Reflexionen bestimmt werden, stellen die 2A bis 2D einen beispielhaften strahlenbasierten Schattierungsansatz dar, der gemäß verschiedenen Ausführungsformen genutzt werden kann. Im beispielhaften Bildframe 200 der 2A gibt es eine einzige Lichtquelle 202, die zwei Objekte in einer Szene beleuchtet, in diesem Fall einen Kasten 204 und einen Kegel 210. Das Licht von der Lichtquelle 202 erzeugt auch Schatten 206, 208, die von Lichtstrahlen von dem Licht herrühren, die den Kasten 204 bzw. den Kegel 210 schneiden, und die folglich (größtenteils) daran gehindert werden, die Schattenbereiche 206, 208 hinter diesen Objekten zu erreichen. In diesem Beispiel weist eine nach vorne weisende Seite des Kastens 204 ein hochreflektierendes Merkmal 212 auf, wie einen Spiegel oder eine glatte Metallplatte, die ebenfalls Licht von der Lichtquelle 202 reflektieren kann. In diesem Beispiel kann das reflektierte Licht Licht enthalten, das vom Kegel 210 reflektiert wird, was bewirkt, dass eine Reflexion 214 des Kegels an einer geeigneten Stelle (mit geeignetem Maßstab und gespiegelter Ausrichtung) im reflektierenden Merkmal 212 erscheint.
Um die Beleuchtung, Schatten und Reflexionen zu bestimmen, kann ein Ansatz wie Raytracing genutzt werden. Wie im Bild 220 der 2B dargestellt, wird ein Satz von Lichtstrahlen (wobei hier der Einfachheit halber nur zwei gezeigt werden, jedoch mit dem Verständnis, dass viele Strahlen geworfen werden können) von der Lichtquelle 202 in verschiedene Richtungen projiziert oder verfolgt. Ein erster Strahl 222 fällt auf einen Punkt 224 auf dem Kasten 204, so dass die Pixelfarbe des Pixels an diesem Ort mindestens teilweise beruhend auf dieser direkten Beleuchtung von der Lichtquelle 202 bestimmt werden sollte. Ferner kann der Strahl über den Schnittpunkt 224 hinaus weiter verfolgt (oder ein zweiter Strahl 226 verfolgt) werden, um einen zweiten Schnittpunkt 228 zu bestimmen, wo dieser Strahl eine andere Oberfläche schneiden würde (in diesem Fall den Boden, auf dem der Kasten angeordnet ist). Der für ein Pixel an diesem zweiten Schnittpunkt 228 bestimmte Pixelwert kann mindestens teilweise beruhend darauf bestimmt werden, dass Licht von der Lichtquelle 202 durch den Kasten 204 blockiert (oder behindert) wird, was einen Schattenbereich auf dem Boden erzeugt. Entsprechend kann ein von der Lichtquelle projizierter Lichtstrahl 230 auf einen Schnittpunkt 232 auf dem Kegel 210 auftreffen oder sich an diesem schneiden. In diesem Beispiel kann vom Schnittpunkt 232 der Strahl dann gerichtet (oder ein zweiter Strahl 234 projiziert) werden, der dazu bestimmt sein soll, die hochreflektierende Oberfläche 212 des Kastens 204 an einem jeweiligen Schnittpunkt 236 zu schneiden. Der für einen Pixelwert am Schnittpunkt 236 bestimmte Pixelwert kann dann mindestens teilweise beruhend auf dem reflektierten Licht und einer oder mehrerer Oberflächeneigenschaften des Kegels 210 am Schnittpunkt 232, sowie den Oberflächeneigenschaften der hochreflektierenden Oberfläche 212 am Schnittpunkt 236 zusätzlich zu der Tatsache bestimmt werden, dass in diesem Beispiel der Schnittpunkt 236 auf der hochreflektierenden Oberfläche 212 auch wahrscheinlich einen direkten Strahl von der Lichtquelle (und möglicherweise andere reflektierte Strahlen) empfangen würde.
Ein derartiger Raytracing-Ansatz kann für jeden Frame oder mindestens eine Teilmenge von Frames in einer Sequenz wiederholt werden. Beispielsweise stellt das Bild 240 der 2C dieselbe Szene in einem nachfolgenden Frame dar, wo sich der Kasten 204, der Kegel 210 und die Lichtquelle 202 insgesamt in mindestens leicht unterschiedliche Richtungen bewegt haben, was daher auch zu einer Bewegung der Schatten 206, 208, sowie der Reflexion 214 des Kegels 210 in der hochreflektierende Oberfläche 212 führt. Wie erwähnt, kann es wünschenswert sein, die Bewegung (wie durch eine beispielhafte Auswahl von Bewegungsvektoren dargestellt) von einem oder allen dieser darstellbaren Objekte oder Elemente für derartige Zwecke wie die Verbesserung der Qualität einer Animation in der Sequenz zu bestimmen. Raytracing kann erneut durchgeführt werden, wie im Bild 260 der 2D dargestellt, um Aspekte des Bilds zu bestimmen, wie die gegenwärtigen Orte der Schatten und die neue Position und/oder Ausrichtung der Reflexion des Kegels. In mindestens einigen Systemen würde die Reflexion des Kegels auf der hochreflektierenden Oberfläche einen Anteil der Kastendaten ersetzen, wie in einem G-Puffer zum Rendern. Wie erwähnt, kann jedoch die Bestimmung der Strahlen 262 für Reflexionen unter Verwendung herkömmlicher Ansätze schwierig zu bestimmen sein. Es kann für einen Realismus der Bewegung wichtig sein, dass die Strahlen genau bestimmt und mit den richtigen Pixeln aus dem früheren Frame korreliert werden, mit der richtigen Gewichtung historischer Daten, um Rauschen oder Ruckartigkeit, sowie andere potentielle Artefakte, wie zeitliches Nachziehen zu verhindern.
Wie erwähnt, kann mindestens ein Teil der Bewegung von Objekten in einer Szene das Ergebnis einer Animation oder Bewegung einer virtuellen Kamera sein, die die Blickrichtung ändert. Während es relativ einfach sein kann, die Blickrichtung für die primären Oberflächen zu rekonstruieren, indem die Kameraposition von der Oberflächenposition subtrahiert wird, ist dies in verschiedenen herkömmlichen Systemen für sekundäre Oberflächen, wie reflektierte oder gebrochene Oberflächen nicht möglich. Eine Option besteht darin, die Blickrichtung des gegenwärtigen Frames zu nutzen und ihn ungepatcht zu lassen. Die Verwendung leicht nicht zusammenpassender Blickrichtungen ist in erster Linie für sehr glänzende Oberflächen wichtig, so dass es einen gewissen Rauschbetrag auf polierten Metallen und ähnlichen Dingen geben kann, der in Reflexionen sichtbar ist, was im Allgemeinen einem erheblichen Rauschbetrag vorzuziehen ist, der auf jeder reflektierten oder gebrochenen Oberfläche während Perioden der Bewegung vorhanden ist.
Ansätze gemäß verschiedener Ausführungsformen können eine adaptive zeitliche Bildfilterung vorsehen, die für Reflexionen und Refraktionen, sowie für Schatten und direkt beleuchtete Objekte funktioniert. In mindestens einer Ausführungsform kann ein Ansatz zum Rendern von Frames in einer Sequenz bewirken, dass ein Geometriepuffer (oder „G-Puffer“) für jeden Videoframe unter Verwendung eines herkömmlicher Rendering-Prozesses gerendert wird. Dem kann sich ein Rendering von Reflexionen und/oder Refraktionen beispielsweise unter Verwendung von Primary Surface Replacement (PSR) anschließen. Es kann dann eine Rückwärtsprojektionsdurchgang durchgeführt werden. Um die Rückwärtsprojektion durchzuführen, kann ein gegenwärtiger Frame in einen Satz von Schichten unterteilt werden, wobei jede Schicht eine Anordnung benachbarter Pixel enthalten kann, wie (ohne Einschränkung) ein 3x3-Quadrat von Pixeln. Aus jeder Schicht kann ein einzelnes Pixel ausgewählt werden, das eine übereinstimmende Oberfläche aufweist, die im vorhergehenden Frame identifiziert wurde. Übereinstimmende Oberflächen können in mindestens einer Ausführungsform unter Verwendung von Bewegungsvektoren lokalisiert werden, die während der G-Puffer-Füllungs- und PSR-Durchgänge erzeugt werden, die dann für reflektierte und gebrochene Oberflächengültig sein können. Um festzustellen, ob eine Oberfläche im Pixel des gegenwärtigen Frames und im Pixel des vorhergehenden Frames dieselbe ist, können Ansätze verwendet werden, die das Vergleichen der Tiefe und Normalen der beiden Oberflächen, oder das Vergleichen der Sichtbarkeitspufferdaten unter anderen derartigen Optionen umfassen.
Die 3A bis 3D stellen einen beispielhaften Ansatz zur Verwendung von Schichten zur Rückwärtsprojektion dar. In 3A wird ein Abschnitt eines Paars 300 von Frames dargestellt, wobei dieses Paar zwei benachbarte Frames in einer Framesequenz für eine Szene enthält. Es gibt zwei in den Frames dargestellte Objekte, die sich beide zwischen den Frames bewegen. Wie dargestellt, können die sich bewegenden Objekte und irgendwelche Hintergrundobjekte unterschiedliche Bewegungsvektoren aufweisen, wie dass der Hintergrund statisch sein kann und folglich eine Bewegung von Null aufweist. Die Frames werden so dargestellt, dass sie aus (übertriebenen) Pixeln zusammengesetzt sind, wobei dargestellt wird, welche Pixel unterschiedliche Abschnitte dieser Objekte repräsentieren. Wie erwähnt, können die Pixel jedes Frames in ein Gitter von Schichten wie Quadratschichten aus jeweils 3x3 Pixeln unterteilt werden. Eine derartige Schicht 306 wird in 3A dargestellt. Wie erwähnt, wird in diesem Beispiel der Prozess eine Rückwärtsprojektion nutzen, so dass die Schichten aus dem nachfolgenden (oder gegenwärtigen) Frame 304 statt dem Anfangsframe 302 ausgewählt werden. In diesem Beispiel wird jedes Pixel in einer Schicht enthalten sein. Die Größe der Schichten kann beruhend auf irgendeinem der hierin erläuterten verschiedenen Faktoren bestimmt werden, und die Anzahl der Pixel, die in den Schichten enthalten sind, kann einen Betrag der Abtastung bestimmen, die für jedes Paar von Frames in einer Sequenz durchgeführt wird. Wie für das Paar der Bilder 320 in 3B dargestellt, kann die Rückwärtsprojektion das Bestimmen für jeden Pixelort in einer gegebenen Schicht eines entsprechenden Pixelorts im früheren oder Anfangsframe 302 beinhalten. Es kann ein Versuch unternommen werden, das übereinstimmende Oberflächenpixel für jedes Pixel der Schicht zu bestimmen, wenn es in beiden Frames dargestellt wird, wie oben erläutert. In mindestens einer Ausführungsform kann ein Bewegungsvektor berechnet werden, indem die gegenwärtige Position des Objekts in Weltraum, seine vorhergehende Position im Weltraum genommen werden und dann diese Positionen unter Verwendung der gegenwärtigen und vorhergehenden Ansichtsprojektionsmatrizen oder anderer derartiger Verfahren in den Bildschirmraum transformiert werden. In diesem Fall repräsentiert der Bewegungsvektor eine Differenz zwischen Bildschirmraumpositionen desselben Objekts oder derselben Oberfläche.
In vielen Fällen wird eine Schicht mehrere Pixel mit übereinstimmenden Oberflächen enthalten. In einem derartigen Fall kann ein repräsentatives Pixel ausgewählt werden. In mindestens einer Ausführungsform kann dies das Pixel 342 aufweisen, das die hellste Beleuchtung auf dem anfänglichen oder vorhergehenden Frame 302 aufwies, wie in dem Paar der Bilder 340 der 3C dargestellt, jedoch nicht zur Gradientenschätzung verwendet wurde. Die Verwendung einer Heuristik der hellsten Beleuchtung kann die Erfassung von Beleuchtungsänderungen robuster und wahrnehmbar besser machen. Die Verwendung eines Pixels, das auch nicht für die Gradientenschätzung verwendet wurde, hilft eine Tendenz zu beseitigen, die sich aus der Wiederverwendung derselben Zufallszahlensequenz für eine Oberfläche auf mehreren aufeinanderfolgenden Frames ergeben könnte.
Nach dem Auswählen des Gradientenpixels in einer Schicht und dem Lokalisieren eines übereinstimmenden Pixels im vorhergehenden Frame kann ein Patchen des G-Puffers durchgeführt werden. Das Patchen des G-Puffers kann beinhalten, bestimmte Parameter der Oberfläche aus dem G-Puffer des vorhergehenden Frames (oder einem anderen relevanten Puffer oder Cache) zu entnehmen und sie in das Gradientenpixel des G-Puffers des gegenwärtigen Frames zu schreiben. Dies kann zu einer Vorwärtsprojektion 362 dieser Parameter ähnlich sein, wie sie für das Paar der Frames 360 in 3D dargestellt wird. Die fraglichen Parameter können diejenigen umfassen, die verwendet werden, um die Oberflächenbeleuchtung zu berechnen, die mit der Beleuchtung des vorhergehenden Frames derselben Oberflächen zur Gradientenberechnung verglichen werden soll. Derartige Parameter umfassen, sind aber nicht beschränkt auf, Zufallszahlengenerator-Startwert, Normale, Metallartigkeit und Rauigkeit. In diesem Beispiel kann folglich eine Rückwärtsprojektion verwendet werden, übereinstimmende Oberflächen zur Gradientenschätzung zu finden, dem sich Oberflächenparameter-Übertrag und - Patching anschließt. Das Patchen der Oberflächenparameter auf diese Weise kann falsch positive Gradienten in der überwiegenden Mehrheit der Fälle beseitigen, was das entrauschte Bild sehr stabil macht, während es ermöglicht, schnell auf Beleuchtungsänderungen zu reagieren.
In mindestens einer Ausführungsform umfassen Parameter, die sehr genau übereinstimmen sollten, aber nicht einfach von einem vorhergehenden Frame kopiert werden können, Oberflächenweltposition und Blickrichtung. Typischerweise speichern Deferred Renderer diese Parameter nicht, wobei die Parameter stattdessen während der Schattierung aus Pixelposition und Kamerainformationen rekonstruiert werden. Mindestens einige PSR-basierte Renderer speichern diese Parameter, da Positionen und Blickrichtungen für reflektierte oder gebrochene Oberflächen möglicherweise nicht rekonstruiert werden können. In mindestens einigen Ausführungsformen können diese Parameter der Gradientenoberfläche in einen entsprechenden G-Puffer gepatcht werden. Im Gegensatz zu den oben erwähnten Parametern wie der Rauigkeit sollen diese Parameter jedoch in mindestens einigen Ausführungsformen nicht einfach hinüber kopiert werden.
Wenn beispielsweise eine Szene gerendert wird, können sich Positionsinformationen zwischen Frames auf animierten Objekten ändern, wie oben dargestellt und erläutert. Dies liefert einen stichhaltigen Grund dafür, dass ein Beleuchtungsgradient vorhanden ist, sowie dafür, mindestens teilweise Beleuchtungsverlaufsinformationen ungültig zu machen. Anstatt Positionsdaten zu kopieren, können Sichtbarkeitspufferinformationen aus dem vorhergehenden Frame verwendet werden, um die neue Position derselben Oberfläche beruhend auf ihrem Gitter, ihrem Dreiecksindex und ihren baryzentrischen Koordinaten sowie den aktualisierten Vertex-Puffern zu berechnen. Die Blickrichtung kann sich auch aufgrund von Faktoren wie einer Animation und Kamerabewegung ändern. In mindestens einigen Fällen kann es verhältnismäßig einfach sein, die Blickrichtung für die primären Oberflächen zu rekonstruieren, indem beispielsweise die Kameraposition von der Oberflächenposition subtrahiert wird. Für sekundäre Oberflächen, wie reflektierte oder gebrochene Oberflächen, kann ein derartiger Ansatz nicht möglich sein, so dass die gegenwärtige Frame-Blickrichtung ungepatcht verwendet werden kann. Die Verwendung geringfügig nicht zusammenpassender Blickrichtungen kann für Oberflächen wichtig sein, wie jene, die sehr glänzend oder hochreflektierend sind, so dass auf polierten Metallen und ähnlichen Objekten oder Merkmalen, die in Reflexionen sichtbar sind, geringfügig mehr Rauschen beobachtet werden kann.
4 stellt eine beispielhafte Rendering-Pipeline 400 dar, die verwendet werden kann, um Bilder oder Frames in einer Sequenz zu rendern. In diesem Beispiel können Pixeldaten 402 für einen gegenwärtigen Frame, der gerendert werden soll (die G-Puffer Daten für primäre Oberflächen enthalten können) als Eingabe für eine Reflexions- und Refraktionskomponente 404 eines Rendering-Systems empfangen werden. Wie erwähnt, kann die Reflexions- und Refraktionskomponente 404 diese Daten verwenden, um zu versuchen, Daten für irgendwelche bestimmten Reflexionen und/oder Refraktionen in den Pixeldaten zu bestimmen, und kann diese Daten an eine Rückprojektions- und G-Puffer-Patching-Komponente 406 liefern, die eine Rückwärtsfortpflanzung durchführen kann, wie hierin erläutert, um entsprechende Punkte für diese Reflexionen und Refraktionen zu lokalisieren, und diese Daten verwenden, um den G-Puffer 418 zu patchen, der eine aktualisierte Eingabe für einen nachfolgenden Frame bereitstellen kann, der gerendert werden soll. Die Daten können dann an eine Lichtabtastungserzeugungskomponente 408 zum Durchführen einer Lichtabtastung, eine Raytracing-Beleuchtungskomponente 410 zum Durchführen einer Raytracing-Beleuchtung und einen oder mehrere Shader 412 geliefert werden, die die Pixelfarben für die verschiedenen Pixel des Frames mindestens teilweise beruhend auf den bestimmten Beleuchtungsinformationen (zusammen mit anderen Informationen wie der Farbe, der Textur und so weiter) festlegen können. Die Ergebnisse können durch ein Akkumulationsmodul 414 oder eine Komponente zum Erzeugen eines Ausgabeframes 416 einer gewünschten Größe, Auflösung oder eines gewünschten Formats akkumuliert werden.
In mindestens einer Ausführungsform kann ein Shader 408 den Rückwärtsprojektionsschritt durchführen. Sobald ein Rückwärtsprojektionsdurchgang beendet ist und Gradientenoberflächenparameter in den gegenwärtigen G-Puffer gepatcht worden sind, kann ein Renderer die Beleuchtungsdurchgänge ausführen. Unter Verwendung von Informationen aus den Beleuchtungsdurchgängen und den Beleuchtungsergebnissen aus dem vorhergehenden Frame können Gradienten berechnet, dann gefiltert und für Verlaufsabweisung verwendet werden. Ein derartiger Ansatz kann verwendet werden, um robuste zeitliche Gradienten zwischen gegenwärtigen und vorhergehenden Frames in einem zeitlichen Entrauscher für Raytracing-Renderer zu berechnen. Eine derartiger auf Rückwärtsprojektion beruhender Ansatz kann auch durch Reflexionen und Refraktionen funktionieren und kann mit gerasterten G-Puffern arbeiten. Frühere Ansätze zur Rückwärtsprojektion ließen jegliches G-Puffer-Patching weg und stützten sich stattdessen auf die rohen gegenwärtigen G-Puffer-Abtastwerte, was ebenfalls zu falsch positiven Gradienten führt. Das Patchen der Oberflächenparameter kann falsche Positive in der überwiegenden Mehrheit der Fälle beseitigen, was das entrauschte Bild sehr stabil macht und dennoch schnell auf Beleuchtungsänderungen reagieren lässt. Sobald der Rückwärtsprojektionsdurchgang beendet ist, und die Gradientenoberflächenparameter in den gegenwärtigen G-Puffer gepatcht worden sind, kann ein Renderer die Beleuchtungsdurchgänge ausführen. Unter Verwendung der Informationen aus den Beleuchtungsdurchgängen und den Beleuchtungsergebnissen aus dem vorhergehenden Frame werden die Gradienten berechnet, dann gefiltert und zur Verlaufsabweisung verwendet.
5A stellt einen beispielhaften Prozess 500 dar, der verwendet werden kann, um Bilder in einer Sequenz gemäß mindestens einer Ausführungsform zu erzeugen. In diesem Beispiel wird ein Satz von Bewegungsvektoren für einen gegenwärtigen Frame erzeugt 502, der beispielsweise in einen G-Puffer gerendert wird, wobei der G-Puffer Pixeldaten für eine oder mehrere Reflexionen und/oder Refraktionen enthält. Jegliche Reflexionen oder Refraktionen können unter Verwendung eines Prozesses wie Primary Surface Replacement (PSR) gerendert werden. Ein Rückwärtsprojektionsdurchgang kann unter Verwendung eines vorhergehenden Frames in der Sequenz ausgeführt werden 504. In mindestens einer Ausführungsform kann diese Rückwärtsprojektion unter Verwendung von Gruppen benachbarter Pixel aus dem gegenwärtigen Frame durchgeführt werden. Aus dem Rückwärtsprojektionsdurchgang können eine oder mehrere übereinstimmende Oberflächen zwischen dem gegenwärtigen Frame und dem vorhergehenden Frame angeordnet werden 506, wie eine oder mehrere übereinstimmende Oberflächen für jede Gruppe von Pixeln. Es kann dann ein G-Puffer, der vorher für den gegenwärtigen Frame gerendert wurde, unter Verwendung von Informationen aus diesen übereinstimmenden Oberflächen, oder mindestens einer ausgewählten Teilmenge dieser übereinstimmenden Oberflächen, wie einer Oberfläche pro Pixelgruppe gepatcht 508 oder aktualisiert werden. In mindestens einer Ausführungsform weist das Patchen des G-Puffers das Schreiben von einem oder mehreren Parametern einer übereinstimmenden Oberfläche aus einem G-Puffer des vorhergehenden Frames in ein Gradientenpixel eines G-Puffers des gegenwärtigen Frames. Der eine oder die mehreren Parameter können Parametern entsprechen, die verwendet werden, um die Oberflächenbeleuchtung zu berechnen, die mindestens einen eines Zufallsgenerator-Startwerts, eines Normalwerts, eines Metallartigkeitswerts oder eines Rauigkeitswerts unter anderen derartigen Optionen enthalten können. Dieser gepatchte G-Puffer kann dann verwendet werden, um Beleuchtungsinformationen zu berechnen 510. Diese berechneten Beleuchtungsinformationen können dann verwendet werden, eine oder mehrere Differenzen des Lichts zwischen dem gegenwärtigen Frame und dem vorhergehenden Frame zu bestimmen 512. Ein Bild kann dann mindestens teilweise beruhend auf der einen oder den mehreren Differenzen des Lichts gerendert werden 514. In mindestens einer Ausführungsform kann das Rendern das Ausführen von einem oder mehreren Beleuchtungsdurchgängen für den gegenwärtigen Frame und das Berechnen, da sie die eine oder die mehreren Differenzen des Lichts repräsentieren, von einem oder mehreren zeitlichen Gradienten beruhend auf einer Ausgabe der Beleuchtungsdurchgänge für den gegenwärtigen Frame und den berechneten Beleuchtungsinformationen beinhalten, die dem vorhergehenden Frame entsprechen. Diese zeitlichen Gradienten können dann gefiltert und zur Verlaufsabweisung verwendet werden, wie etwa zum Eliminieren von Verlaufsdaten zum Mischen oder Bestimmen eines Pixels des gegenwärtigen Frames. Dieses gerenderte Bild kann dann zur Anzeige auf einer Anzeigevorrichtung, oder einer anderen derartigen Präsentation ausgegeben werden 514, die Teil einer Videodatei oder Streams sein kann.
5B stellt einen beispielhaften Prozess 550 dar, der eine Rückwärtsfortpflanzung unter Verwendung von mehreren Pixelschichten gemäß mindestens einer Ausführungsform durchführen kann. Ein derartiger Prozess kann verwendet werden, um eine oder mehrere übereinstimmende Oberflächen zu lokalisieren, wie in Bezug auf den Prozess der 5A erläutert. Wie erwähnt, kann es ein derartiger Prozess ermöglichen, dass die Vorwärtsprojektion von Oberflächen von einem vorherigen zu einem gegenwärtigen Frame, wie sie in verschiedenen herkömmlichen Systemen verwendet wird, durch eine Rückwärtsprojektion vom gegenwärtigen Frame auf den vorhergehenden Frame ersetzt wird. Anstatt zuerst eine Teilmenge von Pixeln im gegenwärtigen Frame zu berechnen, die für Gradienten verwendet wird, kann zuerst ein G-Puffer für einen gegenwärtigen Frame vollständig gerendert werden 552, der alle Reflexionen und Refraktionen enthält. Die Pixel des gegenwärtigen Frames können in eine Anordnung von Schichten benachbarter Pixel unterteilt werden 554, wie eine Anordnung oder Gitter von 3x3 Pixelschichten. Es kann eine zu analysierende gegenwärtige Schicht ausgewählt werden 556. Primäre Oberflächen können für die Pixel der Schicht im gegenwärtigen Frame bestimmt werden 558. Eine Rückwärtsprojektion kann für jedes dieser Pixel durchgeführt werden 560, um zu versuchen 562, eine oder mehrere übereinstimmende Oberflächen im vorhergehenden Frame zu lokalisieren. Ein Pixel in der Schicht mit einer identifizierten übereinstimmenden Oberfläche im vorhergehenden Frame kann unter Verwendung eines oder mehrerer Auswahlkriterien ausgewählt werden 564, wie einem hellsten Pixel (oder einem Pixel, das der glänzendsten Oberfläche entspricht usw.), das nicht zur Gradientenschätzung im vorhergehenden Frame verwendet wurde. Die übereinstimmende Oberfläche für dieses ausgewählte Pixel kann dann mit der Schicht des gegenwärtigen Frames verbunden und verwendet werden, den G-Puffer entsprechend zu patchen 566. Das Patchen des G-Puffers kann beispielsweise das Berechnen einer neuen Position einer ersten Oberfläche umfassen, die im vorhergehenden Frame abgebildet ist, das mindestens auf den Sichtbarkeitspufferinformationen aus dem vorhergehenden Frame beruht. Die Sichtbarkeitspufferinformationen können beispielsweise Gitterinformationen, Dreiecksinformationen, baryzentrischen Informationen oder einen oder mehrere aktualisierte Vertex-Puffer enthalten, die der ersten Oberfläche entsprechen. Es kann eine Feststellung getroffen werden 568, ob es mehr zu bewertende Schichten gibt. Wenn dem so ist, kann der Prozess durch Auswählen einer nächsten zu bewertenden Schicht fortgesetzt werden. Wenn nicht, kann der gepatchte G-Puffer verwendet werden 570, um Beleuchtungsdaten zu berechnen, wie hierin erläutert, und diese Beleuchtungsdaten können wiederum verwendet werden, um Lichtdifferenzen (d.h. Gradienten zu berechnen) zwischen entsprechenden Pixeln des gegenwärtigen und der vorhergehenden Frames zu bestimmen 572 und einen endgültigen Frame zur Ausgabe zu rendern, wie in Bezug auf den Prozess der 5A erläutert.
Wie erläutert, sind verschiedene hierin präsentierte Ansätze leicht genug, um auf einer Client-Vorrichtung wie einem Personal-Computer oder einer Spielkonsole in Echtzeit ausgeführt zu werden. Eine derartige Verarbeitung kann an einem Inhalt durchgeführt werden, der auf der Client-Vorrichtung erzeugt wird oder von einer externen Quelle, wie einem Streaming-Inhalt über mindestens ein Netzwerk empfangen wird. Die Quelle kann jede geeignete Quelle, wie ein Spiele-Host, Streaming-Medienanbieter, Drittinhaltsanbieter oder eine andere Client-Vorrichtung unter anderen derartigen Optionen sein. In einigen Fällen kann die Verarbeitung und/oder das Rendern dieses Inhalts durch eine diese anderen Vorrichtungen, Systeme oder Einheiten durchgeführt werden, dann an die Client-Vorrichtung (oder einen anderen derartigen Empfänger) zur Präsentation oder einer anderen derartigen Verwendung geliefert werden.
In mindestens einer Ausführungsform kann eine Rückwärtsprojektion verwendet werden, um ein Bilderzeugungsnetzwerk zu trainieren. Dieses kann beispielsweise ein generatives neuronales Netzwerk (z.B. ein generatives kontradiktorisches Netzwerk (GAN) umfassen. In mindestens einer Ausführungsform kann ein Netzwerk unter Verwendung einer Rückwärtsprojektion trainiert werden, um Beleuchtungsunterschiede zwischen Frames zu schätzen. Dieses Netzwerk kann dann zur Inferenzzeit mit einer Quelle von Pixeldaten für einen gegenwärtigen Frame und einen vorhergehenden Frame verwendet werden, um den gegenwärtigen Frame des Bilds oder eines Videostreams zu rendern, um die Bewegung von Reflexionen und Refraktionen für eine Szene genau darzustellen.
Als Beispiel stellt 6 eine beispielhafte Netzwerkkonfiguration 600 dar, die verwendet werden kann, um Inhalte bereitzustellen, zu erzeugen oder zu modifizieren. In mindestens einer Ausführungsform kann eine Client-Vorrichtung 602 Inhalt für eine Sitzung unter Verwendung von Komponenten einer Inhaltsanwendung 604 auf einer Client-Vorrichtung 602 und Daten erzeugen, die lokal auf dieser Client-Vorrichtung gespeichert sind. In mindestens einer Ausführungsform kann eine Inhaltsanwendung 624 (z.B. eine Bilderzeugungs- oder - Bearbeitungsanwendung), die auf dem Inhaltsserver 620 (z.B. einem Cloud-Server oder Edge-Server) ausgeführt wird, eine Sitzung initiieren, die mit mindestens einer Client-Vorrichtung 602 verknüpft ist, die einen Sitzungsmanager und Benutzerdaten nutzen kann, die in einer Benutzerdatenbank 634 gespeichert sind, und kann bewirken, dass Inhalte 632 durch einen Inhaltsmanager 626 bestimmt werden. Ein Szenenerzeugungsmodul 628, das mit einer Animations- oder Spielanwendung zusammenhängen kann, kann Inhalte erzeugen oder erhalten, die dazu bestimmt worden sind, bereitgestellt zu werden, wobei mindestens ein Anteil dieses Inhalts unter Verwendung einer Rendering-Engine 630 gerendert werden muss, falls dies für diesen Typ Inhalt oder Plattform erforderlich ist, und zur Client-Vorrichtung 602 unter Verwendung eines geeigneten Übertragungsmanagers 622 zum Senden per Download, Streaming oder einen anderen derartigen Übertragungskanal übertragen werden muss. In mindestens einer Ausführungsform kann dieser Inhalt 632 Assets enthalten, die durch eine Rendering-Engine verwendet werden können, um eine Szene beruhend auf einem bestimmten Szenengraphen oder einer anderen derartigen Rendering-Anleitung zu rendern. In mindestens einer Ausführungsform kann eine Client-Vorrichtung 602, die diesen Inhalt empfängt, diesen Inhalt an eine entsprechende Inhaltsanwendung 604 liefern, die auch oder alternativ ein Szenenerzeugungsmodul 612 oder eine Rendering-Engine 614 (falls erforderlich) zum Rendern mindestens eines Teils dieses Inhalts zur Präsentation über die Client-Vorrichtung 602, wie als Bild- oder Videoinhalt durch einer Anzeige 606 und als Audio, wie Töne und Musik, durch mindestens eine Audiowiedergabevorrichtung 608, wie Lautsprecher oder Kopfhörer enthalten kann. In mindestens einer Ausführungsform kann mindestens ein Teil dieses Inhalts schon auf der Client-Vorrichtung 602 gespeichert, gerendert oder für sie zugänglich sein, so dass keine Übertragung über das Netzwerk 640 für mindestens diesen Anteil des Inhalts erforderlich ist, wie z.B. wo dieser Inhalt zuvor heruntergeladen oder lokal auf einer Festplatte oder einem optischen Datenträger gespeichert worden ist. In mindestens einer Ausführungsform kann ein Übertragungsmechanismus wie Datenstreaming verwendet werden, um diesen Inhalt vom Server 620 oder von der Inhaltsdatenbank 634 zur Client-Vorrichtung 602 zu übertragen. In mindestens einer Ausführungsform kann mindestens ein Anteil dieses Inhalts von einer anderen Quelle erhalten oder gestreamt werden, wie einem Drittinhaltsdienst 660, der auch eine Inhaltsanwendung 662 zum Erzeugen oder Bereitstellen von Inhalten aufweist. In mindestens einer Ausführungsform können Anteile dieser Funktionalität unter Verwendung von mehreren Rechenvorrichtungen, oder mehrere Prozessoren innerhalb einer oder mehrerer Rechenvorrichtungen durchgeführt werden, die eine Kombination von CPUs und GPUs enthalten können.
In mindestens einer Ausführungsform weist die Inhaltsanwendung 624 einen Inhaltsmanager 626 auf, der einen Inhalt bestimmen oder analysieren kann, bevor dieser Inhalt zur Client-Vorrichtung 602 übertragen wird. In mindestens einer Ausführungsform kann der Inhaltsmanager 626 auch andere Komponenten enthalten oder mit ihnen arbeiten, die imstande sind, einen Inhalt, der bereitgestellt werden soll, zu erzeugen, zu modifizieren oder zu verbessern. In mindestens einer Ausführungsform kann dies eine Rendering-Engine zum Rendern eines Bild- oder Videoinhalts umfassen. In mindestens einer Ausführungsform kann eine Bild-, Video- oder Szenenerzeugungskomponente 628 verwendet werden, um einen Bild-, Video- oder anderen Medieninhalt zu erzeugen. In mindestens einer Ausführungsform kann eine Verbesserungskomponente 630, die auch ein neuronales Netzwerk enthalten kann, eine oder mehrere Verbesserungen an diesem Inhalt durchführen, wie hierin erläutert und vorgeschlagen. In mindestens einer Ausführungsform kann der Inhaltsmanager 626 bewirkten, dass dieser Inhalt (verbessert oder nicht) zur Client-Vorrichtung 602 übertragen wird. In mindestens einer Ausführungsform kann eine Inhaltsanwendung 604 auf der Client-Vorrichtung 602 auch Komponenten wie eine Rendering-Engine, einen Bild- oder Videogenerator 612 und ein Inhaltsverbesserungsmodul 614 enthalten, so dass ein Teil oder die Gesamtheit dieser Funktionalität zusätzlich oder alternativ auf der Client-Vorrichtung 602 durchgeführt werden kann. In mindestens einer Ausführungsform kann eine Inhaltsanwendung 662 auf einem Drittinhaltsdienstsystem 660 auch eine derartige Funktionalität aufweisen. In mindestens einer Ausführungsform können Orte, wo mindestens ein Teil dieser Funktionalität durchgeführt wird, konfigurierbar sein, oder können von Faktoren wie einem Typ der Client-Vorrichtung 602 oder der Verfügbarkeit einer Netzwerkverbindung mit geeigneter Bandbreite unter anderen derartigen Faktoren abhängen. In mindestens einer Ausführungsform kann ein System zur Inhaltserzeugung eine beliebige geeignete Kombination von Hardware und Software an einem oder mehreren Orten aufweisen. In mindestens einer Ausführungsform kann ein erzeugter Bild- oder Videoinhalt mit einer oder mehreren Auflösungen auch an andere Client-Vorrichtungen 650 geliefert oder zur Verfügung gestellt werden, wie zum Download oder Streaming von einer Medienquelle, die eine Kopie des Bild- oder Videoinhalts speichert. In mindestens einer Ausführungsform kann dies das Übertragen von Bildern eines Spielinhalts für ein Mehrspieler-Spiel umfassen, wo unterschiedliche Client-Vorrichtungen diesen Inhalt mit unterschiedlichen Auflösungen anzeigen, einschließlich einer oder mehrerer Superauflösungen.
In diesem Beispiel können diese Client-Vorrichtungen irgendwelche geeignete Rechenvorrichtungen aufweisen, die einen Tischcomputer, einen Notebook-Computer, eine Set-Top-Box, eine Streaming-Vorrichtung, eine Spielkonsole, ein Smartphone, einen Tablet-Computer, einen VR-Headset, eine AR-Brille, einen tragbaren Computer oder einen intelligenten Fernseher umfassen können. Jede Client-Vorrichtung kann eine Anfrage über mindestens ein drahtgebundenes oder drahtloses Netzwerk stellen, das das Internet, ein Ethernet, ein lokales Netzwerk (LAN) oder eine Mobilfunknetz unter anderen derartigen Optionen umfassen kann. In diesem Beispiel können diese Anfragen an eine Adresse gestellt werden, die mit einem Cloud-Anbieter verknüpft ist, der eine oder mehrere elektronische Ressourcen in einer Cloud-Anbieterumgebung betreiben oder steuern kann, die ein Datenzentrum oder eine Serverfarm umfassen können. In mindestens einer Ausführungsform kann die Anfrage durch mindestens einen Edge-Server empfangen oder verarbeitet werden, der sich an einem Netzwerkrand befindet und sich außerhalb mindestens einer Sicherheitsschicht befindet, die mit der Cloud-Anbieterumgebung verknüpft ist. Auf diese Weise kann die Latenz reduziert werden, indem es den Client-Vorrichtungen ermöglicht wird, mit Servern zu interagieren, die sich in unmittelbarer Nähe befinden, während die Sicherheit der Ressourcen in der Cloud-Anbieterumgebung verbessert wird.
In mindestens einer Ausführungsform kann ein solches System zum Durchführen grafischer Rendering-Operationen verwendet werden. In anderen Ausführungsformen kann ein solches System für andere Zwecke verwendet werden, wie zum Bereitstellen von Bild- oder Videoinhalten, um autonome Maschinenanwendungen zu testen oder zu validieren, oder zum Durchführen von Deep-Learning-Operationen. In mindestens einer Ausführungsform kann ein solches System unter Verwendung einer Edge-Vorrichtung implementiert werden, oder kann eine oder mehrere virtuelle Maschinen (VMs) beinhalten. In mindestens einer Ausführungsform kann ein solches System mindestens teilweise in einem Datenzentrum oder mindestens teilweise unter Verwendung Cloud-Computing-Ressourcen implementiert werden.
INFERENZ- UND TRAININGSLOGIK
7A stellt eine Inferenz- und/oder Trainingslogik 715 dar, die verwendet wird, um Inferenz- und/oder Trainingsoperationen durchführen, die mit einer oder mehreren Ausführungsformen verknüpft sind. Details hinsichtlich der Inferenz- und/oder Trainingslogik 715 werden unten in Verbindung mit den 7A und/oder 7B bereitgestellt.
In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 ohne Einschränkung einen Code- und/oder Datenspeicher 701 aufweisen, um Vorwärts- und/oder Ausgabe-Gewichts- und/oder Eingabe-/Ausgabedaten und/oder andere Parameter zu speichern, um Neuronen oder Schichten eines neuronalen Netzwerks zu konfigurieren, das in Aspekten von einer oder mehreren Ausführungsformen zum Inferenzieren trainiert und/oder verwendet wird. In mindestens einer Ausführungsform kann die Trainingslogik 715 den Code- und/oder Datenspeicher 701 enthalten oder mit diesem gekoppelt sein, um Graph-Code oder andere Software zu speichern, um das Timing und/oder die Reihenfolge zu steuern, in der Gewichts- und/oder andere Parameterinformationen geladen werden sollen, um eine Logik zu konfigurieren, die Ganzzahl- und/oder Gleitkomma-Einheiten enthält (zusammen arithmetisch-logische Einheiten (ALUs). In mindestens einer Ausführungsform lädt Code, wie graphischer Darstellungscode, Gewichts- und/oder andere Parameterinformationen in Prozessor-ALUs beruhend auf einer Architektur eines neuronalen Netzwerks, dem der Code entspricht. In mindestens einer Ausführungsform speichert der Code- und/oder Datenspeicher 701 Gewichtsparameter und/oder Eingabe-/Ausgabedaten jeder Schicht eines neuronalen Netzwerks, das in Verbindung mit einer oder mehreren Ausführungsformen trainiert oder verwendet wird, während der Vorwärtsfortpflanzung von Eingabe-/Ausgabedaten und/oder Gewichtsparametern während des Trainings und/oder der Inferenz unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen. In mindestens einer Ausführungsform kann jeder Abschnitt des Code- und/oder Datenspeichers 701 mit einem anderen Datenspeicher auf dem Chip oder außerhalb des Chips enthalten sein, einschließlich eines L1-, L2- oder L3-Cache des Prozessors oder Systemspeichers.
In mindestens einer Ausführungsform kann jeder Abschnitt des Code- und/oder Datenspeichers 701 sich innerhalb oder außerhalb eines oder mehrerer Prozessoren oder anderer Hardware-Logikvorrichtungen oder Schaltungen befinden. In mindestens einer Ausführungsform kann der Code- und/oder Code- und/oder Datenspeicher 701 ein Cache-Speicher, dynamischer wahlfrei adressierbarer Speicher („DRAM“), statischer wahlfrei adressierbarer Speicher („SRAM“), nichtflüchtiger Speicher (z.B. Flash-Speicher) oder anderer Speicher sein. In mindestens einer Ausführungsform kann die Wahl, ob der Code- und/oder Code- und/oder Datenspeicher 701 sich beispielsweise innerhalb oder außerhalb eines Prozessors befindet oder aus einem DRAM, SRAM, Flash- oder einem anderen Speichertyp besteht, vom verfügbaren Speicher auf dem Chip gegenüber außerhalb des Chips, den Latenzanforderungen von Trainings- und/oder Inferenzfunktionen, die durchgeführt werden, der Stapelgröße von Daten, die in der Inferenz und/oder im Training eines neuronalen Netzwerks verwendet werden, oder einer Kombination dieser Faktoren abhängen.
In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 ohne Einschränkung einen Code- und/oder Datenspeicher 705 enthalten, um Rückwärts- und/oder Ausgabe-Gewichts- und/oder Eingabe-/Ausgabedaten zu speichern, die Neuronen oder Schichten eines neuronalen Netzwerks entsprechen, das in Aspekten von einer oder mehreren Ausführungsformen zum Inferenzieren trainiert und/oder verwendet wird. In mindestens einer Ausführungsform speichert der Code- und/oder Datenspeicher 705 Gewichtsparameter und/oder Eingabe-/Ausgabedaten jeder Schicht eines neuronalen Netzwerks, das in Verbindung mit einer oder mehreren Ausführungsformen trainiert oder verwendet wird, während der Rückwärtsfortpflanzung der Eingabe-/Ausgabedaten und/oder Gewichtsparameter während des Trainings und/oder der Inferenz unter Verwendung von Aspekten einer oder mehrerer Ausführungsformen. In mindestens einer Ausführungsform kann die Trainingslogik 715 den Code- und/oder Datenspeicher 705 enthalten oder mit diesem gekoppelt sein, um Graph-Code oder andere Software zu speichern, um das Timing und/oder die Reihenfolge zu steuern, in der Gewichts- und/oder andere Parameterinformationen geladen werden sollen, um eine Logik zu konfigurieren, die Ganzzahl- und/oder Gleitkomma-Einheiten enthält (zusammen arithmetisch-logische Einheiten (ALUs). In mindestens einer Ausführungsform lädt Code, wie graphischer Darstellungscode, Gewichts- und/oder andere Parameterinformationen in Prozessor-ALUs beruhend auf einer Architektur eines neuronalen Netzwerks, dem der Code entspricht. In mindestens einer Ausführungsform kann jeder Abschnitt des Code- und/oder Datenspeichers 705 mit einem anderen Datenspeicher auf dem Chip oder außerhalb des Chips enthalten sein, einschließlich eines L1-, L2- oder L3-Cache des Prozessors oder Systemspeichers. In mindestens einer Ausführungsform kann sich jeder Abschnitt des Code- und/oder Datenspeichers 705 innerhalb oder außerhalb eines oder mehrerer Prozessoren oder anderer Hardware-Logikvorrichtungen oder Schaltungen befinden. In mindestens einer Ausführungsform kann der Code- und/oder Datenspeicher 705 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z.B. Flash-Speicher) oder ein anderer Speicher sein. In mindestens einer Ausführungsform kann die Wahl, ob sich der Code- und/oder Datenspeicher 705 beispielsweise innerhalb oder außerhalb eines Prozessors befindet oder aus einem DRAM, SRAM, Flash- oder einem anderen Speichertyp besteht, vom verfügbaren Speicher auf dem Chip gegenüber außerhalb des Chips, den Latenzanforderungen von Trainings- und/oder Inferenzfunktionen, die durchgeführt werden, der Stapelgröße von Daten, die in der Inferenz und/oder im Training eines neuronalen Netzwerks verwendet werden, oder einer Kombination dieser Faktoren abhängen.
In mindestens einer Ausführungsform können der Code- und/oder Datenspeicher 701 und der Code- und/oder Datenspeicher 705 getrennte Speicherstrukturen sein. In mindestens einer Ausführungsform können der Code- und/oder Datenspeicher 701 und der Code- und/oder Datenspeicher 705 dieselbe Speicherstruktur sein. In mindestens einer Ausführungsform können der Code- und/oder Datenspeicher 701 und der Code- und/oder Datenspeicher 705 teilweise dieselbe Speicherstruktur und teilweise getrennte Speicherstrukturen sein. In mindestens einer Ausführungsform kann jeder Abschnitt des Code- und/oder Datenspeichers 701 und des Code- und/oder Datenspeichers 705 mit einem anderen Datenspeicher auf dem Chip oder außerhalb des Chips enthalten sein, einschließlich eines L1-, L2- oder L3-Cache des Prozessors oder Systemspeichers.
In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 ohne Einschränkung eine oder mehrere arithmetisch-logische Einheiten („ALU(s)“) 710 enthalten, die Ganzzahl- und/oder Gleitkomma-Einheiten enthalten, um logische und/oder mathematische Operationen durchzuführen, die mindestens teilweise auf Trainings- und/oder Inferenz-Code (z.B. Graph-Code) beruhen oder durch diesen angezeigt werden, deren Ergebnis Aktivierungen erzeugen kann (z.B. Ausgabewerte aus Schichten oder Neuronen innerhalb eines neuronalen Netzwerks), die in einem Aktivierungsspeicher 720 gespeichert sind, die Funktionen von Eingabe-/Ausgabe- und/oder Gewichtsparameterdaten sind, die im Code- und/oder Datenspeicher 701 und/oder Code- und/oder Datenspeicher 705 gespeichert sind. In mindestens einer Ausführungsform werden im Aktivierungsspeicher 720 gespeicherte Aktivierungen gemäß linearer algebraischer und/oder matrixbasierter Mathematik erzeugt, die durch die ALU(s) 710 als Reaktion auf das Ausführen von Anweisungen oder anderem Code ausgeführt werden, wobei Gewichtswerte, die im Code- und/oder Datenspeicher 705 und/oder Code- und/oder Datenspeicher 701 gespeichert sind, als Operanden zusammen mit anderen Werten verwendet werden, wie Verzerrungswerte, Gradienteninformationen, Schwungwerte, oder andere Parameter oder Hyperparameter, von denen einige oder alle im Code- und/oder Datenspeicher 705 oder im Code- und/oder Datenspeicher 701 oder einem anderen Speicher auf dem Chip oder außerhalb des Chips gespeichert sein können.
In mindestens einer Ausführungsform sind die ALU(s) 710 in einem oder mehreren Prozessoren oder anderen Hardware-Logikvorrichtungen oder Schaltungen enthalten, wohingegen in einer anderen Ausführungsform sich die ALU(s) 710 außerhalb eines Prozessors oder anderen Hardware-Logikvorrichtung oder Schaltung befinden können, die sie verwendet (z.B. einem Coprozessor). In mindestens einer Ausführungsform können die ALUs 710 in den Ausführungseinheiten eines Prozessors oder anderweitig in einer Bank von ALUs enthalten sein, auf die die Ausführungseinheiten eines Prozessors zugreifen können, entweder innerhalb desselben Prozessors oder verteilt auf unterschiedliche Prozessoren unterschiedlicher Typen (z.B. Zentraleinheiten, Grafikverarbeitungseinheiten, feste Funktionseinheiten usw.). In mindestens einer Ausführungsform können sich der Code- und/oder Datenspeicher 701, der Code- und/oder Datenspeicher 705 und der Aktivierungsspeicher 720 auf demselben Prozessor oder anderen Hardware-Logikvorrichtung oder Schaltung befinden, wohingegen sie sich in einer anderen Ausführungsform in unterschiedlichen Prozessoren oder anderen Hardware-Logikvorrichtungen oder Schaltungen, oder einer Kombination derselben und unterschiedlichen Prozessoren oder anderen Hardware-Logikvorrichtungen oder Schaltungen befinden können. In mindestens einer Ausführungsform kann jeder Abschnitt des Aktivierungsspeichers 720 mit einem anderen Datenspeicher auf dem Chip oder außerhalb des Chips enthalten sein, einschließlich eines L1-, L2- oder L3-Cache des Prozessors oder Systemspeichers. Darüber hinaus kann Inferenz- und/oder Trainingscode mit anderem Code gespeichert werden, auf den ein Prozessor oder andere Hardwarelogik oder -Schaltung zugreifen kann, und unter Verwendung von Abruf-, Decodier-, Planungs-, Ausführungs-, Rückzugs- und/oder anderen logischen Schaltungen eines Prozessors abgerufen und/oder verarbeitet werden.
In mindestens einer Ausführungsform kann der Aktivierungsspeicher 720 ein Cache-Speicher, DRAM, SRAM, nichtflüchtiger Speicher (z.B. Flash-Speicher) oder anderer Speicher sein. In mindestens einer Ausführungsform kann sich der Aktivierungsspeicher 720 vollständig oder teilweise innerhalb oder außerhalb von einem oder mehreren Prozessoren oder anderen logischen Schaltungen befinden. In mindestens einer Ausführungsform kann die Wahl, ob sich der Aktivierungsspeicher 720 beispielsweise innerhalb oder außerhalb eines Prozessors befindet oder aus einem DRAM, SRAM, Flash- oder einem anderen Speichertyp besteht, vom verfügbaren Speicher auf dem Chip gegenüber außerhalb des Chips, den Latenzanforderungen von Trainings- und/oder Inferenzfunktionen, die durchgeführt werden, der Stapelgröße von Daten, die in der Inferenz und/oder im Training eines neuronalen Netzwerks verwendet werden, oder einer Kombination dieser Faktoren abhängen. In mindestens einer Ausführungsform kann die in 7a dargestellte Inferenz- und/oder Trainingslogik 715 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung („ASIC“) verwendet werden, wie der Tensorflow® Processing Unit von Google, einer Inference Processing Unit (IPU) von Graphcore™ oder einem Nervana® (z.B. „Lake Crest“) Prozessor von Intel Corp. In mindestens einer Ausführungsform kann die in 7a dargestellte Inferenz- und/oder Trainingslogik 715 in Verbindung mit einer Zentraleinheits- („CPU“) Hardware, einer Grafikverarbeitungseinheits-(„GPU“) Hardware oder anderen Hardware wie feldprogrammierbaren Gate-Arrays („FPGAs“) verwendet werden.
7b stellt eine Inferenz- und/oder Trainingslogik 715 gemäß mindestens einer oder mehrerer Ausführungsformen dar. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 ohne Einschränkung eine Hardwarelogik aufweisen, in der Rechenressourcen dediziert oder auf andere Weise ausschließlich in Verbindung mit Gewichtswerten oder anderen Informationen verwendet werden, die einer oder mehreren Schichten von Neuronen innerhalb eines neuronalen Netzwerks entsprechen. In mindestens einer Ausführungsform kann die in 7b dargestellte Inferenz- und/oder Trainingslogik 715 in Verbindung mit einer anwendungsspezifischen integrierten Schaltung (ASIC) verwendet werden, wie der Tensorflow® Processing Unit von Google, einer Inference Processing Unit (IPU) von Graphcore™ oder einem Nervana® (z.B. „Lake Crest“) Prozessor von Intel Corp. In mindestens einer Ausführungsform kann die in 7b dargestellte Inferenz- und/oder Trainingslogik 715 in Verbindung mit einer Zentraleinheits- (CPU) Hardware, einer Grafikverarbeitungseinheits-(GPU) Hardware oder einer anderen Hardware, wie feldprogrammierbaren Gate-Arrays (FPGAs) verwendet werden. In mindestens einer Ausführungsform enthält die Inferenz- und/oder Trainingslogik 715 ohne Einschränkung den Code- und/oder Datenspeicher 701 und den Code- und/oder Datenspeicher 705, der verwendet werden kann, um Code (z.B. Graph-Code), Gewichtswerte und/oder andere Informationen zu speichern, einschließlich Verzerrungswerten, Gradienteninformationen, Schwungwerten und/oder anderen Parametern oder Hyperparameter-Informationen. In mindestens einer in 7b dargestellten Ausführungsform ist jeder des Code- und/oder Datenspeichers 701 und des Code- und/oder Datenspeichers 705 mit einer dedizierten Rechenressource wie der Rechenhardware 702 bzw. der Rechenhardware 706 verknüpft. In mindestens einer Ausführungsform weist jeweils die Rechenhardware 702 und die Rechenhardware 706 eine oder mehrere ALUs auf, die mathematische Funktionen, wie lineare algebraische Funktionen nur an Informationen ausführen, die im Code- und/oder Datenspeicher 701 bzw. im Code- und/oder Datenspeicher 705 gespeichert sind, deren Ergebnis im Aktivierungsspeicher 720 gespeichert wird.
In mindestens einer Ausführungsform entsprechen jeweils der Code- und/oder Datenspeicher 701 bzw. 705 und die entsprechende Rechenhardware 702 bzw. 706 unterschiedlichen Schichten eines neuronalen Netzwerks, so dass die resultierende Aktivierung von einem „Speicher/Rechen Paar 701/702“ des Code- und/oder Datenspeichers 701 und der Rechenhardware 702 als Eingabe in das „Speicher-/Rechenpaar 705/706“ des Code- und/oder Datenspeichers 705 und der Rechenhardware 706 bereitgestellt wird, um die konzeptionelle Organisation eines neuronalen Netzwerks widerzuspiegeln. In mindestens einer Ausführungsform kann jedes der Speicher-/Rechenpaare 701/702 und 705/706 mehr als einer neuronalen Netzwerkschicht entsprechen. In mindestens einer Ausführungsform können (nicht gezeigte) zusätzliche Speicher/Rechenpaare anschließend an oder parallel zu den Speicher- /Rechenpaaren 701/702 und 705/706 in der Inferenz- und/oder Trainingslogik 715 enthalten sein.
DATENZENTRUM
8 stellt ein beispielhaftes Datenzentrum 800 dar, in dem mindestens eine Ausführungsform verwendet werden kann. In mindestens einer Ausführungsform weist das Datenzentrum 800 eine Datenzentrum-Infrastrukturschicht 810, eine Framework-Schicht 820, eine Softwareschicht 830 und eine Anwendungsschicht 840 auf.
In mindestens einer Ausführungsform, wie in 8 gezeigt, kann die Datenzentrum-Infrastrukturschicht 810 einen Ressourcenorchestrator 812, gruppierte Rechenressourcen 814 und Knoten-Rechenressourcen („Knoten-C.R.s“) 816(1)-816(N) aufweisen, wobei „N“ irgendeine ganze, positive Ganzzahl darstellt. In mindestens einer Ausführungsform können die Knoten-C.R.s 816(1)-816(N) eine beliebige Anzahl von Zentraleinheiten („CPUs“) oder andere Prozessoren (einschließlich Beschleuniger, feldprogrammierbare Gate-Arrays (FPGAs), Grafikprozessoren usw.), Speichervorrichtungen (z.B. dynamische Nur-Lese-Speicher), Massenspeichervorrichtungen (z.B. Festkörper- oder Plattenlaufwerke), Netzwerk Eingabe-/Ausgabe („NW I/O“) Vorrichtungen, Netzwerk-Switches, virtuelle Maschinen („VMs“), Strommodule und Kühlmodule usw. aufweisen, sind jedoch nicht darauf beschränkt. In mindestens einer Ausführungsform können eine oder mehrere Knoten-C.R.s unter den Knoten-C.R.s 816(1)-816(N) ein Server sein, der eine oder mehrere der oben erwähnten Rechenressourcen aufweist.
In mindestens einer Ausführungsform können gruppierte Rechenressourcen 814 getrennte Gruppierungen von Knoten-C.R.s, die in einen oder mehreren (nicht gezeigten) Racks untergebracht sind, oder viele Racks aufweisen, die in Datenzentren an verschiedenen (ebenfalls nicht gezeigten) geografischen Orten untergebracht sind. Getrennte Gruppierungen von Knoten-C.R.s innerhalb gruppierter Rechenressourcen 814 können gruppierte Rechen-, Netzwerk-, Speicher- oder Massenspeicher-Ressourcen aufweisen, die konfiguriert oder zugeordnet sein können, eine oder mehrere Arbeitslasten zu unterstützen. In mindestens einer Ausführungsform können mehrere Knoten-C.R.s einschließlich CPUs oder Prozessoren innerhalb eines oder mehrerer Racks gruppiert sein, um Rechenressourcen bereitzustellen, um eine oder mehrere Arbeitslasten zu unterstützen. In mindestens einer Ausführungsform können eine oder mehrere Racks auch eine beliebige Anzahl von Strommodulen, Kühlmodulen und Netzwerk-Switches in beliebiger Kombination enthalten.
In mindestens einer Ausführungsform kann der Ressourcenorchestrator 812 eine oder mehrere Knoten-C.R.s 816(1)-816(N) und/oder gruppierte Rechenressourcen 814 konfigurieren oder auf andere Weise steuern. In mindestens einer Ausführungsform kann der Ressourcenorchestrator 812 eine Software-Design-Infrastruktur- („SDI“) Verwaltungseinheit für das Datenzentrum 800 aufweisen. In mindestens einer Ausführungsform kann der Ressourcenorchestrator Hardware, Software oder eine Kombination davon aufweisen.
In mindestens einer Ausführungsform, wie in 8 gezeigt, enthält die Framework-Schicht 820 einen Job-Scheduler 822, einen Konfigurationsmanager 824, einen Ressourcenmanager 826 und ein verteiltes Dateisystem 828. In mindestens einer Ausführungsform kann die Framework-Schicht 820 ein Framework enthalten, um Software 832 der Softwareschicht 830 und/oder eine oder mehrere Anwendungen 842 der Anwendungsschicht 840 zu unterstützen. In mindestens einer Ausführungsform können die Software 832 oder die Anwendung(en) 842 jeweils webbasierte Dienstsoftware oder Anwendungen enthalten, wie jene, die durch Amazon Web Services, Google Cloud und Microsoft Azure bereitgestellt werden. In mindestens einer Ausführungsform kann die Framework-Schicht 820 eine Art eines freien und Open-Source-Software-Webanwendungs-Frameworks wie Apache Spark™ (nachstehend „Spark“) sein, ist jedoch nicht darauf beschränkt, das ein verteiltes Dateisystem 828 für eine Datenverarbeitung im großen Maßstab (z.B. „Big Data“) nutzen kann. In mindestens einer Ausführungsform kann der Job-Scheduler 822 einen Spark-Treiber enthalten, um die Planung von Arbeitslasten zu erleichtern, die von verschiedenen Schichten des Rechenzentrums 800 unterstützt werden. In mindestens einer Ausführungsform kann der Ressourcenmanager 826 imstande sein, unterschiedliche Schichten zu konfigurieren, wie der Softwareschicht 830 und der Framework-Schicht 820, die Spark und das verteilte Dateisystem 828 enthält, um eine Datenverarbeitung im großen Maßstab zu unterstützen. In mindestens einer Ausführungsform kann der Ressourcenmanager 826 zum Verwalten geclusterter oder gruppierter Rechenressourcen imstande sein, die zur Unterstützung des verteilten Dateisystems 828 und des Job-Schedulers 822 zugewiesen oder zugeordnet sind. In mindestens einer Ausführungsform können geclusterte oder gruppierte Rechenressourcen eine gruppierte Rechenressource 814 auf der Datenzentrum-Infrastrukturschicht 810 aufweisen. In mindestens einer Ausführungsform kann sich der Ressourcenmanager 826 mit dem Ressourcenorchestrator 812 abstimmen, um diese zugewiesenen oder zugeordneten Rechenressourcen zu verwalten.
In mindestens einer Ausführungsform kann in der Softwareschicht 830 enthaltene Software 832 Software umfassen, die durch mindestens Abschnitte der Knoten-C.R.s 816(1)-816(N), der gruppierten Rechenressourcen 814 und/oder des verteilten Dateisystems 828 der Framework-Schicht 820 verwendet werden. Die eine oder die mehrere Arten der Software können eine Internet-Webseiten-Suchsoftware, E-Mailviren-Scansoftware, Datenbanksoftware und Streaming-Video-Inhaltssoftware umfassen, sind jedoch nicht darauf beschränkt.
In mindestens einer Ausführungsform kann/können die in der Anwendungsschicht 840 enthaltenen Anwendung(en) 842 eine oder mehrere Arten von Anwendungen umfassen, die mindestens durch Abschnitte der Knoten-C.R.s 816(1)-816(N), der gruppierten Rechenressourcen 814 und/oder des verteilten Dateisystems 828 der Framework-Schicht 820 verwendet werden. Eine oder mehrere Arten von Anwendungen können eine beliebige Anzahl einer Genomikanwendung, einer kognitiven Berechnung und einer maschinellen Lernanwendung umfassen, einschließlich einer Trainings- oder Inferenzsoftware, Framework-Software für maschinelles Lernen (z.B. PyTorch, TensorFlow, Caffe usw.) oder andere maschinelle Lernanwendungen, die in Verbindung mit einer oder mehreren Ausführungsformen verwendet werden, sind jedoch nicht darauf beschränkt.
In mindestens einer Ausführungsform können jeweils der Konfigurationsmanager 824, der Ressourcenmanager 826 und der Ressourcenorchestrator 812 eine beliebige Anzahl und Art von selbstmodifizierenden Aktionen beruhend auf einer beliebigen Menge und Art von Daten implementieren, die auf jede technisch machbare Weise erfasst werden. In mindestens einer Ausführungsform können selbstmodifizierende Aktionen einen Datenzentrumsoperator des Datenzentrums 800 davon befreien, möglicherweise schlechte Konfigurationsentscheidungen zu treffen, und möglicherweise nicht ausgelastete und/oder leistungsschwache Teile eines Rechenzentrums zu vermeiden.
In mindestens einer Ausführungsform kann das Datenzentrum 800 Werkzeuge, Dienste, Software oder andere Ressourcen aufweisen, um eine oder mehrere maschinelle Lernmodelle zu trainieren oder Informationen unter Verwendung eines oder mehrerer maschineller Lernmodelle gemäß einer oder mehrerer hierin beschriebener Ausführungsformen vorherzusagen oder abzuleiten. Beispielsweise kann in mindestens einer Ausführungsform ein maschinelles Lernmodell durch Berechnen von Gewichtsparametern gemäß einer neuronalen Netzwerkarchitektur unter Verwendung von Software und Rechenressourcen trainiert werden, die oben in Bezug auf das Datenzentrum 800 beschrieben werden. In mindestens einer Ausführungsform können trainierte maschinelle Lernmodelle, die einem oder mehreren neuronalen Netzwerken entsprechen, verwendet werden, um Informationen unter Verwendung von Ressourcen abzuleiten oder vorherzusagen, die oben in Bezug auf das Datenzentrum 800 beschrieben werden, indem Gewichtsparameter verwendet werden, die durch eine oder mehrere hierin beschriebene Trainingstechniken berechnet werden.
In mindestens einer Ausführungsform kann das Datenzentrum CPUs, anwendungsspezifische integrierte Schaltungen (ASICs), GPUs, FPGAs, oder andere Hardware verwenden, um das Training und/oder die Inferenz unter Verwendung der oben beschriebenen Ressourcen durchführen. Darüber hinaus können eine oder mehrere oben beschriebene Software- und/oder Hardware-Ressourcen als Dienst konfiguriert sein, Benutzern das Trainieren oder Durchführen von Inferenzen von Informationen zu ermöglichen, wie Bilderkennung, Spracherkennung oder andere Dienste der künstlichen Intelligenz.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen verknüpft sind. Details hinsichtlich der Inferenz- und/oder Trainingslogik 715 werden unten in Verbindung mit den 7A und/oder 7B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im System der 8 für Inferenz- oder Vorhersageoperationen mindestens teilweise auf Gewichtsparametern beruhend verwendet werden, die unter Verwendung von Trainingsoperationen eines neuronalen Netzwerks, Funktionen und/oder Architekturen eines neuronalen Netzwerks oder hierin beschriebenen Anwendungsfällen eines neuronalen Netzwerks berechnet werden.
Solche Komponenten können verwendet werden, um verbesserten Inhalt zu erzeugen, wie Bild- oder Videoinhalt mit hochskalierter Auflösung, reduziertem Vorhandensein von Artefakten und Verbesserung der visuellen Qualität.
COMPUTERSYSTEME
9 ist ein Blockdiagramm, das ein exemplarisches Computersystem darstellt, das ein System mit miteinander verbundenen Vorrichtungen und Komponenten, ein System-on-a-Chip (SOC) oder eine Kombination davon 900 sein kann, das mit einem Prozessor ausgebildet ist, der Ausführungseinheiten enthalten kann, um eine Anweisung auszuführen, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das Computersystem 900 ohne Einschränkung eine Komponente wie etwa einen Prozessor 902 enthalten, um Ausführungseinheiten einzusetzen, die eine Logik enthalten, um Algorithmen für Prozessdaten auszuführen, gemäß der vorliegenden Offenbarung, wie in der hierin beschriebenen Ausführungsform. In mindestens einer Ausführungsform kann das Computersystem 900 Prozessoren enthalten, wie Mikroprozessoren der PENTIUM®-Prozessorfamilie, Xeon™, Itanium®, XScale™ und/oder StrongARM™, Intel® Core™, oder Intel® Nervana™, erhältlich von Intel Corporation of Santa Clara, Kalifornien, obwohl auch andere Systeme (einschließlich PCs mit anderen Mikroprozessoren, Entwicklungs-Workstations, Set-Top-Boxen und dergleichen) verwendet werden können. In mindestens einer Ausführungsform kann das Computersystem 900 eine Version des Betriebssystems WINDOWS ausführen, das von der Microsoft Corporation of Redmond, Washington, erhältlich ist, obwohl auch andere Betriebssysteme (z.B. UNIX und Linux), eingebettete Software und/oder grafische Benutzerschnittstellen verwendet werden können.
Ausführungsformen können in anderen Vorrichtungen verwendet werden, wie tragbaren Vorrichtungen und eingebetteten Anwendungen. Einige Beispiele von tragbaren Vorrichtungen umfassen Mobiltelefone, Internetprotokoll-Vorrichtungen, Digitalkameras, persönliche digitale Assistenten („PDAs“), und tragbare PCs. In mindestens einer Ausführungsform können eingebettete Anwendungen einen Mikrocontroller, einen digitalen Signalprozessor („DSP“), System-on-a-Chip, Netzwerkcomputer („NetPCs“), Set-Top-Boxen, Netzwerk-Hubs, Wide Area Network („WAN“) Switches oder ein beliebiges anderes System umfassen, das eine oder mehrere Anweisungen gemäß mindestens einer Ausführungsform durchführen kann.
In mindestens einer Ausführungsform kann das Computersystem 900 ohne Einschränkung einen Prozessor 902 enthalten, der ohne Einschränkung eine oder mehrere Ausführungseinheiten 908 umfassen kann, um ein Training eines maschinellen Lernmodells und/oder eine Inferenz gemäß den hierin beschriebenen Techniken durchzuführen. In mindestens einer Ausführungsform ist das Computersystem 900 ein Einzelprozessor-Tischcomputer- oder Serversystem, jedoch kann das Computersystem 900 in einer anderen Ausführungsform ein Mehrprozessorsystem sein. In mindestens einer Ausführungsform kann der Prozessor 902 ohne Einschränkung einen Complex Instruction Set Computer („CISC“) Mikroprozessor, einen Reduced Instruction Set Computer („RISC“) Mikroprozessor, einen Very Long Instruction Word („VLIW“) Mikroprozessor, einen Prozessor, der eine Kombination von Anweisungssätzen implementiert, oder irgendeine andere Prozessorvorrichtung, wie beispielsweise einen digitalen Signalprozessor umfassen. In mindestens einer Ausführungsform kann der Prozessor 902 mit einem Prozessorbus 910 gekoppelt sein, der Datensignale zwischen dem Prozessor 902 und anderen Komponenten im Computersystem 900 übertragen kann.
In mindestens einer Ausführungsform kann der Prozessor 902 ohne Einschränkung einen Level 1 („L1“) internen Cache-Speicher („Cache“) 904 enthalten. In mindestens einer Ausführungsform kann der Prozessor 902 einen einzelnen internen Cache oder mehrere Level des internen Cache aufweisen. In mindestens einer Ausführungsform kann sich der Cache-Speicher außerhalb des Prozessors 902 befinden. Andere Ausführungsformen können auch eine Kombination aus sowohl internen als auch externen Caches umfassen, abhängig von der besonderen Implementierung und den Anforderungen. In mindestens einer Ausführungsform kann die Registerdatei 906 unterschiedliche Arten von Daten in verschiedenen Registern speichern, einschließlich ohne Einschränkung Ganzzahlregister, Gleitkommaregister, Statusregister und Befehlszeigerregister.
In mindestens einer Ausführungsform befindet sich die Ausführungseinheit 908, die ohne Einschränkung eine Logik zum Durchführen von Ganzzahl- und Gleitkommaoperationen aufweist, ebenfalls im Prozessor 902. In mindestens einer Ausführungsform kann der Prozessor 902 auch einen Mikrocode- („ucode“) Nur-Lese-Speicher („ROM“) aufweisen, der Mikrocode für bestimmte Makrobefehle speichert. In mindestens einer Ausführungsform kann die Ausführungseinheit 908 Logik zum Handhaben eines gepackten Befehlssatzes 909 enthalten. Indem in mindestens einer Ausführungsform der gepackte Befehlssatz 909 in einen Befehlssatz eines Allzweckprozessors 902 samt den zugehörigen Schaltungen enthalten ist, um Befehle auszuführen, können Operationen, die durch viele Multimedia-Anwendungen verwendet werden, unter Verwendung von gepackten Daten in einem Allzweckprozessor 902 ausgeführt werden. In einer oder mehreren Ausführungsformen können viele Multimedia-Anwendungen beschleunigt und effizienter ausgeführt werden, indem die volle Breite eines Datenbusses eines Prozessors zum Ausführen von Operationen an gepackten Daten verwendet wird, was die Notwendigkeit beseitigen kann, kleinere Dateneinheiten über den Datenbus des Prozessors zu übertragen, um eine oder mehrere Operationen für jeweils ein Datenelement auszuführen.
In mindestens einer Ausführungsform kann die Ausführungseinheit 908 auch in Mikrocontrollern, eingebetteten Prozessoren, Grafikvorrichtungen, DSPs und anderen Arten von Logikschaltungen verwendet werden. In mindestens einer Ausführungsform kann das Computersystem 900 ohne Einschränkung einen Speicher 920 enthalten. In mindestens einer Ausführungsform kann der Speicher 920 als eine dynamische Direktzugriffsspeicher-(„DRAM“) Vorrichtung, eine statische Direktzugriffsspeicher- („SRAM“) Vorrichtung, Flash-Speichervorrichtung oder andere Speichervorrichtung implementiert sein. In mindestens einer Ausführungsform kann der Speicher 920 Anweisung(en) 919 und/oder Daten 921 speichern, die durch Datensignale dargestellt werden, die durch den Prozessor 902 ausgeführt werden können.
In mindestens einer Ausführungsform kann ein Systemlogikchip mit dem Prozessorbus 910 und dem Speicher 920 gekoppelt sein. In mindestens einer Ausführungsform kann der Systemlogikchip ohne Einschränkung einen Speichercontroller-Hub („MCH“) 916 aufweisen, und der Prozessor 902 kann mit dem MCH 916 über den Prozessorbus 910 kommunizieren. In mindestens einer Ausführungsform kann der MCH 916 einen Speicherweg 918 mit hoher Bandbreite 918 zum Speicher 920 zur Befehls- und Datenspeicherung und zur Speicherung von Grafikbefehlen, Daten und Texturen bereitstellen. In mindestens einer Ausführungsform kann der MCH Datensignale zwischen dem Prozessor 902, dem Speicher 920 und anderen Komponenten im Computersystem 900 leiten und Datensignale zwischen dem Prozessorbus 910, dem Speicher 920 und einer System-I/O 922 überbrücken. In mindestens einer Ausführungsform kann der Systemlogikchip einer Grafikport für zur Kopplung mit einem Grafikcontroller bereitstellen. In mindestens einer Ausführungsform kann der MCH mit dem Speicher 920 durch einen Speicherweg 918 mit hoher Bandbreite 918 gekoppelt sein, und eine Grafik-/Videokarte 912 kann mit dem MCH 916 durch eine Accelerated Graphics Port („AGP“) Zusammenschaltung 914 gekoppelt sein.
In mindestens einer Ausführungsform kann das Computersystem 900 die System-I/O 922 verwenden, die ein proprietärer Hub-Schnittstellenbus ist, um den MCH 916 mit dem I/O-Controller-Hub („ICH“) 930 zu koppeln. In mindestens einer Ausführungsform kann der ICH 930 direkte Verbindungen mit einigen I/O Vorrichtungen über einen lokalen I/O-Bus bereitstellen. In mindestens einer Ausführungsform kann der lokale I/O-Bus ohne Einschränkung einen Hochgeschwindigkeits-I/O-Bus zum Verbinden von Peripheriegeräten mit dem Speicher 920, dem Chipsatz und dem Prozessor 902 aufweisen. Beispiele können ohne Einschränkung einen Audiocontroller 929, einen Firmware-Hub („Flash-BIOS“) 928, einen drahtlosen Transceiver 926, einen Datenspeicher 924, einen Alt-I/O-Controller 923, der Benutzereingabe- und Tastaturschnittstellen 925 enthält, einen seriellen Erweiterungsport 927, wie einen Universal Serial Bus („USB“) und einen Netzwerkcontroller 934 umfassen. Der Datenspeicher 924 kann ein Festplattenlaufwerk, ein Diskettenlaufwerk, eine CD-ROM-Vorrichtung, eine Flash-Speichervorrichtung oder andere Massenspeichervorrichtung aufweisen.
In mindestens einer Ausführungsform stellt 9 ein System dar, das zusammengeschaltete Hardware-Vorrichtungen oder „Chips“ umfasst, wohingegen in anderen Ausführungsformen 9 einen exemplarischen System-on-a-Chip („SoC“) darstellen kann. In mindestens einer Ausführungsform können Vorrichtungen mit proprietären Zusammenschaltungen, standardisierten Zusammenschaltungen (z.B. PCIe) oder einer Kombination davon zusammengeschaltet sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten des Computersystems 900 unter Verwendung von Compute Express Link (CXL) Zusammenschaltungen zusammengeschaltet.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen verknüpft sind. Details hinsichtlich der Inferenz- und/oder Trainingslogik 715 werden unten in Verbindung mit den 7A und/oder 7B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im System der 9 für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern beruhen, die unter Verwendung von Trainingsoperationen eines neuronalen Netzwerks, Funktionen und/oder Architekturen eines neuronalen Netzwerks oder hierin beschriebenen Anwendungsfällen eines neuronalen Netzwerks berechnet werden.
Solche Komponenten können verwendet werden, um verbesserten Inhalt zu erzeugen, wie Bild- oder Videoinhalt mit hochskalierter Auflösung, reduziertem Vorhandensein von Artefakten und Verbesserung der visuellen Qualität.
10 ist ein Blockdiagramm, das eine elektronische Vorrichtung 1000 zur Nutzung eines Prozessors 1010 gemäß mindestens einer Ausführungsform darstellt. In mindestens einer Ausführungsform kann die elektronische Vorrichtung 1000 beispielsweise und ohne Einschränkung ein Notebook, ein Tower-Server, ein Rack-Server, ein Blade-Server, ein Laptop, ein Tischcomputer, ein Tablet, eine mobile Vorrichtung, ein Telefon, ein eingebetteter Computer oder jede andere geeignete elektronische Vorrichtung sein.
In mindestens einer Ausführungsform kann das System 1000 ohne Einschränkung einen Prozessor 1010 umfassen, der kommunikativ mit einer beliebigen geeigneten Anzahl oder Art von Komponenten, Peripheriegeräten, Modulen oder Vorrichtungen gekoppelt ist. In mindestens einer Ausführungsform ist der Prozessor 1010 unter Verwendung eines Busses oder einer Schnittstelle gekoppelt, wie einen I²C-Bus, einen System Management Bus („SMBus“), einen Low Pin Count (LPC) Bus, einer Serial Peripheral Interface („SPI“), einen High Definition Audio („HDA“) Bus, eine Serial Advance Technology Attachment („SATA“) Bus, einen Universal Serial Bus („USB“) (Versionen 1, 2, 3) oder einen Universal Asynchronous Receiver/Transmitter („UART“) Bus. In mindestens einer Ausführungsform stellt 10 ein System dar, das zusammengeschaltete Hardware-Vorrichtungen oder „Chips“ umfasst, wohingegen in anderen Ausführungsformen 10 einen exemplarischen System-on-a-Chip („SoC“) darstellen kann. In mindestens einer Ausführungsform können in 10 dargestellte Vorrichtungen mit proprietären Zusammenschaltungen, standardisierten Zusammenschaltungen (z.B. PCIe) oder einer Kombination davon zusammengeschaltet sein. In mindestens einer Ausführungsform sind eine oder mehrere Komponenten der 10 unter Verwendung von Compute Express Link (CXL) Zusammenschaltungen zusammengeschaltet.
In mindestens einer Ausführungsform kann 10 eine Anzeige 1024, einen Berührungsbildschirm 1025, ein Touchpad 1030, eine Near Field Communications Einheit („NFC“) 1045, einen Sensor-Hub 1040, einen Temperatursensor 1046, einen Express Chipset („EC“) 1035, ein Trusted Platform Module („TPM“) 1038, einen BIOS/Firmware/Flash-Speicher („BIOS, FW Flash“) 1022, einen DSP 1060, ein Laufwerk 1020 wie eine Solid State Disk („SSD“) oder ein Festplattenlaufwerk („HDD“), eine drahtlose lokale Netzwerkeinheit („WLAN“) 1050, eine Bluetooth-Einheit 1052, eine drahtlose Weitverkehrsnetzwerkeinheit („WWAN“) 1056, ein globales Positionsbestimmungssystem (GPS) 1055, eine Kamera („USB 3.0 Kamera“) 1054 wie eine USB 3.0 Kamera, und/oder eine Low Power Double Data Rate („LPDDR“) Speichereinheit („LPDDR3“) 1015 umfassen, die beispielsweise im LPDDR3-Standard implementiert ist. Diese Komponenten können jeweils auf jede geeignete Weise implementiert werden.
In mindestens einer Ausführungsform können andere Komponenten durch oben erläuterte Komponenten kommunikativ mit dem Prozessor 1010 gekoppelt sein. In mindestens einer Ausführungsform können ein Beschleunigungsmesser 1041, ein Umgebungslichtsensor („ALS“) 1042, ein Kompass 1043 und ein Gyroskop 1044 kommunikativ mit dem Sensor-Hub 1040 gekoppelt sein. In mindestens einer Ausführungsform können der Temperatursensor 1039, ein Ventilator 1037, eine Tastatur 1046 und ein Touchpad 1030 kommunikativ mit dem EC 1035 gekoppelt sein. In mindestens einer Ausführungsform können ein Lautsprecher 1063, ein Kopfhörer 1064 und ein Mikrofon („Mic“) 1065 kommunikativ mit einer Audioeinheit („Audio-Codec und Class D Amp“) 1062 gekoppelt sein, die wiederum kommunikativ mit dem DSP 1060 gekoppelt sein kann. In mindestens einer Ausführungsform kann die Audioeinheit 1064 beispielsweise und ohne Einschränkung einen Audiocodierer/-decodierer („Codec“) und einen Klasse-D-Verstärker umfassen. In mindestens einer Ausführungsform kann eine SIM-Karte („SIM“) 1057 kommunikativ mit der WWAN-Einheit 1056 gekoppelt sein. In mindestens einer Ausführungsform können Komponenten wie die WLAN-Einheit 1050 und die Bluetooth-Einheit 1052, sowie die WWAN-Einheit 1056 in einem Next Generation Form Factor („NGFF“) implementiert sein.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen verknüpft sind. Details hinsichtlich der Inferenz- und/oder Trainingslogik 715 werden unten in Verbindung mit den 7A und/oder 7B bereitgestellt. In mindestens einer Ausführungsform kann die Inferenz- und/oder Trainingslogik 715 im System der 10 für Inferenz- oder Vorhersageoperationen verwendet werden, die mindestens teilweise auf Gewichtsparametern beruhen, die unter Verwendung von Trainingsoperationen eines neuronalen Netzwerks, Funktionen und/oder Architekturen eines neuronalen Netzwerks oder hierin beschriebenen Anwendungsfällen eines neuronalen Netzwerks berechnet werden.
Solche Komponenten können verwendet werden, um verbesserten Inhalt zu erzeugen, wie Bild- oder Videoinhalt mit hochskalierter Auflösung, reduziertem Vorhandensein von Artefakten und Verbesserung der visuellen Qualität.
11 ist ein Blockdiagramm eines Verarbeitungssystems gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform enthält das System 1100 einen oder mehrere Prozessoren 1102 und einen oder mehrere Grafikprozessoren 1108, und kann ein Einzelprozessor-Desktopsystem, ein Multiprozessor-Workstationsystem oder ein Serversystem mit einer großen Anzahl von Prozessoren 1102 oder Prozessorkernen 1107 sein. In mindestens einer Ausführungsform ist das System 1100 ein Verarbeitungsplattform, die in einer integrierten System-on-a-Chip (SoC)-Schaltung zur Verwendung in mobilen, tragbaren oder eingebetteten Vorrichtungen enthalten ist.
In mindestens einer Ausführungsform kann das System 1100 eine serverbasierte Spieleplattform, eine Spielkonsole, einschließlich einer Spiel- und Medienkonsole, einer mobilen Spielkonsole, einer tragbaren Spielkonsole oder einer Online-Spielkonsole umfassen oder in dieser enthalten sein. In mindestens einer Ausführungsform ist das System 1100 ein Mobiltelefon, ein Smartphone, eine Tablet-Rechenvorrichtung oder eine mobile Internetvorrichtung. In mindestens einer Ausführungsform kann das Verarbeitungssystem 1100 auch eine tragbare Vorrichtung, wie eine tragbare Smartwatch-Vorrichtung, intelligente Brillenvorrichtung, eine Vorrichtung für eine erweiterte Realität oder eine Vorrichtung für eine virtuelle Realität umfassen, mit dieser gekoppelt oder darin integriert sein. In mindestens einer Ausführungsform ist das Verarbeitungssystem 1100 eine Fernseh- oder Set-Top-Box-Vorrichtung mit einem oder mehreren Prozessoren 1102 und einer grafischen Schnittstelle, die durch einen oder mehrere Grafikprozessoren 1108 erzeugt wird.
In mindestens einer Ausführungsform umfassen ein oder mehrere Prozessoren 1102 jeweils einen oder mehreren Prozessorkerne 1107 zum Verarbeiten von Anweisungen, die, wenn sie ausgeführt werden, Operationen für System- und Benutzersoftware ausführen. In mindestens einer Ausführungsform ist jeder des einen oder der mehreren Prozessorkerne 1107 konfiguriert, einen spezifischen Befehlssatz 1109 zu verarbeiten. In mindestens einer Ausführungsform kann der Befehlssatz 1109 Complex Instruction Set Computing (CISC), Reduced Instruction Set Computing (RISC) oder die Berechnung über eine Very Long Instruction Word (VLIW) erleichtern. In mindestens einer Ausführungsform können die Prozessorkerne 1107 jeweils einen anderen Befehlssatz 1109 verarbeiten, der Befehle enthalten kann, um die Emulation anderer Befehlssätze zu erleichtern. In mindestens einer Ausführungsform kann der Prozessorkern 1107 auch andere Verarbeitungsvorrichtungen umfassen, wie einen digitalen Signalprozessor (DSP).
In mindestens einer Ausführungsform weist der Prozessor 1102 einen Cache-Speicher 1104 auf. In mindestens einer Ausführungsform kann der Prozessor 1102 einen einzelnen internen Cache oder mehrere Level eines internen Cache aufweisen. In mindestens einer Ausführungsform wird der Cache-Speicher von verschiedenen Komponenten des Prozessors 1102 gemeinsam genutzt. In mindestens einer Ausführungsform verwendet der Prozessor 1102 auch einen externen Cache (z.B. einen Level-3-(L3-) Cache oder einen (nicht gezeigten) Last-Level-Cache (LLC)), der von den Prozessorkernen 1107 unter Verwendung bekannter Cache-Kohärenztechniken gemeinsam genutzt werden kann. In mindestens einer Ausführungsform ist die Registerdatei 1106 zusätzlich im Prozessor 1102 enthalten, die unterschiedliche Arten von Registern zum Speichern unterschiedlicher Datentypen (z.B. Ganzzahlregister, Gleitkommaregister, Statusregister und ein Befehlszeigerregister) umfassen kann. In mindestens einer Ausführungsform kann die Registerdatei 1106 Mehrzweckregister oder andere Register enthalten.
In mindestens einer Ausführungsform sind ein oder mehrere Prozessoren 1102 mit einem oder mehreren Schnittstellenbussen 1110 gekoppelt, um Kommunikationssignale wie Adress-, Daten- oder Steuersignale zwischen dem Prozessor 1102 und anderen Komponenten im System 1100 zu übertragen. In mindestens einer Ausführungsform kann der Schnittstellenbus 1110 in einer Ausführungsform ein Prozessorbus sein, wie beispielsweise eine Version eines Direct Media Interface (DMI)-Busses. In mindestens einer Ausführungsform ist die Schnittstelle 1110 nicht auf einen DMI-Bus beschränkt und kann einen oder mehrere Peripheral Component Interconnect-Busse (z.B. PCI, PCI Express), Speicherbusse oder andere Arten von Schnittstellenbussen umfassen. In mindestens einer Ausführungsform weist der Prozessor(en) 1102 einen integrierten Speichercontroller 1116 und einen Plattformcontroller-Hub 1130 auf. In mindestens einer Ausführungsform erleichtert der Speichercontroller 1116 die Kommunikation zwischen einer Speichervorrichtung und anderen Komponenten des Systems 1100, während der Plattformcontroller-Hub (PCH) 1130 Verbindungen mit I/O-Vorrichtungen über einen lokalen I/O-Bus bereitstellt.
In mindestens einer Ausführungsform kann die Speichervorrichtung 1120 eine dynamische Direktzugriffsspeicher- (DRAM) Vorrichtung, eine statische Direktzugriffsspeicher-(SRAM) Vorrichtung, eine Flash-Speichervorrichtung, eine Phasenänderungs-Speichervorrichtung oder eine andere Speichervorrichtung mit einer geeigneten Leistung sein, um als Prozessspeicher zu dienen. In mindestens einer Ausführungsform kann die Speichervorrichtung 1120 als Systemspeicher für das System 1100 arbeiten, um Daten 1122 und Anweisungen 1121 zur Verwendung zu speichern, wenn ein oder mehrere Prozessoren 1102 eine Anwendung oder einen Prozess ausführen. In mindestens einer Ausführungsform ist der Speichercontroller 1116 auch mit einem optionalen externen Grafikprozessor 1112 gekoppelt, der mit einem oder mehreren Grafikprozessoren 1108 in den Prozessoren 1102 kommunizieren kann, um Grafik- und Medienoperationen auszuführen. In mindestens einer Ausführungsform kann eine Anzeigevorrichtung 1111 mit dem/den Prozessor(en) 1102 verbunden sein. In mindestens einer Ausführungsform kann die Anzeigevorrichtung 1111 eine oder mehrere einer internen Anzeigevorrichtung, wie in einer mobilen elektronischen Vorrichtung oder einer Laptop-Vorrichtung oder einer externen Anzeigevorrichtung umfassen, die über eine Anzeigeschnittstelle (z.B. DisplayPort usw.) angeschlossen ist. In mindestens einer Ausführungsform kann die Anzeigevorrichtung eine am Kopf angebrachte Anzeige (HMD) wie eine stereoskopische Anzeigevorrichtung zur Verwendung in Anwendungen der virtuellen Realität (VR) oder Anwendungen der erweiterten Realität (AR) umfassen.
In mindestens einer Ausführungsform ermöglicht es der Plattformcontroller-Hub 1130 Peripheriegeräten, sich über einen Hochgeschwindigkeits-I/O-Bus mit der Speichervorrichtung 1120 und dem Prozessor 1102 zu verbinden. In mindestens einer Ausführungsform umfassen I/O-Peripheriegeräte einen Audiocontroller 1146, einen Netzwerkcontroller 1134, eine Firmware-Schnittstelle 1128, einen drahtlosen Transceiver 1126, Berührungssensoren 1125, eine Datenspeichervorrichtung 1124 (z.B. Festplattenlaufwerk, Flash-Speicher usw.), sind jedoch nicht darauf beschränkt. In mindestens einer Ausführungsform kann die Datenspeichervorrichtung 1124 über eine Speicherschnittstelle (z.B. SATA) oder über einen Peripheriebus, wie einen Peripheral Component Interconnect-Bus (z.B. PCI, PCI Express) verbunden sein. In mindestens einer Ausführungsform können Berührungssensoren 1125 Berührungsbildschirm-Sensoren, Drucksensoren oder Fingerabdrucksensoren umfassen. In mindestens einer Ausführungsform kann der drahtlose Transceiver 1126 ein Wi-Fi-Transceiver, ein Bluetooth-Transceiver oder ein Mobilfunknetz-Transceiver, wie ein 3G-, 4G- oder Long Term Evolution (LTE) Transceiver sein. In mindestens einer Ausführungsform ermöglicht die Firmware-Schnittstelle 1128 eine Kommunikation mit der Systemfirmware, und kann beispielsweise eine Unified Extensible Firmware Interface (UEFI) sein. In mindestens einer Ausführungsform kann der Netzwerkcontroller 1134 eine Netzwerkverbindung mit einem drahtgebundenen Netzwerk ermöglichen. In mindestens einer Ausführungsform ist ein (nicht gezeigter) Hochleistungs-Netzwerkcontroller mit dem Schnittstellenbus 1110 gekoppelt. In mindestens einer Ausführungsform ist der Audiocontroller 1146 ein Mehrkanal-High Definition Audiocontroller. In mindestens einer Ausführungsform enthält das System 1100 einen optionalen Alt-I/O-Controller 1140 zur Kopplung von veralteten (z.B. Personal System 2 (PS/2)) Vorrichtungen mit dem System. In mindestens einer Ausführungsform kann der PlattformController-Hub 1130 auch mit einem oder mehreren Universal Serial Bus (USB)-Controllern 1142 verbunden sein, die Eingabevorrichtungen, Kombinationen aus Tastatur und Maus 1143, eine Kamera 1144 oder andere USB-Eingabevorrichtungen verbinden.
In mindestens einer Ausführungsform kann eine Instanz des Speichercontrollers 1116 und des Plattformcontroller-Hubs 1130 in einen diskreten externen Grafikprozessor, wie den externen Grafikprozessor 1112 integriert sein. In mindestens einer Ausführungsform können sich der Plattformcontroller-Hub 1130 und/oder der Speichercontroller 1116 außerhalb von einem oder mehreren Prozessoren 1102 befinden. Beispielsweise kann in mindestens einer Ausführungsform das System 1100 einen externen Speichercontroller 1116 und Plattformcontroller-Hub 1130 enthalten, die als ein Speichercontroller-Hub und Peripheriecontroller-Hub innerhalb eines System-Chipsatzes konfiguriert sein können, der mit dem/den Prozessor(en) 1102 in Verbindung steht.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen verknüpft sind. Details hinsichtlich der Inferenz- und/oder Trainingslogik 715 werden unten in Verbindung mit den 7A und/oder 7B bereitgestellt. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 715 im Grafikprozessor 1500 enthalten sein. Beispielsweise können in mindestens einer Ausführungsform die hierin beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere ALUs verwenden, die in einem Grafikprozessor ausgeführt sind. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenz- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in den 7A oder 7B dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtsparameter in einem (gezeigten oder nicht gezeigten) Speicher und/oder Registern auf dem Chip oder außerhalb des Chips gespeichert werden, die ALUs eines Grafikprozessors konfigurieren, eine oder mehrere maschinelle Lernalgorithmen, neuronale Netzwerkarchitekturen, Anwendungsfälle oder Trainingstechniken durchzuführen, die hierin beschrieben werden.
Solche Komponenten können verwendet werden, um verbesserten Inhalt zu erzeugen, wie Bild- oder Videoinhalt mit hochskalierter Auflösung, reduziertem Vorhandensein von Artefakten und Verbesserung der visuellen Qualität.
12 ist ein Blockdiagramm eines Prozessors 1200 mit einem oder mehreren Prozessorkernen 1202A-1202N, einem integrierten Speichercontroller 1214 und einem integrierten Grafikprozessor 1208, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozessor 1200 zusätzliche Kerne bis zu einschließlich den zusätzlichen Kern 1202N enthalten, die durch gestrichelt linierte Kästen dargestellt werden. In mindestens einer Ausführungsform weist jeder der Prozessorkerne 1202A-1202N eine oder mehrere interne Cache-Einheiten 1204A-1204N auf. In mindestens einer Ausführungsform hat jeder Prozessorkern auch Zugriff auf eine oder mehrere gemeinsam genutzte Cache-Einheiten 1206.
In mindestens einer Ausführungsform stellen interne Cache-Einheiten 1204A-1204N und gemeinsam genutzte Cache-Einheiten 1206 eine Cache-Speicherhierarchie innerhalb Prozessor 1200 dar. In mindestens einer Ausführungsform können Cache-Speichereinheiten 1204A-1204N mindestens einen Level eines Anweisungs- und Daten-Cache innerhalb jedes Prozessorkerns und einen oder mehrere Level eines gemeinsam genutzten Cache eines mittleren Levels aufweisen, wie einen Level 2 (L2), Level 3 (L3), Level 4 (L4) oder andere Cache-Level, wobei der höchste Cache-Level vor dem externen Speicher als LLC klassifiziert wird. In mindestens einer Ausführungsform erhält eine Cache-Kohärenzlogik die Kohärenz zwischen verschiedene Cache-Einheiten 1206 und 1204A-1204N aufrecht.
In mindestens einer Ausführungsform kann der Prozessor 1200 auch einen Satz von einer oder mehrere Buscontrollereinheiten 1216 und einen Systemagentenkern 1210 aufweisen. In mindestens einer Ausführungsform verwalten eine oder mehrere Buscontrollereinheiten 1216 einen Satz von Peripheriebussen, wie einen oder mehrere PCI- oder PCI express-Busse. In mindestens einer Ausführungsform stellt der Systemagentenkern 1210 eine Verwaltungsfunktionalität für verschiedene Prozessorkomponenten bereit. In mindestens einer Ausführungsform enthält der Systemagentenkern 1210 einen oder mehrere integrierte Speichercontroller 1214, um den Zugriff auf verschiedene (nicht gezeigte) externen Speichervorrichtungen zu verwalten.
In mindestens einer Ausführungsform enthalten ein oder mehrere Prozessorkerne 1202A-1202N eine Unterstützung für simultanes Multithreading. In mindestens einer Ausführungsform enthält der Systemagentenkern 1210 Komponenten zum Koordinieren und Betreiben der Kerne 1202A - 1202N während einer Multithread-Verarbeitung. In mindestens einer Ausführungsform kann der Systemagentenkern 1210 zusätzlich eine Leistungssteuereinheit (PCU) enthalten, die eine Logik und Komponenten enthält, um einen oder mehrere Leistungszustände der Prozessorkerne 1202A-1202N und des Grafikprozessor 1208 zu regeln.
In mindestens einer Ausführungsform enthält der Prozessor 1200 zusätzlich den Grafikprozessor 1208, um Grafikverarbeitungsoperationen auszuführen. In mindestens einer Ausführungsform ist der Grafikprozessor 1208 mit den gemeinsam genutzten Cache-Einheiten 1206 und dem Systemagentenkern 1210 gekoppelt, einschließlich einem oder mehreren integrierten Speichercontrollern 1214. In mindestens einer Ausführungsform enthält der Systemagentenkern 1210 auch einen Anzeigecontroller 1211 zum Ansteuern der Grafikprozessorausgabe an eine oder mehrere gekoppelte Anzeigen. In mindestens einer Ausführungsform kann der Anzeigecontroller 1211 auch ein getrenntes Modul sein, das mit dem Grafikprozessor 1208 über mindestens eine Zusammenschaltung gekoppelt ist, oder kann in den Grafikprozessor 1208 integriert sein.
In mindestens einer Ausführungsform wird eine ringbasierte Zusammenschaltungseinheit 1212 verwendet, um interne Komponenten des Prozessors 1200 zu koppeln. In mindestens einer Ausführungsform kann eine alternative Zusammenschaltungseinheit verwendet werden, wie eine Punkt-zu-Punkt-Zusammenschaltung, eine vermittelte Zusammenschaltung oder andere Techniken. In mindestens einer Ausführungsform ist der Grafikprozessor 1208 mit der Ring-Zusammenschaltung 1212 über einen I/O-Link 1213 gekoppelt.
In mindestens einer Ausführungsform stellt der I/O-Link 1213 mindestens eine von mehreren Arten von I/O-Zusammenschaltungen dar, einschließlich einer gehäuseinternen I/O-Zusammenschaltung, die die Kommunikation zwischen verschiedenen Prozessorkomponenten und einem eingebetteten Hochleistungs-Speichermodul 1218, wie einem eDRAM-Modul erleichtert. In mindestens einer Ausführungsform verwenden jeder der Prozessorkerne 1202A-1202N und der Grafikprozessor 1208 die eingebetteten Speichermodule 1218 als einen gemeinsam genutzten Last Level Cache.
In mindestens einer Ausführungsform sind die Prozessorkerne 1202A-1202N homogene Kerne, die eine gemeinsame Befehlssatzarchitektur ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 1202A-1202N hinsichtlich der Befehlssatzarchitektur (ISA) heterogen, wobei einer oder mehrere der Prozessorkerne 1202A - 1202N einen gemeinsamen Befehlssatz ausführen, während ein oder mehrere andere Kerne der Prozessorkerne 1202A-1202N eine Teilmenge eines gemeinsamen Befehlssatzes oder einen anderen Befehlssatz ausführen. In mindestens einer Ausführungsform sind die Prozessorkerne 1202A-1202N hinsichtlich der Mikroarchitektur heterogen, wobei ein oder mehrere Kerne mit einem verhältnismäßig höheren Stromverbrauch mit einem oder mehreren Kernen mit einem niedrigeren Stromverbrauch gekoppelt sind. In mindestens einer Ausführungsform kann der Prozessor 1200 auf einem oder mehreren Chips oder als eine integrierte SoC-Schaltung implementiert sein.
Die Inferenz- und/oder Trainingslogik 715 wird verwendet, um Inferenz- und/oder Trainingsoperationen durchzuführen, die mit einer oder mehreren Ausführungsformen verknüpft sind. Details hinsichtlich der Inferenz- und/oder Trainingslogik 715 werden unten in Verbindung mit den 7A und/oder 7B bereitgestellt. In mindestens einer Ausführungsform können Abschnitte oder die gesamte Inferenz- und/oder Trainingslogik 715 im Prozessor 1200 enthalten sein. Beispielsweise können in mindestens einer Ausführungsform die hierin beschriebenen Trainings- und/oder Inferenztechniken eine oder mehrere ALUs verwenden, die im Grafikprozessor 1512, in dem oder den Grafikkern(en) 1202A-1202N oder anderen Komponenten in 12 ausgeführt sind. Darüber hinaus können in mindestens einer Ausführungsform die hierin beschriebenen Inferenz- und/oder Trainingsoperationen unter Verwendung einer anderen Logik als der in den 7A oder 7B dargestellten Logik durchgeführt werden. In mindestens einer Ausführungsform können Gewichtsparameter in einem (gezeigten oder nicht gezeigten) Speicher und/oder Registern auf dem Chip oder außerhalb des Chips gespeichert werden, die ALUs des Grafikprozessors 1200 konfigurieren, um eine oder mehrere maschinelle Lernalgorithmen, neuronale Netzwerkarchitekturen, Anwendungsfälle oder Trainingstechniken durchzuführen, die hierin beschrieben werden.
Solche Komponenten können verwendet werden, um verbesserten Inhalt zu erzeugen, wie Bild- oder Videoinhalt mit hochskalierter Auflösung, reduziertem Vorhandensein von Artefakten und Verbesserung der visuellen Qualität.
VIRTUALISIERTE RECHENPLATTFORM
13 ist ein beispielhaftes Datenflussdiagramm für einen Prozess 1300 zum Erzeugen und Einsetzen einer Bildverarbeitungs- und Inferenz-Pipeline gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann der Prozess 1300 zur Verwendung mit Bildgebungsvorrichtungen, Verarbeitungsvorrichtungen und/oder anderen Vorrichtungstypen in einer oder mehreren Einrichtungen 1302 eingesetzt werden. Der Prozess 1300 kann innerhalb eines Trainingssystems 1304 und/oder eines Einsatzsystems 1306 ausgeführt werden. In mindestens einer Ausführungsform kann das Trainingssystem 1304 verwendet werden, um das Training, den Einsatz und die Implementierung von maschinellen Lernmodellen (z.B. neuronalen Netzwerken, Objekterfassungsalgorithmen, Computersehalgorithmen usw.) zur Verwendung im Einsatzsystem 1306 durchzuführen. In mindestens einer Ausführungsform kann das Einsatzsystem 1306 konfiguriert sein, Verarbeitungs- und Rechenressourcen in einer verteilten Rechenumgebung auszulagern, um die Infrastrukturanforderungen an der Einrichtung 1302 zu reduzieren. In mindestens einer Ausführungsform können eine oder mehrere Anwendungen in einer Pipeline Dienste (z.B. Inferenz, Visualisierung, Berechnung, KI usw.) des Einsatzsystems 1306 während der Ausführung von Anwendungen verwenden oder aufrufen.
In mindestens einer Ausführungsform können einige der Anwendungen, die in fortschrittlichen Verarbeitungs- und Inferenz-Pipelines verwendet werden, maschinelle Lernmodelle oder andere KI verwenden, um einen oder mehrere Verarbeitungsschritte durchzuführen. In mindestens einer Ausführungsform können maschinelle Lernmodelle in der Einrichtung 1302 unter Verwendung von Daten 1308 (wie Bildgebungsdaten) trainiert werden, die in der Einrichtung 1302 erzeugt werden (und in einem oder mehreren Bildarchivierungs- und Kommunikationssystem- (PACS) Servern in der Einrichtung 1302 gespeichert werden), können unter Verwendung von Bildgebungs- oder Sequenzierungsdaten 1308 von einer anderen Einrichtung(en) trainiert werden oder eine Kombination davon. In mindestens einer Ausführungsform kann das Trainingssystem 1304 verwendet werden, um Anwendungen, Dienste und/oder andere Ressourcen zum Erzeugen von funktionierenden, einsetzbaren maschinellen Lernmodellen für das Einsatzsystem 1306 bereitzustellen.
In mindestens einer Ausführungsform kann das Modellregister 1324 durch einen Objektspeicher unterstützt werden, der Versionierung und Objektmetadaten unterstützen kann. In mindestens einer Ausführungsform kann der Objektspeicher durch beispielsweise eine mit einem Cloud-Speicher (z.B. Cloud 1426 der 14) kompatible Anwendungsprogrammierschnittstelle (API) von innerhalb einer Cloud-Plattform zugänglich sein. In mindestens einer Ausführungsform können maschinelle Lernmodelle innerhalb des Modellregisters 1324 durch Entwickler oder Partner eines Systems, das mit einer API interagiert, hochgeladen, aufgelistet, modifiziert oder gelöscht werden. In mindestens einer Ausführungsform kann eine API Zugriff auf Verfahren bereitstellen, die es Benutzern mit geeigneten Berechtigungen ermöglichen, Modelle mit Anwendungen zu verknüpfen, so dass Modelle als Teil der Ausführung von containerisierten Instanziierungen von Anwendungen ausgeführt werden können.
In mindestens einer Ausführungsform kann die Trainingspipeline 1404 (14) ein Szenario aufweisen, in dem die Einrichtung 1302 ihr eigenes maschinelles Lernmodell trainiert oder eine vorhandenes maschinelles Lernmodell aufweist, das optimiert oder aktualisiert werden muss. In mindestens einer Ausführungsform können Bildgebungsdaten 1308, die durch Bildgebungsvorrichtung(en), Sequenzierungsvorrichtungen und/oder andere Vorrichtungstypen erzeugt werden, empfangen werden. In mindestens einer Ausführungsform kann, sobald Bildgebungsdaten 1308 empfangen werden, eine KI-unterstützte Annotation 1310 verwendet werden, um beim Erzeugen von Annotationen zu helfen, die den Bildgebungsdaten 1308 entsprechen, die als Ground-Truth-Daten für ein maschinelles Lernmodell verwendet werden sollen. In mindestens einer Ausführungsform kann eine KI-unterstützte Annotation 1310 ein oder mehrere maschinelle Lernmodelle (z.B. neuronale Faltungsnetzwerke (CNNs)) umfassen, die trainiert werden können, Annotationen zu erzeugen, die bestimmten Arten von Bildgebungsdaten 1308 (z.B. aus bestimmten Vorrichtungen) entsprechen. In mindestens einer Ausführungsform können die KI-unterstützte Annotationen 1310 dann direkt verwendet werden, oder können unter Verwendung eines Annotationswerkzeugs angepasst oder feinabgestimmt werden, um Ground-Truth-Daten zu erzeugen. In mindestens einer Ausführungsform können KI-unterstützte Annotationen 1310, gekennzeichnete Klinikdaten 1312 oder eine Kombination davon als Ground-Truth-Daten zum Training eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform kann ein trainiertes maschinelles Lernmodell als Ausgabemodell 1316 bezeichnet werden, und kann durch das Einsatzsystem 1306 verwendet werden, wie hierin beschrieben.
In mindestens einer Ausführungsform kann die Trainingspipeline 1404 (14) ein Szenario aufweisen, in dem die Einrichtung 1302 ein maschinelles Lernmodell zur Verwendung bei der Ausführung einer oder mehrere Verarbeitungsaufgaben für eine oder mehrere Anwendungen im Einsatzsystem 1306 benötigt, jedoch die Einrichtung 1302 gegenwärtig vielleicht über kein solches maschinelles Lernmodell verfügt (oder über kein Modell verfügt, das für solche Zwecke optimiert, effizient oder effektiv ist). In mindestens einer Ausführungsform kann ein vorhandenes maschinelles Lernmodell aus einem Modellregister 1324 ausgewählt werden. In mindestens einer Ausführungsform kann das Modellregister 1324 maschinelle Lernmodelle enthalten, die trainiert sind, eine Vielfalt unterschiedlicher Inferenzaufgaben an Bildgebungsdaten auszuführen. In mindestens einer Ausführungsform können maschinelle Lernmodelle im Modellregister 1324 an Bildgebungsdaten aus anderen Einrichtungen als der Einrichtung 1302 (z.B. entfernt gelegenen Einrichtungen) trainiert worden sein. In mindestens einer Ausführungsform können maschinelle Lernmodelle an Bildgebungsdaten von einem Ort, zwei Orten oder einer beliebigen Anzahl von Orten trainiert worden sein. In mindestens einer Ausführungsform kann beim Training an Bildgebungsdaten von einem spezifischen Ort das Training an diesem Ort stattfinden, oder mindestens in einer Weise, die die Vertraulichkeit der Bildgebungsdaten schützt oder verhindert, dass die Bildgebungsdaten außer Haus übertragen werden. In mindestens einer Ausführungsform kann sobald ein Modell an einem Ort trainiert wird - oder teilweise trainiert wird - ein maschinelles Lernmodell zum Modellregister 1324 hinzugefügt werden. In mindestens einer Ausführungsform kann ein maschinelles Lernmodell dann an einer beliebigen Anzahl anderer Einrichtungen erneut trainiert oder aktualisiert werden, und ein erneut trainiertes oder aktualisiertes Modell kann im Modellregister 1324 verfügbar gemacht werden. In mindestens einer Ausführungsform kann ein maschinelles Lernmodell dann aus dem Modellregister 1324 ausgewählt - und als Ausgabemodell 1316 bezeichnet werden - und kann im Einsatzsystem 1306 verwendet werden, um eine oder mehrere Verarbeitungsaufgaben für eine oder mehrere Anwendungen eines Einsatzsystems auszuführen.
In mindestens einer Ausführungsform kann die Trainingspipeline 1404 (14) ein Szenario umfassen, dass die Einrichtung 1302 ein maschinelles Lernmodell zur Verwendung bei der Ausführung einer oder mehrerer Verarbeitungsaufgaben für eine oder mehrere Anwendungen in Einsatzsystem 1306 benötigt, jedoch die Einrichtung 1302 gegenwärtig vielleicht über kein solches maschinelles Lernmodell verfügt (oder über kein Modell verfügt, das für solche Zwecke optimiert, effizient oder effektiv ist). In mindestens einer Ausführungsform kann ein aus dem Modellregister 1324 ausgewähltes maschinelles Lernmodell für Bildgebungsdaten 1308, die in der Einrichtung 1302 erzeugt werden, aufgrund von Differenzen der Populationen, Robustheit der verwendeten Trainingsdaten, um ein maschinelles Lernmodell zu trainieren, Vielfalt der Anomalien der Trainingsdaten und/oder anderer Probleme mit den Trainingsdaten nicht feinabgestimmt oder optimiert werden. In mindestens einer Ausführungsform kann die KI-unterstützte Annotation 1310 verwendet werden, um beim Erzeugen von Annotationen zu helfen, die den Bildgebungsdaten 1308 entsprechen, die als Ground-Truth-Daten zum erneuten Trainieren oder Aktualisieren eines maschinellen Lernmodells verwendet werden sollen. In mindestens einer Ausführungsform können gekennzeichnete Daten 1312 als Ground-Truth-Daten zum Training eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform kann das erneute Trainieren oder Aktualisieren eines maschinellen Lernmodells als Modelltraining 1314 bezeichnet werden. In mindestens einer Ausführungsform kann das Modelltraining 1314 - z.B. KI-unterstützte Annotationen 1310, gekennzeichnete Klinikdaten 1312 oder eine Kombination davon - als Ground-Truth-Daten zum erneuten Trainieren oder Aktualisieren eines maschinellen Lernmodells verwendet werden. In mindestens einer Ausführungsform kann ein trainiertes maschinelles Lernmodell als Ausgabemodell 1316 bezeichnet werden, und kann durch das Einsatzsystem 1306 verwendet werden, wie hierin beschrieben.
In mindestens einer Ausführungsform kann das Einsatzsystem 1306 Software 1318, Dienste 1320, Hardware 1322 und/oder andere Komponenten, Merkmale und Funktionalität umfassen. In mindestens einer Ausführungsform kann das Einsatzsystem 1306 einen Software-„Stapel“ aufweisen, so dass die Software 1318 auf den Diensten 1320 aufgebaut werden kann und die Dienste 1320 verwenden kann, um einige oder alle Verarbeitungsaufgaben auszuführen, und die Dienste 1320 und die Software 1318 können auf die Hardware 1322 aufgebaut werden und die Hardware 1322 verwenden, um die Verarbeitung, Speicherung und/oder andere Rechenaufgaben des Einsatzsystems 1306 auszuführen. In mindestens einer Ausführungsform kann die Software 1318 eine beliebige Anzahl von unterschiedlichen Containern aufweisen, wobei jeder Container eine Instanziierung einer Anwendung ausführen kann. In mindestens einer Ausführungsform kann jede Anwendung eine oder mehrere Verarbeitungsaufgaben in einer fortschrittlichen Verarbeitungs- und Inferenz-Pipeline ausführen (z.B. Inferenzierung, Objekterfassung, Merkmalserfassung, Segmentierung, Bildverbesserung, Kalibrierung usw.). In mindestens einer Ausführungsform kann eine fortschrittliche Verarbeitungs- und Inferenz-Pipeline beruhend auf Auswahlen von unterschiedlichen Containern definiert werden, die zur Verarbeitung der Bildgebungsdaten 1308 erwünscht oder erforderlich sind, zusätzlich zu Containern, die Bildgebungsdaten zur Verwendung durch jeden Container und/oder zur Verwendung durch die Einrichtung 1302 nach der Verarbeitung durch eine Pipeline empfangen und konfigurieren (z.B. um Ausgaben zurück in einen verwendbaren Datentyp umzuwandeln). In mindestens einer Ausführungsform kann eine Kombination von Containern innerhalb der Software 1318 (die z.B. eine Pipeline bilden) als ein virtuelles Instrument bezeichnet werden (wie hierin detaillierter beschrieben), und ein virtuelles Instrument kann die Dienste 1320 und die Hardware 1322 wirksam einsetzen, um einige oder alle Verarbeitungsaufgaben der in den Containern instanziierten Anwendungen auszuführen.
In mindestens einer Ausführungsform kann eine Datenverarbeitungspipeline Eingabedaten (z.B. Bildgebungsdaten 1308) in einem spezifischen Format als Reaktion auf eine Inferenzanfrage (z.B. eine Anfrage von einem Benutzer des Einsatzsystems 1306) empfangen. In mindestens einer Ausführungsform können Eingabedaten für ein oder mehrere Bilder, Videos und/oder andere Datendarstellungen repräsentativ sein, die durch eine oder mehrere Bildgebungsvorrichtungen erzeugt werden. In mindestens einer Ausführungsform können Daten als Teil einer Datenverarbeitungspipeline einer Vorverarbeitung unterzogen werden, um Daten für die Verarbeitung durch eine oder mehrere Anwendungen vorzubereiten. In mindestens einer Ausführungsform kann eine Nachverarbeitung an einer Ausgabe einer oder mehrerer Inferenzierungsaufgaben oder anderer Verarbeitungsaufgaben einer Pipeline durchgeführt werden, um Ausgabedaten für eine nächsten Anwendung vorzubereiten und/oder Ausgabedaten zur Übertragung und/oder Verwendung durch einen Benutzer vorzubereiten (z.B. als Antwort auf eine Inferenzanfrage). In mindestens einer Ausführungsform können Inferenzierungsaufgaben durch eine oder mehrere maschinelle Lernmodelle ausgeführt werden, wie trainierte oder eingesetzte neuronale Netzwerke, die Ausgabemodelle 1316 des Trainingssystems 1304 umfassen können.
In mindestens einer Ausführungsform können Aufgaben der Datenverarbeitungspipeline in einem oder mehreren Containern eingekapselt sein, die jeweils eine diskrete, voll funktionsfähige Instanziierung einer Anwendung und einer virtualisierten Rechenumgebung darstellen, die imstande ist, maschinelle Lernmodelle zu referenzieren. In mindestens einer Ausführungsform können Container oder Anwendungen in einem privaten Bereich (mit z.B. eingeschränktem Zugriff) eines Containerregisters veröffentlicht werden (das hierin detaillierter beschrieben wird), und trainierte oder eingesetzte Modelle können im Modellregister 1324 gespeichert und mit einer oder mehreren Anwendungen verknüpft werden. In mindestens einer Ausführungsform können Bilder von Anwendungen (z.B. Containerbilder) in einem Containerregister verfügbar sein, und sobald es durch einen Benutzer aus einem Containerregister zum Einsatz in einer Pipeline ausgewählt worden ist, kann ein Bild verwendet werden, um einen Container für eine Instanziierung einer Anwendung zur Verwendung durch das System eines Benutzers zu erzeugen.
In mindestens einer Ausführungsform können Entwickler (z.B. Softwareentwickler, Kliniker, Ärzte usw.) Anwendungen (z.B. als Container) zum Durchführen einer Bildverarbeitung und/oder einer Inferenzierung an gelieferten Daten entwickeln, veröffentlichen und speichern. In mindestens einer Ausführungsform kann die Entwicklung, Veröffentlichung und/oder Speicherung unter Verwendung eines Software Development Kit (SDK) durchgeführt werden, das mit einem System verknüpft ist (um z.B. sicherzustellen, dass eine entwickelte Anwendung und/oder ein entwickelter Container einem System entspricht oder damit kompatibel ist). In mindestens einer Ausführungsform kann eine Anwendung, die entwickelt wird, lokal (z.B. in einer ersten Einrichtung, an Daten aus einer ersten Einrichtung) mit einem SDK getestet werden, das mindestens einige der Dienste 1320 als System (z.B. das System 1400 der 14) unterstützen kann. Da DICOM-Objekte irgendwo zwischen einem bis zu Hunderten Bildern oder andere Datentypen enthalten können, und aufgrund einer Variation der Daten kann in mindestens einer Ausführungsform ein Entwickler für die Verwaltung (z.B. das Errichten von Konstrukten für oder das Einbauen einer Vorverarbeitung in eine Anwendung usw.) die Extraktion und Vorbereitung eingehender Daten verantwortlich sein. In mindestens einer Ausführungsform kann eine Anwendung, sobald sie durch das System 1400 (z.B. auf Genauigkeit) überprüft worden ist, in einem Containerregister zur Auswahl und/oder Implementierung durch einen Benutzer verfügbar sein, um eine oder mehrere Verarbeitungsaufgaben in Bezug auf Daten in einer Einrichtung (z.B. einer zweiten Einrichtung) eines Benutzers auszuführen.
In mindestens einer Ausführungsform können Entwickler dann Anwendungen oder Container durch ein Netzwerk zum Zugriff und zur Verwendung durch Benutzer eines Systems (z.B. des Systems 1400 der 14) gemeinsam nutzen. In mindestens einer Ausführungsform können abgeschlossene und geprüfte Anwendungen oder Container in einem Containerregister gespeichert werden, und zugehörige maschinelle Lernmodelle können im Modellregister 1324 gespeichert werden. In mindestens einer Ausführungsform kann eine anfragende Einrichtung - die eine Inferenz- oder Bildverarbeitungsanfrage bereitstellt - ein Containerregister und/oder Modellregister 1324 für eine Anwendung, einen Container, einen Datensatz, ein maschinelles Lernmodell usw. durchsuchen, eine gewünschte Kombination von Elementen zur Einbeziehung in die Datenverarbeitungspipeline auswählen und eine Bildverarbeitungsanforderung einreichen. In mindestens einer Ausführungsform kann eine Anfrage Eingabedaten (und in einigen Beispielen zugehörige Patientendaten) enthalten, die notwendig sind, um eine Anfrage durchzuführen, und/oder kann eine Auswahl von Anwendungen und/oder maschinellen Lernmodellen enthalten, die bei der Verarbeitung einer Anfrage ausgeführt werden sollen. In mindestens einer Ausführungsform kann dann eine Anfrage an eine oder mehrere Komponenten des Einsatzsystems 1306 (z.B. eine Cloud) weitergeleitet werden, um eine Verarbeitung der Datenverarbeitungspipeline durchzuführen. In mindestens einer Ausführungsform kann die Verarbeitung durch das Einsatzsystem 1306 das Referenzieren ausgewählter Elemente (z.B. Anwendungen, Container, Modelle usw.) aus einem Containerregister und/oder Modellregister 1324 umfassen. Sobald Ergebnisse durch eine Pipeline erzeugt worden sind, können in mindestens einer Ausführungsform die Ergebnisse an einen Benutzer zur Bezugnahme zurückgeschickt werden (z.B. zur Betrachtung in einer Betrachtungsanwendungsansammlung die auf einer lokalen Workstation vor Ort oder Endgerät ausgeführt wird).
In mindestens einer Ausführungsform können Dienste 1320 wirksam eingesetzt werden, um bei der Verarbeitung oder Ausführung von Anwendungen oder Containern in Pipelines zu helfen. In mindestens einer Ausführungsform können die Dienste 1320 Rechendienste, Dienste künstlicher Intelligenz (KI), Visualisierungsdienste und/oder andere Diensttypen umfassen. In mindestens einer Ausführungsform können Dienste 1320 eine Funktionalität bereitstellen, die einer oder mehreren Anwendungen in der Software 1318 gemeinsam ist, so dass die Funktionalität zu einem Dienst abgesondert werden kann, der von Anwendungen aufgerufen oder wirksam eingesetzt werden kann. In mindestens einer Ausführungsform kann die von den Diensten 1320 bereitgestellte Funktionalität dynamisch und effizienter ausgeführt werden, während sie auch gut skaliert werden kann, indem Anwendungen ermöglicht wird, Daten parallel zu verarbeiten (z.B. unter Verwendung einer parallelen Berechnungsplattform 1430 (14)). In mindestens einer Ausführungsform kann der Dienst 1320 zwischen und unter verschiedenen Anwendungen gemeinsam genutzt werden, anstatt es erforderlich ist, dass jede Anwendung, die eine selbe durch einen Dienst 1320 angebotene Funktionalität gemeinsam nutzt, eine jeweilige Instanz des Dienstes 1320 aufweist. In mindestens einer Ausführungsform können Dienste als nicht einschränkende Beispiele einen Inferenzserver oder -Engine aufweisen, der zum Ausführen von Erfassungs- oder Segmentierungsaufgaben verwendet werden kann. In mindestens einer Ausführungsform kann ein Modelltrainingsdienst enthalten sein, der Fähigkeiten zum Training und/oder erneuten Training eines maschinellen Lernmodells bereitstellen kann. In mindestens einer Ausführungsform kann ferner ein Datenerweiterungsdienst enthalten sein, der eine GPUbeschleunigte Extraktion, Größenänderung, Skalierung und/oder andere Erweiterung von Daten (z.B. DICOM, RIS, CIS, REST-konform, RPC, Roh usw.) bereitstellen kann. In mindestens einer Ausführungsform kann ein Visualisierungsdienst verwendet werden, der Bildrenderingeffekte hinzufügen kann - wie Raytracing, Rasterung, Entrauschen, Schärfung usw. - um zweidimensionalen (2D) und/oder dreidimensionalen (3D) Modellen Realismus hinzuzufügen. In mindestens einer Ausführungsform können virtuelle Instrumentendienste enthalten sein, die für Strahlformung, Segmentierung, Inferenzbildung, Bildgebung und/oder Unterstützung für andere Anwendungen innerhalb von Pipelines virtueller Instrumente sorgen.
In mindestens einer Ausführungsform, in der ein Dienst 1320 einen KI-Dienst (z.B. einen Inferenzdienst) umfasst, können ein oder mehrere maschinelle Lernmodelle ausgeführt werden, indem (z.B. als API-Aufruf) ein Inferenzdienst (z.B. ein Inferenzserver) aufgerufen wird, um ein oder mehrere maschinelle Lernmodelle oder deren Verarbeitung als Teil der Anwendungsausführung auszuführen. In mindestens einer Ausführungsform, in der eine andere Anwendung ein oder mehrere maschinelle Lernmodelle für Segmentierungsaufgaben aufweist, kann eine Anwendung einen Inferenzdienst aufrufen, um maschinelle Lernmodelle zum Ausführen einer oder mehrerer Verarbeitungsoperationen mit verknüpften Segmentierungsaufgaben auszuführen. In mindestens einer Ausführungsform kann die Software 1318, die eine erweiterte Verarbeitungs- und Inferenzpipeline implementiert, die eine Segmentierungsanwendung und eine Anomalieerkennungsanwendung enthält, rationalisiert werden, da jede Anwendung denselben Inferenzdienst aufrufen kann, um eine oder mehrere Inferenzierungsaufgaben durchzuführen.
In mindestens einer Ausführungsform kann die Hardware 1322 GPUs, CPUs, Grafikkarten, ein KI/Deep-Learning System (z.B. einen KI-Supercomputer wie DGX von NVIDIA), eine Cloud-Plattform oder eine Kombination davon umfassen. In mindestens einer Ausführungsform können unterschiedliche Arten der Hardware 1322 verwendet werden, um eine effiziente, spezialgefertigte Unterstützung für die Software 1318 und die Dienste 1320 im Einsatzsystem 1306 bereitzustellen. In mindestens einer Ausführungsform kann die Verwendung der GPU-Verarbeitung zur lokalen Verarbeitung (z.B. in der Einrichtung 1302), innerhalb eines KI/Deep-Learning-Systems, in einem Cloud System und/oder in anderen Verarbeitungskomponenten des Einsatzsystems 1306 implementiert werden, um die Effizienz, Genauigkeit und Leistungsfähigkeit der Bildverarbeitung und -Erzeugung zu verbessern. In mindestens einer Ausführungsform können die Software 1318 und/oder die Dienste 1320 als nicht einschränkende Beispiele zur GPU-Verarbeitung in Bezug auf Deep-Learning, maschinelles Lernen und/oder Hochleistungsrechnen optimiert werden. In mindestens einer Ausführungsform kann mindestens ein Teil der Rechenumgebung des Einsatzsystems 1306 und/oder des Trainingssystems 1304 in einem Datenzentrum, einem oder mehreren Supercomputern oder Hochleistungsrechensystemen, mit GPU-optimierter Software (z.B. der Hardware- und Software-Kombination des DGX-Systems von NVIDIA) ausgeführt werden. In mindestens einer Ausführungsform kann die Hardware 1322 eine beliebige Anzahl von GPUs umfassen, die aufgerufen werden können, um die Verarbeitung von Daten parallel durchzuführen, wie hierin beschrieben. In mindestens einer Ausführungsform kann die Cloud-Plattform ferner eine GPU-Verarbeitung für eine GPU-optimierte Ausführung von Deep-Learning-Aufgaben, maschinellen Lernaufgaben oder andere Berechnungsaufgaben umfassen. In mindestens einer Ausführungsform kann die Cloud-Plattform (z.B. NGC von NVIDIA) unter Verwendung eines oder mehrerer KI/Deep-Learning-Supercomputer und/oder GPU-optimierter Software (wie sie z.B. auf den DGX-Systemen von NVIDIA bereitgestellt wird) als eine Hardwareabstraktions- und Skalierungsplattform ausgeführt werden. In mindestens einer Ausführungsform kann die Cloud-Plattform ein Anwendungscontainer-Clusteringssystem oder Orchestrierungssystem (z.B. KUBERNETES) auf mehreren GPUs integrieren, um eine nahtlose Skalierung und Lastverteilung zu ermöglichen.
14 ist ein Systemdiagramm für eine beispielhaftes System 1400 zum Erzeugen und Einsetzen einer Bildgebungseinsatzpipeline gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform kann das System 1400 verwendet werden, um den Prozess 1300 der 13 und/oder andere Prozesse zu implementieren, die fortschrittliche Verarbeitungs- und Inferenz-Pipelines umfassen. In mindestens einer Ausführungsform kann das System 1400 das Trainingssystem 1304 und das Einsatzsystem 1306 umfassen. In mindestens einer Ausführungsform können das Trainingssystem 1304 und das Einsatzsystem 1306 unter Verwendung der Software 1318, der Dienste 1320 und/oder der Hardware 1322 implementiert werden, wie hierin beschrieben.
In mindestens einer Ausführungsform kann das System 1400 (z.B. das Trainingssystem 1304 und/oder das Einsatzsystem 1306) in einer Cloud-Computing-Umgebung (z.B. unter Verwendung der Cloud 1426) implementiert werden. In mindestens einer Ausführungsform kann das System 1400 lokal in Bezug auf eine Gesundheitsdiensteinrichtung oder als eine Kombination aus sowohl Cloud- als auch lokalen Rechenressourcen implementiert werden. In mindestens einer Ausführungsform kann der Zugriff auf APIs in der Cloud 1426 durch verordnete Sicherheitsmaßnahmen oder -Protokolle auf autorisierte Benutzer beschränkt werden. In mindestens einer Ausführungsform kann ein Sicherheitsprotokoll Web Token umfassen, die von einem Authentifizierungsdienst (z.B. AuthN, AuthZ, Gluecon usw.) signiert sein können und eine geeignete Autorisierung tragen können. In mindestens einer Ausführungsform können APIs von (hierin beschriebenen) virtuellen Instrumenten oder andere Instanziierungen des Systems 1400 auf einen Satz öffentlicher IPs beschränkt sein, die überprüft oder für eine Interaktion autorisiert wurden.
In mindestens einer Ausführungsform können verschiedene Komponenten des Systems 1400 miteinander und untereinander unter Verwendung eines beliebigen einer Vielfalt von unterschiedlichen Netzwerktypen kommunizieren, einschließlich, aber nicht beschränkt auf lokale Netzwerke (LANs) und/oder Weitverkehrsnetzwerke (WANs) über drahtgebundene und/oder drahtlose Kommunikationsprotokolle. In mindestens einer Ausführungsform kann die Kommunikation zwischen Einrichtungen und Komponenten des Systems 1400 (z.B. zum Senden von Inferenzanfragen, zum Empfangen von Ergebnissen der Inferenzanfragen usw.) über Datenbus(se), drahtlose Datenprotokolle (Wi-Fi), drahtgebundene Datenprotokolle (z.B. Ethernet) usw. übertragen werden.
In mindestens einer Ausführungsform kann das Trainingssystem 1304 Trainingspipelines 1404 ausführen, die ähnlich zu jenen sind, die hierin in Bezug auf 13 beschrieben werden. In mindestens einer Ausführungsform, in der eine oder mehrere maschinelle Lernmodelle in den Einsatzpipelines 1410 durch das Einsatzsystem 1306 verwendet werden sollen, können Trainingspipelines 1404 verwendet werden, um eine oder mehrere (z.B. vortrainierte) Modelle zu trainieren oder erneut zu trainieren, und/oder um ein oder mehrere vortrainierte Modelle 1406 zu implementieren (z.B. ohne Notwendigkeit zum erneuten Trainieren oder Aktualisieren). In mindestens einer Ausführungsform können als Ergebnis der Trainingspipelines 1404 Ausgabemodell(e) 1316 erzeugt werden. In mindestens einer Ausführungsform können Trainingspipelines 1404 eine beliebige Anzahl von Verarbeitungsschritten enthalten, wie, jedoch nicht beschränkt auf, die Umwandlung oder Anpassung von Bildgebungsdaten (oder anderen Eingabedaten). In mindestens einer Ausführungsform können für unterschiedliche maschinelle Lernmodelle, die durch das Einsatzsystem 1306 verwendet werden, unterschiedliche Trainingspipelines 1404 verwendet werden. In mindestens einer Ausführungsform kann die Trainingspipeline 1404, die ähnlich zu einem in Bezug auf 13 beschriebenen ersten Beispiel ist, für ein erstes maschinelles Lernmodell verwendet werden, Die Trainingspipeline 1404, die ähnlich zu einem in Bezug auf 13 beschriebenen zweiten Beispiel ist, kann für ein zweites maschinelles Lernmodell verwendet werden, und die Trainingspipeline 1404, die ähnlich zu einem in Bezug auf 13 beschriebenen dritten Beispiel ist, kann für ein drittes maschinelles Lernmodell verwendet werden. In mindestens einer Ausführungsform kann jede Kombination von Aufgaben innerhalb des Trainingssystems 1304 abhängig davon verwendet werden, was für jedes jeweilige maschinelle Lernmodell erforderlich ist. In mindestens einer Ausführungsform können eine oder mehrere maschinelle Lernmodelle bereits trainiert und für den Einsatz bereit sein, so dass die maschinellen Lernmodelle keiner Verarbeitung durch das Trainingssystem 1304 unterzogen werden brauchen, und durch das Einsatzsystem 1306 implementiert werden können.
In mindestens einer Ausführungsform können das/die Ausgabemodell(e) 1316 und/oder das/die vortrainierten Modell(e) 1406 abhängig von der Implementierung oder Ausführungsform beliebige Arten von maschinellen Lernmodellen enthalten. In mindestens einer Ausführungsform und ohne Einschränkung können durch das System 1400 verwendete maschinelle Lernmodelle maschinelle Lernmodelle enthalten, die lineare Regression, logistische Regression, Entscheidungsbäume, Support Vector Machines (SVM), Naive Bayes, k-Nearest-Neighbor (KNN), K-Means-Clustering, Random Forest, Dimensionsreduktions-Algorithmen, Gradientenverstärkungs-Algorithmen, neuronale Netzwerke (z.B. Autoencoder, Convolutional, rekurrent, Perzeptronen, Long Short-Term Memory (LSTM), Hopfield, Boltzmann, Deep Belief, Deconvolutional, generativ kontradiktorisch, Liquid State Machine usw.), und/oder andere Arten von maschinellen Lernmodellen verwenden.
In mindestens einer Ausführungsform können Trainingspipelines 1404 eine KI-unterstützte Annotation umfassen, wie hierin mindestens in Bezug auf 15B detaillierter beschrieben. In mindestens einer Ausführungsform können gekennzeichnete Daten 1312 (z.B. eine herkömmliche Annotation) durch eine beliebige Anzahl von Techniken erzeugt werden. In mindestens einer Ausführungsform können Kennzeichnungen oder andere Annotationen innerhalb eines Zeichenprogramms (z.B. eines Annotationsprogramms), eines computergestützten Entwurfs- (CAD) Programms, eines Kennzeichnungsprogramms, einer anderen Art von Programm erzeugt werden, das zum Erzeugen Annotationen oder Kennzeichnungen für Ground Truth geeignet ist, und/oder können in einigen Beispielen mit der Hand gezeichnet werden. In mindestens einer Ausführungsform können Ground-Truth-Daten synthetisch erzeugt werden (z.B. aus Computermodellen oder Renderings erzeugt werden), real erzeugt werden (z.B. aus realen Daten entworfen und erzeugt werden), maschinenautomatisiert (z.B. unter Verwendung von Merkmalsanalyse und Lernen, um Merkmale aus Daten zu extrahieren und dann Kennzeichnungen zu erzeugen), von Menschen annotiert werden (z.B. definiert ein Etikettierer, oder Annotation Expert, den Ort von Kennzeichnungen), und/oder eine Kombination davon. In mindestens einer Ausführungsform kann es für jede Instanz von Bildgebungsdaten 1308 (oder andere Arten von Daten, die durch maschinelle Lernmodelle verwendet werden), entsprechende Ground-Truth-Daten geben, die durch das Trainingssystem 1304 erzeugt werden. In mindestens einer Ausführungsform kann eine KI-unterstützte Annotation als Teil der Einsatzpipelines 1410 durchgeführt werden; entweder zusätzlich zu oder anstelle der KI-unterstützten Annotation, die in den Trainingspipelines 1404 enthalten ist. In mindestens einer Ausführungsform kann das System 1400 eine mehrschichtige Plattform umfassen, die eine Softwareschicht (z.B. die Software 1318) diagnostischer Anwendungen (oder andere Anwendungstypen) enthalten kann, die eine oder mehrere medizinische Bildgebungs- und Diagnosefunktionen ausführen können. In mindestens einer Ausführungsform kann das System 1400 (z.B. über verschlüsselte Verbindungen) kommunikativ mit PACS-Servernetzwerken einer oder mehrerer Einrichtungen gekoppelt sein. In mindestens einer Ausführungsform kann das System 1400 konfiguriert sein, auf Daten von PACS-Servern zuzugreifen und diese zu referenzieren, um Operationen wie Training maschineller Lernmodelle, Einsetzen maschineller Lernmodelle, Bildverarbeitung, Inferenzierung und/oder andere Operationen auszuführen.
In mindestens einer Ausführungsform kann eine Softwareschicht als eine sichere, verschlüsselte und/oder authentifizierte API implementiert sein, durch die Anwendungen oder Container von einer oder mehreren externen Umgebungen (z.B. der Einrichtung 1302) aufgerufen (z.B. angerufen) werden können. In mindestens einer Ausführungsform können Anwendungen dann einen oder mehrere Dienste 1320 zum Ausführen von Berechnungs-, KI- oder Visualisierungsaufgaben mit verknüpften jeweiligen Anwendungen aufrufen und ausführen, und Software 1318 und/oder Dienste 1320 können wirksam Hardware 1322 einsetzen, um Verarbeitungsaufgaben in einer effektiven und effizienten Weise auszuführen.
In mindestens einer Ausführungsform kann das Einsatzsystem 1306 Einsatzpipelines 1410 ausführen. In mindestens einer Ausführungsform können Einsatzpipelines 1410 eine beliebige Anzahl von Anwendungen umfassen, die sequentiell, nicht sequentiell oder auf andere Art auf Bildgebungsdaten (und /oder andere Datentypen) angewendet werden können, die durch Bildgebungsvorrichtungen, Sequenzierungsvorrichtungen, Genomikvorrichtungen usw. erzeugt werden - einschließlich KI-gestützter Annotation, wie oben beschrieben. In mindestens einer Ausführungsform kann wie hierin beschrieben eine Einsatzpipeline 1410 für eine einzelne Vorrichtung als ein virtuelles Instrument für eine Vorrichtung bezeichnet werden (z.B. ein virtuelles Ultraschallinstrument, ein virtuelles CT-Scan-Instrument, ein virtuelles Sequenzierungsinstrument usw.). In mindestens einer Ausführungsform kann es für eine einzige Vorrichtung mehr als eine Einsatzpipeline 1410 geben, abhängig von Informationen, die aus Daten gewünscht werden, die durch eine Vorrichtung erzeugt werden. In mindestens einer Ausführungsform kann es dort, wo die Erkennung von Anomalien von einem MRT-Gerät erwünscht ist, eine erste Einsatzpipeline 1410 geben, und wo eine Bildverbesserung von der Ausgabe eines MRT-Geräts erwünscht ist, kann es eine zweite Einsatzpipeline 1410 geben.
In mindestens einer Ausführungsform kann eine Bilderzeugungsanwendung eine Verarbeitungsaufgabe enthalten, die die Verwendung eines maschinellen Lernmodells umfasst. In mindestens einer Ausführungsform kann ein Benutzer wünschen, sein eigenes maschinelles Lernmodell zu verwenden, oder ein maschinelles Lernmodell aus dem Modellregister 1324 auszuwählen. In mindestens einer Ausführungsform kann ein Benutzer sein eigenes maschinelles Lernmodell implementieren oder ein maschinelles Lernmodell zur Einbindung in eine Anwendung zum Durchführen einer Verarbeitungsaufgabe auswählen. In mindestens einer Ausführungsform können Anwendungen auswählbar und anpassbar sein, und durch Definieren von Anwendungskonstrukten werden der Einsatz und die Implementierung von Anwendungen für einen bestimmten Benutzer als nahtlosere Benutzererfahrung dargestellt. Indem in mindestens einer Ausführungsform andere Merkmale des Systems 1400 - wie die Dienste 1320 und die Hardware 1322 - wirksam eingesetzt werden, können Einsatzpipelines 1410 noch benutzerfreundlicher sein, eine einfachere Integration ermöglichen und genauere, effizientere und zeitnahere Ergebnisse liefern.
In mindestens einer Ausführungsform kann das Einsatzsystem 1306 eine Benutzerschnittstelle 1414 (z.B. eine grafische Benutzerschnittstelle, eine Webschnittstelle usw.) umfassen, die verwendet werden kann, um Anwendungen zur Einbindung in die Einsatzpipeline(s) 1410 auszuwählen, Anwendungen einzurichten, Anwendungen oder Parameter oder Konstrukte davon zu modifizieren oder zu ändern, Einsatzpipeline(s) 1410 während der Einrichtung und/oder dem Einsatz zu verwenden und mit diesen zu interagieren, und/oder auf andere Weise mit dem Einsatzsystem 1306 zu interagieren. In mindestens einer Ausführungsform kann, obwohl dies in Bezug auf das Trainingssystem 1304 nicht dargestellt wird, die Benutzerschnittstelle 1414 (oder eine andere Benutzerschnittstelle) zum Auswählen von Modellen zur Verwendung im Einsatzsystem 1306, zum Auswählen von Modellen zum Training oder erneuten Training im Trainingssystem 1304 und/oder verwendet werden, um auf andere Weise mit dem Trainingssystem 1304 zu interagieren.
In mindestens einer Ausführungsform kann der Pipeline-Manager 1412 zusätzlich zu einem Anwendungs-Orchestrierungssystem 1428 verwendet werden, um die Interaktion zwischen Anwendungen oder Containern der Einsatzpipeline(s) 1410 und der Dienste 1320 und/oder der Hardware 1322 zu verwalten. In mindestens einer Ausführungsform kann der Pipeline-Manager 1412 konfiguriert sein, Interaktionen von Anwendung zu Anwendung, von Anwendung zum Dienst 1320 und/oder von Anwendung oder Dienst zur Hardware 1322 zu erleichtern. Obwohl er als in der Software 1318 enthalten dargestellt wird, ist dies nicht dazu bestimmt einschränkend zu sein, und in mindestens einer Ausführungsform und in einigen Beispielen (wie z.B. in 12cc dargestellt) kann der Pipeline-Manager 1412 in den Diensten 1320 enthalten sein. In mindestens einer Ausführungsform kann das Anwendungs-Orchestrierungssystem 1428 (z.B. Kubernetes, DOCKER usw.) ein Container-Orchestrierungssystem umfassen, das Anwendungen in Containern als logische Einheiten zur Koordination, Verwaltung, Skalierung und zum Einsatz gruppieren kann. In mindestens einer Ausführungsform kann durch Verknüpfen von Anwendungen aus der/den Einsatzpipeline(s) 1410 (z.B. einer Rekonstruktionsanwendung, einer Segmentierungsanwendung usw.) mit einzelnen Containern jede Anwendung in einer eigenständigen Umgebung (z.B. auf einer Kernelebene) ausgeführt werden, um die Geschwindigkeit und Effizienz zu steigern.
In mindestens einer Ausführungsform kann jede Anwendung und/oder Container (oder Bild davon) einzeln entwickelt, modifiziert und eingesetzt werden (z.B. kann ein erster Benutzer oder Entwickler eine erste Anwendung entwickeln, modifizieren und einsetzen, und ein zweiter Benutzer oder Entwickler kann eine zweite Anwendung getrennt von einem ersten Benutzer oder Entwickler entwickeln, modifizieren und einsetzen), was es ermöglichen kann, sich auf eine Aufgabe einer einzelnen Anwendung und/oder eines oder mehrerer Container zu konzentrieren und darauf zu achten, ohne durch Aufgaben einer oder mehrerer Anwendungen oder Container behindert zu werden. In mindestens einer Ausführungsform kann die Kommunikation und Kooperation zwischen unterschiedlichen Containern oder Anwendungen durch den Pipeline-Manager 1412 und das Anwendungs-Orchestrierungssystem 1428 unterstützt werden. In mindestens einer Ausführungsform kann so lange eine erwartete Eingabe und/oder Ausgabe jedes Containers oder jeder Anwendung durch ein System bekannt ist (z.B. beruhend auf Konstrukten der Anwendungen oder Container), das Anwendungs-Orchestrierungssystem 1428 und/oder der Pipeline-Manager 1412 die Kommunikation unter und zwischen, und die gemeinsame Nutzung von Ressourcen unter und zwischen jeder der Anwendungen oder Container erleichtern. Da in mindestens einer Ausführungsform eine oder mehrere Anwendungen oder Container in der/den Einsatzpipeline(s) 1410 dieselben Dienste und Ressourcen gemeinsam nutzen können, kann das Anwendungs-Orchestrierungssystem 1428 die gemeinsame Nutzung der Dienste oder Ressourcen zwischen und unter verschiedenen Anwendungen oder Containern orchestrieren, deren Last ausgleichen und bestimmen. In mindestens einer Ausführungsform kann ein Scheduler verwendet werden, um die Ressourcenanforderungen von Anwendungen oder Containern, die gegenwärtige Nutzung oder geplante Nutzung dieser Ressourcen und die Ressourcenverfügbarkeit zu verfolgen. In mindestens einer Ausführungsform kann ein Scheduler folglich unterschiedlichen Anwendungen Ressourcen zuweisen und Ressourcen zwischen und unter Anwendungen im Hinblick auf Anforderungen und Verfügbarkeit eines Systems verteilen. In einigen Beispielen kann ein Scheduler (und/oder eine andere Komponente des Anwendungs-Orchestrierungssystems 1428) die Ressourcenverfügbarkeit und -Verteilung beruhend auf einem System auferlegten Beschränkungen (z.B. Benutzerbeschränkungen) bestimmen, wie der Dienstgüte (QoS), der Dringlichkeit des Bedarfs von Datenausgaben um (z.B. zu bestimmen, ob eine Echtzeitverarbeitung oder verzögerte Verarbeitung ausgeführt werden soll) usw.
In mindestens einer Ausführungsform können Dienste 1320, die durch Anwendungen oder Container in Einsatzsystem 1306 wirksam eingesetzt und gemeinsam genutzt werden, Rechendienste 1416, KI-Dienste 1418, Visualisierungsdienste 1420 und/oder andere Diensttypen umfassen. In mindestens einer Ausführungsform können Anwendungen einen oder mehrere der Dienste 1320 aufrufen (z.B. ausführen), um Verarbeitungsoperationen für eine Anwendung durchzuführen. In mindestens einer Ausführungsform können Rechendienste 1416 wirksam durch Anwendungen eingesetzt werden, um Supercomputing- oder andere High-Performance-Computing (HPC)-Aufgaben auszuführen. In mindestens einer Ausführungsform können der oder mehrere der Rechendienste 1416 wirksam eingesetzt werden, um eine Parallelverarbeitung (z.B. unter Verwendung einer parallelen Berechnungsplattform 1430) zur Verarbeitung von Daten durch eine oder mehrere Anwendungen und/oder eine oder mehrere Aufgaben einer einzelnen Anwendung im Wesentlichen gleichzeitig auszuführen. In mindestens einer Ausführungsform kann die parallele Berechnungsplattform 1430 (z.B. CUDA von NVIDIA) eine Allzweckberechnung auf GPUs (GPGPU) (z.B. den GPUs 1422) ermöglichen. In mindestens einer Ausführungsform kann eine Softwareschicht der parallelen Berechnungsplattform 1430 Zugriff auf virtuelle Befehlssätze und parallele Rechenelemente von GPUs zur Ausführung von Rechenkernen bereitstellen. In mindestens einer Ausführungsform kann die parallele Berechnungsplattform 1430 einen Speicher umfassen, und in einigen Ausführungsformen kann ein Speicher zwischen und unter mehreren Containern und/oder zwischen und unter unterschiedlichen Verarbeitungsaufgaben innerhalb eines einzelnen Containers gemeinsam genutzt werden. In mindestens einer Ausführungsform können Interprozesskommunikations-(IPC) Aufrufe für mehrere Container und/oder für mehrere Prozesse innerhalb eines Containers erzeugt werden, um dieselben Daten aus einem gemeinsam genutzten Speichersegment der parallelen Rechenplattform 1430 zu verwenden (z.B. wo mehrere unterschiedliche Stufen einer Anwendung oder mehrerer Anwendungen dieselben Informationen verarbeiten). In mindestens einer Ausführungsform können, anstatt eine Kopie von Daten zu erstellen und Daten zu unterschiedlichen Orten in Speicher zu bewegen (z.B. eine Schreib-/Leseoperation), dieselben Daten am selben Ort eines Speichers für eine beliebige Anzahl von Verarbeitungsaufgaben (z.B. zur selben Zeit, zu unterschiedlichen Zeiten usw.) verwendet werden. Wenn in mindestens einer Ausführungsform Daten verwendet werden, um als Ergebnis einer Verarbeitung neue Daten zu erzeugen, können diese Informationen über einen neuen Ort der Daten gespeichert und gemeinsam zwischen verschiedenen Anwendungen genutzt werden. In mindestens einer Ausführungsform kann der Ort von Daten und ein Ort von aktualisierten oder modifizierten Daten Teil einer Definition sein, wie eine Nutzdaten innerhalb von Containern verstanden werden.
In mindestens einer Ausführungsform können KI-Dienste 1418 wirksam eingesetzt werden, um Inferenzdienste zum Ausführen maschineller Lernmodelle mit verknüpften Anwendungen auszuführen (die z.B. mit der Ausführung einer oder mehrerer Verarbeitungsaufgaben einer Anwendung beauftragt sind). In mindestens einer Ausführungsform können die KI-Dienste 1418 das KI-System 1424 wirksam einsetzen, um ein oder mehrere maschinelle Lernmodelle (z.B. neuronale Netzwerke, wie CNNs) zur Segmentierung, Rekonstruktion, Objekterfassung, Merkmalserfassung, Klassifizierung und/oder andere Inferenzierungsaufgaben auszuführen. In mindestens einer Ausführungsform können Anwendungen der oder mehrerer Einsatzpipelines 1410 ein oder mehrere Ausgabemodelle 1316 vom Trainingssystem 1304 und/oder andere Modelle von Anwendungen verwenden, um eine Inferenz an Bildgebungsdaten durchzuführen. In mindestens einer Ausführungsform können zwei oder mehr Beispiele einer Inferenzierung unter Verwendung des Anwendungs-Orchestrierungssystems 1428 (z.B. eines Schedulers) verfügbar sein. In mindestens einer Ausführungsform kann eine erste Kategorie einen Weg mit hoher Priorität/niedriger Latenz umfassen, die höhere Service-Level-Agreements erzielen können, wie zum Durchführen von Inferenzen an dringenden Anfragen während eines Notfalls oder für einen Radiologen während einer Diagnose. In mindestens einer Ausführungsform kann eine zweite Kategorie einen Weg mit einer Standardpriorität umfassen, der für Anforderungen verwendet werden kann, die möglicherweise nicht dringend sind oder bei denen eine Analyse zu einem späteren Zeitpunkt durchgeführt werden kann. In mindestens einer Ausführungsform kann das Anwendungs-Orchestrierungssystem 1428 Ressourcen (z.B. Dienste 1320 und/oder Hardware 1322) beruhend auf Prioritätswegen für unterschiedliche Inferenzierungsaufgaben der KI-Dienste 1418 verteilen.
In mindestens einer Ausführungsform gemeinsam genutzte Speicher an die KI-Dienste 1418 innerhalb des Systems 1400 angeschlossen sein. In mindestens einer Ausführungsform kann der gemeinsam genutzte Speicher ein Cache (oder andere Speichervorrichtungstyp) arbeiten und kann verwendet werden, um Inferenzanfragen von Anwendungen zu verarbeiten. In mindestens einer Ausführungsform kann, wenn eine Inferenzanfrage gesendet wird, eine Anfrage durch einen Satz von API-Instanzen des Einsatzsystems 1306 empfangen werden, und eine oder mehrere Instanzen können (z.B. für eine beste Anpassung, zum Lastausgleich usw.) ausgewählt werden, um eine Anfrage zu verarbeiten. In mindestens einer Ausführungsform kann zum Verarbeiten einer Anfrage eine Anfrage in eine Datenbank eingegeben werden, ein maschinelles Lernmodell kann im Modellregister 1324 lokalisiert werden, wenn es sich nicht schon in einem Cache befindet, ein Prüfungsschritt kann sicherstellen, dass ein geeignetes maschinelles Lernmodell in einen Cache (z.B. einen gemeinsam genutzten Speicher) geladen wird, und/oder eine Kopie eines Modells kann in einem Cache gespeichert werden. In mindestens einer Ausführungsform kann ein Scheduler (z.B. des Pipeline-Managers 1412) verwendet werden, um eine Anwendung zu starten, die in einer Anfrage referenziert wird, wenn eine Anwendung nicht schon ausgeführt wird oder wenn es nicht genug Instanzen einer Anwendung gibt. In mindestens einer Ausführungsform kann ein Inferenzserver gestartet werden, wenn noch kein Inferenzserver gestartet wurde, um ein Modell auszuführen. Pro Modell kann eine beliebige Anzahl von Inferenzservern gestartet werden. In mindestens einer Ausführungsform können in einem Pull-Modell, in dem Inferenzserver geclustert sind, Modelle zwischengespeichert werden, wann immer ein Lastausgleich vorteilhaft ist. In mindestens einer Ausführungsform können Inferenzserver statisch in entsprechende verteilte Server geladen werden.
In mindestens einer Ausführungsform kann die Inferenzierung unter Verwendung eines Inferenzservers durchgeführt werden, der in einem Container ausgeführt wird. In mindestens einer Ausführungsform kann eine Instanz eines Inferenzservers mit einem Modell (und optional mehreren Versionen eines Modells) verknüpft sein. In mindestens einer Ausführungsform kann eine neue Instanz geladen werden, wenn eine Instanz eines Inferenzservers nicht vorhanden ist, wenn eine Anfrage zum Durchführen einer Inferenz an einem Modell empfangen wird. In mindestens einer Ausführungsform kann beim Starten eines Inferenzservers ein Modell an einen Inferenzserver übergeben werden, so dass ein selber Container verwendet werden kann, um unterschiedliche Modelle zu bedienen, solange der Inferenzserver als eine andere Instanz ausgeführt wird.
In mindestens einer Ausführungsform kann während der Anwendungsausführung eine Inferenzanforderung für eine gegebene Anwendung empfangen werden, und ein Container (der z.B. eine Instanz eines Inferenzservers hostet) kann geladen werden (falls noch nicht geschehen), und eine Startprozedur kann aufgerufen werden. In mindestens einer Ausführungsform kann die Vorverarbeitungslogik in einem Container eingehende Daten laden, decodieren und/oder eine beliebige zusätzliche Vorverarbeitung durchführen (z.B. unter Verwendung einer oder mehrerer CPUs und/oder GPUs). In mindestens einer Ausführungsform kann ein Container, sobald die Daten für die Inferenz vorbereitet sind, eine Inferenz nach Bedarf an den Daten durchführen. In mindestens einer Ausführungsform kann dies einen einzelnen Inferenzaufruf für ein Bild (z.B. eine Röntgenaufnahme der Hand) umfassen oder kann eine Inferenz an Hunderten von Bildern (z.B. ein Brust-CT) erfordern. In mindestens einer Ausführungsform kann eine Anwendung Ergebnisse zusammenfassen, bevor sie abgeschlossen wird, was ohne Einschränkung einen einzelnen Konfidenzscore, eine Segmentierung auf Pixelebene, eine Segmentierung auf Voxelebene, Erzeugen einer Visualisierung oder Erzeugen von Text zum Zusammenfassen von Befunden umfassen kann. In mindestens einer Ausführungsform können unterschiedlichen Modellen oder Anwendungen unterschiedliche Prioritäten zugewiesen werden. Beispielsweise können einige Modelle eine Echtzeitpriorität (TAT < 1 min) aufweisen, während andere eine niedrigere Priorität aufweisen können (z.B. TAT < 10 min). In mindestens einer Ausführungsform können die Modellausführungszeiten von der anfordernden Institution oder Einheit gemessen werden und können die Partnernetzwerk-Traversierungszeit sowie die Ausführung an einem Inferenzdienst umfassen.
In mindestens einer Ausführungsform kann die Übertragung von Anforderungen zwischen Diensten 1320 und Inferenzanwendungen hinter einem Software Development Kit (SDK) verborgen sein, und ein robuster Transport kann durch eine Warteschlange bereitgestellt werden. In mindestens einer Ausführungsform wird eine Anfrage über eine API für eine individuelle Anwendungs-/Mandanten-ID-Kombination in eine Warteschlange gestellt und ein SDK wird eine Anfrage aus einer Warteschlange ziehen und eine Anfrage an eine Anwendung geben. In mindestens einer Ausführungsform kann ein Name einer Warteschlange in einer Umgebung bereitgestellt werden, aus der ein SDK ihn erfassen wird. In mindestens einer Ausführungsform kann eine asynchrone Kommunikation durch eine Warteschlange nützlich sein, da sie es jeder Instanz einer Anwendung ermöglichen kann, Arbeit zu erfassen, sobald sie verfügbar wird. Die Ergebnisse können durch eine Warteschlange zurückübertragen werden, um sicherzustellen, dass keine Daten verloren gehen. In mindestens einer Ausführungsform können Warteschlangen auch eine Fähigkeit bereitstellen, Arbeit zu segmentieren, da die Arbeit mit der höchsten Priorität in eine Warteschlange gehen kann, mit der die meisten Instanzen einer Anwendung verbunden sind, während die Arbeit mit der niedrigsten Priorität in eine Warteschlange gehen kann es, mit der eine einzige Instanz verbunden ist, die Aufgaben in einer empfangenen Reihenfolge verarbeitet. In mindestens einer Ausführungsform kann eine Anwendung auf einer GPU-beschleunigten Instanz ausgeführt werden, die in der Cloud 1426 erzeugt wird, und ein Inferenzdienst kann die Inferenzierung auf einer GPU durchführen.
In mindestens einer Ausführungsform können Visualisierungsdienste 1420 wirksam eingesetzt werden, um Visualisierungen zum Betrachten von Ausgaben von Anwendungen und/oder der Einsatzpipelines 1410 zu erzeugen. In mindestens einer Ausführungsform können GPUs 1422 wirksam durch Visualisierungsdienste 1420 eingesetzt werden, um Visualisierungen zu erzeugen. In mindestens einer Ausführungsform können Rendering-Effekte, wie Raytracing, durch die Visualisierungsdienste 1420 implementiert werden, um Visualisierungen höherer Qualität zu erzeugen. In mindestens einer Ausführungsform können Visualisierungen ohne Einschränkung 2D-Bild-Renderings, 3D-Volumen-Renderings, eine 3D-Volumenrekonstruktion, 2D-Tomographie-Schichten, Anzeigen virtueller Realität, Anzeigen erweiterter Realität usw. umfassen. In mindestens einer Ausführungsform können virtualisierte Umgebungen verwendet werden, um eine virtuelle interaktive Anzeige oder Umgebung (z.B. eine virtuelle Umgebung) zur Interaktion durch Benutzer eines Systems (z.B. Ärzte, Krankenschwestern, Radiologen usw.) zu erzeugen. In mindestens einer Ausführungsform können die Visualisierungsdienste 1420 einen internen Visualisierer, Kinematographie- und/oder andere Rendering- oder Bildverarbeitungsfähigkeiten oder -Funktionalität (z.B. Raytracing, Rasterung, interne Optik usw.) umfassen.
In mindestens einer Ausführungsform kann die Hardware 1322 die GPUs 1422, das KI-System 1424, die Cloud 1426 und/oder jede andere Hardware umfassen, die zum Ausführen des Trainingssystems 1304 und/oder des Einsatzsystems 1306 verwendet wird. In mindestens einer Ausführungsform können GPUs 1422 (z.B. TESLA und/oder QUADRO GPUs von NVIDIA) eine beliebige Anzahl von GPUs umfassen, die zum Ausführen von Verarbeitungsaufgaben der Rechendienste 1416, der KI-Dienste 1418, der Visualisierungsdienste 1420, anderer Dienste, und/oder jedes der Merkmale oder der Funktionalität der Software 1318 verwendet werden können. Beispielsweise können in Bezug auf KI-Dienste 1418 die GPUs 1422 verwendet werden, um eine Vorverarbeitung an Bildgebungsdaten (oder anderen Datentypen, die durch maschinelle Lernmodelle verwendet werden), eine Nachverarbeitung an Ausgaben maschineller Lernmodelle durchzuführen, und/oder um eine Inferenzierung durchzuführen (z.B. um maschinelle Lernmodelle auszuführen). In mindestens einer Ausführungsform können die Cloud 1426, das KI-System 1424 und/oder andere Komponenten des Systems 1400 die GPUs 1422 verwenden. In mindestens einer Ausführungsform kann die Cloud 1426 eine GPU-optimierte Plattform für Deep-Learning-Aufgaben enthalten. In mindestens einer Ausführungsform kann das KI-System 1424 GPUs verwenden, und die Cloud 1426 - oder mindestens ein Abschnitt, der mit Deep-Learning oder Inferenzierung beauftragt ist - kann unter Verwendung eines oder mehrerer KI-Systeme 1424 ausgeführt werden. Obwohl die Hardware 1322 an sich als diskrete Komponenten dargestellt wird, ist dies nicht dazu bestimmt, einschränkend zu sein, und beliebige Komponenten der Hardware 1322 können mit beliebigen anderen Komponenten der Hardware 1322 kombiniert oder durch diese wirksam eingesetzt werden.
In mindestens einer Ausführungsform kann das KI-System 1424 ein spezialgefertigtes Rechensystem (z.B. einen Supercomputer oder einen HPC) umfassen, das zur Inferenzierung, Deep-Learning, maschinelles Lernen und/oder andere künstliche Intelligenzaufgaben konfiguriert ist. In mindestens einer Ausführungsform kann das KI-System 1424 (z.B. DGX von NVIDIA) GPU-optimierte Software (z.B. einen Softwarestapel) umfassen, die unter Verwendung mehrerer GPUs 1422, zusätzlich zu CPUs, RAM, Speicher, und/oder anderer Komponenten, Merkmale oder Funktionalität ausgeführt werden kann. In mindestens einer Ausführungsform können ein oder mehrere KI-Systeme 1424 in der Cloud 1426 (z.B. in einem Datenzentrum) zum Durchführen einiger oder aller KI-beruhenden Verarbeitungsaufgaben des Systems 1400 implementiert sein.
In mindestens einer Ausführungsform kann die Cloud 1426 eine GPU-beschleunigte Infrastruktur (z.B. NGC von NVIDIA) umfassen, die eine GPU-optimierte Plattform zum Ausführen von Verarbeitungsaufgaben des Systems 1400 bereitstellen kann. In mindestens einer Ausführungsform kann die Cloud ein oder mehrere KI-Systeme 1424 zum Durchführen einer oder mehrerer KI-basierter Aufgaben des Systems 1400 (z.B. als Hardware-Abstraktions- und Skalierungsplattform) umfassen. In mindestens einer Ausführungsform kann die Cloud in das Anwendungs-Orchestrierungssystem 1428 integriert sein, wobei mehrere GPUs wirksam eingesetzt werden, um eine nahtlose Skalierung und einen Lastausgleich zwischen und unter Anwendungen und Diensten 1320 zu ermöglichen. In mindestens einer Ausführungsform kann die Cloud mit der Ausführung mindestens einiger der Dienste 1320 des Systems 1400, einschließlich der Rechendienste 1416, der KI-Dienste 1418 und/oder der Visualisierungsdienste 1420 beauftragt werden, wie hierin beschrieben. In mindestens einer Ausführungsform kann die Cloud eine kleine und große Batch-Inferenz durchführen (z.B. TENSOR RT von NVIDIA ausführen), eine beschleunigte Parallelverarbeitungs-API und -Plattform 1430 (z.B. CUDA von NVIDIA) bereitstellen, das Anwendungs-Orchestrierungssystem 1428 (z.B. KUBERNETES) ausführen, eine Grafik-Rendering-API und -Plattform (z.B. für Raytracing, 2D-Grafiken, 3D-Grafiken und/oder andere Rendering-Techniken, um Kinematographie höherer Qualität zu erzeugen) bereitstellen, und/oder kann eine andere Funktionalität für das System 1400 bereitstellen.
15A stellt ein Datenflussdiagramm für einen Prozess 1500, um ein maschinelles Lernmodell zu trainieren, erneut zu trainieren oder zu aktualisieren, gemäß mindestens einer Ausführungsform dar. In mindestens einer Ausführungsform kann der Prozess 1500 unter Verwendung des Systems 1400 der 14 als nicht einschränkendes Beispiel ausgeführt werden. In mindestens einer Ausführungsform kann der Prozess 1500 wirksam Dienste 1320 und/oder Hardware 1322 des Systems 1400 einsetzen, wie hierin beschrieben. In mindestens einer Ausführungsform können verfeinerte Modelle 1512, die durch den Prozess 1500 erzeugt werden, durch das Einsatzsystem 1306 für eine oder mehrere containerisierte Anwendungen in den Einsatzpipelines 1410 ausgeführt werden.
In mindestens einer Ausführungsform kann das Modelltraining 1314 das erneute Trainieren oder Aktualisieren eines Anfangsmodells 1504 (z.B. eines vortrainierten Modells) unter Verwendung neuer Trainingsdaten (z.B. neuer Eingabedaten, wie dem Kundendatensatz 1506, und/oder neuer Ground-Truth-Daten mit verknüpften Eingabedaten) umfassen. In mindestens einer Ausführungsform können zum Neutrainieren oder Aktualisieren des Anfangsmodells 1504 die Ausgabe- oder Verlustschicht(en) des Anfangsmodells 1504 zurückgesetzt oder gelöscht und/oder durch eine aktualisierte oder neue Ausgabe- oder Verlustschicht(en) ersetzt werden. In mindestens einer Ausführungsform kann das Anfangsmodell 1504 vorhergehend fein abgestimmte Parameter (z.B. Gewichte und/oder Verzerrungen) aufweisen, die vom vorherigen Training übriggeblieben sind, so dass das Training oder erneute Training 1314 nicht so lange brauchen oder so viel Verarbeitung erfordern kann wie das Training eines Modells ganz vom Anfang an. In mindestens einer Ausführungsform können während des Modelltrainings 1314, indem Ausgabe- oder Verlustschicht(en) des Anfangsmodells 1504 zurückgesetzt oder ersetzt worden sind, Parameter für einen neuen Datensatz beruhend auf Verlustberechnungen aktualisiert und neu abgestimmt werden, die mit der Genauigkeit von Ausgabe- oder Verlustschicht(en) beim Erzeugen von Vorhersagen über einen neuen Kundendatensatz 1506 (z.B. die Bilddaten 1308 der 13) verbunden sind.
In mindestens einer Ausführungsform können vortrainierte Modelle 1406 in einem Datenspeicher oder Register (z.B. dem Modellregister 1324 der 13) gespeichert werden. In mindestens einer Ausführungsform können vortrainierte Modelle 1406 mindestens teilweise in einer oder mehreren anderen Einrichtungen als einer Einrichtung, die den Prozess 1500 ausführt, trainiert worden sein. In mindestens einer Ausführungsform können zum Schutz der Privatsphäre und der Rechte von Patienten, Probanden oder Kunden unterschiedlicher Einrichtungen vortrainierte Modelle 1406 unter Verwendung von vor Ort erzeugten Kunden- oder Patientendaten vor Ort trainiert worden sein. In mindestens einer Ausführungsform können die vortrainierten Modelle 1406 unter Verwendung der Cloud 1426 und/oder anderer Hardware 1322 trainiert werden, jedoch dürfen vertrauliche, datengeschützte Patientendaten nicht an irgendwelche Komponenten der Cloud 1426 (oder andere Hardware außer Haus) übertragen werden, durch diese verwendet werden oder zugänglich sein. In mindestens einer Ausführungsform, in der ein vortrainiertes Modell 1406 auf die Verwendung von Patientendaten von mehr als einer Einrichtung trainiert wird, kann das vortrainierte Modell 1406 für jede Einrichtung individuell trainiert worden sein, bevor es an Patienten- oder Kundendaten von einer anderen Einrichtung trainiert wird. In mindestens einer Ausführungsform, in der z.B. Kunden- oder Patientendaten von Datenschutzbedenken befreit worden sind (z.B. durch Verzicht, zu Versuchszwecken usw.), oder in der Kunden- oder Patientendaten in einem öffentlichen Datensatz enthalten sind, können Kunden- oder Patientendaten aus einer beliebigen Anzahl von Einrichtungen verwendet werden, um das vortrainierte Modell 1406 vor Ort und/oder außer Haus wie in einem Datenzentrum oder einer anderen Cloud-Computing-Infrastruktur zu trainieren.
In mindestens einer Ausführungsform kann ein Benutzer bei der Auswahl von Anwendungen zur Verwendung in den Einsatzpipelines 1410 auch maschinelle Lernmodelle auswählen, die für spezifische Anwendungen verwendet werden sollen. In mindestens einer Ausführungsform kann einem Benutzer kein Modell zur Verwendung zur Verfügung stehen, so dass ein Benutzer ein vortrainiertes Modell 1406 zur Verwendung in einer Anwendung auswählen kann. In mindestens einer Ausführungsform kann das vortrainierte Modell 1406 nicht zum Erzeugen genauer Ergebnisse am Kundendatensatz 1506 einer Einrichtung eines Benutzers optimiert sein (z.B. beruhend auf einer Vielfalt der Patienten, Demografie, Arten der verwendeten medizinischen Bildgebungsvorrichtungen usw.). In mindestens einer Ausführungsform kann vor dem Einsetzen des vortrainierten Modells 1406 in einer Einsatzpipeline 1410 zur Verwendung mit einer oder mehreren Anwendungen das vortrainierte Modell 1406 zur Verwendung in einer jeweiligen Einrichtung aktualisiert, neu trainiert und/oder feinabgestimmt werden.
In mindestens einer Ausführungsform kann ein Benutzer ein vortrainiertes Modell 1406 auswählen, das aktualisiert, erneut trainiert und/oder feinabgestimmt werden soll, und das vortrainierte Modell 1406 kann als Anfangsmodell 1504 für das Trainingssystem 1304 innerhalb des Prozesses 1500 bezeichnet werden. In mindestens einer Ausführungsform kann der Kundendatensatz 1506 (z.B. Bildgebungsdaten, Genomdaten, Sequenzierungsdaten oder andere Datentypen, die durch Vorrichtungen in einer Einrichtung erzeugt werden) verwendet werden, um das Modelltraining 1314 (das ohne Einschränkung ein Transfer Learning umfassen kann) am Anfangsmodell 1504 durchzuführen, um das verfeinerte Modell 1512 zu erzeugen. In mindestens einer Ausführungsform können dem Kundendatensatz 1506 entsprechende Ground-Truth-Daten durch das Trainingssystem 1304 erzeugt werden. In mindestens einer Ausführungsform können Ground-Truth-Daten mindestens teilweise durch Kliniker, Wissenschaftler, Ärzte, praktische Ärzte in einer Einrichtung (z.B. als die gekennzeichneten Klinikdaten 1312 der 13) erzeugt werden.
In mindestens einer Ausführungsform kann die KI-unterstützte Annotation 1310 in einigen Beispielen verwendet werden, um Ground-Truth-Daten zu erzeugen. In mindestens einer Ausführungsform kann die KI-unterstützte Annotation 1310 (die z.B. unter Verwendung eines KI-unterstützten Annotations-SDK implementiert wird) wirksam maschinelle Lernmodelle (z.B. neuronale Netzwerke) einsetzen, um vorgeschlagene oder vorhergesagte Ground-Truth-Daten für einen Kundendatensatz zu erzeugen. In mindestens einer Ausführungsform kann der Benutzer 1510 Annotationswerkzeuge innerhalb einer Benutzerschnittstelle (einer grafischen Benutzerschnittstelle (GUI)) auf der Rechenvorrichtung 1508 verwenden.
In mindestens einer Ausführungsform kann der Benutzer 1510 mit einer GUI über die Rechenvorrichtung 1508 interagieren, um (automatische) Annotationen zu editieren oder feinabzustimmen. In mindestens einer Ausführungsform kann ein Polygon-Editiermerkmal verwendet werden, um Vertices eines Polygons zu genaueren oder feinabgestimmten Orten zu bewegen.
In mindestens einer Ausführungsform können, sobald der Kundendatensatz 1506 zugehörige Ground-Truth-Daten aufweist, Ground-Truth-Daten (z.B. aus einer KI-unterstützten Annotation, manuellen Kennzeichnung usw.) während des Modelltrainings 1314 verwendet werden, um das verfeinerte Modell 1512 zu erzeugen. In mindestens einer Ausführungsform kann der Kundendatensatz 1506 auf das Anfangsmodell 1504 mit einer beliebigen Häufigkeit angewendet werden, und Ground-Truth-Daten können verwendet werden, um Parameter des Anfangsmodells 1504 zu aktualisieren, bis ein akzeptables Maß an Genauigkeit für das verfeinerte Modell 1512 erreicht ist. In mindestens einer Ausführungsform kann, sobald das verfeinerte Modell 1512 erzeugt worden ist, das verfeinerte Modell 1512 innerhalb einer oder mehrerer Einsatzpipelines 1410 in einer Einrichtung zum Durchführen einer oder mehrerer Verarbeitungsaufgaben in Bezug auf medizinische Bildgebungsdaten eingesetzt werden.
In mindestens einer Ausführungsform kann das verfeinerte Modell 1512 zu vortrainierten Modellen 1406 im Modellregister 1324 hochgeladen werden, um durch eine andere Einrichtung ausgewählt zu werden. In mindestens einer Ausführungsform kann dieser Prozess an einer beliebigen Anzahl von Einrichtungen abgeschlossen werden, so dass das verfeinerte Modell 1512 an neuen Datensätzen beliebig häufig weiter verfeinert werden kann, um ein universelleres Modell zu erzeugen.
15B ist eine beispielhafte Darstellung einer Client-Server-Architektur 1532, um Annotationswerkzeuge mit vortrainierten Annotationsmodellen zu verbessern, gemäß mindestens einer Ausführungsform. In mindestens einer Ausführungsform können KI-unterstützte Annotationswerkzeuge 1536 beruhend auf einer Client-Server-Architektur 1532 instanziiert werden. In mindestens einer Ausführungsform können Annotationswerkzeuge 1536 in Bildgebungsanwendungen Radiologen unterstützen, beispielsweise Organe und Anomalien zu identifizieren. In mindestens einer Ausführungsform können Bildgebungsanwendungen Software-Werkzeuge enthalten, die dem Benutzer 1510 helfen, als nicht einschränkendes Beispiel einige Extrempunkte an einem bestimmten interessierenden Organ in den Rohbildern 1534 (z.B. in einem 3D-MRT- oder CT-Scan) zu identifizieren und automatisch annotierte Ergebnisse für alle 2D-Schichten eines bestimmten Organs zu erhalten. In mindestens einer Ausführungsform können Ergebnisse in einem Datenspeicher als Trainingsdaten 1538 gespeichert und (beispielsweise und ohne Einschränkung) als Ground-Truth-Daten zum Training verwendet werden. Wenn in mindestens einer Ausführungsform die Rechenvorrichtung 1508 Extrempunkte für die KI-unterstützte Annotation 1310 sendet, kann beispielsweise ein Deep-Learning-Modell diese Daten als Eingabe empfangen und Inferenzergebnisse eines segmentierten Organs oder einer Anomalie zurückgeben. In mindestens einer Ausführungsform können vorinstanziierte Annotationswerkzeuge, wie das KI-unterstützte Annotationswerkzeug 1536B in 15B, verbessert werden, indem API-Aufrufe (z.B. der API-Aufruf 1544) an einen Server wie einen Annotationsassistentenserver 1540 vorgenommen werden, der einen Satz vortrainierter Modelle 1542 enthalten kann, die beispielsweise in einem Annotationsmodellregister gespeichert sind. In mindestens einer Ausführungsform kann ein Annotationsmodellregister vortrainierte Modelle 1542 (z.B. maschinelle Lernmodelle wie Deep-Learning Modelle) speichern, die vortrainiert sind, um eine KI-unterstützte Annotation an einem bestimmten Organ oder einer Anomalie durchzuführen. Diese Modelle können unter Verwendung der Trainingspipelines 1404 weiter aktualisiert werden. In mindestens einer Ausführungsform können vorinstallierte Annotationswerkzeuge im Laufe der Zeit verbessert werden, wenn neue gekennzeichnete Klinikdaten 1312 hinzugefügt werden.
Solche Komponenten können verwendet werden, um verbesserten Inhalt zu erzeugen, wie Bild- oder Videoinhalt mit hochskalierter Auflösung, reduziertem Vorhandensein von Artefakten und Verbesserung der visuellen Qualität.
Andere Variationen liegen im Geist der vorliegenden Offenbarung. Während folglich offenbarte Techniken für verschiedene Modifikationen und alternative Konstruktionen empfänglich sind, sind bestimmte dargestellte Ausführungsformen davon in den Zeichnungen gezeigt und oben im Detail beschrieben worden. Es versteht sich jedoch, dass keine Absicht besteht, die Offenbarung auf eine spezifische Form oder offenbarte Formen zu beschränken, sondern es im Gegenteil die Absicht ist, alle Modifikationen, alternativen Konstruktionen und Äquivalente abzudecken, die in den Geist und Umfang der Offenbarung fallen, wie sie in den beigefügten Ansprüchen definiert ist.
Die Verwendung der Begriffe „ein“ und „eine“ und „der, die, das“ und ähnliche Bezüge im Kontext der Beschreibung offenbarter Ausführungsformen (insbesondere im Kontext der folgenden Ansprüche) ist so auszulegen, dass sie sowohl den Singular als auch den Plural abdecken, wenn nicht hierin anders angegeben oder deutlich durch den Kontext widersprochen, und nicht als Definition eines Begriffs. Die Begriffe „umfassend“, „habend“, „einschließlich“ und „enthaltend“ sind als offene Begriffe auszulegen (bedeutet „einschließlich, aber nicht beschränkt auf“), sofern nicht anders angegeben. Der Begriff „verbunden“ ist, wenn er unverändert ist und sich auf physikalische Verbindungen bezieht, so auszulegen, dass er teilweise oder vollständig darin enthalten, daran befestigt oder miteinander verbunden ist, selbst wenn etwas dazwischentritt. Die Nennung von Wertebereichen hierin soll lediglich als ein Kurzverfahren dienen, um sich einzeln auf jeden einzelnen Wert zu beziehen, der in den Bereich fällt, sofern hierin nichts anderes angegeben ist, und jeder einzelne Wert wird in die Beschreibung aufgenommen, als ob er hierin einzeln angegeben wäre. Die Verwendung des Begriffs „Satz“ (z.B. „ein Satz von Elementen“) oder „Teilmenge“, sofern nicht anders angegeben oder durch den Kontext widersprochen, ist als eine nicht leere Sammlung auszulegen, die ein oder mehrere Elemente umfasst. Ferner bezeichnet der Begriff „Teilmenge“ eines entsprechenden Satzes, sofern nicht anders angegeben oder durch den Kontext widersprochen, nicht notwendigerweise eine richtige Teilmenge eines entsprechenden Satzes, sondern eine Teilmenge und ein entsprechender Satz können gleich sein.
Konjunktive Ausdrücke, wie Ausdrücke der Form „mindestens eines von A, B und C“ oder „mindestens eines von A, B und C“, sofern nicht ausdrücklich anders angegeben oder ansonsten deutlich durch den Kontext widersprochen, sind ansonsten im Kontext, wie er im Allgemeinen verwendet wird, so zu verstehen, dass sie darstellen, dass ein Element, Begriff usw. entweder A oder B oder C oder eine beliebige nicht leere Teilmenge des Satzes von A und B und C sein können. Beispielsweise beziehen sich in einem veranschaulichenden Beispiel eines Satzes mit drei Elementen die konjunktiven Ausdrücke „mindestens eines von A, B und C“ und „mindestens eines von A, B und C“ auf einen beliebigen der folgenden Sätze : {A}, {B}, {C}, {A, B}, {A, C}, {B, C}, {A, B, C}. Folglich sind solche konjunktiven Ausdrücke im Allgemeinen nicht dazu bestimmt vorauszusetzen, dass es bestimmte Ausführungsformen erfordern, dass jeweils mindestens eines von A, mindestens eines von B und mindestens eines von C vorhanden ist. Zusätzlich gibt der Begriff „Vielzahl“, sofern nicht anders angegeben oder durch den Kontext widersprochen, einen Pluralzustand an (z.B. „eine Vielzahl von Elementen“ bezeichnet mehrere Elemente). Eine Vielzahl besteht aus mindestens zwei Elementen, kann aber mehr sein, wenn dies entweder explizit oder durch den Kontext angegeben ist. Ferner bedeutet der Ausdruck „beruhend auf“, sofern nicht anders angegeben oder anderweitig aus dem Kontext ersichtlich, „mindestens teilweise beruhend auf“ und nicht „ausschließlich beruhend auf“.
Operationen von hierin beschriebenen Prozessen können in jeder geeigneten Reihenfolge durchgeführt werden, es sei denn, es ist hierin etwas anderes angegeben oder anderweitig deutlich durch den Kontext widersprochen. In mindestens einer Ausführungsform wird ein Prozess wie die hierin beschriebenen Prozesse (oder Variationen und/oder Kombinationen davon) unter Steuerung von einem oder mehreren Computersystemen durchgeführt, die mit ausführbaren Anweisungen konfiguriert sind, ist als Code implementiert (z.B. ausführbare Anweisungen, eine oder mehrere Computerprogramme oder eine oder mehrere Anwendungen), die gemeinsam auf einem oder mehreren Prozessoren durch Hardware oder Kombinationen davon ausgeführt werden. In mindestens einer Ausführungsform ist der Code auf einem computerlesbaren Speichermedium gespeichert, beispielsweise in Form eines Computerprogramms, das mehrere Anweisungen aufweist, die durch einen oder mehrere Prozessoren ausführbar sind. In mindestens einer Ausführungsform ist ein computerlesbaren Speichermedium ein nichtflüchtiges computerlesbares Speichermedium, das flüchtige Signale ausschließt (z.B. eine sich ausbreitende transiente elektrische oder elektromagnetische Übertragung), jedoch eine nichtflüchtige Datenspeicherschaltung (z.B. Puffer, Cache und Warteschlangen) in Transceivern von flüchtigen Signalen umfasst. In mindestens einer Ausführungsform ist der Code (z.B. ausführbarer Code oder Quellcode) auf einem Satz von einem oder mehreren nichtflüchtigen computerlesbaren Speichermedien gespeichert, auf denen ausführbare Anweisungen gespeichert sind (oder einem anderen Speicher, um ausführbare Anweisungen zu speichern), die, wenn sie durch einen oder mehrere Prozessoren eines Computersystems ausgeführt werden (d.h. als Ergebnis davon, dass sie ausgeführt werden), das Computersystem veranlassen, die hierin beschriebenen Operationen auszuführen. Ein Satz nichtflüchtiger computerlesbarer Speichermedien weist in mindestens einer Ausführungsform mehrere nichtflüchtige computerlesbare Speichermedien und ein oder mehrere einzelne nichtflüchtige Speichermedien von mehreren nichtflüchtigen computerlesbaren Speichermedien auf, denen der gesamte Code fehlt, während mehrere nichtflüchtige computerlesbare Speichermedien zusammen den gesamten Code speichern. In mindestens einer Ausführungsform werden ausführbare Anweisungen so ausgeführt, dass unterschiedliche Anweisungen von unterschiedlichen Prozessoren ausgeführt werden - beispielsweise speichert ein nichtflüchtiges computerlesbares Speichermedium Anweisungen, und eine Hauptzentraleinheit („CPU“) führt einige der Anweisungen aus, während eine Grafikverarbeitungseinheit („GPU“) andere Anweisungen ausführt. In mindestens einer Ausführungsform weisen unterschiedliche Komponenten eines Computersystems getrennte Prozessoren auf, und unterschiedliche Prozessoren führen unterschiedliche Teilmengen der Anweisungen aus.
Folglich sind in mindestens einer Ausführungsform Computersysteme konfiguriert, einen oder mehrere Dienste zu implementieren, die einzeln oder zusammen Operationen von hierin beschriebenen Prozessen ausführen, und solche Computersysteme sind mit anwendbarer Hardware und/oder Software konfiguriert, die die Ausführung von Operationen ermöglichen. Ferner ist ein Computersystem, das mindestens eine Ausführungsform der vorliegenden Offenbarung implementiert, eine einzelne Vorrichtung, und ist in einer anderen Ausführungsform ein verteiltes Computersystem, das mehrere Vorrichtungen aufweist, die unterschiedlich arbeiten, so dass das verteilte Computersystem die hierin beschriebenen Operationen ausführt, und so dass eine einzelne Vorrichtung nicht alle Operationen ausführt.
Die Verwendung beliebiger und aller Beispiele oder exemplarischer Ausdrücke (z.B. „wie“), die hierin bereitgestellt werden, ist lediglich dazu bestimmt, Ausführungsformen der Offenbarung besser zu erläutern, und stellt keine Einschränkung des Umfangs der Offenbarung dar, sofern nicht anders beansprucht. Keine Ausdrücke in der Beschreibung sollten so ausgelegt werden, dass sie irgendein nicht beanspruchtes Element als wesentlich für die Anwendung der Offenbarung angeben.
Alle Quellenangaben, einschließlich Veröffentlichungen, Patentanmeldungen und Patente, die hierin zitiert werden, werden hiermit durch Bezugnahme in dem gleichen Umfang aufgenommen, als ob jede Referenz einzeln und spezifisch als durch Bezugnahme eingeschlossen angegeben wäre und hier in ihrer Gesamtheit dargelegt wäre.
In der Beschreibung und den Ansprüchen können die Begriffe „gekoppelt“ und „verbunden“ zusammen mit ihren Ableitungen verwendet werden. Es versteht sich, dass diese Ausdrücke nicht als Synonyme füreinander bestimmt sein können. Vielmehr können in bestimmten Beispielen „verbunden“ oder „gekoppelt“ verwendet werden, um anzugeben, dass zwei oder mehr Elemente in direktem oder indirektem physikalischem oder elektrischem Kontakt miteinander stehen. „Gekoppelt“ kann auch bedeuten, dass zwei oder mehr Elemente nicht in direktem Kontakt miteinander stehen, aber dennoch kooperieren oder miteinander interagieren.
Sofern nicht ausdrücklich anders angegeben, kann erkannt werden, dass sich in der gesamten Beschreibung Ausdrücke wie „Verarbeiten“, „Errechnen“, „Berechnen“, „Bestimmen“ oder dergleichen auf eine Tätigkeit und/oder Prozesse eines Computers oder Rechensystems oder einer ähnlichen elektronischen Rechenvorrichtung beziehen, die Daten, die als physikalische, wie elektronische, Größen in den Registern und/oder Speichern des Computersystems dargestellt werden, in andere Daten manipulieren und/oder transformieren, die ähnlich als physikalische Größen in den Speichern, Registern oder anderen derartigen Informationsspeicher-, Übertragungs- oder Anzeigevorrichtungen des Rechensystems dargestellt werden.
In ähnlicher Weise kann sich der Ausdruck „Prozessor“ auf eine beliebige Vorrichtung oder Abschnitt einer Vorrichtung beziehen, die elektronische Daten aus Registern und/oder Speichern verarbeitet und diese elektronischen Daten in andere elektronische Daten transformiert, die in Registern und/oder Speichern gespeichert werden können. Als nicht einschränkende Beispiele kann „Prozessor“ eine CPU oder eine GPU sein. Eine „Berechnungsplattform“ kann einen oder mehrere Prozessoren aufweisen. Wie hierin verwendet, können „Software“-Prozesse beispielsweise Software- und/oder Hardware-Einheiten umfassen, die Arbeit im Laufe der Zeit ausführen, wie zum Beispiel Tasks, Threads und intelligente Agenten. Außerdem kann sich jeder Prozess auf mehrere Prozesse beziehen, um Anweisungen nacheinander oder parallel, kontinuierlich oder intermittierend auszuführen. Die Ausdrücke „System“ und „Verfahren“ werden hier austauschbar verwendet, sofern das System ein oder mehrere Verfahren ausführen kann und Verfahren als ein System betrachtet werden können.
In dem vorliegenden Dokument kann auf das Erhalten, Erfassen, Empfangen oder Eingeben analoger oder digitaler Daten in einem Subsystem, Computersystem oder eine computerimplementierten Maschine Bezug genommen werden. Das Erhalten, Erfassen, Empfangen oder Eingeben analoger und digitaler Daten kann auf verschiedene Weise ausgeführt werden, wie durch Empfangen von Daten als Parameter eines Funktionsaufrufs oder eines Aufrufs an eine Anwendungsprogrammierschnittstelle. In einigen Implementierungen kann der Prozess des Erhaltens, Erfassens, Empfangens oder Eingebens von analogen oder digitalen Daten durch Übertragen von Daten über eine serielle oder parallele Schnittstelle durchgeführt werden. In einer anderen Implementierung kann der Prozess des Erhaltens, Erfassens, Empfangens oder Eingebens von analogen oder digitalen Daten durch Übertragen von Daten über ein Computernetzwerk von einer Bereitstellungseinheit zu einer Erfassungseinheit durchgeführt werden. Es kann auch auf das Bereitstellen, Ausgeben, Übertragen, Senden oder Präsentieren von analogen oder digitalen Daten Bezug genommen werden. In verschiedenen Beispielen kann der Prozess des Bereitstellens, Ausgebens, Übertragens, Sendens oder Präsentierens von analogen oder digitalen Daten durch Übertragen von Daten als Eingabe- oder Ausgabeparameter eines Funktionsaufrufs, als Parameter einer Anwendungsprogrammierschnittstelle oder als Interprozess-Kommunikationsmechanismus ausgeführt werden.
Obwohl die obige Erläuterung beispielhafte Implementierungen beschriebener Techniken darlegt, können andere Architekturen verwendet werden, um die beschriebene Funktionalität zu implementieren, und sind dazu bestimmt, innerhalb des Umfangs dieser Offenbarung zu liegen. Darüber hinaus können, obwohl oben zu Erläuterungszwecken spezifische Verteilungen von Verantwortlichkeiten definiert wurden, verschiedene Funktionen und Verantwortlichkeiten abhängig von den Umständen auf unterschiedliche Weise verteilt und aufgeteilt werden.
Obwohl darüber hinaus der Gegenstand in einer Sprache beschrieben wurde, die für strukturelle Merkmale und/oder methodische Handlungen spezifisch ist, versteht es sich, dass der in den beigefügten Ansprüchen beanspruchte Gegenstand nicht notwendigerweise auf die beschriebenen spezifischen Merkmale oder Handlungen beschränkt ist. Vielmehr werden bestimmte Merkmale und Handlungen als exemplarische Formen der Implementierung der Ansprüche offenbart.

Claims

Computerimplementiertes Verfahren, das aufweist: Erzeugen von einem oder mehreren Bewegungsvektoren für einen gegenwärtigen Frame; Ausführen eines Rückwärtsprojektionsdurchgangs unter Verwendung von mindestens einem vorhergehenden Frame eines oder mehrerer vorhergehender Frames; Lokalisieren einer oder mehrerer übereinstimmender Oberflächen, die zwischen dem gegenwärtigen und dem einen oder den mehreren vorhergehenden Frames gemeinsam sind, unter Verwendung der Bewegungsvektoren; Patchen eines G-Puffers des gegenwärtigen Frames mindestens teilweise beruhend auf Informationen, die der einen oder den mehreren übereinstimmenden Oberflächen entsprechen; Bestimmen, mindestens teilweise beruhend auf dem gepatchten G-Puffer, einer oder mehrerer Differenzen des Lichts zwischen dem gegenwärtigen Frame und dem mindestens einen vorhergehenden Frame; Rendern eines Bilds mindestens teilweise beruhend auf der einen oder den mehreren Differenzen des Lichts; und Ausgeben des gerenderten Bilds zur Anzeige auf einer Anzeigevorrichtung.
Verfahren nach Anspruch 1, wobei der eine oder die mehreren Bewegungsvektoren während mindestens einem der folgenden Vorgänge erzeugt werden: Rendern eines G-Puffers; Rendern einer oder mehrerer Reflexionen; oder Rendern einer oder mehrerer Refraktionen.
Verfahren nach Anspruch 2, wobei das Rendern einer oder mehrerer Reflexionen oder das Rendern einer oder mehrerer Refraktionen unter Verwendung von Primary Surface Replacement (PSR) durchgeführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Ausführen der Rückwärtsprojektion für mindestens eine Schicht im gegenwärtigen Frame das Auswählen mindestens eines Pixels aufweist, das einer übereinstimmenden Oberfläche in dem mindestens einen vorhergehenden Frame entspricht.
Verfahren nach Anspruch 4, wobei die mindestens eine Schicht ein Quadrat von Pixeln aufweist.
Verfahren nach Anspruch 4 oder 5, wobei das Auswählen des mindestens einen Pixels das Auswählen eines Pixels mit dem höchsten Beleuchtungswert aufweist, wenn mehrere Pixel der übereinstimmenden Oberfläche entsprechen.
Verfahren nach einem der Ansprüche 4 bis 6, wobei das Auswählen des mindestens einen Pixels ferner das Lokalisieren eines Pixels in dem mindestens einen vorhergehenden Frame aufweist, das mit dem ausgewählten Pixel übereinstimmt.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Patchen des G-Puffers das Schreiben in einen Gradientenpixel eines G-Puffers des gegenwärtigen Frames vom einem oder mehreren Parametern einer übereinstimmenden Oberfläche aus einem G-Puffer des mindestens einen vorhergehenden Frames aufweist.
Verfahren nach Anspruch 8, wobei der eine oder die mehreren Parameter Parametern entsprechen, die verwendet werden, um die Oberflächenbeleuchtung zu berechnen.
Verfahren nach Anspruch 8 oder 9, wobei der eine oder die mehreren Parameter mindestens einen der folgenden aufweisen: einen Zufallsgenerator-Startwert; einen Normalwert; einen Metallartigkeitswert; oder einen Rauigkeitswert.
Verfahren nach einem der Ansprüche 8 bis 10, wobei das Patchen des G-Puffers das Berechnen einer neuen Position einer ersten Oberfläche, die in dem mindestens einen vorhergehenden Frame abgebildet ist, mindestens beruhend auf Sichtbarkeitspufferinformationen aus dem vorhergehenden Frame aufweist.
Verfahren nach Anspruch 11, wobei die Sichtbarkeitspufferinformationen aufweisen: Gitterinformationen, die der ersten Oberfläche entsprechen; und/oder Dreiecksinformationen, die der ersten Oberfläche entsprechen; und/oder baryzentrischen Koordinaten-Informationen, die der ersten Oberfläche entsprechen; und/oder einen oder mehrere aktualisierte Vertex-Puffer, die der ersten Oberfläche entsprechen.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Rendern des Bildes aufweist; Ausführen von einem oder mehreren Beleuchtungsdurchgängen für den gegenwärtigen Frame; Berechnen, da sie die eine oder die mehreren Differenzen des Lichts repräsentieren, eines oder mehrerer zeitlicher Gradienten mindestens teilweise beruhend auf einer Ausgabe des einen oder der mehreren Beleuchtungsdurchgänge für den gegenwärtigen Frame und Beleuchtungsinformationen, die entsprechend dem mindestens einen vorhergehenden Frame berechnet werden; Filtern des einen oder der mehreren zeitlichen Gradienten; und Verwenden des einen oder der mehreren gefilterten zeitlichen Gradienten zur Verlaufsabweisung.
Computerimplementiertes System, das aufweist: einen oder mehrere Prozessoren; und eine oder mehrere Speichervorrichtungen, die Anweisungen speichern, die, wenn sie durch den einen oder die mehreren Prozessoren ausgeführt werden, den einen oder die mehrere Prozessoren veranlassen, Operationen auszuführen, die aufweisen: Erzeugen von Bewegungsvektoren für einen gegenwärtigen Frame; Ausführen eines Rückwärtsprojektionsdurchgangs unter Verwendung von mindestens einem vorhergehenden Frame eines oder mehrerer vorhergehender Frames; Lokalisieren einer oder mehrerer übereinstimmender Oberflächen, die zwischen dem gegenwärtigen und dem einen oder den mehreren vorhergehenden Frames gemeinsam sind, unter Verwendung der Bewegungsvektoren; Patchen eines G-Puffers des gegenwärtigen Frames beruhend auf Informationen, die der einen oder den mehreren übereinstimmenden Oberflächen entsprechen; Bestimmen, mindestens teilweise beruhend auf dem gepatchten G-Puffer, einer oder mehrerer Differenzen des Lichts zwischen dem gegenwärtigen Frame und dem mindestens einen vorhergehenden Frame; Rendern eines Bilds mindestens teilweise beruhend auf der einen oder den mehreren Differenzen des Lichts; und Ausgeben des gerenderten Bilds zur Anzeige auf einer Anzeigevorrichtung.
System nach Anspruch 14, wobei das System mindestens eines aufweist von: einem System zum Durchführen von Simulationsoperationen; einem System zum Durchführen von Simulationsoperationen, um autonome Maschinenanwendungen zu testen oder zu validieren; einem System zum Rendern einer grafischen Ausgabe; einem System zum Durchführen von Deep-Learning-Operationen; einem System, das unter Verwendung eine Edge-Vorrichtung implementiert ist; einem System, das eine oder mehrere virtuelle Maschinen (VMs) enthält; einem System, das mindestens teilweise in einem Datenzentrum implementiert ist; oder einem System, das mindestens teilweise unter Verwendung von Cloud-Computing-Ressourcen implementiert ist.
System nach Anspruch 14 oder 15, wobei die Bewegungsvektoren während mindestens einem der folgenden Vorgänge erzeugt werden: Rendern eines G-Puffers; Rendern einer oder mehrerer Reflexionen; oder Rendern einer oder mehrerer Refraktionen.
System nach Anspruch 16, wobei das Rendern einer oder mehrerer Reflexionen oder das Rendern einer oder mehrerer Refraktionen unter Verwendung von Primary Surface Replacement (PSR) durchgeführt wird.
System nach einem der Ansprüche 14 bis 17, wobei das Ausführen der Rückwärtsprojektion für mindestens eine Schicht im gegenwärtigen Frame das Auswählen mindestens eines Pixels aufweist, das einer übereinstimmenden Oberfläche im vorhergehenden Frame entspricht.
System nach Anspruch 18, wobei die mindestens eine Schicht ein 3x3-Quadrat von Pixeln aufweist.
System nach Anspruch 18 oder 19, wobei das Auswählen des mindestens einen Pixels das Auswählen eines Pixels mit dem höchsten Beleuchtungswert aufweist, wenn mehrere Pixel der übereinstimmenden Oberfläche entsprechen.
System nach einem der Ansprüche 18 bis 20, wobei das Auswählen des mindestens einen Pixels ferner das Lokalisieren eines Pixels in dem mindestens einen vorhergehenden Frame aufweist, das mit dem ausgewählten Pixel übereinstimmt.
System nach einem der Ansprüche 14 bis 21, wobei das Patchen des G-Puffers das Schreiben in einen Gradientenpixel eines G-Puffers des gegenwärtigen Frames vom einem oder mehreren Parametern einer übereinstimmenden Oberfläche aus einem G-Puffer des mindestens einen vorhergehenden Frames aufweist.
System nach Anspruch 22, wobei der eine oder die mehreren Parameter Parametern entsprechen, die verwendet werden, um die Oberflächenbeleuchtung zu berechnen.
System nach Anspruch 22 oder 23, wobei der eine oder die mehreren Parameter mindestens einen der folgenden aufweisen: einen Zufallsgenerator-Startwert; einen Normalwert; einen Metallartigkeitswert; oder einen Rauigkeitswert.
System nach einem der Ansprüche 22 bis 24, wobei das Patchen des G-Puffers das Berechnen einer neuen Position einer ersten Oberfläche, die in dem mindestens einen vorhergehenden Frame abgebildet ist, beruhend mindestens auf Sichtbarkeitspufferinformationen aus dem mindestens einen vorhergehenden Frame aufweist
System nach Anspruch 25, wobei die Sichtbarkeitspufferinformationen aufweisen: Gitterinformationen, die der ersten Oberfläche entsprechen; und/oder Dreiecksinformationen, die der ersten Oberfläche entsprechen; und/oder baryzentrischen Informationen, die der ersten Oberfläche entsprechen; und/oder einen oder mehrere aktualisierte Vertex-Puffer, die der ersten Oberfläche entsprechen.
System nach einem der Ansprüche 14 bis 26, wobei das Rendern des Bildes aufweist; Ausführen von einem oder mehreren Beleuchtungsdurchgängen für den gegenwärtigen Frame; Berechnen, da sie die eine oder die mehreren Differenzen des Lichts repräsentieren, von einem oder mehreren zeitlichen Gradienten beruhend auf einer Ausgabe des einen oder der mehreren Beleuchtungsdurchgänge für den gegenwärtigen Frame und Beleuchtungsinformationen, die entsprechend dem mindestens einen vorhergehenden Frame berechnet werden; Filtern des einen oder der mehreren zeitlichen Gradienten; und Verwenden des einen oder der mehreren gefilterten zeitlichen Gradienten zur Verlaufsabweisung.
System nach einem der Ansprüche 14 bis 27, wobei die Anweisungen, wenn sie durch den einen oder die mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren veranlassen, die Operationen eines Verfahrens nach einem der Ansprüche 1 bis 13 auszuführen.