DE112016001844T5

DE112016001844T5 - Zweidimensionale Verschiebungsmatrix für Bildprozessor

Info

Publication number: DE112016001844T5
Application number: DE112016001844.4T
Authority: DE
Inventors: Ofer Shacham; Jason Rupert Redgrave; Albert Meixner; Qiuling Zhu; Daniel Frederic Finchelstein; David Patterson; Donald Stark
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2015-04-23
Filing date: 2016-04-08
Publication date: 2018-02-08
Also published as: EP3286724A1; US10397450B2; JP6389571B2; US20190364174A1; JP2018185847A; EP3286724B1; CN107430760B; KR102202579B1; CN107430760A; US11153464B2; JP6764904B2; WO2016171926A1; KR20190102086A; KR20170125395A; US20160316107A1; KR102016097B1; US9769356B2; JP2018520399A; US20170310855A1

Abstract

Es wird eine Vorrichtung beschrieben. Die Vorrichtung umfasst eine Ausführungsbahnmatrix, die mit einer zweidimensionalen Schieberegistermatrixstruktur gekoppelt ist. Orte in der Ausführungsbahnmatrix sind mit gleichen Orten in der zweidimensionalen Schieberegistermatrixstruktur gekoppelt, sodass unterschiedliche Ausführungsbahnen verschiedene dedizierte Register haben.

Description

Gebiet der Erfindung
Das Gebiet der Erfindung betrifft im Allgemeinen die Bildverarbeitung und insbesondere eine zweidimensionale Verschiebungsmatrix für einen Bildprozessor.
Allgemeiner Stand der Technik
Die Bildverarbeitung beinhaltet in der Regel die Verarbeitung von Bildpunktwerten, die in einer Matrix angeordnet sind. Hierbei erfasst eine räumlich gegliederte zweidimensionale Matrix die zweidimensionale Beschaffenheit der Bilder (zusätzliche Dimensionen können unter anderem Zeit (z. B. eine Sequenz von zweidimensionalen Bildern) und Datentyp (z. B. Farben) einschließen. In einem typischen Szenario werden die angeordneten Bildpunktwerte von einer Kamera bereitgestellt, die ein Standbild oder eine Folge von Frames erzeugt hat, um Bewegungsbilder zu erfassen. Herkömmliche Bildprozessoren fallen in der Regel unter eines von zwei Extremen.
Ein erstes Extrem führt Bildverarbeitungsschritte als Softwareprogramme aus, die auf einem Universalprozessor oder einem universell verwendbaren Prozessor (z. B. einem Universalprozessor mit Vektorbefehlserweiterungen) ausgeführt werden. Obwohl das erste Extrem in der Regel eine vielseitig einsetzbare Anwendungssoftware-Entwicklungsplattform bereitstellt, resultiert dessen Verwendung feinerer Datenstrukturen kombiniert mit den zugehörigen Verwaltungsdaten (z. B. Befehlsabruf und -dekodierung, Handhabung von chipinternen und chipexternen Daten, spekulative Ausführung) letztendlich in einem Verbrauch größerer Energiemengen pro Dateneinheit während der Ausführung des Programmcodes.
Ein zweites, entgegengesetztes Extrem wendet stationäre, fest verdrahtete Schaltkreise auf viel größere Datenblöcke an. Die Verwendung von größeren (im Gegensatz zu feineren) Datenblöcken, die direkt auf benutzerdefinierte Schaltkreise angewendet werden, verringert den Energieverbrauch pro Dateneinheit erheblich. Jedoch führt die Verwendung von benutzerdefinierten stationären Funktionsschaltkreisen im Allgemeinen zu einer begrenzten Menge von Arbeitsschritten, die der Prozessor ausführen kann. Dementsprechend fehlt im zweiten Extrem die vielseitige Programmierumgebung (die mit dem ersten Extrem assoziiert ist).
Eine Technologieplattform, die sowohl vielseitige Anwendungssoftware-Entwicklungsmöglichkeiten als auch eine verbesserte Energieeffizienz pro Dateneinheit bietet, bleibt eine wünschenswerte und dennoch fehlende Lösung.
Kurzdarstellung
Eine Vorrichtung wird beschrieben. Die Vorrichtung enthält Mittel für die Verschiebung, in dieselbe Richtung und Anzahl der Standorte, von Daten aus mehreren zusammenhängenden Standorten innerhalb einer zweidimensionalen Schieberegistermatrixstruktur, um jeder der mehreren unterschiedlichen Ausführungsbahnen innerhalb einer Ausführungsbahnmatrix einen neuen Wert innerhalb des jeweiligen dedizierten Registers der mehreren unterschiedlichen Ausführungsbahnen bereitzustellen. Die unterschiedlichen Ausführungsbahnen sind mit ihren jeweiligen dedizierten Registern an die jeweiligen gleichen Orte der Ausführungsbahnmatrix und der zweidimensionalen Schieberegistermatrix gekoppelt.
Eine Vorrichtung wird beschrieben. Die Vorrichtung beinhaltet eine Ausführungsbahnmatrix, die mit einer zweidimensionalen Schieberegistermatrixstruktur gekoppelt ist. Orte in der Ausführungsbahnmatrix sind an die gleichen Orte in der zweidimensionalen Schieberegistermatrixstruktur gekoppelt, sodass unterschiedliche Ausführungsbahnen verschiedene dedizierte Register haben.
Figurenverzeichnis
Die folgende Beschreibung und begleitenden Zeichnungen dienen dazu, Ausführungsformen der Erfindung zu veranschaulichen. In den Zeichnungen:
1 zeigt eine Ausführungsform einer Bildprozessor-Hardwarearchitektur;
2a, 2b, 2c, 2d und 2e zeigen das Parsen von Bilddaten in eine Zeilengruppe, das Parsen einer Zeilengruppe in ein Blatt und die an einem Blatt mit überlappenden Schablonen durchgeführte Operation;
3 zeigt eine Ausführungsform eines Schablonenprozessors;
4 zeigt eine Ausführungsform einer Datenberechnungseinheit innerhalb eines Schablonenprozessors;
5a, 5b, 5c, 5d, 5e, 5f, 5g, 5h, 5i, 5j und 5k zeigen ein Beispiel für die Verwendung einer zweidimensionalen Verschiebungsmatrix und einer Ausführungsbahnmatrix, um ein Paar benachbarte Ausgabebildpunktwerte mit überlappenden Schablonen zu bestimmen;
6 zeigt eine Ausführungsform einer Einheitszelle für eine integrierte Ausführungsbahnmatrix und eine zweidimensionale Verschiebungsmatrix;
7a zeigt ein erstes zweidimensionales Registermatrixstruktur-Verbindungsschema;
7b zeigt ein zweites zweidimensionales Registermatrixstruktur-Verbindungsschema;
8a zeigt eine erste Zeile oder Spalte einer zweidimensionalen Registermatrixstruktur;
8b zeigt eine zweite Zeile oder Spalte einer zweidimensionalen Registermatrixstruktur;
8c zeigt die Zeile von 8b gekoppelt mit einer Speichereinheit;
8d zeigt eine weitere ringförmige Ausführungsform;
8e zeigt einen Stromsparschaltkreis;
9 zeigt eine Ausführungsform eines Computersystems.
Ausführliche Beschreibung
a. Bildprozessor-Hardware-Architektur und -Betrieb
1 zeigt eine Ausführungsform einer Architektur 100 für einen in Hardware implementierten Bildprozessor. Der Bildprozessor kann z. B. von einem Compiler angesteuert werden, der den Programmcode, der für einen virtuellen Prozessor geschrieben wurde, in einer simulierten Umgebung in Programmcode umwandelt, der von dem Hardwareprozessor tatsächlich ausgeführt wird. Wie in 1 dargestellt, beinhaltet die Architektur 100 eine Vielzahl von Zeilenpuffereinheiten 101_1 bis 101_M, die mit einer Vielzahl von Schablonenprozessoreinheiten 102_1 bis 102_N und entsprechenden Blattgeneratoreinheiten 103_1 bis 103_N über ein Netzwerk 104 (z. B. ein Netzwerk auf Chip (NOC), unter anderem auch ein Chip-Switch-Netzwerk, ein On-Chip-Ring-Netzwerk oder einer anderen Art von Netzwerk) verbunden ist. In einer Ausführungsform kann jede Zeilenpuffereinheit mit jedem Blattgenerator und einem entsprechenden Schablonenprozessor über das Netzwerk 104 verbunden sein.
In einer Ausführungsform wird der Programmcode kompiliert und auf einen entsprechenden Schablonenprozessor 102 geladen, um die zuvor von einem Softwareentwickler definierten Bildverarbeitungsvorgänge auszuführen (der Programmcode kann je nach Konzipierung und Implementierung auch auf den zugehörigen Blattgenerator des Schablonenprozessors 103 geladen werden). In zumindest einigen Fällen kann eine Bildverarbeitungspipeline realisiert werden, indem ein erstes Kernprogramm für eine erste Pipelinephase in einen ersten Schablonenprozessor 102_1 geladen, ein zweites Kernprogramm für eine zweite Pipelinephase in einen zweiten Schablonenprozessor 102_2, geladen wird usw., wobei das erste Kernsystem die Funktionen der ersten Pipelinephase durchführt, das zweite Kernsystem die Funktionen der zweiten Pipelinephase durchführt usw., und zusätzliche Steuerablaufverfahren installiert werden, um Ausgabebilddaten von einer Pipelinephase zur nächsten Pipelinephase zu leiten.
In anderen Konfigurationen kann der Bildprozessor als eine parallele Maschine realisiert sein, die zwei oder mehr Schablonenprozessoren 102_1, 102_2 aufweist, die auf demselben Kernprogrammcode betrieben werden. Zum Beispiel kann ein hochgradig dichter und hoher Datenratenstrom von Bilddaten verarbeitet werden, indem Frames über mehrere Schablonenprozessoren verteilt werden, von denen jeder dieselbe Funktion ausführt.
Bei noch anderen Konfigurationen kann im Wesentlichen jeder DAG von Kerneln auf den Hardwareprozessor geladen werden, indem jeweilige Schablonenprozessoren mit deren eigenen jeweiligen Kernel von Programmcode konfiguriert und geeignete Steuerablauf-Hooks in die Hardware konfiguriert werden, um Ausgabebilder von einem Kernel an den Eingang eines nächsten Kernels im DAG-Design zu leiten.
Bei einem allgemeinen Ablauf werden die Frames der Bilddaten von einer Makro-E/A-Einheit 105 empfangen und zu einer oder mehreren der Zeilenpuffereinheiten 101 auf einer Frame-per-Frame-Basis übermittelt. Eine bestimmte Zeilenpuffereinheit parst ihren Frame aus Bilddaten in einen kleineren Bereich von Bilddaten, der als „Zeilengruppe“ bezeichnet wird, und führt dann die Zeilengruppe durch das Netzwerk 104 zu einem bestimmten Blattgenerator. Eine vollständige oder „volle“ singuläre Zeilengruppe kann sich beispielsweise aus den Daten mehrerer zusammenhängender vollständiger Zeilen oder Spalten eines Frames zusammensetzen (der Einfachheit halber bezieht sich die vorliegende Beschreibung hauptsächlich auf zusammenhängende Zeilen). Der Blattgenerator parst ferner die Zeilengruppe von Bilddaten in einen kleineren Bereich von Bilddaten, der als „Blatt“ bezeichnet wird, und präsentiert das Blatt seinem entsprechenden Schablonenprozessor.
Im Falle einer Bildverarbeitungspipeline oder eines DAG-Ablaufs mit einem einzigen Eingang werden im Allgemeinen Eingabeframes an die gleiche Zeilenpuffereinheit 101_1 geleitet, die die Bilddaten in Zeilengruppen parst und die Zeilengruppen zu dem Blattgenerator 103_1 leitet, dessen entsprechender Schablonenprozessor 102_1 den Code des ersten Kernsystems in der Pipeline/dem DAG ausführt. Nach Beendigung der Operationen durch den Schablonenprozessor 102_1 an den von ihm verarbeiteten Zeilengruppen sendet der Blattgenerator 103_1 Ausgabezeilengruppen an eine „nachgelagerten“ Zeilenpuffereinheit 101_2 (in manchen Anwendungsfällen kann die Ausgabezeilengruppe zurück an die gleiche Zeilenpuffereinheit 101_1 gesendet werden, die zuvor die Eingabezeilengruppen gesendet hatte).
Ein oder mehrere „Abnehmerkernsysteme“, die die nächste Phase/Operation in der Pipeline/dem DAG darstellen, die auf deren eigenen jeweiligen anderen Blattgenerator und Schablonenprozessor (z. B. Blattgenerator 103_2 und Schablonenprozessor 102_2) ausgeführt werden, empfangen anschließend die von dem ersten Schablonenprozessor 102_1 erzeugten Bilddaten von der nachgelagerten Zeilenpuffereinheit 101_2. Auf diese Weise werden die Ausgabedaten eines „Erzeugerkernsystems“, das auf einem ersten Schablonenprozessor betrieben wird, an ein „Abnehmerkernsystem“ weitergeleitet, das auf einem zweiten Schablonenprozessor betrieben wird, wobei das Abnehmerkernsystem nach dem Erzeugerkernsystem den nächsten Satz von Arbeitsschritten gemäß dem Design der gesamten Pipeline oder des DAGs ausführt.
Ein Schablonenprozessor 102 ist dafür ausgelegt, gleichzeitig an mehreren überlappenden Schablonen von Bilddaten zu arbeiten. Die mehreren überlappenden Schablonen und die interne Hardwareverarbeitungskapazität des Schablonenprozessors bestimmen effektiv die Größe eines Blattes. Hier arbeiten innerhalb eines Schablonenprozessors 102 Matrizen von Ausführungsbahnen zusammen, um gleichzeitig den Bilddatenoberflächenbereich zu verarbeiten, der von den mehreren überlappenden Schablonen bedeckt ist.
Wie nachstehend näher beschrieben, werden in verschiedenen Ausführungsformen, Blätter von Bilddaten in eine zweidimensionale Registermatrixstruktur innerhalb des Schablonenprozessors 102 geladen. Es wird davon ausgegangen, dass die Verwendung von Blättern und die zweidimensionale Registermatrixstruktur für effektive Energieverbrauchsverbesserungen sorgen, indem eine große Datenmenge in einen großen Registerbereich bewegt wird, so wird beispielsweise eine einzelne Ladeoperation mit direkt an den Daten ausgeführten Verarbeitungsschritten unmittelbar danach durch eine Ausführungsbahnmatrix durchgeführt. Zudem stellt die Verwendung einer Ausführungsbahnmatrix und einer entsprechenden Registermatrix verschiedene Schablonengrößen bereit, die leicht programmierbar/konfigurierbar sind.
2a bis 2e veranschaulichen umfassend Ausführungsformen sowohl der Parsing-Aktivität einer Zeilenpuffereinheit 101 als auch der feineren Parsing-Aktivität einer Blattgeneratoreinheit 103 sowie der Schablonenverarbeitungsaktivität des Schablonenprozessors 102, der mit der Blatterzeugereinheit 103 gekoppelt ist.
2a zeigt eine Ausführungsform eines Eingabeframes der Bilddaten 201. 2a zeigt zudem einen Umriss von drei überlappenden Schablonen 202 (die jeweils eine Abmessung von 3 Bildpunkten × 3 Bildpunkten aufweisen), für deren Betrieb ein Schablonenprozessor ausgelegt ist. Der Ausgabebildpunkt, für den jede Schablone jeweils die Ausgabebilddaten erzeugt, wird in schwarzer Farbe hervorgehoben. Der Einfachheit halber sind die drei überlappenden Schablonen 202 nur in vertikaler Richtung überlappend dargestellt. Es ist relevant, zu erkennen, dass ein Schablonenprozessor in Wirklichkeit so ausgelegt sein kann, dass dieser sowohl in vertikaler als auch in horizontaler Richtung überlappende Schablonen aufweist.
Aufgrund der sich, wie in 2a dargestellt, vertikal überlappenden Schablonen 202 innerhalb des Schablonenprozessors gibt es ein breites Band von Bilddaten innerhalb des Frames, das von einem einzelnen Schablonenprozessor bearbeitet werden kann. Wie nachfolgend näher beschrieben, verarbeiten die Schablonenprozessoren in einer Ausführungsform innerhalb ihrer überlappenden Schablonen Daten von links nach rechts über sämtliche Bilddaten (und wiederholen den Vorgang dann für die nächste Gruppe von Zeilen in der Reihenfolge von oben nach unten). Somit nimmt, während die Schablonenprozessoren mit ihrer Operation fortfahren, die Anzahl der schwarzen Ausgabebildpunktblöcke horizontal nach rechts zu. Wie oben erwähnt, ist eine Zeilenpuffereinheit 101 für das Parsen einer Zeilengruppe von Eingabebilddaten aus einem eingehenden Frame verantwortlich, der für die Schablonenprozessoren ausreichend ist, um eine erweiterte Anzahl anstehender Zyklen zu bearbeiten. Eine exemplarische Darstellung einer Zeilengruppe ist als schattierter Bereich 203 dargestellt. In einer Ausführungsform kann die Zeilenpuffereinheit 101 unterschiedliche Dynamiken zum Senden/Empfangen einer Zeilengruppe an einen/von einem Blattgenerator umfassen. Beispielsweise werden gemäß einem Modus, der als „vollständige Gruppe“ bezeichnet wird, die gesamten Bilddatenzeilen mit voller Breite zwischen einer Zeilenpuffereinheit und einem Blattgenerator übermittelt. Gemäß einem zweiten Modus, der als „virtuell groß“ bezeichnet wird, wird eine Zeilengruppe zunächst mit einer Teilmenge von Zeilen mit voller Breite übermittelt. Die verbleibenden Zeilen werden dann nacheinander in kleineren Stücken (mit weniger als voller Breite) übermittelt.
Wenn die Zeilengruppe 203 der Eingabebilddaten durch die Zeilenpuffereinheit definiert und an die Blattgeneratoreinheit übermittelt worden ist, parst die Blattgeneratoreinheit die Zeilengruppe ferner in feinere Blätter, die an die Hardwarebeschränkungen des Schablonenprozessors präziser angepasst sind. Insbesondere wird in einer Ausführungsform, wie nachfolgend näher beschrieben, jeder Schablonenprozessor aus einer zweidimensionalen Schieberegistermatrix gebildet. Die zweidimensionale Schieberegistermatrix verschiebt im Wesentlichen Bilddaten „unterhalb“ einer Matrix von Ausführungsbahnen, wobei das Muster der Verschiebung bewirkt, dass jede Ausführungsbahn innerhalb ihrer eigenen jeweiligen Schablone an Daten arbeitet (d. h. jede Ausführungsbahn ihre eigene Schablone von Informationen verarbeitet, um eine Ausgabe für diese Schablone zu erzeugen). In einer Ausführungsform sind Blätter Oberflächenbereiche von Eingabebilddaten, die die zweidimensionale Schieberegistermatrix „ausfüllen“ oder anderweitig in dieselbe geladen werden.
Wie nachfolgend näher beschrieben, gibt es in verschiedenen Ausführungsformen tatsächlich mehrere Schichten von zweidimensionalen Registerdaten, die bei jedem Zyklus verschoben werden können. Zur Vereinfachung verwendet ein Großteil der vorliegenden Beschreibung einfach den Begriff „zweidimensionales Schieberegister“ und dergleichen, um auf Strukturen zu verweisen, die eine oder mehrere dieser Schichten zweidimensionaler Registerdaten aufweisen, die verschoben werden können.
Wie in 2b dargestellt, parst der Blattgenerator ein Anfangsblatt 204 von der Zeilengruppe 203 und stellt es dem Schablonenprozessor zur Verfügung (hier entspricht das Datenblatt dem schattierten Bereich, der im Allgemeinen mit der Bezugsnummer 204 gekennzeichnet ist). Wie in 2c und 2d dargestellt, arbeitet der Schablonenprozessor an dem Blatt der eingegebenen Bilddaten durch effektives Bewegen der überlappenden Schablonen 202 von links nach rechts über das Blatt. Wie in 2d ist die Anzahl der Bildpunkte, für die ein Ausgabewert aus den Daten innerhalb des Blattes berechnet werden könnte, erschöpft (keine anderen Bildpunktpositionen können einen Ausgabewert haben, der aus den Informationen innerhalb des Blattes bestimmt wird). Zur Vereinfachung wurden die Randbereiche des Bildes ignoriert.
Wie in 2e ersichtlich, liefert der Blattgenerator dann ein nächstes Blatt 205 für den Schablonenprozessor, um die Operationen fortzusetzen. Zu beachten ist, dass die Anfangspositionen der Schablonen, wenn sie mit der Operation an dem nächsten Blatt beginnen, der nächsten Progression (wie zuvor in 2d dargestellt) vom Erschöpfungspunkt nach rechts auf dem ersten Blatt entsprechen. Mit dem neuen Blatt 205 bewegen sich die Schablonen einfach weiter nach rechts, während der Schablonenprozessor auf dem neuen Blatt auf die gleiche Weise arbeitet wie bei der Verarbeitung des ersten Blattes.
Zu beachten ist, dass zwischen den Daten des ersten Blattes 204 und den Daten des zweiten Blattes 205 aufgrund der Randbereiche der Schablonen, die einen Ausgabebildpunktort umgeben, eine gewisse Überlappung vorliegt. Die Überlappung könnte einfach gehandhabt werden, indem der Blattgenerator die überlappenden Daten zweimal überträgt. In alternativen Implementierungen kann, um dem Schablonenprozessor ein nächstes Blatt zuzuführen, der Blattgenerator damit fortfahren, ausschließlich neue Daten an den Schablonenprozessor zu senden, während der Schablonenprozessor die überlappenden Daten aus dem vorhergehenden Blatt verwendet.
b. Schablonenprozessordesign und -betrieb
3a zeigt eine Ausführungsform einer Schablonenprozessorarchitektur 300. Wie in 3 ersichtlich, beinhaltet der Schablonenprozessor eine Datenberechnungseinheit 301, einen Skalarprozessor 302 und einen zugehörigen Speicher 303, sowie eine E/A-Einheit 304. Die Datenberechnungseinheit 301 beinhaltet eine Matrix von Ausführungsbahnen 305, eine zweidimensionale Verschiebungsmatrixstruktur 306 und getrennte Direktzugriffsspeicher 307, die mit bestimmten Zeilen oder Spalten der Matrix verbunden sind.
Die E/A-Einheit 304 ist verantwortlich für das Laden von „eingegebenen“ Datenblättern, die von dem Blattgenerator empfangen wurden, in die Datenberechnungseinheit 301 sowie das Speichern der von dem Schablonenprozessor „ausgegebenen“ Blätter im Blattgenerator. In einer Ausführungsform umfasst das Laden von Blattdaten in die Datenberechnungseinheit 301 das Parsen eines empfangenen Blattes in die Zeilen/Spalten der Bilddaten sowie das Laden der Zeilen/Spalten der Bilddaten in die zweidimensionale Schieberegisterstruktur 306 oder in die jeweiligen Direktzugriffsspeicher 307 der Zeilen/Spalten der Ausführungsbahnmatrix (wie nachfolgend näher beschrieben). Wird das Blatt anfänglich in die Speicher 307 geladen, können die einzelnen Ausführungsbahnen innerhalb der Ausführungsbahnmatrix 305 dann die Blattdaten, sofern geeignet (z. B. als Ladebefehl kurz vor der Operation der Blattdaten), in die zweidimensionale Schieberegisterstruktur 306 der Direktzugriffsspeicher 307 laden. Nach Beendigung des Ladens eines Datenblattes in die Registerstruktur 306 (ob direkt aus einem Blattgenerator oder aus den Speichern 307) arbeiten die Ausführungsbahnen der Ausführungsbahnmatrix 305 an den Daten und „schreiben“ letztendlich die fertigen Daten als ein Blatt direkt „zurück“ in den Blattgenerator oder in die Direktzugriffsspeicher 307. Im letzteren Fall ruft die E/A-Einheit 304 die Daten aus den Direktzugriffsspeichern 307 ab, um ein Ausgabeblatt zu bilden, das dann an den Blattgenerator weitergeleitet wird.
Der Skalarprozessor 302 beinhaltet einen Programmcontroller 309, der die Befehle des Programmcodes des Schablonenprozessors aus dem Skalarspeicher 303 einliest und die Befehle an die Ausführungsbahnen in der Ausführungsbahnmatrix 305 ausgibt. In einer Ausführungsform wird ein einzelner Befehl auf alle Ausführungsbahnen innerhalb der Matrix 305 übertragen, um ein SIMD-ähnliches Verhalten der Datenberechnungseinheit 301 zu bewirken. In einer Ausführungsform beinhaltet das Befehlsformat der Befehle, die aus dem Skalarspeicher 303 gelesen und an die Ausführungsbahnen der Ausführungsbahnmatrix 305 ausgegeben werden, ein sehr langes Befehlswortformat (VLIW), welches mehr als einen Operationscode pro Befehl beinhaltet. In einer weiteren Ausführungsform beinhaltet das VLIW-Format sowohl einen ALU-Operationscode, der eine mathematische Funktion anweist, die von der ALU einer Ausführungsbahn ausgeführt wird (wobei, wie nachstehend beschrieben, in einer Ausführungsform mehr als eine herkömmliche ALU-Operation angegeben sein kann), als auch einen Speicheroperationscode (der eine Speicheroperation für eine spezifische Ausführungsbahn oder eine Gruppe von Ausführungsbahnen anweist).
Der Begriff „Ausführungsbahn“ bezieht sich auf eine Gruppe von einer oder mehreren Ausführungseinheiten, die einen Befehl ausführen können (z. B. eine Logikschaltung, die einen Befehl ausführen kann). Eine Ausführungsbahn kann in verschiedenen Ausführungsformen jedoch prozessorähnlichere Funktionen und nicht nur Ausführungseinheiten beinhalten. Beispielsweise kann eine Ausführungsbahn neben einer oder mehreren Ausführungseinheiten auch Logikschaltungen beinhalten, die einen empfangenen Befehl dekodieren, oder für den Fall MIMD-ähnlicherer Architekturen eine Logikschaltung beinhalten, die einen Befehl abruft und dekodiert. In Bezug auf MIMD-ähnliche Ansätze kann, obwohl ein zentraler Programmsteuerungsansatz hier weitgehend beschrieben wurde, auch ein verteilter Ansatz in verschiedenen alternativen Ausführungsformen (z. B. unter anderem auch Programmcode und ein Programmcontroller innerhalb jeder Ausführungsbahn der Matrix 305) implementiert werden.
Die Kombination einer Ausführungsbahnmatrix 305, eines Programmcontrollers 309 und einer zweidimensionalen Schieberegisterstruktur 306 stellt eine weitgehend anpassbare/konfigurierbare Hardware-Plattform für ein breites Spektrum programmierbarer Funktionen bereit. Beispielsweise können Anwendungssoftwareentwickler in der Lage sein, Kernsysteme mit einem breiten Spektrum unterschiedlicher Funktionsfähigkeiten sowie Abmessungen (z. B. Schablonengrößen) zu programmieren, da die einzelnen Ausführungsbahnen in der Lage sind, eine breite Palette von Funktionen auszuführen und ohne Weiteres auf Eingabebilddaten in der Nähe einer beliebigen Ausgabematrixposition zuzugreifen.
Abgesehen davon, dass diese als Datenspeicher für Bilddaten genutzt werden, die durch die Ausführungsbahnmatrix 305 bearbeitet werden, können die Direktzugriffsspeicher 307 zudem eine oder mehrere Nachschlagetabellen verwalten. In verschiedenen Ausführungsformen können eine oder mehrere skalare Wertetabellen auch innerhalb des skalaren Speichers 303 instanziiert werden.
Ein skalarer Nachschlagevorgang beinhaltet das Übermitteln desselben Datenwerts aus derselben Nachschlagetabelle von demselben Index an sämtliche Ausführungsbahnen innerhalb der Ausführungsbahnmatrix 305. In verschiedenen Ausführungsformen wird das oben beschriebene VLIW-Befehlsformat erweitert, um darüber hinaus einen skalaren Operationscode einzuschließen, der eine vom Skalarprozessor ausgeführte Nachschlageoperation in eine skalare Wertetabelle leitet. Der für die Verwendung mit dem Operationscode angegebene Index kann ein unmittelbarer Operand sein oder von einem anderen Datenspeicherort abgerufen werden. Unabhängig davon umfasst in einer Ausführungsform ein Suchvorgang in einer skalaren Wertetabelle innerhalb des skalaren Speichers im Wesentlichen das Senden des gleichen Datenwerts an alle Ausführungsbahnen innerhalb der Ausführungsbahnmatrix 305 während des gleichen Taktzyklus. Weitere Details zur Verwendung und Operation von Wertetabellen werden nachfolgend bereitgestellt.
4 zeigt eine Ausführungsform einer Datenberechnungskomponente 401. Wie in 4 dargestellt, beinhaltet die Datenberechnungskomponente 401 eine Matrix von Ausführungsbahnen 405, die logisch „oberhalb“ einer zweidimensionalen Schieberegistermatrixstruktur 406 positioniert sind. Wie oben beschrieben, wird in verschiedenen Ausführungsformen ein von einem Blattgenerator bereitgestelltes Bilddatenblatt in das zweidimensionale Schieberegister 406 geladen. Die Ausführungsbahnen arbeiten dann an den Blattdaten aus der Registerstruktur 406.
Die Ausführungsbahnmatrix 405 und die Schieberegisterstruktur 406 sind in Bezug zueinander fixiert. Die Daten innerhalb der Schieberegistermatrix 406 verschieben sich jedoch in einer strategischen und koordinierten Weise, um zu bewirken, dass jede Ausführungsbahn in der Ausführungsbahnmatrix eine andere Schablone innerhalb der Daten verarbeitet. Demgemäß bestimmt jede Ausführungsbahn den Ausgabebildwert für einen anderen Bildpunkt in dem erzeugten Ausgabeblatt. Aus der Architektur von 4 sollte klar sein, dass überlappende Schablonen nicht nur vertikal, sondern auch horizontal angeordnet sind, da die Ausführungsbahnmatrix 405 vertikal angrenzende Ausführungsbahnen sowie horizontal angrenzende Ausführungsbahnen aufweist.
Einige zu beachtende architektonische Merkmale der Datenberechnungseinheit 401 beinhalten die Schieberegisterstruktur 406, die breitere Abmessungen als die Ausführungsbahnmatrix 405 aufweist. Das heißt, es gibt einen „Ring“ von Registern 409 außerhalb der Ausführungsbahnmatrix 405. Obwohl der Ring 409 auf zwei Seiten der Ausführungsbahnmatrix dargestellt ist, kann der Ring je nach Implementierung auf weniger (einer) oder mehr (drei oder vier) Seiten der Ausführungsbahnmatrix 405 existieren. Der Ring 405 dient dazu, einen „Ausweitungsraum“ für Daten bereitzustellen, die sich außerhalb der Grenzen der Ausführungsbahnmatrix 405 ausweiten, wenn die Daten „unterhalb“ der Ausführungsbahnen 405 verschoben werden. In einem einfachen Fall benötigt eine 5×5-Schablone, die am rechten Rand der Ausführungsbahnmatrix 405 zentriert ist, vier Ringregisterorte weiter nach rechts, wenn die linksseitigen Bildpunkte der Schablone verarbeitet werden. Zur Vereinfachung der Zeichnung zeigt 4 die Register der rechten Seite des Rings mit nur horizontalen Schiebeverbindungen und Registern der Unterseite des Rings, da nur vertikale Schiebeverbindungen vorhanden sind, wenn in einer nominalen Ausführungsform die Register auf beiden Seiten (rechts, unten) sowohl horizontale als auch vertikale Verbindungen aufweisen würden.
Zusätzlicher Ausweitungsraum wird durch Direktzugriffsspeicher 407 bereitgestellt, die mit jeder Zeile und/oder jeder Spalte in der Matrix oder Teilen davon gekoppelt sind (z. B. kann ein Direktzugriffsspeicher einer „Region“ der Ausführungsbahnmatrix zugewiesen werden, die zeilenweise 4 Ausführungsbahnen und spaltenweise 2 Ausführungsbahnen überspannt. Zur Vereinfachung bezieht sich der Rest der Anwendung hauptsächlich auf zeilen- und/oder spaltenbasierte Zuordnungsschemen). Wenn die Kernsystemoperationen einer Ausführungsbahn es erfordern, Bildpunktwerte außerhalb der zweidimensionalen Schieberegistermatrix 406 zu verarbeiten (was einige Bildverarbeitungsroutinen ggf. erfordern), kann sich die Ebene der Bilddaten z. B. vom Ringbereich 409 in den Direktzugriffsspeicher 407 weiter ausweiten. Betrachten wir zum Beispiel eine 6×6-Schablone, bei der die Hardware einen Ringbereich von nur vier Speicherelementen rechts von einer Ausführungsbahn am rechten Rand der Ausführungsbahnmatrix beinhaltet. In diesem Fall müssten die Daten vom rechten Rand des Rings 409 weiter nach rechts verschoben werden, um die Schablone vollständig zu verarbeiten. Daten, die außerhalb des Ringbereichs 409 verschoben werden, würden sich dann in den Direktzugriffsspeicher 407 ausweiten. Andere Anwendungen der Direktzugriffsspeicher 407 und des Schablonenprozessors aus 3 werden nachfolgend bereitgestellt.
5a bis 5k zeigen ein Ausführungsbeispiel für die Art und Weise, in der die Bilddaten, wie oben angedeutet, innerhalb der zweidimensionalen Schieberegistermatrix „unterhalb“ der Ausführungsbahnmatrix verschoben werden. Wie in 5a dargestellt, sind die Dateninhalte der zweidimensionalen Verschiebungsmatrix in einer ersten Matrix 507 dargestellt, während die Ausführungsbahnmatrix durch einen Frame 505 dargestellt ist. Außerdem sind innerhalb der Ausführungsbahnmatrix vereinfacht zwei benachbarte Ausführungsbahnen 510 dargestellt. In dieser vereinfachten Darstellung 510 beinhaltet jede Ausführungsbahn ein Register R1, das Daten aus dem Schieberegister akzeptieren kann, Daten von einer ALU-Ausgabe akzeptieren kann (z. B. sich durch Zyklen als Akkumulator verhalten) oder Ausgabedaten in ein Ausgabeziel schreiben kann.
Jede Ausführungsbahn verfügt zudem in einem lokalen Register R2 über den Inhalt „darunter“ in der zweidimensionalen Verschiebungsmatrix. Somit ist R1 ein physisches Register der Ausführungsbahn, während R2 ein physisches Register der zweidimensionalen Schieberegistermatrix ist. Die Ausführungsbahn beinhaltet eine ALU, die mit Operanden arbeiten kann, die von R1 und/oder R2 bereitgestellt werden. Wie nachfolgend näher beschrieben, wird in einer Ausführungsform das Schieberegister tatsächlich mit mehreren (einer „Tiefe“ von) Speicher-/Registerelementen pro Matrixposition implementiert, die Verschiebungsaktivität ist jedoch auf eine Ebene von Speicherelementen begrenzt (z. B. kann sich nur eine Ebene von Speicherelementen pro Zyklus verschieben). 5a bis 5k stellen eine dieser tieferen Registerpositionen dar, wie sie verwendet werden, um das resultierende X aus den jeweiligen Ausführungsbahnen zu speichern. Zur Veranschaulichung ist das tiefere resultierende Register neben anstatt unter dessen Gegenstückregister R2 gezeichnet.
5a bis 5k konzentrieren sich auf die Berechnung von zwei Schablonen, deren zentrale Position mit dem Paar von Ausführungsbahnpositionen 511 ausgerichtet ist, die in der Ausführungsbahnmatrix dargestellt sind. Zur Vereinfachung der Darstellung wird das Paar von Ausführungsbahnen 510 als horizontale Nachbarn gezeichnet, obgleich sie nach dem folgenden Beispiel tatsächlich vertikale Nachbarn sind.
Wie anfangs in 5a ersichtlich, sind die Ausführungsbahnen auf deren zentralen Schablonenpositionen zentriert. 5b zeigt den Objektcode, der von beiden Ausführungsbahnen ausgeführt wird. Wie in 5b dargestellt, bewirkt der Programmcode beider Ausführungsbahnen, dass sich die Daten innerhalb der Schieberegistermatrix eine Position nach unten und eine Position nach rechts verschieben. Damit werden beide Ausführungsbahnen an der oberen linken Ecke ihrer jeweiligen Schablonen ausgerichtet. Der Programmcode bewirkt dann, dass sich die Daten (in R2) an ihren jeweiligen Stellen in R1 laden lassen.
Wie in 5c dargestellt, bewirkt der Programmcode als Nächstes, dass das Paar von Ausführungsbahnen die Daten innerhalb der Schieberegistermatrix um eine Einheit nach links verschiebt, wodurch bewirkt wird, dass der Wert rechts von der jeweiligen Position der jeweiligen Ausführungsbahn in die jeweilige Position der Ausführungsbahn verschoben wird. Der Wert in R1 (vorheriger Wert) wird dann mit dem neuen Wert addiert, der sich in die Position der Ausführungsbahn (in R2) verschoben hat. Das Ergebnis wird in R1 geschrieben. Wie in 5d dargestellt, wird der gleiche Prozess wie oben für 5c wiederholt, wodurch bewirkt wird, dass das Ergebnis R1 nun den Wert A + B + C in der oberen Ausführungsbahn und F + G + H in der unteren Ausführungsbahn beinhaltet. Zu diesem Zeitpunkt haben beide Ausführungsbahnen die obere Zeile ihrer jeweiligen Schablonen verarbeitet. Zu beachten ist der Überlauf in einen Ringbereich auf der linken Seite der Ausführungsbahnmatrix (falls einer auf der linken Seite existiert) oder in einen Direktzugriffsspeicher, wenn auf der linken Seite der Ausführungsbahnmatrix kein Ringbereich existiert.
Wie in 5e dargestellt, bewirkt der Programmcode als Nächstes, dass sich die Daten innerhalb der Schieberegistermatrix eine Einheit nach oben verschieben, wodurch bewirkt wird, dass beide Ausführungsbahnen am rechten Rand der mittleren Zeile ihrer jeweiligen Schablonen ausgerichtet sind. Register R1 der beiden Ausführungsbahnen beinhaltet derzeit die Summe der oberen Zeile der Schablone und den rechten Wert der mittleren Zeile. 5f und 5g zeigen weitere Fortschritte beim Bewegen über die mittlere Zeile der beiden Schablonen der Ausführungsbahn nach links. Die kumulative Addition setzt sich fort, sodass am Ende der Verarbeitung von 5g beide Ausführungsbahnen die Summe der Werte der obersten Zeile und der mittleren Zeile ihrer jeweiligen Schablonen beinhalten.
5h zeigt eine weitere Verschiebung, um jede Ausführungsbahn an der nächsten Zeile ihrer entsprechenden Schablonen auszurichten. 5i und 5j zeigen eine fortlaufende Verschiebung zur vollständigen Verarbeitung über den Verlauf der Schablonen der beiden Ausführungsbahnen. 5k zeigt eine zusätzliche Verschiebung, um jede Ausführungsbahn an ihrer korrekten Position in der Datenmatrix auszurichten und das Ergebnis in dasselbe zu schreiben.
In dem Beispiel aus 5a–5k ist zu beachten, dass der Objektcode für die Verschiebungsoperationen ein Befehlsformat beinhalten kann, das die Richtung und die Größe der in (X, Y)-Koordinaten ausgedrückten Verschiebung identifiziert. Der Objektcode für eine Verschiebung um eine Position nach oben kann im Objektcode beispielsweise als SHIFT 0, +1 ausgedrückt werden. Als weiteres Beispiel kann eine Verschiebung um eine Position nach rechts im Objektcode als SHIFT +1, 0 ausgedrückt werden. Darüber hinaus können in verschiedenen Ausführungsformen Verschiebungen größerer Größenordnung im Objektcode (z. B. SHIFT 0, +2) spezifiziert werden. Wenn die 2D-Schieberegister-Hardware hier nur Verschiebungen um eine Position pro Zyklus unterstützt, kann der Befehl der Maschine so interpretiert werden, dass eine Mehrfachzyklus-Ausführung erfordert wird, oder die 2D-Schieberegister-Hardware kann so ausgelegt sein, dass sie Verschiebungen um mehr als eine Position pro Zyklus unterstützt. Ausführungsformen der letzteren Variante werden nachfolgend näher beschrieben.
6a zeigt eine weitere, detailliertere Darstellung der Einheitszelle für die Ausführungsbahnmatrix und die Schieberegisterstruktur (Register im Ringbereich beinhalten keine entsprechende Ausführungsbahn). Die Ausführungsbahn und der Registerbereich, die jeder Position in der Ausführungsbahnmatrix zugeordnet sind, werden in einer Ausführungsform implementiert, indem der in 6a ersichtliche Schaltkreis an jedem Knoten der Ausführungsbahnmatrix instanziiert wird. Wie in 6a dargestellt, beinhaltet die Einheitszelle eine Ausführungsbahn 601, die mit einer Registerdatei 602 verbunden ist, die aus vier Registern R2 bis R5 besteht. Während eines Zyklus kann die Ausführungsbahn 601 von einem Register R1 bis R5 einlesen oder in diese schreiben. Für Befehle, die zwei Eingangsoperanden erfordern, kann die Ausführungsbahn beide Operanden von einem beliebigen R1 bis R5 abrufen.
In einer Ausführungsform wird die zweidimensionale Schieberegisterstruktur implementiert, indem es während eines einzigen Zyklus erlaubt wird, dass der Inhalt eines beliebigen von (nur) einem der Register R2 bis R4 zu einer seiner benachbarten Registerdateien durch den Ausgangsmultiplexer 603 „heraus“ verschoben wird, und der Inhalt eines beliebigen von (nur) einem der Register R2 bis R4 durch den Inhalt ersetzt wird, der von einem entsprechenden Nachbarn durch den Eingangsmultiplexer 604 „hinein“ verschoben wird, sodass Verschiebungen zwischen den Nachbarn in gleicher Richtung (z. B. alle Ausführungsbahnen nach links, alle Ausführungsbahnen nach rechts usw.) erfolgen. Obwohl es für ein gleiches Register üblich sein kann, dass dessen Inhalt verschoben und durch den Inhalt ersetzt wird, der in demselben Zyklus verschoben wird, erlaubt die Multiplexeranordnung 603, 604 unterschiedliche Schiebequellen- und Schiebezielregister innerhalb einer gleichen Registerdatei während eines gleichen Zyklus.
Wie in 6a dargestellt, ist zu beachten, dass während einer Schiebesequenz eine Ausführungsbahn den Inhalt aus ihrer Registerdatei 602 zu deren jeweiligen linken, rechten, oberen und unteren Nachbarn schiebt. In Verbindung mit derselben Verschiebungssequenz verschiebt die Ausführungsbahn zudem den Inhalt in deren Registerdatei von einem bestimmten seiner linken, rechten, oberen und unteren Nachbarn. Das Herausverschiebungsziel und die Hereinverschiebungsquelle sollten wiederum mit einer gleichen Verschiebungsrichtung für alle Ausführungsbahnen übereinstimmen (wenn z. B. die Verschiebung heraus zum rechten Nachbarn erfolgt, sollte die Verschiebung herein vom linken Nachbarn erfolgen).
Obwohl in einer Ausführungsform der Inhalt von nur einem Register pro Ausführungsbahn pro Zyklus verschoben werden darf, können andere Ausführungsformen zulassen, dass der Inhalt von mehr als einem Register herein/heraus verschoben wird. Beispielsweise kann der Inhalt von zwei Registern während eines gleichen Zyklus heraus/herein verschoben werden, wenn eine zweite Instanz der in 6a beobachteten Multiplexerschaltung 603, 604 in das Design von 6a eingefügt wird. Selbstverständlich können bei Ausführungsformen, bei denen der Inhalt von nur einem Register pro Zyklus verschoben werden kann, Verschiebungen von mehreren Registern zwischen mathematischen Operationen stattfinden, indem mehr Taktzyklen für Verschiebungen zwischen mathematischen Operationen verbraucht werden (z. B. kann der Inhalt von zwei Registern zwischen mathematischen Operationen verschoben werden, indem zwei Verschiebungsoperationen zwischen den mathematischen Operationen verbraucht werden).
Falls weniger als der gesamte Inhalt der Registerdateien einer Ausführungsbahn während einer Verschiebungssequenz verschoben wird, ist zu beachten, dass der Inhalt der nicht verschobenen Register jeder Ausführungsbahn an Ort und Stelle bleibt (nicht verschoben wird). Dementsprechend bleibt jeder nicht verschobene Inhalt, der nicht durch verschobenen Inhalt ersetzt wird, durch den Verschiebungszyklus hinweg lokal auf der Ausführungsbahn. Die in jeder Ausführungsbahn beobachtete Speichereinheit („M“) wird verwendet, um Daten von/zu dem Direktzugriffsspeicherraum zu laden/zu speichern, der mit der Zeile und/oder Spalte der Ausführungsbahn innerhalb der Ausführungsbahnmatrix verbunden ist. Hier fungiert die M-Einheit als Standard-M-Einheit, indem sie häufig zum Laden/Speichern von Daten verwendet wird, die nicht von/in den eigenen Registerbereich der Ausführungsbahn geladen/gespeichert werden können. In verschiedenen Ausführungsformen besteht die primäre Operation der M-Einheit darin, Daten von einem lokalen Register in den Speicher zu schreiben und Daten aus dem Speicher einzulesen und in ein lokales Register zu schreiben.
In Bezug auf die von der ALU-Einheit der Hardware-Ausführungsbahn 601 unterstützten ISA-Operationscodes sind in verschiedenen Ausführungsformen die von der Hardware-ALU unterstützten mathematischen Operationscodes integral (d. h. im Wesentlichen gleich) mit den von den unterstützten mathematischen Operationscodes verbunden, die eine virtuelle Ausführungsbahn unterstützen (z. B. ADD, SUB, MOV, MUL, MAD, ABS, DIV, SHL, SHR, MIN/MAX, SEL, AND, OR, XOR, NOT). Wie oben beschrieben, können Speicherzugriffsbefehle von der Ausführungsbahn 601 ausgeführt werden, um Daten von/zu ihrem zugehörigen Arbeitsspeicher abzurufen/zu speichern. Zudem unterstützt die Hardware-Ausführungsbahn 601 Verschiebungsoperationen (nach rechts, links, oben, unten), um Daten innerhalb der zweidimensionalen Schieberegisterstruktur zu verschieben. Wie oben beschrieben, werden Programmsteuerbefehle weitgehend durch den Skalarprozessor des Schablonenprozessors ausgeführt.
7a zeigt eine Ausführungsform einer Draufsicht des logischen (und möglicherweise physischen) Designs einer zweidimensionalen Registermatrixstruktur. Die Draufsicht von 7A entspricht im Wesentlichen der Ausführungsform des Einheitszellendesigns von 6, in der jede Registerdatei bei einem bestimmten Matrixort mit der Registerdatei seiner linken, rechten, oberen und unteren benachbarten Einheitszellenposition gekoppelt ist. Das heißt, beispielsweise, wie in 7a ersichtlich, die Registerdatei A ist mit den Registerdateien B, C, D und E gekoppelt.
7b zeigt eine Ausführungsform einer Draufsicht des logischen (und möglicherweise physischen) Designs einer zweidimensionalen Registermatrixstruktur. Wie in 7b dargestellt, sind Einheitszellen nicht nur an die nächstgelegenen vertikalen und horizontalen Nachbarn gekoppelt, sondern auch an die „zweit-“nächstgelegenen vertikalen und horizontalen Nachbarn. Wie zum Beispiel in 7b dargestellt, die Einheitszelle A ist nicht nur an die Einheitszellen B, C, D und E gekoppelt, sondern auch an die Einheitszellen F, G, H und I. Zur Vereinfachung der Zeichnung und Ansicht wird nur Einheitszelle A mit der vollständigen Reihe an Verbindungen, die für die nächstgelegene und zweit-nächstgelegene benachbarte Kopplung nötig sind, dargestellt. Außer Einheitszelle A zeigt nur jede zweite Einheitszelle die zweit-nächstgelegene benachbarte Kopplung entlang einer bestimmten Zeile oder Spalte (z. B. Einheitszelle B zeigt keine nächstgelegene benachbarte Kopplung). Der Leser wird verstehen, dass eine bevorzugte Ausführungsform die Kopplung der Einheitszelle A für z. B. alle Einheitszellen innerhalb des Kerns und in ausreichender Entfernung der Matrixränder, um eine zweit-nächstgelegene benachbarte Kopplung zu unterstützen, beinhalten würde.
Die zweit-nächstgelegene Verbindung bietet eine schnellere Ausbreitung der Registerwerte durch die Registermatrix. Wenn ein Registerwert beispielsweise zu einer Einheitszelle vier Orte entfernt verschoben werden muss, kann die Matrixstruktur von 7b die Bewegung in zwei Zyklen erreichen, während die Matrixstruktur von 7b die gleiche Bewegung in nur vier Zyklen erreichen kann. Beachten Sie, dass die Ausführungsform von 7b auch nächstgelegene benachbarte Verbindungen hat. Der Ausführungsbahn-Befehlssatz für die Struktur von 7b kann daher ausgedehnter als der Ausführungsbahn-Befehlssatz für die Struktur von 7a sein (ersterer mit Ein-Sprung und Zwei-Sprung-MOV-Befehle, während letzterer nur Ein-Sprung-MOV-Befehle hat).
Es ist angebracht, darauf hinzuweisen, dass die Anzahl und Kombination von verschiedenen nummerierten Sprungbewegungen und entsprechenden Matrixstruktur-Ausführungsformen von Ausführungsform zu Ausführungsform, abhängig von der entsprechenden Abwägung aus dem Gleichgewicht zwischen der Notwendigkeit für schnelle Registerwertbewegung und der Toleranz für Matrixstruktur-Verdrahtungsdichte, sehr unterschiedlich sein kann. Einige Ausführungsformen können nächstgelegene dritte und/oder vierte benachbarte Verbindungen unterstützen, andere wiederum nicht (im Fall von nächstgelegenen vierten benachbarten Verbindungen würde z. B. Einheitszelle D direkt an Einheitszelle J in 7b gekoppelt werden). Einige Ausführungsformen können nur nächstgelegene benachbarte Verbindungen und nächstgelegene dritte oder weiter entfernte Verbindungen haben usw. Denkbar aufwendigere Ausführungsformen können sogar diagonale Verbindungen (z. B. die Verbindung von Einheitszelle A mit Einheitszelle K und ihren anderen drei benachbarten Eckeinheitszellen in 7b) unterstützen. Fachleute auf dem Gebiet werden erkennen, dass die verschiedenen erweiterten Verbindungen unter Einheitszellen einfach durch Erweitern der Eingabequellen zur Eingabe-Mux-Struktur 604 und Erweitern des Fan-Out zur Ausgabe-Mux-Struktur 603 von 6 erreicht wird.
8a zeigt eine beispielhafte logische Anordnung der Register entlang einer Zeile oder Spalte in einer zweidimensionalen Registermatrixstruktur (zur Vereinfachung der Zeichnung hat die Registermatrix nur Abmessungen von 8×8, während in der Praxis die Abmessungen viel größer sein können). Benachbarte Bildpunkte, die in einer Matrix verarbeitet werden, befinden sich hier in numerisch benachbarten Einheitszellen (z. B. ein paar benachbarte Bildpunkte in der Matrix werden in Einheitszellen 3 und 4 statt 3 und 5 platziert). Das logische Design von 8a beinhaltet auch eine Rollfunktion durch Kopplung der ersten logischen Einheitszelle 1 bis zur letzten Einheitszelle 8 durch Verbindung 801 (somit können die Ausführungsbahnen der Ausführungsbahnmatrix auch einen Roll-Operationscode beinhalten).
Probleme können jedoch insbesondere bei Matrizen mit großen Abmessungen auftreten, wenn das Design von 8a nicht nur das logische Design, sondern auch das physische Design darstellt. Wenn der Ansatz von 8a auch das physische Design darstellt, so entspricht Verbindung 801 einem extrem langen Draht im Vergleich zu der Länge der anderen Drähte, die die anderen Einheitszellpaare als Paar 1 und 8 verbinden. Diese besondere abweichende Drahtlänge kann Timing-Komplikationen bei Schaltungen verursachen (durch Verlangsamen aller Schiebezeiten zwischen allen Einheitszellen, sodass sie nicht weniger als die langsamste 1<->8 Schiebezeit sind, oder durch Einführen von Komplikationen, die mehr Zyklen zwischen 1<->8 Verschiebungen als Verschiebungen zwischen allen anderen benachbarten Einheitszellen erkennen).
8b zeigt eine Ausführungsform eines verbesserten physischen Designs für eine Zeile oder Spalte einer Registermatrixstruktur mit dem logischen Design von 8a. Das physische Design entspricht hier dem tatsächlichen Layout der Schaltungsstrukturen im Gegensatz zu nur logischen Verbindungen (wie bei einem logischen Design). Wie in 8b dargestellt, das physische Design amortisiert die zusätzliche Länge, die bei der 1<->8 Verbindung unter den anderen Einheitszellen erforderlich ist, indem es in der Logik des Layouts ein ringförmiges Design festlegt. Obwohl Elementarzelle 1 physisch mit Einheitszelle 2 verbunden ist, um das Logik-Design zu erhalten, sitzt beispielsweise Einheitszelle 8 physisch zwischen ihnen. Das Ergebnis ist eine maximale Drahtlänge zwischen den Einheitszellen in der Struktur von 8b, die viel kürzer als die Länge des Drahtes 801 in 8a ist. Demgemäß vermeiden die Timing-Komplikationen der Struktur von 8b die oben genannten Timing-Komplikationen der Struktur von 8a. In einer Ausführungsform kann eine Rolle von Registerinhalt zwischen allen Einheitszellen in einem einzigen Zyklus auftreten.
8c zeigt, dass die Datenbusstruktur zwischen dem Blattgenerator oder einem Direktzugriffsspeicher 802 (z. B. eines RAMs 407 von 4) und einer Zeile oder Spalte der Registermatrix eine Art Umstellstruktur 803 beinhaltet, um die richtigen logischen Verbindungen zu einer Matrix oder einer Zeile mit einem ringförmigen physischen Layout aufrechtzuerhalten. 8d zeigt eine andere ringförmige Struktur, die 4-Sprung-Verschiebungen umsetzen kann, wo der maximale zurückgelegte Abstand eines jeden Registerwerts 4 Einheitszellen beträgt. Hier sollte klar sein, dass eine andere Umstellung, wie ein Datenbus, zwischen den Registern von 8d und dem Blattgenerator oder RAM existieren würde. Ein Merkmal kennzeichnend für die Umsetzung eines physikalischen ringförmigen Layouts ist die Existenz von Umstellung durch einen Datenbus, der Eingänge verbindet, die in logischer Reihenfolge angeordnet sind.
8e zeigt eine besondere Fan-Out-Schaltung vom Ausgangsmultiplexer 804 einer Einheitszelle der Verschiebungsmatrixstruktur. Hier ist der Ausgangsmultiplexer 804 ähnlich wie der Ausgangsmultiplexer 603 von 6a. Da die Verschiebungsmatrix konzipiert ist, mehr und mehr Verbindungen (Ein-Sprung, Zwei-Sprung usw.) zu unterstützen, wächst der Fan-Out des Ausgangsmultiplexers 804. Sowie der Fan-Out des Ausgangsmultiplexers 804 wächst, kann Stromverbrauch mehr und mehr zu einem Problem werden. 8e zeigt einen Ausgangsmultiplexer 804 für eine Schieberegistermatrix, der Ein-Sprung und Zwei-Sprung-Verbindungen unterstützt. Hier würde ein neuer Ausgang am Multiplexer 804 (z. B. ein neuer Herausverschiebungswert) ohne das Vorhandensein von Logikgattern, wie in 8e dargestellt, an acht Orte (linker Nachbar, rechter Nachbar, ..., 2-Sprung unterer Nachbar) übertragen werden. Wie auf dem Fachgebiet bekannt ist, entspricht hier eine Änderung der Daten über eine Lauflänge von Draht in einer logischen Schaltung „Schaltaktivität“, die wiederum Strom verbraucht.
Das Vorhandensein von acht dargestellten Logikgattern am Ausgang des Multiplexers 804 sind dafür ausgelegt, um solche Datenänderungen zu verhindern, außer auf dem tatsächlichen Draht, der der Verschiebungsrichtung entspricht. Wenn beispielsweise die Verschiebungsrichtung ein Sprung nach rechts ist, erlaubt nur das Gatter, das zum unmittelbaren rechten Nachbarn gekoppelt ist, dass die Ausgabe des Multiplexers 804 hindurch gelangt. Alle anderen Logikgatter werden verhindern, dass der Datenwert an die anderen Knoten weitergegeben wird (wo der Verschiebungswert nicht benötigt wird) und reduzieren dabei den Stromverbrauch der Verschiebungsoperation.
c. Ausführungsformen zur Implementierung
Es ist wichtig, darauf hinzuweisen, dass die oben beschriebenen verschiedenen Merkmale der Bildprozessorarchitektur nicht zwangsläufig auf die Bildverarbeitung im herkömmlichen Sinne beschränkt sind und daher auf andere Anwendungen angewendet werden können, die ggf. veranlassen, dass der Bildprozessor neu charakterisiert wird oder auch nicht. Wenn beispielsweise eines der vorstehend beschriebenen verschiedenen Merkmale der Bildprozessorarchitektur bei der Erstellung und/oder Erzeugung und/oder Wiedergabe von Animationen anstatt bei der Verarbeitung von tatsächlichen Kamerabildern verwendet werden soll, kann der Bildprozessor als grafische Verarbeitungseinheit charakterisiert sein. Zudem können die oben beschriebenen Architekturmerkmale des Bildprozessors in anderen technischen Anwendungen, wie z. B. in der Videoverarbeitung, Bildverarbeitung, Bilderkennung und/oder dem maschinellen Lernen, angewendet werden. Auf diese Weise kann der Bildprozessor (z. B. als Coprozessor) in einen allgemeineren Universalprozessor (z. B. als Teil einer CPU des Computersystems) mit integriert werden oder ein eigenständiger Prozessor innerhalb eines Computersystems sein.
Die oben beschriebenen Hardware-Ausführungsformen können in einem Halbleiterchip und/oder als Beschreibung eines Schaltungsdesigns zur letztendlichen Ausrichtung auf einen Halbleiterherstellungsprozess enthalten sein. Im letzteren Fall können diese Schaltungsbeschreibungen die Form einer Schaltungsbeschreibung auf hoher Verhaltensebene (z. B. VHDL-Beschreibung) oder einer Schaltungsbeschreibung auf niedrigerer Ebene (z. B. Beschreibung einer Registerüberleitungsschaltung (RTL), einer Transistorschaltung oder einer Maske) oder verschiedener Kombinationen derselben annehmen. Schaltungsbeschreibungen sind in der Regel auf einem computerlesbaren Speichermedium (wie z. B. einer CD-ROM oder einer anderen Art von Speichertechnologie) enthalten.
Aus den vorangehenden Abschnitten ist zu erkennen, dass ein Bildprozessor, wie oben beschrieben, in der Hardware auf einem Computersystem (z. B. als Teil eines Handgerätsystems on Chip (SOC), das Daten von der Kamera des Handgerätes verarbeitet) enthalten sein kann. In Fällen, in denen der Bildprozessor als Hardware-Schaltung ausgebildet ist, ist zu beachten, dass die Bilddaten, die von dem Bildprozessor verarbeitet werden, direkt von einer Kamera empfangen werden können. Hier kann der Bildprozessor Teil einer diskreten Kamera oder Teil eines Computersystems mit einer integrierten Kamera sein. Im letzteren Fall können die Bilddaten direkt von der Kamera oder aus dem Systemspeicher des Computersystems empfangen werden (z. B. sendet die Kamera ihre Bilddaten anstatt an den Bildprozessor an den Systemspeicher). Zu beachten ist auch, dass viele der in den vorangehenden Abschnitten beschriebenen Merkmale auf eine Bildprozessoreinheit (zur Darstellung von Animationen) anwendbar sind.
9 zeigt eine exemplarische Darstellung eines Computersystems. Viele der Komponenten des nachstehend beschriebenen Computersystems sind auf ein Computersystem mit einer integrierten Kamera und einem zugehörigen Bildprozessor (z. B. einem Handgerät, wie z. B. einem Smartphone oder Tablet-Computer) anwendbar. Fachleute auf dem Gebiet werden leicht zwischen beiden unterscheiden können.
Wie in 9 ersichtlich, kann das grundlegende Computersystem eine zentrale Verarbeitungseinheit 901 (die beispielsweise eine Vielzahl von Universal-Verarbeitungskernsystemen 915_1 bis 915_N und einen auf einem Multikernprozessor oder einem Anwendungsprozessor angeordneten Hauptspeichercontroller 917 beinhalten kann), Systemspeicher 902, ein Display 903 (z. B. Touchscreen, Flachbildschirm), eine lokal verdrahtete Punkt-zu-Punkt-Verbindung (z. B. eine USB-Schnittstelle) 904, verschiedene Netzwerk-E/A-Funktionen 905 (wie z. B. eine Ethernet-Schnittstelle und/oder ein Mobilfunkmodem-Teilsystem), ein drahtloses lokales Netzwerk (z. B. WLAN) 906, eine drahtlose Punkt-zu-Punkt-Verbindung (z. B. Bluetooth-Schnittstelle) 907 und eine globale Positionierungssystemschnittstelle 908, verschiedene Sensoren 909_1 bis 909_N, eine oder mehrere Kameras 910, eine Batterie 911, eine Energieverwaltungssteuereinheit 912, einen Lautsprecher und ein Mikrofon 913 sowie einen Audio-Kodierer/Dekodierer 914 beinhalten.
Ein Anwendungsprozessor oder Multikernprozessor 950 kann einen oder mehrere Universalprozessorkerne 915 innerhalb seines CPUs 901, eine oder mehrere grafische Verarbeitungseinheiten 916, eine Speicherverwaltungsfunktion 917 (z. B. einen Speichercontroller), eine E/A-Steuerfunktion 918 und eine Bildverarbeitungseinheit 919 beinhalten. Die Universalverarbeitungskerne 915 führen in der Regel das Betriebssystem und die Anwendungssoftware des Computersystems aus. Die Grafikverarbeitungseinheiten 916 führen in der Regel grafikintensive Funktionen aus, um z. B. Grafikdaten zu erzeugen, die auf dem Display 903 dargestellt werden. Die Speichersteuerfunktion 917 ist mit dem Systemspeicher 902 verbunden, um Daten in den Systemspeicher 902 zu schreiben bzw. aus diesem einzulesen. Die Energieverwaltungssteuereinheit 912 steuert im Allgemeinen den Energieverbrauch des Systems 900.
Die Bildverarbeitungseinheit 919 kann gemäß einer der oben in den vorangehenden Abschnitten beschriebenen Ausführungsformen der Bildverarbeitungseinheit implementiert sein. Alternativ dazu oder in Kombination kann die IPU 919 mit einer oder sowohl dem GPU 916 als auch der CPU 901 als Coprozessor derselben gekoppelt sein. Darüber hinaus kann in verschiedenen Ausführungsformen der GPU 916 mit einem der oben beschriebenen Prozessormerkmale implementiert sein.
Das Touchscreen-Display 903, die Kommunikationsschnittstellen 904–907, die GPS-Schnittstelle 908, die Sensoren 909, die Kamera 910 und der Lautsprecher/Mikrofon-Codec 913, 914 können alle als unterschiedliche Formen von E/A (Eingang und/oder Ausgang) in Bezug auf das gesamte Computersystem betrachtet werden, darunter auch gegebenenfalls ein integriertes Peripheriegerät (z. B. die eine oder mehrere Kameras 910). Je nach Implementierung können verschiedene dieser E/A-Komponenten auf dem Anwendungsprozessor/Multikernprozessor 950 integriert sein oder sich außerhalb des Chips oder außerhalb des Pakets des Anwendungsprozessors/Multikernprozessors 950 befinden.
In einer Ausführungsform beinhalten eine oder mehrere Kameras 910 eine Tiefenkamera, die in der Lage ist, die Tiefe zwischen der Kamera und einem Objekt in dessen Sichtfeld zu messen. Anwendungssoftware, Betriebssystemsoftware, Gerätetreibersoftware und/oder Firmware, die auf einem universellen CPU-Kern (oder einem anderen Funktionsblock mit einer Befehlsausführungspipeline zum Ausführen eines Programmcodes) eines Anwendungsprozessors oder eines anderen Prozessors ausgeführt werden, können sämtliche der oben beschriebenen Funktionen ausführen.
Ausführungsformen der Erfindung können, wie oben dargelegt, verschiedene Verfahren beinhalten. Die Prozesse können in maschinenausführbaren Befehlen enthalten sein. Die Befehle können dazu verwendet werden, einen Universalprozessor oder Spezialprozessor dazu zu veranlassen, bestimmte Prozesse auszuführen. Alternativ dazu können diese Prozesse von spezifischen Hardwarekomponenten ausgeführt werden, die eine fest verdrahtete Logik zum Ausführen der Prozesse oder eine beliebige Kombination von programmierten Computerkomponenten und benutzerdefinierten Hardwarekomponenten enthalten.
Elemente der vorliegenden Erfindung können darüber hinaus als maschinenlesbares Medium zum Speichern der maschinenausführbaren Befehle bereitgestellt sein. Das maschinenlesbare Medium kann unter anderem Disketten, optische Platten, CD-ROMs und magneto-optische Platten, FLASH-Speicher, ROMs, RAMs, EPROMs, EEPROMs, magnetische oder optische Karten, Ausbreitungsmedien oder andere Arten von Medien/maschinenlesbare Medien, die für die Speicherung von elektronischen Befehlen geeignet sind, beinhalten. Die vorliegende Erfindung kann beispielsweise als ein Computerprogramm heruntergeladen werden, das von einem dezentralen Computer (z. B. einem Server) mittels eines in einer Trägerwelle oder in einem anderen Ausbreitungsmedium enthaltenen Datensignals an einen anfordernden Computer (z. B. einen Client) über eine Kommunikationsverbindung (z. B. ein Modem oder eine Netzwerkverbindung) übertragen werden kann.
In der vorstehenden Spezifikation wurde die Erfindung unter Bezugnahme auf spezifische exemplarische Ausführungsformen derselben beschrieben. Es ist jedoch offensichtlich, dass verschiedene Modifikationen und Änderungen daran vorgenommen werden können, ohne von dem in den beigefügten Ansprüchen dargelegten Erfindungsgedanken und Umfang der Erfindung abzuweichen. Die Beschreibung und die Zeichnungen sind daher in einem veranschaulichenden und nicht in einem einschränkenden Sinne zu betrachten.

Claims

Vorrichtung, umfassend: Eine Ausführungsbahnmatrix, die mit einer zweidimensionalen Schieberegistermatrixstruktur gekoppelt ist, wobei Orte in der Ausführungsbahnmatrix mit gleichen Orten in der zweidimensionalen Schieberegistermatrixstruktur gekoppelt sind, sodass unterschiedliche Ausführungsbahnen verschiedene dedizierte Register haben.
Vorrichtung nach Anspruch 1, wobei die zweidimensionale Schieberegistermatrixstruktur eine Kopplung zwischen benachbarten Orten in der zweidimensionalen Schieberegistermatrixstruktur aufweist.
Vorrichtung nach Anspruch 2, wobei die zweidimensionale Schieberegistermatrixstruktur eine Kopplung zwischen Orten in der zweidimensionalen Schieberegistermatrixstruktur beinhaltet, die zwei Positionen auseinander sind.
Vorrichtung nach Anspruch 2, wobei die zweidimensionale Schieberegistermatrixstruktur eine Kopplung zwischen den Orten in der zweidimensionalen Schieberegistermatrixstruktur beinhaltet, die mindestens einen von drei und vier Orten auseinander sind.
Vorrichtung nach Anspruch 1, wobei die zweidimensionale Schieberegistermatrixstruktur Kopplung zwischen Orten in der zweidimensionalen Schieberegistermatrixstruktur beinhaltet, die mindestens einen von zwei, drei und vier Orten auseinander sind.
Vorrichtung nach Anspruch 1, wobei die Abmessungen der zweidimensionalen Registermatrixstruktur größer sind als die Abmessungen der Ausführungsbahnmatrix, sodass ein Ringbereich außerhalb der Ausführungsbahnmatrix vorhanden ist.
Vorrichtung nach Anspruch 1, wobei ein Paar logisch benachbarte Matrixorte in der zweidimensionalen Registermatrixstruktur einen physischen Matrixort zwischen ihren jeweiligen physischen Orten haben.
Vorrichtung nach Anspruch 6, wobei die physische Matrix eine ringförmige Struktur festlegt.
Vorrichtung nach Anspruch 6, wobei die zweidimensionale Registermatrixstruktur einen letzten logischen Ort an einen ersten logischen Ort koppelt, um einen Roll-Betrieb zu unterstützen.
Vorrichtung nach Anspruch 6, wobei die zweidimensionale Registermatrixstruktur an einen Direktzugriffsspeicher durch einen Umstell-Datenbus gekoppelt ist.
Computersystem, umfassend: eine Vielzahl von Prozessorkernen; einen Speichercontroller, der mit der Vielzahl von Prozessorkernen gekoppelt ist und der Speichercontroller mit dem Systemspeicher gekoppelt ist; ein Bildprozessor, wobei der Bildprozessor eine an eine zweidimensionale Schieberegistermatrixstruktur gekoppelte Ausführungsbahnmatrix aufweist, wobei Orte in der Ausführungsbahnmatrix mit gleichen Orten in der zweidimensionalen Schieberegistermatrixstruktur gekoppelt sind, sodass unterschiedliche Ausführungsbahnen verschiedene dedizierte Register haben.
Computersystem nach Anspruch 11, wobei die zweidimensionale Schieberegistermatrixstruktur die Kopplung zwischen benachbarten Orten in der zweidimensionalen Schieberegistermatrixstruktur beinhaltet.
Computersystem nach Anspruch 12, wobei die zweidimensionale Schieberegistermatrixstruktur die Kopplung zwischen Orten in der zweidimensionalen Schieberegistermatrixstruktur beinhaltet, die zwei Orte auseinander sind.
Computersystem nach Anspruch 12, wobei die zweidimensionale Schieberegistermatrixstruktur die Kopplung zwischen Orten in der zweidimensionalen Schieberegistermatrixstruktur beinhaltet, die mindestens einen von drei und vier Orten auseinander sind.
Computersystem nach Anspruch 11, wobei die zweidimensionale Schieberegistermatrixstruktur die Kopplung zwischen Orten in der zweidimensionalen Schieberegistermatrixstruktur beinhaltet, die mindestens einen von zwei, drei und vier Orten auseinander sind.
Computersystem nach Anspruch 11, wobei die Abmessungen der zweidimensionalen Registermatrixstruktur größer sind als die Abmessungen der Ausführungsbahnmatrix, sodass ein Ringbereich außerhalb der Ausführungsbahnmatrix vorhanden ist.
Computersystem nach Anspruch 11, wobei ein Paar logisch benachbarte Matrixorte in der zweidimensionalen Registermatrixstruktur einen physischen Matrixort zwischen ihren jeweiligen physischen Orten haben.
Computersystem nach Anspruch 16, wobei die physische Matrix eine ringförmige Struktur festlegt.
Computersystem nach Anspruch 16, wobei die zweidimensionale Registermatrixstruktur einen letzten logischen Ort an einen ersten logischen Ort koppelt, um einen Roll-Betrieb zu unterstützen.
Computersystem nach Anspruch 16, wobei die zweidimensionale Registermatrixstruktur an einen Direktzugriffsspeicher durch einen Umstell-Datenbus gekoppelt ist.
Verfahren, umfassend: Eine Verschiebung in eine gleiche Richtung und Anzahl von Orten, von Daten von mehreren zusammenhängenden Orten innerhalb einer zweidimensionalen Schieberegistermatrixstruktur, um jeweils mehreren unterschiedlichen Ausführungsbahnen innerhalb einer Ausführungsbahnmatrix einen neuen Wert innerhalb der jeweiligen dedizierten Register der mehreren unterschiedlichen Ausführungsbahnen zu bieten, wobei die unterschiedlichen Ausführungsbahnen mit ihren jeweiligen dedizierten Registern an die jeweiligen gleichen Orte der Ausführungsbahnmatrix und der zweidimensionalen Schieberegistermatrix gekoppelt sind.
Verfahren nach Anspruch 21, wobei der Abstand ein Ort ist.
Verfahren nach Anspruch 22, wobei die Richtung jede beliebige nach oben, unten, links, rechts, diagonal ist.
Verfahren nach Anspruch 21, wobei der Abstand jeder beliebige von zwei, drei, vier Orten ist.
Verfahren nach Anspruch 21, das ferner das Rollen von Daten innerhalb der zweidimensionalen Registermatrixstruktur umfasst.
Ein maschinenlesbares Medium, das eine Beschreibung einer Schaltung ausweist, wobei die Schaltung umfasst: Eine Ausführungsbahnmatrix, die mit einer zweidimensionalen Schieberegistermatrixstruktur gekoppelt ist, wobei Orte in der Ausführungsbahnmatrix mit gleichen Orten in der zweidimensionalen Schieberegistermatrixstruktur gekoppelt sind, sodass unterschiedliche Ausführungsbahnen verschiedene dedizierte Register haben.
Maschinenlesbares Medium nach Anspruch 26, wobei die zweidimensionale Schieberegistermatrixstruktur die Kopplung zwischen benachbarten Orten in der zweidimensionalen Schieberegistermatrixstruktur beinhaltet.
Maschinenlesbares Medium nach Anspruch 27, wobei die zweidimensionale Schieberegistermatrixstruktur die Kopplung zwischen Orten in der zweidimensionalen Schieberegistermatrixstruktur beinhaltet, die zwei Orte auseinander sind.
Maschinenlesbares Medium nach Anspruch 27, wobei die zweidimensionale Schieberegistermatrixstruktur die Kopplung zwischen Orten in der zweidimensionalen Schieberegistermatrixstruktur beinhaltet, die mindestens einen von drei und vier Orten auseinander sind.