DE4125112A1 - Bildverarbeitungssystem - Google Patents

Description

Die Erfindung betrifft ein Bildverarbeitungssystem nach dem Oberbe­ griff des Anspruchs 1.

Bildverarbeitungssysteme dienen dazu, menschliche Tätigkeiten zu er­ gänzen oder zu ersetzen, etwa infolge Rationalisierungsbedarf oder aus si­ cherheitstechnischen Gründen, oder um bestimmte Informationen schneller als ein Mensch aus einem Bild zu extrahieren. Dementsprechend ergeben sich sehr unterschiedliche Anforderungen an die Bildverarbeitung, so daß sich die ein­ zelnen Systeme bezüglich ihrer Funktionalität und ihrer Ausführungsgeschwin­ digkeit stark unterscheiden.

Hierzu werden beispielsweise programmierbare Rechner verwendet. Hierbei besteht, solange die Ausführungsgeschwindigkeit keine Rolle spielt, lediglich das Problem, die Bilddaten in geeigneter Weise zu verarbeiten.

Bei Steuerungsvorgängen spielt aber die Ausführungsgeschwindigkeit eine wesentliche Rolle. Für viele Applikationen sind die anzuwendenden Ver­ fahren an sich bekannt; auf Rechnern programmierte Bildverarbeitungssysteme können die Funktion jedoch nicht in der erforderlichen Zeit ausführen. Hierzu ist es üblich, teure Speziallösungen in Form von spezieller Elektronik zu entwickeln, die eine vorgegebene Bildverarbeitungsfunktion ausführen. Im Ge­ gensatz zu programmierten Lösungen sind diese jedoch dann nicht mehr modifi­ zierbar oder erweiterbar. Außerdem sind sie mit beträchtlichen Entwicklungs­ kosten verbunden, was besonders entscheidend ist, wenn die Lösung nur in we­ nigen Spezialfällen zum Einsatz kommt.

Ein derartiges Bildverarbeitungssystem ist beispielsweise aus der DE-PS 39 28 244 bekannt, bei dem ein Lenkflugkörper mit einer Videokamera ausgerüstet und über einen Lichtwellenleiter mit einer Bodenlenkanlage ver­ bunden ist, wobei über den Lichtwellenleiter zwei TV-Bilder zur Bodenlenkan­ lage übertragen werden. Die übertragenen Daten werden einem Bildprozessor sowie Doppelbildspeichern für entsprechende Monitore zur Wiedergabe eines Identifizierungsstandbildes sowie eines Navigationslaufbildes zugeführt, wo­ bei dementsprechend über einen Lenkstand und einen Lenkrechner eine Steuerung des Lenkflugkörpers vorgenommen werden kann.

Aufgabe der Erfindung ist es, ein Bildverarbeitungssystem nach dem Oberbegriff des Anspruchs 1 zu schaffen, das einerseits die volle Funktiona­ lität eines frei programmierbaren Systems bietet, andererseits aber in bezug auf die Ausführungsgeschwindigkeit an die jeweiligen Bedürfnisse der Anwen­ dung anpaßbar ist.

Diese Aufgabe wird entsprechend dem kennzeichnenden Teil des An­ spruchs 1 gelöst.

Weitere Ausgestaltungen der Erfindung sind der nachfolgenden Be­ schreibung und den Unteransprüchen zu entnehmen.

Die Erfindung wird nachstehend anhand des in den beigefügten Abbil­ dungen dargestellten Ausführungsbeispiels näher erläutert.

Fig. 1 zeigt schematisch ein Bildverarbeitungssystem.

Fig. 2 zeigt schematisch die Datenbewegungen bei dem Bildverar­ beitungssystem nach Fig. 1.

Fig. 3 zeigt die Datenbewegung bei automatischer Bildfolgenauswer­ tung.

Fig. 4 zeigt die Datenbewegungen im interaktiven Modus.

Fig. 5 zeigt das Datenmanagement in einem Ausführungsprozessor des Bildverarbeitungssystems.

Das in Fig. 1 dargestellte Bildverarbeitungssystem umfaßt ein Ein­ gangsinterface 1 für ein von einer Kamera 2 oder einem Bildträger 3 stammendes analoges Bildsignal. Das Eingangsinterface 1 umfaßt einen Digitalisierer 4, der das von der Kamera 2 oder dem Bildträger 3 stammende analoge Bildsignal digitalisiert und somit der Bildverarbeitung zugänglich macht. Der Digitali­ sierer 4 ist vorzugsweise mit einem eigenen Transputer 5 versehen, der ent­ sprechend dem dargestellten Ausführungsbeispiel vier Ausgangsdatenkanäle aufweist und eine Vorabbildverarbeitung zur Vorbereitung der noch auszufüh­ renden Funktionen vornehmen kann. Außerdem umfaßt das Eingangsinterface beim dargestellten Ausführungsbeispiel einen integrierten Graphikprozessor 6, der es ermöglicht, das Bild in einer bestimmten Norm, etwa in CCIR-Norm, wie z. B. von einer Bildplatte 7 gefordert, auszugeben.

Die vier Ausgangsdatenkanäle des Eingangsinterface 1 führen zu vier Reihen von hintereinander geschalteten Ausführungsprozessoren 8, die den ei­ gentlichen Bildprozessor bilden und eine parallele Bildverarbeitung durch­ führen. Hierbei wird zur Ansteuerung ein Hostcomputer verwendet, mit dem das Bildverarbeitungssystem frei programmierbar ist. Er stellt außerdem die Ver­ bindung zu allen sonstigen Geräten her, die nicht direkt von der Bildverar­ beitung aus angesteuert werden. Der Bediener kommuniziert im wesentlichen mit dem Hostcomputer 9, dessen Bedieneroberfläche somit von der eigentlichen Bildverarbeitung weitgehend entkoppelt ist. An den Hostcomputer 9 sind alle erforderlichen Eingabegeräte, wie Tastatur, Maus und "Touch Screen" ange­ schlossen.

Ferner ist ein Graphikprozessor 10 zur hochauflösenden Bildfolgen­ verarbeitung vorgesehen, der mit den Ausgangskanälen der Reihen von Ausfüh­ rungsprozessoren 8 verbunden ist. Der Graphikprozessor 10 erlaubt die Ausgabe eines hochaufgelösten Bildes an einen insbesondere hochauflösenden Monitor 11. Der Graphikprozessor 10 kann ebenfalls über einen Transputer 12 verfügen, über den die Verbindung zu den Ausführungsprozessoren 8 hergestellt wird. Dieser kann gegebenenfalls eine zusätzliche Nachbereitung des Bildes, falls dies erforderlich ist, ermöglichen.

Die Anzahl der Ausführungsprozessoren 8, bei denen es sich insbeson­ dere um Transputer handelt, richtet sich nach dem Bedarf an Rechenleistung, in jeder Reihe ist wenigstens ein Transputer 8 vorgesehen.

Der Hostcomputer 9 kann ebenfalls einen Transputer 13 umfassen.

Die Ausführungsprozessoren umfassen einen Primär- und einen Sekundärspeicher 14 bzw. 15, und beispielsweise innerhalb einer RAM-Speicherkapazität von ein Mbyte.

Ein Standardsystem besteht daher aus einem Digitalisierer 4 4n (n<1) Ausführungsprozessoren 8, einem Monitor 11 sowie einem Hostcomputer 9, der mit einem Ausführungsprozessor 8 verbunden ist, während die restlichen Ver­ bindungen gemäß Fig. 1 ausgeführt sind und gegebenenfalls ein Graphikpro­ zessor 10 vorhanden ist.

Die Bilddaten können sowohl vom Digitalisierer 4 zu den Ausführungs­ prozessoren 8 als auch in umgekehrter Richtung bewegt werden. Entsprechendes gilt für den Graphikprozessor 10 und die Ausführungsprozessoren 8. Beim Di­ gitalisierer 4 und dem Graphikprozessor 10 ist der Primärspeicher identisch mit dem Video-RAM, der Inhalt also auf dem Monitor 11 sichtbar. Das digita­ lisierte Kamerabild wird ebenfalls hier abgelegt. In jedem Prozessor (Digi­ talisierer, Ausführungsprozessor, Graphikprozessor) können Daten vom Primär­ speicher 14 in den Sekundärspeicher 15 und umgekehrt bewegt werden (Fig. 2). Insbesondere speichern Bildverarbeitungsfunktionen, die auf zwei Bilder etwa wie die Bildsubtraktion wirken, die beiden Bilder im Primär- und Sekundär­ speicher 14, 15 ab. Das Ergebnis wird wahlweise im Primär- oder Sekundär­ speicher 14, 15 abgelegt.

Dazu kann vom Digitalisierer 4 ein im Primärspeicher 14 befindliches Eingangsbild wahlweise zu dem Primärspeicher 14 oder Sekundärspeicher 15 des Ausführungsprozessors 8 bewegt werden. Wurde das Eingangsbild zunächst in den Sekundärspeicher 15 des Digitalisierers 4 kopiert, so kann es von hier sowohl in den Primärspeicher 14 als auch in den Sekundärspeicher 15 des Ausfüh­ rungsprozessors 8 entsprechend den Pfeilen in Fig. 2 transportiert werden.

Eine Zwischenspeicherung im Sekundärspeicher 15 kann dabei aus zwei Gründen erfolgen:

• - der Primärspeicher 14 muß freigemacht werden zur Aufnahme eines Folgebildes,
• - es wird eine Präparierungsfunktion bereits im Digitalisierer 4 ausgeführt.

Für die Datenbewegungen vom Ausführungsprozessor 8 zum Graphikpro­ zessor 10 sind ebenfalls alle Kombinationen ausführbar, wie sie auch zwischen dem Digitalisierer 4 und dem Ausführungsprozessor 8 möglich sind. Entspre­ chendes gilt für den Transport der Bilddaten in die umgekehrte Richtung, d. h. von dem Graphikprozessor 10 zu den Ausführungsprozessoren 8, und von letzteren zum Digitalisierer 4.

Bei einer automatischen Auswertung von Bildfolgen erfolgt ein ent­ sprechender Auftrag zur Digitalisierung und Verarbeitung eines Bildes vom Hostcomputer 9. Er wird von dem am Hostcomputer 9 angeschlossenen Ausfüh­ rungsprozessor 8 zum Digitalisierer 4 übermittelt (Fig. 3). Die Bilddaten und sonstigen Parameter, wie beispielsweise das Kommando, wandern vom Digitali­ sierer 4 zu allen Ausführungsprozessoren 8. Die anzuwendende Funktion wird hier ausgeführt. Bei einigen Funktionen kann eine zentrale Auswertung der Zwischenergebnisse erforderlich sein. In diesem Fall senden die Ausführungs­ prozessoren 8 ihre Ergebnisse zu dem Graphikprozessor 10. Dieser führt die zentrale Bewertung aus und übermittelt das Resultat den Ausführungsprozesso­ ren 8. Das Endergebnis wird zum Graphikprozessor 10 gesandt und auf dem Mo­ nitor 11 sichtbar.

Wird ein Ergebnisbild gewünscht, das der CCIR-Norm genügt (Fernseh­ bild), so muß das Ergebnisbild zusätzlich oder ausschließlich zum Digitali­ sierer 4 zurücktransportiert werden, da dieser mit seinem Graphikprozessor die entsprechende Ausgabe vornimmt, während der Graphikprozessor 10 hochauflösende Monitore unterstützt.

Die Datenbewegungen vom Graphikprozessor 10 zu den Ausführungspro­ zessoren 8 werden für einen interaktiven Betriebsmodus benötigt. Hier wird ein Eingangsbild zunächst zum Graphikprozessor 10 übermittelt, um auf dem Monitor 11 sichtbar zu werden (Fig. 4). Der Benutzer aktiviert nun Funktio­ nen, die vom Hostcomputer 9 zum Graphikprozessor 10 übermittelt werden. Zur Ausführung wird das Bild den Ausführungsprozessoren 8 übergeben, die Funktion hier ausgeführt und das Ergebnis wieder zum Graphikprozessor 10 transpor­ tiert.

Die Funktionen werden in der Regel von den parallel arbeitenden Aus­ führungsprozessoren 8 durchgeführt. Die Aufgabenteilung erfolgt dabei funk­ tionsspezifisch. Bei einer Vielzahl von Funktionen, insbesondere bei ikoni­ schen Bildverarbeitungsfunktionen, bietet sich dazu eine Partitionierung des Gesamtbildes an. Die Teilbilder werden von den Ausführungsprozessoren 8 pa­ rallel bearbeitet.

Das Gesamtbild kann sowohl durch den Digitalisierer 4 als auch durch den Graphikprozessor 10 partitioniert werden. Die Einteilung ist dabei funk­ tionsabhängig. Jedes Teilbild kann mit einer Zieladresse zu einem bestimmten Ausführungsprozessor 8 verschickt werden. Auf dem Ausführungsprozessor 8 sind dazu zwei Prozesse parallel aktiv, die durch einen Router 16, der für den Datentransport verantwortlich ist, und einen Executer 17, der die Funktions­ ausführung übernimmt, durchgeführt werden.

Trifft ein Datenpaket bei einem Ausführungsprozessor 8 ein, so über­ prüft der Router 16, ob die Daten für ihn bestimmt sind. Falls dies der Fall ist, werden sie in den internen Primär- oder Sekundärspeicher 14 bzw. 15 übertragen und die mitspezifizierte Funktion aktiviert. Anderenfalls werden die Daten zum nächsten Ausführungsprozessor 8 weitergereicht.

Wie aus Fig. 5 ersichtlich ist, besteht dazu jedes Datenpaket aus einem Header, dem Bild bzw. Teilbild, und einem Trailer. Im Header werden bildbeschreibende Daten, insbesondere die Zieladresse übermittelt. Je nach Adresse schaltet der Router 16 auf internen Speicher oder auf "Bypass". Bei Eintreffen des Trailers weiß der Router 16, daß der Datentransport abge­ schlossen ist. Weiterhin ist das auszuführende Kommando im Trailer enthalten.

Der Benutzer kommuniziert mit dem Bildverarbeitungssystem über die Standardschnittstelle des Hostcomputers 9, zum Beispiel ein Terminal. Hier können Kommandos eingegeben werden.

Das Bildverarbeitungssystem kann in verschiedenen Betriebsmodi be­ trieben werden, die über den Hostcomputer 9 gesetzt werden, nämlich sowohl interaktiv als auch sequentiell als auch kontinuierlich.

Im interaktiven Betriebsmodus liest der Benutzer durch Spezifikation des entsprechenden Kommandos ein Bild in den Speicher des Graphikprozessors 10 ein. Das Originalbild wird auf dem Monitor 11 sichtbar. Durch Angabe wei­ terer Kommandos können die Funktionen der Bildverarbeitung auf dieses Bild angewendet werden.

Das im Hostcomputer 9 spezifizierte Kommando wird zum Graphikpro­ zessor 10 geleitet. In der Regel wird hier ein Modul aktiviert, das entspre­ chend der Konfiguration eine Partitionierung des Bildes vornimmt unter Be­ rücksichtigung einer funktionsabhängigen Überlappung. Die Teilbilder werden an die Ausführungsprozessoren 8 verschickt mit dem Auftrag, die Bildverar­ beitungsfunktion auf dieses Teilbild anzuwenden. Bei außergewöhnlichen Funk­ tionen können auch andere Arbeitsaufteilungen vorgenommen werden.

Falls ein Ergebnisbild anfällt, sendet jeder Ausführungsprozessor 8 sein Teilbild ohne die Überlappung zurück zum Graphikprozessor 10. Hier wird in dessen Sekundärspeicher das Gesamtbild aufgebaut. Erst nach Vervollstän­ digung desselben wird es in dessen Primärspeicher kopiert und damit auf dem Monitor 11 sichtbar.

In der sequentiellen Betriebsart wird ein Bild digitalisiert und den Ausführungsprozessoren 8 zur Funktionsausführung übermittelt. Das Ergebnis geht wahlweise zum Graphikprozessor 10 oder zum Digitalisierer 4. Die Funk­ tion wird vom Benutzer über den Hostcomputer 9 aktiviert. Von hier wird sie zum Digitalisierer 4 gesandt, der diese Information zusammen mit dem Bild verschickt.

In dieser Betriebsart wird auf den Auftrag hin nur ein Bild verar­ beitet. Im Gegensatz dazu erfolgt im kontinuierlichen Betriebsmodus unmit­ telbar nach Abschluß der Funktionsausführung ein neuer Vorgang. Dieser be­ steht aus einer Digitalisierung eines Bildes, Versand zu den Ausführungspro­ zessoren 8, Funktionsausführung und Versand des Ergebnisses zum Graphikpro­ zessor 10 bzw. zurück zum Digitalisierer 4.

Die Unterscheidung zwischen sequentiellem und kontinuierlichem Be­ triebsmodus hat folgende Gründe:

Im kontinuierlichen Modus erteilt der Hostcomputer 9 einen einmali­ gen Auftrag zur Bildfolgenauswertung und ist danach in den Vorgang der Bild­ verarbeitung nicht weiter involviert. Dies erlaubt ihm, sich ohne Störung anderen Aufgaben zu widmen. Die Bildfolgenauswertung erfolgt völlig autonom durch das Bildverarbeitungssystem.

In bestimmten Fällen, zum Beispiel bei Benutzung einer Bildplatte, sind jedoch vor der Digitalisierung und nach Versand des Ergebnisses weitere Steueroperationen des Hostcomputers 9 erforderlich, d. h. der Vorgang muß synchronisiert mit weiteren Aktivitäten des Hostcomputers ablaufen. Hierzu dient der sequentielle Betriebsmodus.

Die Auswertung einer auf einer Bildplatte abgespeicherten Bildfolge mit anschließender Abspeicherung des Ergebnisses auf der Bildplatte läuft dann wie folgt ab:

Der Hostcomputer 9 übermittelt zunächst eine Steueranweisung an die Bildplatte zur Bereitstellung des gewünschten Bildes. Der Hostcomputer 9 ak­ tiviert die Bildverarbeitung. Das von der Bildplatte bereitgestellte Bild wird digitalisiert und verarbeitet. Das Ergebnis wird zurück zum Digitali­ sierer 4 und eventuell zusätzlich zum Graphikprozessor 10 gesandt. Der Host­ computer 9 wird von der Bildverarbeitung über die Funktionsausführung unter­ richtet. Er sendet nun ein weiteres Steuerkommando zur Bildplatte. Die Bild­ platte liest das Ergebnis und speichert es ab. Anschließend beauftragt der Hostcomputer 9 die Bildplatte mit der Bereitstellung des nächsten Bildes. Der Vorgang beginnt von neuem.

Der Hostcomputer 9 kann mit einem Terminal bzw. einem eigenen Moni­ tor verbunden sein. Funktionsmenüs werden hier angezeigt und aktiviert. Der Monitor der Bildverarbeitung dient lediglich zur Anzeige der digitalisierten und verarbeiteten Videobilder. Optional können nicht genutzte Felder des Mo­ nitorbildes zur Parameteranzeige verwendet werden. Der Graphikprozessor 10 umfaßt einen Cursor und eine Segmentanzeige. Die Steuerung erfolgt z. B. über eine am Hostcomputer 9 angeschlossene Maus. Der Hostcomputer 9 übermittelt entsprechende Steuerkommandos an den Graphikprozessor 10.

Der Bildverarbeitungsmonitor 11 kann auch in die Bedienung einbezogen werden. Für den hochauflösenden Monitor 11 wird dann zu diesem Zweck ein Vi­ deofenster definiert, in das die Bilder übertragen werden. Die restlichen Felder stehen für applikationsspezifische Anzeigen zur Verfügung und können vom Hostcomputer 9 aus aktiviert bzw. verwaltet werden. Die Aktivierung der Funktion erfolgt auch hier durch die am Hostcomputer 9 angeschlossenen Ge­ räte, z. B. durch einen "Touch Screen". Die Selektion der Funktionen obliegt somit auch hier dem Hostcomputer 9.

Bei einem Hostcomputer 9 mit Monitor als Sichtstation ist der Ein­ satz eines Graphikmonitors mit zusätzlichen Videoeingang besonders vorteil­ haft. Das Videobild wird innerhalb eines Fensters des Monitors zur Anzeige gebracht. In diesem Fall kann die einfache Standardlösung, die vorstehend angegeben wurde, zur Anwendung kommen, während trotzdem die Vorteile der komplizierteren Ausführung genutzt werden. Der Anwender erhält Videobild und Funktionen auf dem gleichen Monitor angezeigt.

Bei Bedarf können die Ausführungsprozessoren 8 mit einem Vektorpro­ zessor als Koprozessor ausgestattet werden. Dieser erlaubt eine Leistungs­ steigerung für eine Vielzahl von Funktionen, insbesondere wenn die Ausführung Fouriertransformationen beinhaltet.

Für die Bildübertragung kann auch ein Videobus verwendet werden, an den alle Ausführungsprozessoren ebenso wie der Digitalisierer und der Gra­ phikprozessor angeschlossen sind.

Claims (7)

1. Bildverarbeitungssystem mit einem Eingangsinterface (1) für eine ein Videobild liefernde Einrichtung (2, 3) sowie einem Bildprozessor mit Monitorausgang, dadurch gekennzeichnet, daß das Eingangsinterface (1) einen Digitalisierer (4) umfaßt, dessen Ausgangsdaten über entsprechende mindestens zwei parallele Datenkanäle jeweils eine Reihe von Ausführungsprozessoren (8) des Bildprozessors, die über einen Hostcomputer (9) angesteuert werden, zuführbar sind, wobei die Anzahl der Ausführungsprozessoren (8), die in einer Anzahl von wenigstens eins in jeder Reihe vorgesehen sind, entsprechend dem Bedarf der Rechenleistung gewählt ist und der Digitalisierer (4) ebenso wie die Ausführungsprozessoren (8) einen Primär- und einen Sekundärspeicher (14, 15) umfassen.

2. Bildverarbeitungssystem nach Anspruch 1, dadurch gekennzeichnet, daß die Ausführungsprozessoren (8) Transputer sind.

3. Bildverarbeitungssystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß der Digitalisierer (4) einen eigenen Transputer (5) umfaßt.

4. Bildverarbeitungssystem nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß den Reihen von Ausführungsprozessoren (8) jeweils ein Ausgangskanal zugeordnet ist, die zu einem Graphikprozessor (10) mit variabler Bildauflösung führen.

5. Bildverarbeitungssystem nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß der Digitalisierer (4) einen Graphikprozessor umfaßt.

6. Bildverarbeitungssystem nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß der Digitalisierer (4) und gegebenenfalls der Graphikprozessor (10) eine Einrichtung zur Partitionierung des Gesamtbilds umfassen und die Ausführungsprozessoren (8) die hierdurch erzeugten Teilbilder parallel verarbeiten.

7. Bildverarbeitungssystem nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß die Ausführungsprozessoren einen Vektorprozessor als Koprozessor umfassen.