DE3603552C2 - - Google Patents

Description

Die Erfindung bezieht sich auf Verfahren zur Reduzierung von Bilddaten und betrifft insbesondere auch eine elektronische Kamera, die automatisch und/oder halbautomatisch zur bereichsweisen Konzentrierung der Bildauflösung gesteuert werden kann (Fovea-Steuerung).

In komplizierten, automatisch gesteuerten Systemen (wie Überwachungs-Fernsehkameras, Robotersysteme, Zielverfolgungssysteme, usw.) ist oft eine Signalverarbeitung von Abfragewerten oder Proben einer Bildinformation notwendig. Die Gesamtanzahl zu verarbeitender Bildelemente (auch Bildpunkte oder Pixels genannt) hängt zum einen von der Größe des Gesichtsfeldes des Bildes und zum andern von der räumlichen Auflösung des Bildes ab. Um ein hohes Maß an räumlicher Auflösung über die Gesamtheit eines großen Gesichtsfeldes zu erhalten, ist eine extrem hohe Anzahl von Bildelementen erforderlich. Andererseits ist es aber unpraktisch, eine so große Menge von Bildelementen zu verarbeiten.

Ein Weg zur Überwindung dieses Problems (der im menschlichen Auge realisiert wird) besteht darin, für eine relativ hohe räumliche Auflösung in einem Bereich des Gesichtsfeldes des Bildwandlers zu sorgen (entsprechend der zentral gelegenen Netzhautgrube oder "Fovea" des Auges) und eine relativ geringe räumliche Auflösung in einem anderen Bereich des Gesichtsfeldes des Bildwandlers vorzusehen (entsprechend der Peripherie der Netzhaut des Auges), um dann durch gesteuerte Bewegung des Bildwandlers den räumlichen Teil eines Bildes, der ursprünglich innerhalb eines gering auflösenden Bereichs des Bildwandlers gelegen ist, in den hochauflösenden Bereich des Bildwandlers zu bringen. So kann eine Person Auge und Kopf bewegen, um mit der hohen Auflösung in der Fovea ein Bild eines Objektes zu beobachten, das ursprünglich mit geringer Auflösung nahe dem Rand des Gesichtsfeldes gesehen wurde.

Die Aufgabe der vorliegenden Erfindung besteht darin, die Anzahl zu verarbeitender Bildelemente wesentlich zu vermindern und dennoch die Fähigkeit zu behalten, mit hoher räumlicher Auflösung Objekte zu beobachten, die ursprünglich irgendwo innerhalb eines relativ großen Gesichtsfeldes liegen können, dessen größter Teil nur ein geringes Auflösungsvermögen hat.

Die grundlegenden Merkmale eines erfindungsgemäßen Verfahrens sind im Patentanspruch 1 aufgeführt, und die wesentlichen Merkmale einer die Erfindung realisierenden Kamera sind im Patentanspruch 7 genannt. Vorteilhafte Ausgestaltungen der Erfindung sind jeweils in Unteransprüchen gekennzeichnet.

Zur Ausführung der vorliegenden Erfindung wird das Raumfrequenzspektrum eines durch ein eingangsseitiges Videosignal dargestellten Bildes analysiert, um eine Mehrzahl getrennter Ausgangs-Videosignale abzuleiten, die zusammen eine nach Ordnungszahlen geordnete Gruppe benachbarter Teilspektralbänder des Raumfrequenzspektrums des Bildes darstellen. Das durch das Eingangs-Videosignal dargestellte Bild ist ein Bild mit relativ hoher Auflösung und relativ weitem Gesichtsfeld und besteht aus einer ersten gegebenen Anzahl von Bildelementen. Es ist jedoch nur das erste Band der geordneten Gruppe der getrennten Ausgangs- Videosignale, das die relativ hohe Auflösung des vom Eingangs- Videosignal dargestellten Bildes zeigt. Ferner besteht nur dieses erste Band aus der ersten gegebenen Anzahl von Bildelementen. Jedes andere Band der Gruppe von Ausgangs-Videosignalen zeigt eine geringere Auflösung und eine kleinere Anzahl von Bildpunkten als das jeweils unmittelbar vorhergehende Band der Gruppe. Das letzte Band der Gruppe besteht somit aus einer zweiten gegebenen Anzahl von Bildelementen, welche die niedrigste Zahl von Bildelementen in allen Bändern der Gruppe ist.

Eine solche Analyse ist vom Stand der Technik her bekannt, z. B. aus der DE 34 23 484 A1.

Gemäß der vorliegenden Erfindung wird in Kombination mit einer solchen Analyse die Größe des durch mindestens ein Band der Gruppe dargestellten Gesichtsfeldes vermindert, indem aus den Bildpunkten dieses einen Bandes eine räumlich lokalisierte Teilmenge ausgewählt wird, die einen fensterartigen Teilbereich (im folgenden kurz "Raumfenster" genannt) darstellt, der vorzugsweise beweglich ist. Die Anzahl von Bildelementen der erwähnten Teilmenge ist nicht größer als die zweite gegebene Anzahl. Die erfindungsgemäße Technik der Bildreduktion ist also wesentlich anders als beim menschlichem Auge.

Die Erfindung wird nachstehend an Ausführungsbeispielen und anhand von Zeichnungen näher erläutert.

Fig. 1 ist ein Funktions-Blockschaltbild eines Systems, das eine elektronische Kamera mit automatischer Fovea- Steuerung verwendet, die eine erfindungsgemäße Einrichtung zur Reduzierung von Bilddaten enthält;

Fig. 2 ist ein Funktions-Blockdiagramm einer ersten beispielgebenden Ausführungsform der Bildreduktionseinrichtung nach Fig. 1;

Fig. 2a ist ein Funktions-Blockschaltbild einer zweiten beispielgebenden Ausführungsform der Bildreduktionseinrichtung nach Fig. 1;

Fig. 3 ist ein Funktions-Blockschaltbild einer ersten vorteilhaften Ausführungsform des Raumfrequenz-Spektralanalysators der Fig. 2;

Fig. 3a ist ein Funktions-Blockschaltbild einer zweiten vorteilhaften Ausführungsform des Raumfrequenz- Spektralanalysators der Fig. 2;

Fig. 4 veranschaulicht schematisch die Arbeitsweise der räumlich bewegbaren Fenster in der vorliegenden Erfindung;

Fig. 5 veranschaulicht schematisch die Relation von Auflösung und Gesichtsfeld unter den einzelnen Teilspektralband- Bildern, die am Ausgang der Anordnung nach Fig. 2 abgeleitet werden.

In der Fig. 1 ist ein System dargestellt, das als wesentliche Bestandteile eine elektronische Kamera 100 mit automatischer Fovea-Steuerung und einen Rechner 102 enthält. Das System nach Fig. 1 kann außerdem eine wahlweise vorzusehende Bedienungsstation 104 umfassen. Die Kamera 100 enthält als wesentliche Bauteile eine Bildwandlereinrichtung 106 mit hoher Auflösung und weitem Gesichtsfeld und eine Bilddaten-Reduziereinrichtung 108. Die Bildwandlereinrichtung 106 und die Daten-Reduziereinrichtung 108 können in einem einzigen Gehäuse der Kamera 100 integriert sein (wie in Fig. 1 dargestellt) oder, alternativ, getrennte Modulbausteine der Kamera 100 sein.

Die Bildwandlereinrichtung 106 besteht aus einer monochromatischen oder einer farbtüchtigen Fernsehkamera zur Aufnahme von Objektiven, die innerhalb eines durch ein relativ weites Gesichtsfeld definierten Bereichs des Raumes liegen, und zur Ableitung eines Videosignals, das als Eingangssignal an eine Daten-Reduziereinrichtung 108 gelegt wird. Dieses Videosignal stellt in Realzeit alle Bildelemente eines jeden Exemplars aufeinanderfolgender und relativ hochauflösender Vollbilder dar, die von der Bildwandlereinrichtung 106 abgeleitet sind. Beispielsweise kann jedes zweidimensionale Vollbild von der Bildwandlereinrichtung 106 aus 512 · 512 (= 262 144) Bildelementen bestehen. Die aufeinanderfolgenden Vollbilder können mit einer Folgefrequenz oder Rate von 30 Vollbildern pro Sekunde erscheinen. Im vorliegenden Fall wird vom Videosignal-Ausgang der Bildwandlereinrichtung 106 ein serieller Strom von Bildpunkten an die Daten-Reduziereinrichtung 108 gelegt, und zwar mit einer Rate von nahezu acht Millionen Bildpunkten pro Sekunde. In manchen Fällen ist es jedoch bei einem Robotersystem oder bei einem automatischen Kamera-Überwachungssystem wünschenswert, eine Auflösung von mehr als 512 · 512 Bildpunkten pro Vollbild vorzusehen und/oder eine Vollbildfrequenz von mehr als 30 Vollbildern pro Sekunde zu haben (wodurch die Bildpunktrate des an die Daten-Reduziereinrichtung 108 gelegten Videosignals auf mehr als acht Millionen Bildpunkte pro Sekunde erhöht wird).

Für eine Bildanalyse mittels Rechner ist es normalerweise erforderlich, daß die Information der einzelnen Bildpunkte jeweils in Digitalform (anstatt in Analogform) vorliegt. Um eine genügend feine Grauabstufung zu erzielen, ist es üblich, jeden der Bildpunkt-Stufenwerte mit 8 Bits pro Bildpunkt zu digitalisieren. Beim Fehlen einer Bilddaten- Reduzierung und im Falle eines Realzeitbetriebs müßte der Rechner in Realzeit sechzehn Millionen Bits pro Sekunde oder mehr verarbeiten. Sehr wenige bildanalysierende Rechner können mit dieser Geschwindigkeit arbeiten, und solche Rechner sind sehr teuer.

Die Daten-Reduziereinrichtung 108, auf welche die vorliegende Erfindung hauptsächlich gerichtet ist, vermindert die vom Rechner 102 zu verarbeitende Datenmenge beträchtlich, ohne das hohe Auflösungsvermögen oder das große Gesichtsfeld der Bildwandlereinrichtung opfern zu müssen.

Das von der Daten-Reduziereinrichtung 108 mit reduzierten Bilddaten gelieferte Ausgangssignal (welches das Ausgangssignal der mit Fovea-Automatik arbeitenden Kamera 100 ist) wird als Eingangsgröße auf den Rechner 102 gegeben. Der Rechner 102 analysiert die ihm zugeführten reduzierten Bilddaten gemäß seinem Programm. Das Programm hängt natürlich vom jeweiligen Zweck des in Fig. 1 dargestellten Systems ab. Im Falle eines Überwachungssystems beispielsweise kann der Rechner 102 so programmiert sein, daß er wesentliche Änderungen in der von der Bildwandlereinrichtung 106 aufgenommenen Szene erkennt, z. B. das Vorhandensein von bewegten Objekten, von Objekten mit einer oder mehreren speziellen Formen, usw. Der Rechner kann einen Ausgangsanschluß zu irgendeiner Nutzeinrichtung (nicht dargestellt) aufweisen, etwa zu einer Alarmeinrichtung im Falle eines Überwachungssystems. Ein anderes Beispiel der Anlage nach Fig. 1 ist ein Robotersystem. In diesem Fall ist der Rechner 102 so programmiert, daß er für eine gewünschte "Auge/Hand"-Koordinierung zwischen einer Nutzeinrichtung, die eine mechanische Hand bildet, und der Bildwandlereinrichtung 106 sorgt. Genauer gesagt liefert der Rechner 102 als eine Ausgangsgröße bestimmte Befehlssignale an eine mechanische Hand entsprechend Informationen, die zum einen in den ihm von der Bildwandlereinrichtung 106 zugeführten reduzierten Daten und zum anderen in Rückkopplungssignalen enthalten sind, die von der die mechanische Hand bildenden Nutzeinrichtung her empfangen werden.

Die Bildwandlereinrichtung 106 der Kamera 100 kann (je nach ihrer Verwendungsart) entweder stationär oder beweglich sein. Im Falle eines Robotersystem beispielsweise wird es gewöhnlich zweckmäßig sein, eine Bewegungsvorrichtung 110 für die Bildwandlereinrichtung vorzusehen. Die Bewegungsvorrichtung 110 wird durch ein Ausgangssignal vom Rechner 102 entsprechend der Objektinformation gesteuert, die in den am Rechnereingang zugeführten reduzierten Bilddaten enthalten ist und denjenigen Bereich des Raumes betreffen, der gerade im Gesichtsfeld der Bildwandlereinrichtung 106 ist. In diesem Fall gibt die Bewegungsvorrichtung 110 Rückkopplungssignale zurück zum Rechner 102, um die Istposition der Bildwandlereinrichtung 106 anzuzeigen.

Insoweit beschrieben, bildet die Kombination von Kamera 100 und Rechner 102 ein vollständig automatisiertes System (d. h., es ist keine Bedienung durch einen Menschen erforderlich). Falls aber gewünscht, kann das System nach Fig. 1 eine wahlweise zu benutzende Bedienungsstation 104 haben. Wie in Fig. 1 angedeutet, enthält die Station 104 ein Sichtgerät 112 und ein Handsteuergerät 114. Das Sichtgerät 112 erlaubt es der Bedienungsperson, die vom Rechner 102 abgeleitete Bildinformation zu betrachten, und das Handsteuergerät 114 erlaubt der Bedienungsperson, Handbefehlssignale an den Computer 102 zu senden. Zweck solcher Handbefehlssignale kann es z. B. sein, die auf dem Sichtgerät 112 darzustellende Bildinformation auszuwählen und/oder von Hand die einzelnen Ausgaben vom Rechner 102 an irgendeine oder alle der verschiedenen Einrichtungen wie die Daten-Reduziereinrichtung 108, die Bewegungsvorrichtung 110 und die Nutzeinrichtung (nicht gezeigt) zu steuern.

In Fig. 2 ist eine erste Ausführungsform der Datenreduziereinrichtung 108 dargestellt, welche die Prinzipien der vorliegenden Erfindung verkörpert. Ein der Datenreduziereinrichtung 108 von der Bildwandlereinrichtung 106 eingangs zugeführte Videosignal (das ein in Form abgefragter Proben vorliegendes Signal aus einem Festkörper-Bildwandler wie etwa einem CCD-Bildwandler sein kann oder, alternativ, ein kontinuierliches Signal aus einem Bildaufnahmegerät mit Fernsehröhre) wird auf einen Analog/Digital-Wandler (A/D- Wandler) 200 gegeben, der den Pegel jedes der aufeinanderfolgenden Bildelemente des Videosignals in eine aus mehreren Bits (z. B 8 Bit) bestehende Digitalzahl umwandelt. Jedes der aufeinanderfolgenden zweidimensionalen Vollbilder, die durch das Videosignal dargestellt werden, besteht aus P _X Bildelementen oder "Bildpunkten" in der Horizontalrichtung und P _Y Bildpunkten in der Vertikalrichtung. Da die Bildwandlereinrichtung 106 ein hochauflösender Bildwandler ist, sind die Werte von P _X und P _Y jeweils relativ groß (z. B. 512). Das Videosignal selbst ist ein zeitabhängiges Signal (Zeitfunktion), welches dadurch gewonnen wird, daß das zweidimensional-räumliche Bild, welches gerade durch den Bildwandler der Einrichtung 106 aufgenommen wird, während jeder Vollbildperiode abgetastet wird. Das digitale Ausgangssignal vom A/D-Wandler 200 wird als eine Eingangsgröße auf einen Raumfrequenz-Spektralanalysator 202 gegeben. Alternative Ausführungsformen des Spektralanalysators 202 sind in den Fig. 3 und 3a dargestellt, die weiter unten erläutert werden.

Der Raumfrequenz-Spektralanalysator 202 leitet aus dem digitalisierten Videosignal, das jedes der aufeinanderfolgenden Vollbilder darstellt und ihm am Eingang angelegt wird, eine nach Ordnungszahlen geordnete Gruppe von N + 1 getrennten Videoausgangssignalen L₀ . . . L _N-1 und G _N ab (wobei N eine ganzzahlige Mehrzahl ist). Die jeweiligen Videoausgangssignale L₀ . . . L _N-1 und G _N bilden einander angrenzende Teilspektralbänder des Raumfrequenzspektrums des Bildes, das durch die Bildpunkte jedes der aufeinanderfolgenden Vollbilder des am Eingang des Analysators 202 zugeführten digitalisierten Videosignals definiert ist. Jedes Videoausgangssignal L₀ . . . L _N-1 definiert ein dem Durchlaßbereich eines Bandpasses gleichendes Band (Bandpaß- Band) des Raumfrequenzspektrums des Bildes, wobei L₀ das die höchsten Raumfrequenzen belegende Bandpaß-Band und L _N-1 das die niedrigsten Raumfrequenzen belegende Bandpaß-Band des Bildspektrums definiert. G _N definiert ein tiefpaßartiges Restband, das alle diejenigen Raumfrequenzen des Raumfrequenzspektrums des Bildes enthält, die unterhalb der Frequenzen des Bandpaß-Bandes L _N-1 liegen. Vorzugsweise hat jedes der Bandpaß-Bänder L₀ . . . L _N-1 für jede der beiden räumlichen Dimensionen des Bildes eine Bandbreite von jeweils einer Oktave (d. h., wenn die vom Spektralanalysator 202 zu analysierende Höchstraumfrequenz in einer der Dimensionen gleich f₀ ist, dann hat das Bandpaß-Band L₀ in dieser Dimension eine Mittenfrequenz von 3f₀/4, das Bandpaß-Band L₁ in dieser Dimension hat eine Mittenfrequenz von 3f₀/8, das Bandpaß-Band L₂ in dieser Dimension hat eine Mittenfrequenz von 3f₀/16, usw.). Somit zeigt das erste Band L₀ der Gruppe von Ausgangs-Videosignalen die gleiche relativ hohe räumliche Auflösung wie das Eingangs-Videosignal des Analysators 202. Ferner "besteht" dieses erste Band L₀ der Gruppe aus der gleichen Anzahl (P _X · P _Y ) von Bildpunkten pro Vollbild wie das Eingangs-Videosignal des Analysators 202. Von den anderen Bändern der Gruppe hingegen zeigt jedes eine geringere räumliche Auflösung und eine kleinere Anzahl von Bildpunkten als das unmittelbar vorhergehende Band der Gruppe. Somit besteht das letzte Band G _N (das Restband) der Gruppe aus einer zweiten gegebenen Anzahl von Bildpunkten (P′ _X · P′ _Y ), welche die geringste Anzahl von Bildpunkten in allen den Bändern der Gruppe ist.

Gemäß der Fig. 2 wird jedes der Bandpaß-Bänder L₀ . . . L _N-1 als Eingangssignal an ein jeweils zugeordnetes Exemplar von (P′ _X · P′ _Y )-Fenstertorschaltungen 204-0 . . . 204-(N-1) gelegt. Jedes der Tore 204-0 . . . 204-(N-1) empfängt außerdem an einem Steuereingang ein zugeordnetes Fenstermitte- Steuersignal vom Rechner 102, wie es in Fig. 2 angedeutet ist. Jedes der Tore 204-0 . . . 204-(N-1) kann einen örtlich bestimmten zweidimensionalen räumlichen Teil jedes Vollbildes durchlassen, der aus P′ _X · P′ _Y Bildpunkten besteht und das Ausgangssignal des betreffenden Tors bildet. Diese Ausgangssignale sind mit L′₀ . . . L′ _N-1 bezeichnet. Jedes Tor wirkt somit als ein Raumfenster für den jeweils durchgelassenen, örtlich festgelegten zweidimensionalen räumlichen Teil. Das jedem der Tore 204-0 . . . 204-(N-1) angelegte Fenstermitte-Steuersignal bestimmt die relative Position dieses örtlich bestimmten räumlichen Teils jedes Vollbildes. Gemäß der Fig. 1 werden die jeweiligen Ausgangssignale L′₀ . . . L′ _N-1 von den Toren 204-0 . . . 204-(N-1) gemeinsam mit dem Ausgangssignal G _N des Analysators 202 an den Rechner 102 gelegt, entweder direkt oder, alternativ, über einen Multiplexer oder eine andere Datenverbindung (nicht dargestellt).

Die in Fig. 2 dargestellte Ausführungsform der Bilddaten- Reduziereinrichtung 108 der Kamera 100 bildet die Mindeststruktur, die erforderlich ist, um dem Rechner 102 Bilddaten zuzuführen, welche gemäß den Prinzipien der vorliegenden Erfindung reduziert sind. In diesem Fall enthält der Rechner 102 geeignete Speichereinrichtungen, um die von der Reduziereinrichtung 108 gelieferten reduzierten Bilddaten zumindest vorübergehend zu speichern, und eine Auswahleinrichtung, um aus diesen gespeicherten reduzierten Bilddaten Steuersignale abzuleiten, die zur Daten- Reduziereinrichtung 108 zurückgegeben werden. In manchen Fällen ist es jedoch zweckmäßig, solche Speicher- und Auswahleinrichtungen als Teil der Datenreduziereinrichtung 108 der Kamera 100 vorzusehen anstatt sie in den Rechner 102 aufzunehmen. Die Fig. 2a zeigt diese alternative Ausführungsform der Bilddaten-Reduziereinrichtung 108.

Wie in Fig. 2a dargestellt, werden die jeweiligen Ausgangssignale L′₀ . . . L′ _N-1 und G _N der Anordnung nach Fig. 2 nicht aus der Kamera 100 hinaus zum Rechner 102 geleitet. Statt dessen enthält die alternative Ausführungsform der Datenreduziereinrichtung 108 nach Fig. 2a zusätzlich eine Gruppe von Speichern 206-0 . . . 206-N, von denen jeder einem entsprechenden Exemplar der Ausgangssignale L′₀ . . . L′ _N-1 und G _N zugeordnet ist. Während jedes der aufeinanderfolgenden Vollbilder werden die Bildpunkte P′ _X · P′ _Y jedes der Ausgangssignale L′₀ . . . L′ _N-1 und G _N (Fig. 2) in das jeweils zugeordnete Exemplar der P′ _X - und P′ _Y -Speicher 206-0 . . . 206-N eingeschrieben. Nach einer von jedem der Speicher 206-0 . . . 206-N bewirkten Zeitverzögerung wird jeder dieser Speicher ausgelesen, und das betreffende Ausgangssignal wird jeweils als gesondertes Eingangssignal an einen Wählschalter 208 gelegt. Der Wählschalter 208 liefert unter dem Einfluß eines Schalter- Steuersignals, das ihm vom Rechner 102 angelegt wird, selektiv die gespeicherten Bildpunkte P′ _X · P′ _Y , die aus irgendeinem Exemplar der Gruppe der Speicher 206-0 . . . 206-N ausgelesen werden, als Ausgangssignal der Datenreduziereinrichtung 108 der Kamera 100 zum Rechner 102.

Der Raumfrequenz-Spektralanalysator 202 der Fig. 2 kann einfach aus einer Vielzahl von Bandpaßfiltern bestehen, deren jedes als ein Ausgangssignal ein zugeordnetes Exemplar der Bandpaßsignale L₀ . . . L _N-1 liefert, sowie aus einem Tiefpaßfilter zur Ableitung des Restsignals G _N . In manchen Fällen können eines oder mehrere Exemplare der Bandpaßfilter durch Tiefpaßfilter ersetzt werden. Es ist aber vorzuziehen, den Analysator 202 strukturell so auszubilden, wie es in Fig. 3 oder, als Alternative, in Fig. 3a gezeigt ist. In diesem Zusammenhang sei auf die DE 34 23 484 A1 verwiesen, die ausführlich jede der in den Fig. 3 und 3a gezeigten alternativen Ausführungsformen des Raumfrequenz-Spektralanalysators 202 offenbart.

Im einzelnen ist die Ausführungsform nach Fig. 3 in der Lage, in Realzeit eine Signalverarbeitung gemäß einem hierarchischen Pyramiden-Algorithmus durchzuführen, der von Dr. Peter J. Burt entwickelt wurde (und deswegen als "Burt-Pyramide" bezeichnet wird). Die Ausführungsform nach Fig. 3a ist ein anderer Typ einer in Realzeit mit hierarchischem Pyramiden-Algorithmus arbeitenden Signalverarbeitungseinrichtung, bekannt als "FSD-Pyramide" (das Kürzel FSD steht für "Filtern-Subtrahieren-Dezimieren").

Wie in Fig. 3 gezeigt, besteht der Burt-Pyramiden-Analysator aus einer Reihe ("Pipeline") generell gleicher, abgefragte Signale übertragender Stufen 300-1, 300-2 . . . 300-N. Jede dieser Signalübertragungsstufen arbeitet mit einer Abfragerate, die durch die Frequenz eines ihr angelegten Exemplars digitaler Taktsignale CL₁, CL₂ . . . CL _N bestimmt ist. Die Frequenz des an eine beliebige Stufe gelegten Taktsignals ist jeweils niedriger als die Frequenz des an irgendeine der vorhergehenden Stufen gelegten Taktsignals. Vorzugsweise ist die Taktfrequenz jeder der Stufen 300-2 . . . 300-N jeweils halb so hoch wie die Taktfrequenz der unmittelbar vorhergehenden Stufe. In der nachstehenden Beschreibung sei davon ausgegangen, daß für die Taktsignale CL₁ . . . CL _N diese bevorzugte gegenseitige Beziehung gilt.

Wie in Fig. 3 gezeigt, besteht die Stufe 300-1 aus einer Faltungsfilter (convolution filter)- und Dezimierungseinrichtung 302, einer Verzögerungseinrichtung 304, einer Subtraktionseinrichtung 306 und einer Erweiterungs- und Interpolationsfiltereinrichtung 308. Ein eingangsseitiger Strom digitalisierter Bildelemente G₀ mit einer Abfragerate gleich der Frequenz des Taktsignals CL₁ wird durch die Faltungsfilter- und Dezimierungseinrichtung 302 gesendet, um einen ausgangsseitigen Strom von Bildelementen G₁ mit einer Abfragerate zu liefern, die gleich der Frequenz des Taktsignals CL₂ ist. G₀ ist das digitalisierte Videosignal am Eingang des Analysators 202. Das Faltungsfilter hat eine Tiefpaßfunktion, welche die Mittenfrequenz jeder durch G₁ dargestellten Bilddimension auf die Hälfte der Mittenfrequenz der entsprechenden, durch G₀ dargestellten Dimension reduziert. Gleichzeitig wird durch die Dezimierung die Abfrage- oder Probendichte in jeder Dimension um die Hälfte vermindert. Die einzelnen Bildelemente von G₀ werden über die Verzögerungseinrichtung 304 auf einen ersten Eingang der Subtrahiereinrichtung 306 gegeben. Gleichzeitig werden die in ihrer Dichte verminderten Bildelemente von G₁ an das Erweiterungs- und Interpolationsfilter 308 gelegt, das die Abfragedichte der G₁-Bildelemente zurück auf die Dichte der G₀-Elemente erhöht. Die interpolierten G₁-Bildelemente erhöhter Dichte werden dann auf einen zweiten Eingang der Subtrahiereinrichtung 306 gegeben. Das Vorhandensein der Verzögerungseinrichtung 304 stellt sicher, daß jedes Paar von Proben G₀ und G₁, die einander in ihrer räumlichen Position entsprechen, zur genau gleichen Zeit an den ersten bzw. zweiten Eingang der Subtrahiereinrichtung 306 gelegt wird. Der ausgangsseitige Strom aufeinanderfolgender Proben L₀ von der Subtrahiereinrichtung 306 definiert die höchste Raumfrequenz in jeder Dimension des abgetasteten Bildes.

Die anderen Stufen 300-2 . . . 300-N haben jeweils im wesentlichen die gleiche Struktur wie die Stufe 300-1. Jedoch verarbeitet jede der mit höherer Ordnungszahl numerierten Stufen 300-2 . . . 300-N Signale mit einer jeweils niedrigeren Raumfrequenz und einer jeweils geringeren Probendichte als die jeweils unmittelbar vorhergehende Stufe. Genauer gesagt stellt der ausgangsseitige Strom aufeinanderfolgender Proben L₁ die zweithöchste Oktave der Raumfrequenzen in jeder Bilddimension dar, usw., so daß, wie in Fig. 3 gezeigt, das gemäß der Burt-Pyramide analysierte Signal sich zusammensetzt aus einzelnen, jeweils eine Oktave umfassenden Probenfolgen L₀ . . . L _N-1 (abgeleitet aus den jeweiligen Subtraktionseinrichtungen 300-1 . . . 300-N) und einem niedrigfrequenten Restsignal G _N (abgeleitet vom Ausgang der Faltungsfilter- und Dezimierungseinrichtung der Stufe 300-N).

Ein Hauptvorteil der Burt-Pyramide (ausführlicher in der o.e. US-Patentanmeldung diskutiert) besteht darin, daß später durch Synthese aus den einzelnen analysierten Ausgangssignalen L₀ . . . L _N-1 und G _N ein rekonstruiertes Bild in einer Weise gewonnen werden kann, bei welcher merkliche Begleitprodukte, die durch die Bildverarbeitung in das Bild eingeführt werden, minimal bleiben. Ein Nachteil einer Burt-Pyramide ist die Tatsache, daß man für jede Analysatorstufe ein Erweiterungs- und Interpolationsfilter (zusätzlich zu einer Faltungsfilter- und Dezimierungseinrichtung) braucht, was sowohl die Kosten als auch die Kompliziertheit erhöht.

Der in Fig. 3a gezeigte FSD-Pyramiden-Analysator ist in mancher Hinsicht ähnlich dem Burt-Pyramiden-Analysator. Erstens besteht der FSD-Analysator ebenfalls aus einer Reihe generell gleicher Signalübertragungsstufen 300-1, 300-2 . . . 300-N für abgefragte Signalproben. Zweitens arbeitet jede der Stufen mit einer Abfrage- oder Probenrate, die durch die Frequenz jeweils gesondert angelegter Digitaltaktsignale CL₁, CL₂ . . . CL _N bestimmt ist. Drittens ist die Frequenz des Taktsignals für jede Stufe vorzugsweise halb so hoch wie die Taktfrequenz der jeweils unmittelbar vorhergehenden Stufe.

Im FSD-Pyramiden-Analysator unterscheidet sich jedoch die spezielle strukturelle Ausbildung jeder Stufe (in Fig. 3a allgemein mit 300-K bezeichnet) etwas von der strukturellen Ausbildung jeder Stufe des Burt-Pyramiden-Analysators (wie etwa der Stufe 300-1 in Fig. 3). Im einzelnen enthält jede Stufe 300-K (wobei K jede Zahl von 1 bis N ist) des in Fig. 3a gezeigten FSD-Pyramiden-Analysators ein Faltungsfilter 302 a, eine Dezimierungseinrichtung 302 b, eine Verzögerungseinrichtung 304 und eine Subtraktionseinrichtung 306.

Das Ausgangssignal vom Faltungsfilter 302 a wird (vor einer Dezimierung durch die Einrichtung 302 b) auf einen Eingang der Subtraktionseinrichtung 306 gegeben. Infolge dieser strukturellen Ausbildung entfällt die Notwendigkeit, ein Erweiterungs- und Interpolationsfilter in jeder Stufe eines FSD-Pyramiden-Analysators vorzusehen. Der Fortfall des Erweiterungs- und Interpolationsfilters vermindert sowohl die Kosten als auch das Maß der Eigenverzögerung jeder Stufe des in Fig. 3a gezeigten FSD-Pyramiden-Analysators wesentlich im Vergleich zu den Kosten und der Eigenverzögerung des Burt-Analysators nach Fig. 3.

Die Arbeitsweise des in den Fig. 1 und 2 (oder, alternativ, in den Fig. 1 und 2a) gezeigten Systems sei nun unter Bezugnahme auf die Fig. 4 und 5 erläutert.

Das Rechteck 400 stellt die relativ große Ausdehnung des zweidimensionalen Raumbereiches dar, der durch ein ganzes Vollbild aus Bildelementen definiert ist. Das Ausgangssignal G _N vom Analysator 202 (das ohne Durchgang durch ein Fenstertor an den Rechner 102 gelegt wird) stellt diesen das ganze Vollbild deckenden Raumbereich mit der geringen Auflösung dar, wie sie durch lediglich P′ _X · P′ _Y Bildelemente pro Vollbild erhalten wird. Somit repräsentiert das Signal G _N mit einer geringen Auflösung eine Gesamtansicht 500 (Fig. 5) eines oder mehrerer Objekte (z. B. einer Vase 502) innerhalb des Raumbereichs, der im Augenblick von der Kamera 100 überblickt wird. Zum Zwecke der Veranschaulichung sei angenommen, daß die Werte für P′ _X und P′ _Y in Fig. 4 und 5 jeweils gleich 6 sind. Somit setzt sich die vollständige Fläche des die Gesamtansicht mit niedriger Auflösung liefernden Raumbildbereichs 400 (in den Fig. 4 und 5 gezeigt) aus nur 36 Bildelementen zusammen.

Das Ausgangssignal L′ _N-1 vom Fenstertor 200-(N-1) stellt den örtlich bestimmten Teilbereich 402 des Raumes dar. Der Teilbereich 402, dessen Dimensionen in Horizontal- und in Vertikalrichtung nur jeweils halb so groß wie die entsprechenden Dimensionen des Raumbereichs 400 sind, nimmt nur ein Viertel der Fläche des Bereichs 400 ein. Jedoch setzt sich der Teilbereich 402, wie in Fig. 5 gezeigt, ebenfalls aus 36 Bildelementen zusammen, so daß sich eine Zwischenansicht 504 der Vase 502 mit einer Auflösung ergibt, die höher ist als in der gering auflösenden Gesamtansicht 500.

In einer ähnlichen Weise wird jeder der örtlich bestimmten ("lokalisierten") Teilbereiche 404 und 406 des Raumes ebenfalls durch 36 Bildelemente dargestellt (wie in Fig. 5 gezeigt). Die Teilbereiche 404 und 406 werden durch die Ausgangssignale L′ _N-2 bzw. L′ _N-3 zugeordneter Fenstertore 204-(N-2) und 204-(N-3) repräsentiert, die in Fig. 2 nicht eigens dargestellt sind. Jedoch ist die vom Teilbereich 404 eingenommene Fläche nur ein Viertel der Fläche des Teilbereichs 402 (oder ein Sechzehntel der Fläche des Gesamtbereichs 400). Daher ist die Auflösung der Zwischenansicht 506 der Vase 502 höher als diejenige der Zwischenansicht 504) die wiederum eine höhere Auflösung hat als die gering auflösende Gesamtansicht 500). In ähnlicher Weise ist die Fläche des Teilbereichs 406 nur ein Viertel der Fläche des Teilbereichs 404 (oder 1/64 der Fläche des die Gesamtansicht deckenden Raumbereichs 400). Die Ansicht 508 der Vase 502 ist also diejenige mit der höchsten Auflösung.

Zur Veranschaulichung wurde bei der Erläuterung der Arbeitsweise der vorliegenden Erfindung angenommen, daß der Wert von N nur gleich 3 ist. In diesem Fall stellt also das Signal L′₀ den Teilbereich 406 des Raumes dar, während die Teilbereiche 404, 402 und 400 durch die Signale L′₁ bzw. L′₂ (für L′ _N-1) bzw. G₃ (für G _N ) dargestellt werden. In der Praxis wird der Wert von N größer als 3 sein (normalerweise mindestens 5 oder 6). Außerdem werden in der Praxis die Werte von P _X und P _Y jeweils größer sein als 6 (z. B. gleich 32 oder gleich 16). In solchen Fällen wird der räumliche Bildbereich, der durch das hochauflösende und ein weites Gesichtsfeld umfassende Videosignal von der Bildwandlereinrichtung 100 dargestellt wird und durch 512 · 512 Bildelemente (oder sogar 1024 · 1024 Bildelemente) definiert ist, mittels der Datenreduziereinrichtung 108 auf 5 oder 6 getrennte Ansichten verschiedener Auflösung von jeweils 16 · 16 oder 32 · 32 Bildelementen reduziert.

Wie in Fig. 2 angedeutet, liefert der Rechner 102 an jedes der Fenstertore 204-0 . . . 204-(N-1) ein individuelles Fenstermitte- Steuersignal. Dies macht es möglich, jeden der einzelnen Teilbereiche des Raumes (z. B. die Teilbereiche 402, 404 und 406) abhängig von Befehlssignalen, die aus dem Rechner 102 kommen, zu bewegen. Wie es schematisch durch den Pfeil in Fig. 4 angedeutet ist, kann z. B. jeder der Teilbereiche 402, 404 und 406 unabhängig und wahlweise von seinem vorherigen Ort (gestrichelt gezeichnet) innerhalb des Raumbereichs 400 an seinen aktuellen Ort (ausgezogen gezeichnet) innerhalb des Raumbereichs 400 verschoben werden. Auf diese Weise läßt sich jeder beliebige Teil der den Raumbereich 400 deckenden Gesamtansicht mit irgendeiner der verschiedenen höheren Auflösungen darstellen.

Im Falle einer Überwachungskamera kann der Rechner 102 zunächst den die Gesamtansicht mit geringer Auflösung darstellenden Raumbereich analysieren, um festzustellen, ob es den Anschein hat, daß irgendein Objekt von Interesse (z. B. ein sich bewegendes Objekt, ein Objekt besonderer Gestalt, usw.) in irgendeinem Teilbereich dieser Gesamtansicht vorhanden ist oder nicht. Falls ja, kann der Rechner dann diesen Teilbereich mit höher und höher werdenden Auflösungen untersuchen, um eine Bestätigung dafür zu erhalten, ob ein interessierendes Objekt tatsächlich vorhanden ist oder nicht. In einem Robotersystem könnte eine in mancher Hinsicht ähnliche Untersuchung durch den Rechner 102 nützlich sein, um die "Auge/Hand"-Koordinierung zu besorgen.

Der wichtige Vorteil der vorliegenden Erfindung besteht darin, daß die Menge der vom Rechner zu verarbeitenden Daten stark reduziert wird, ohne gleichzeitig entweder die Auflösung oder das Gesichtsfeld der Bildwandlereinrichtung zu reduzieren.

Im Falle der Fig. 2a liefert der Rechner 102 ein Schalter- Steuersignal für den Wählschalter 206, das es dem Rechner 102 erlaubt, zu irgendeiner beliebigen Zeit diejenigen Daten zu untersuchen, die in irgendeinem der (P′ _X · P′ _Y )- Speicher 204-0 . . . 204-N gespeichert sind. Dies vermindert zusätzlich die vom Rechner 102 zu verarbeitende Datenmenge.

Es ist offensichtlich, daß es in manchen Fällen zweckmäßig sein kann, selbst das letzte Band der Gruppe von Bändern durch ein bewegliches Fenster zu senden, um noch weniger als die zweite gegebene Anzahl von Bildpunkten an den Ausgang der Bilddaten-Reduziereinrichtung 108 zu liefern. Außerdem ist es im Falle, daß die Bildwandlereinrichtung mit einer Bewegungsvorrichtung 110 versehen ist, möglich, die jeweiligen Fenster in vorbestimmten festen räumlichen Beziehungen zueinander zu halten und die Bildwandlereinrichtung unter Steuerung durch den Rechner zu bewegen, um das interessierende Objekt in das Fenster höchster Auflösung zu bringen. Es kann ferner wünschenswert sein, den Wählschalter 208 durch einen Wähler zu ersetzen, der in der Lage ist, zwei oder mehr beliebige Ausgänge der Speicher 204-0 bis 204-N zur gleichen Zeit auszuwählen und dann gleichzeitig die ausgewählten Speicherausgänge auf dem Sichtgerät 112 wiederzugeben. Solche strukturellen Modifikationen liegen ebenfalls im Bereich der vorliegenden Erfindung.

Claims (13)

1. Verfahren zur Reduzierung von Daten in Verbindung mit einem Eingangs-Videosignal, das eine erste gegebene Anzahl von Bildelementen darstellt, die von einem Bild eines gegebenen, relativ großen Gesichtsfeldes abgeleitet sind und dieses Bild mit einer gegebenen räumlichen Auflösung definieren, wobei das Raumfrequenzspektrum des durch das Eingangs- Videosignal repräsentierten Bildes analysiert wird, um eine Mehrzahl getrennter Ausgangs-Videosignale abzuleiten, die zusammen eine nach Ordnungszahlen geordnete Gruppe aneinandergrenzender Bänder als Teilspektren des Raumfrequenzspektrums des Bildes darstellen, worin das erste Band der Gruppe eine relativ hohe räumliche Auflösung zeigt und aus der ersten gegebenen Anzahl von Bildelementen besteht und worin jedes andere Band der Gruppe eine geringere räumliche Auflösung und eine kleinere Anzahl von Bildpunkten zeigt als das jeweils unmittelbar vorhergehende Band dieser Gruppe, wobei das letzte Band der Gruppe aus einer zweiten gegebenen Anzahl von Bildelementen besteht, welche die niedrigste Anzahl von Bildelementen in irgendeinem der Bänder der Gruppe ist, dadurch gekennzeichnet, daß die Größe des von mindestens einem Band der Gruppe repräsentierten Gesichtsfeldes vermindert wird, indem aus dem betreffenden Band eine räumlich lokalisierte Teilmenge von Bildelementen ausgewählt wird, die einen fensterartigen Teilbereich des gegebenen Gesichtsfeldes darstellt und aus einer Anzahl von Bildelementen besteht, die nicht größer ist als die gegebene zweite Anzahl.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das besagte eine Band, bei dem die Reduzierung der Größe des Gesichtsfeldes durchgeführt wird, ein anderes als das erwähnte letzte Band ist.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Reduzierung der Größe des Gesichtsfeldes an jedem der einzelnen Bänder der Gruppe mit Ausnahme des letzten Bandes der Gruppe durchgeführt wird, indem aus jedem dieser einzelnen Bänder mit Ausnahme des letzten Bandes eine räumlich lokalisierte Teilmenge von Bildpunkten ausgewählt wird, die einen fensterartigen Teilbereich des gegebenen Gesichtsfeldes darstellt.

4. Verfahren nach Anspruch 3, gekennzeichnet durch selektive Bewegung der räumlichen Position jedes der fensterartigen Teilbereiche innerhalb des gegebenen Gesichtsfeldes, das durch die Bildelemente des letzten Bandes definiert ist.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die selektive Bewegung darin besteht, daß die räumliche Position jedes der fensterartigen Teilbereiche unabhängig voneinander bewegt wird.

6. Verfahren nach einem der Ansprüche 3, 4 und 5, dadurch gekennzeichnet, daß die Anzahl der Bildelemente in jeder der erwähnten Teilmengen gleich der zweiten gegebenen Anzahl von Bildelementen ist.

7. Elektronische Kamera mit bereichsweiser Konzentration der Bildauflösung (Fovea-Steuerung) zur Ableitung eines hinsichtlich der Datenmenge reduzierten Videoausgangssignals, mit folgenden Einrichtungen:
einer Bildwandlereinrichtung, die in Realzeit ein erstes Videosignal liefern kann, das alle Bildpunkte in allen aufeinanderfolgenden Vollbildern eines Bildes eines räumlichen Bereichs innerhalb eines gegebenen, relativ großen Gesichtsfeldes der Bildwandlereinrichtung darstellt, so daß die Bildelemente jedes Vollbildes das Bild mit einer gegebenen räumlichen Auflösung definieren;
einer Einrichtung zum Analysieren des Raumfrequenzspektrums jedes vom ersten Videosignal repräsentierten Vollbildes, um eine Mehrzahl getrennter zweiter Videosignale abzuleiten, die zusammen eine nach Ordnungszahlen geordnete Gruppe aneinandergrenzender Bänder als Teilspektren des Raumfrequenzspektrums darstellen, worin das erste Band der Gruppe die relativ hohe räumliche Auflösung zeigt und aus der ersten gegebenen Anzahl von Bildelementen besteht und worin jedes andere Band der Gruppe eine geringere räumliche Auflösung und eine kleinere Anzahl von Bildelementen hat als das jeweils unmittelbar vorhergehende Band der Gruppe, wobei das letzte Band der Gruppe aus einer zweiten gegebenen Anzahl von Bildelementen besteht, welche die geringste Anzahl von Bildelementen in jedem der Bänder der Gruppe ist, gekennzeichnet durch
eine Einrichtung (204-0, usw.), welche die Größe des von mindestens einem der Bänder der Gruppe dargestellten Gesichtsfeldes dadurch reduziert, daß sie aus dem betreffenden Band (z. B. L₀) eine räumlich lokalisierte Teilmenge von Bildelementen auswählt, die einen fensterartigen Teilbereich des Gesichtsfeldes darstellt und aus Bildelementen einer Anzahl (36) besteht, die nicht größer ist als die zweite gegebene Anzahl, um auf diese Weise das Videoausgangssignal der Kamera abzuleiten.

8. Kamera nach Anspruch 7, dadurch gekennzeichnet, daß die Einrichtung zur Reduzierung der Größe des Gesichtsfeldes eine Einrichtung (z. B. 204-1) aufweist, um die Größe des von mindestens einem Band der Gruppe (L₀ bis L _(N-1)) mit Ausnahme des letzten Bandes (G _N ) dargestellten Gesichtsfeldes zu reduzieren.

9. Kamera nach Anspruch 7, dadurch gekennzeichnet, daß die Einrichtung zur Reduzierung der Größe des Gesichtsfeldes eine Fenstereinrichtung (204-0, usw.) aufweist, welche die Größe des Gesichtsfeldes jedes der einzelnen Bänder der Gruppe mit Ausnahme des letzten Bandes der Gruppe reduziert, indem sie eine räumlich lokalisierte Teilmenge von Bildelementen (P′ _X · P′ _Y ) jedes der einzelnen Bänder durch ein eigenes gesondertes und räumlich bewegbares Fenster sendet, wobei jede der erwähnten Teilmengen aus einer Anzahl von Bildelementen besteht, die nicht größer ist als die zweite gegebene Anzahl.

10. Kamera nach Anspruch 9, dadurch gekennzeichnet,
daß sie zur Verwendung mit einem bildverarbeitenden Rechner (102) ausgelegt ist, der auf das Videoausgangssignal der Kamera anspricht, um Kamera-Steuersignale (Fenstermitte-Steuerung) abzuleiten, und
daß die Fenstereinrichtung auf mindestens eines der Kamera-Steuersignale anspricht, um selektiv die Position des räumlichen Fensters innerhalb des von den Bildelementen des letzten Bandes definierten Gesichtsfeldes zu bewegen.

11. Kamera nach Anspruch 10, dadurch gekennzeichnet,
daß die Kamera-Steuersignale für das bewegliche Fenster eines jeden der einzelnen Bänder jeweils ein gesondertes Steuersignal enthalten und
daß die Fenstereinrichtung (204-0, usw.) auf jedes der gesonderten Steuersignale anspricht, um selektiv die räumliche Position jedes der beweglichen Fenster unabhängig von den anderen Fenstern zu bewegen.

12. Kamera nach einem der Ansprüche 9, 10 und 11, dadurch gekennzeichnet, daß die erwähnte Teilmenge aus der zweiten Anzahl von Bildelementen besteht.

13. Kamera nach Anspruch 12, dadurch gekennzeichnet, daß die Einrichtung zur Reduzierung der Größe des Gesichtsfeldes ferner folgendes enthält:
eine Speichereinrichtung (206-0, usw.) zur Speicherung sowohl der die Teilmenge bildenden zweiten gegebenen Anzahl von Bildpunkten aus jedem der beweglichen Fenster als auch der zweiten gegebenen Anzahl von Bildpunkten aus dem letzten Band der Gruppe;
eine Wählschalteinrichtung (208), die auf das ihr angelegte Kamera-Steuersignal anspricht, um selektiv die gespeicherte zweite gegebene Anzahl von Bildpunkten, die nur einer der Teilmengen oder dem letzten Band der Gruppe entsprechen, als Videoausgangssignal der Kamera zu liefern.