DE3624818A1

DE3624818A1 - Method and device for reduction of image data

Info

Publication number: DE3624818A1
Application number: DE19863624818
Authority: DE
Inventors: Charles Hammond Anderson; Curtis Raymond Carlson; Peter Jeffrey Burt
Original assignee: RCA Corp
Current assignee: RCA Corp
Priority date: 1985-02-06
Filing date: 1986-07-23
Publication date: 1987-02-05

Abstract

An electronic camera (100) with concentration of the resolving power by area (Fovea control) uses a space frequency spectral analyser (202) and a data reduction device (204-0, etc.), which works with moveable space windows, to convert an image which has high resolution and corresponds to a broad field of vision into a group of images which each contain a partial band of the spectrum. The resolution and field of vision of these partial band images range from a very low resolution image of the whole field of vision to a very high resolution image of a very small partial area, the position of which can be selected, of the whole field of vision. Such a camera is useful, for instance, in a surveillance camera system or robot system. <IMAGE>

Description

Die Erfindung bezieht sich auf Verfahren zur Reduzierung von Bilddaten und betrifft insbesondere auch eine elektro nische Kamera, die automatisch und/oder halbautomatisch zur bereichsweisen Konzentrierung der Bildauflösung ge steuert werden kann (Fovea-Steuerung).The invention relates to methods for reduction of image data and in particular also concerns an electro African camera that is automatic and / or semi-automatic for area-wise concentration of the image resolution can be controlled (fovea control).

In komplizierten, automatisch gesteuerten Systemen (wie Überwachungs-Fernsehkameras, Robotersysteme, Zielverfol gungssysteme, usw.) ist oft eine Signalverarbeitung von Abfragewerten oder Proben einer Bildinformation notwendig. Die Gesamtanzahl zu verarbeitender Bildelemente (auch Bildpunkte oder Pixels genannt) hängt zum einen von der Größe des Gesichtsfeldes des Bildes und zum andern von der räumlichen Auflösung des Bildes ab. Um ein hohes Maß an räumlicher Auflösung über die Gesamtheit eines großen Ge sichtsfeldes zu erhalten, ist eine extrem hohe Anzahl von Bildelementen erforderlich. Andererseits ist es aber un praktisch, eine so große Menge von Bildelementen zu ver arbeiten.In complicated, automatically controlled systems (like Surveillance television cameras, robotic systems, target tracking systems, etc.) is often a signal processing from Query values or samples of image information required. The total number of image elements to be processed (also On the one hand depends on the Size of the field of view of the image and, on the other hand, of the spatial resolution of the image. To a high degree spatial resolution over the entirety of a large Ge to maintain the field of view is an extremely high number of Image elements required. On the other hand, it is un practical to ver such a large amount of picture elements work.

Ein Weg zur Überwindung dieses Problems (der im menschli chen Auge realisiert wird) besteht darin, für eine rela tiv hohe räumliche Auflösung in einem Bereich des Gesichts feldes des Bildwandlers zu sorgen (entsprechend der zen tral gelegenen Netzhautgrube oder "Fovea" des Auges) und eine relativ geringe räumliche Auflösung in einem ande ren Bereich des Gesichtsfeldes des Bildwandlers vorzuse hen (entsprechend der Peripherie der Netzhaut des Auges), um dann durch gesteuerte Bewegung des Bildwandlers den räumlichen Teil eines Bildes, der ursprünglich innerhalb eines gering auflösenden Bereichs des Bildwandlers gele gen ist, in den hochauflösenden Bereich des Bildwandlers zu bringen. So kann eine Person Auge und Kopf bewegen, um mit der hohen Auflösung in der Fovea ein Bild eines Objek tes zu beobachten, das ursprünglich mit geringer Auflösung nahe dem Rand des Gesichtsfeldes gesehen wurde.One way to overcome this problem (the one in human Chen eye is realized) is for a rela High spatial resolution in one area of the face field of the image converter (according to the zen tral retinal pit or "fovea" of the eye) and a relatively low spatial resolution in another range of the field of view of the image converter hen (corresponding to the periphery of the retina of the eye), then by controlled movement of the image converter spatial part of an image that was originally within of a low-resolution area of the image converter is in the high-resolution area of the image converter bring to. So a person can move their eyes and head to with the high resolution in the fovea an image of an object tes to watch, originally with low resolution was seen near the edge of the visual field.

Der Zweck der vorliegenden Erfindung besteht auch darin, die Anzahl zu verarbeitender Bildelemente wesentlich zu vermindern und dennoch die Fähigkeit zu behalten, mit hoher räumlicher Auflösung Objekte zu beobachten, die ursprünglich irgendwo innerhalb eines relativ großen Ge sichtsfeldes abgebildet sind, dessen größter Teil nur ein geringes Auflösungsvermögen hat. Die gemäß der vorliegen den Erfindung angewandte Technik der Bildreduktion ist je doch wesentlich anders als beim menschlichen Auge.The purpose of the present invention is also to the number of picture elements to be processed increases significantly diminish and yet retain the ability to high spatial resolution to observe objects that originally somewhere within a relatively large ge field of view, the majority of which are only one has low resolution. According to the present The technique of image reduction applied to the invention is dependent but significantly different from the human eye.

Bei der Erfindung erfolgt die Datenreduzierung in Verbin dung mit einem Eingangs-Videosignal, das ein Bild mit re lativ hoher räumlicher Auflösung und weitem Gesichtsfeld darstellt und eine erste gegebene Anzahl von Bildelementen aufweist. Aus diesem Videosignal wird in einem ersten Ver arbeitungsschritt ein bestimmtes Ausgangs-Videosignal und mindestens ein anderes Ausgangs-Videosignal abgeleitet, wobei das erstgenannte ein abgeleitetes Bild relativ ge ringer räumlicher Auflösung darstellt, welches ein gege benes, dem Gesichtsfeld des vom Eingangs-Videosignal dar gestellten Bildes entsprechendes Gesichtsfeld hat und eine zweite gegebene Anzahl von Bildelementen aufweist, die kleiner ist als die erste gegebene Anzahl. Das mindestens eine andere ("zweite") Ausgangs-Videosignal stellt ein ab geleitetes Bild mit dem gegebenen Gesichtsfeld und mit einer Auflösung dar, die gleich oder kleiner ist als die relativ hohe räumliche Auflösung des vom Eingangs-Video signal dargestellten Bildes, aber höher als die relativ geringe Auflösung des vom erstgenannten Ausgangs-Video signal dargestellten Bildes. Die Anzahl der Bildelemente des vom zweiten Ausgangs-Videosignal dargestellten abgelei teten Bildes ist gleich oder kleiner als die erste gege bene Anzahl, aber größer als die zweite gegebene Anzahl. Das zweite Ausgangs-Videosignal wird dann weiter verar beitet, um die Anzahl der Bildelemente des von ihm dar gestellten abgeleiteten Bildes zu vermindern, indem eine räumlich/örtlich begrenzte Teilmenge der Bildelemente durch ein Raumfenster gesendet wird. Die Teilmenge be steht aus einer Anzahl von Bildelementen, die nicht größer ist als die zweite gegebene Anzahl.In the invention, the data reduction takes place in conjunction with an input video signal that contains an image with right relatively high spatial resolution and wide field of view represents and a first given number of picture elements having. This video signal is used in a first ver step a specific output video signal and derived at least one other output video signal, the former a relatively derived ge image ring spatial resolution, which is a counter benes, the field of view of the input video signal has a corresponding field of view and a second given number of picture elements which is less than the first given number. At least another ("second") output video signal turns off guided image with the given visual field and with a resolution that is equal to or less than that relatively high spatial resolution of the input video signal displayed image, but higher than the relative low resolution of the original output video signal shown image. The number of picture elements of the represented by the second output video signal image is equal to or smaller than the first one same number, but greater than the second given number. The second output video signal is then further processed processes to represent the number of picture elements of it decrease derived image by a spatially / locally limited subset of the picture elements is sent through a room window. The subset be consists of a number of picture elements that are not larger is as the second given number.

Die Erfindung wird nachstehend an Ausführungsbeispielen anhand von Zeichnungen näher erläutert.The invention is illustrated below using exemplary embodiments explained in more detail with reference to drawings.

Fig. 1 ist ein Funktions-Blockschaltbild eines Systems, das eine elektronische Kamera mit automatischer Fovea-Steuerung verwendet, die eine erfindungsge mäße Einrichtung zur Reduzierung von Bilddaten enthält; Fig. 1 is a functional block diagram of a system using an electronic camera with automatic fovea control, which contains a device according to the invention for reducing image data;

Fig. 2 ist ein Funktions-Blockdiagramm einer ersten bei spielgebenden Ausführungsform der Bildreduktions einrichtung nach Fig. 1; Fig. 2 is a functional block diagram of a first exemplary embodiment of the image reduction device of Fig. 1;

Fig. 2a ist ein Funktions-Blockschaltbild einer zweiten beispielgebenden Ausführungsform der Bildreduktions einrichtung nach Fig. 1; Fig. 2a is a functional block diagram of a second exemplary embodiment of the image reduction device of FIG. 1;

Fig. 3 ist ein Funktions-Blockschaltbild einer ersten vor teilhaften Ausführungsform des Raumfrequenz-Spek tralanalysators der Fig. 2; Fig. 3 is a functional block diagram of a first before advantageous embodiment of the spatial frequency spectral analyzer of Fig. 2;

Fig. 3a ist ein Funktions-Blockschaltbild einer zweiten vorteilhaften Ausführungsform des Raumfrequenz- Spektralanalysators der Fig. 2; FIG. 3a is a functional block diagram of a second advantageous embodiment of the spatial frequency spectrum analyzer of FIG. 2;

Fig. 4 veranschaulicht schematisch die Arbeitsweise der räumlich bewegbaren Fenster in der vorliegenden Erfindung; Fig. 4 illustrates schematically the operation of the spatially movable window in the present invention;

Fig. 5 veranschaulicht schematisch die Relation von Auf lösung und Gesichtsfeld unter den einzelnen Teil spektralband-Bildern, die am Ausgang der Anordnung nach Fig. 2 abgeleitet werden; Fig. 5 schematically illustrates the relation of resolution and field of view among the individual partial spectral band images which are derived at the output of the arrangement according to Fig. 2;

Fig. 6 und 6a sind Funktions-Blockschaltbilder einer drit ten bzw. vierten beispielgebenden Ausführungsform der Bildreduktionseinrichtung nach Fig. 1; FIGS. 6 and 6a are functional block diagrams of a fourth example drit or imaging embodiment, ten of the image reduction device of FIG. 1;

Fig. 7 zeigt schematisch ein wiedergegebenes Bild bei Ver wendung der Ausführungsform nach Fig. 6 oder 6a; Fig. 7 shows schematically a reproduced image when using the embodiment of Fig. 6 or 6a;

Fig. 8a, 8b und 8c zeigen verschiedene Beispiele für die Videosignalquelle in Fig. 6 zur Lieferung des zu verarbeitenden digitalisierten Videosignals; . Fig. 8a, 8b and 8c show various examples of the video signal source in Figure 6 for supplying the digitized to be processed video signal;

Fig. 9a, 9b und 9c zeigen verschiedene Ausführungsbeispie le für den Spezialmerkmal-Detektor in Fig. 6. FIG. 9a, 9b and 9c show le for the special feature detector in Fig different Ausführungsbeispie. 6,.

In der Fig. 1 ist ein System dargestellt, das als wesentli che Bestandteile eine elektronische Kamera 100 mit automa tischer Fovea-Steuerung und einen Rechner 102 enthält. Das System nach Fig. 1 kann außerdem eine wahlweise vorzu sehende Bedienungsstation 104 umfassen. Die Kamera 100 ent hält als wesentliche Bauteile eine Bildwandlereinrichtung 106 mit hoher Auflösung und weitem Gesichtsfeld und eine Bilddaten-Reduziereinrichtung 108. Die Bildwandlereinrich tung 106 und die Daten-Reduziereinrichtung 108 können in einem einzigen Gehäuse der Kamera 100 integriert sein (wie in Fig. 1 dargestellt) oder, alternativ, getrennte Modul bausteine der Kamera 100 sein. In FIG. 1, a system is shown, which che as wesentli components comprises an electronic camera 100 with automatic genetic fovea control and a computer 102. The system of FIG. 1 may also include an optional operator station 104 . The camera 100 contains as essential components an image converter device 106 with high resolution and a wide field of view and an image data reduction device 108 . The image converter device 106 and the data reducer 108 can be integrated in a single housing of the camera 100 (as shown in FIG. 1) or, alternatively, can be separate module components of the camera 100 .

Die Bildwandlereinrichtung 106 besteht aus einer monochro matischen oder einer farbtüchtigen Fernsehkamera zur Auf nahme von Objekten, die innerhalb eines durch ein relativ weites Gesichtsfeld definierten Bereichs des Raumes liegen, und zur Ableitung eines Videosignals, das als Eingangssig nal an eine Daten-Reduziereinrichtung 108 gelegt wird. Die ses Videosignal stellt in Realzeit alle Bildelemente ei nes jeden Exemplars aufeinanderfolgender und relativ hoch auflösender Vollbilder dar, die von der Bildwandlerein richtung 106 abgeleitet sind. Beispielsweise kann jedes zweidimensionale Vollbild von der Bildwandlereinrichtung 106 aus 512 · 512 (= 262 144) Bildelementen bestehen. Die aufeinanderfolgenden Vollbilder können mit einer Folgefre quenz oder Rate von 30 Vollbildern pro Sekunde erscheinen. Im vorliegenden Fall wird vom Videosignal-Ausgang der Bild wandlereinrichtung 106 ein serieller Strom von Bildpunkten an die Daten-Reduziereinrichtung 108 gelegt, und zwar mit einer Rate von nahezu acht Millionen Bildpunkten pro Se kunde. In manchen Fällen ist es jedoch bei einem Roboter system oder bei einem automatischen Kamera-Überwachungs system wünschenswert, eine Auflösung von mehr als 512 · 512 Bildpunkten pro Vollbild vorzusehen und/oder eine Vollbild frequenz von mehr als 30 Vollbildern pro Sekunde zu haben (wodurch die Bildpunktrate des an die Daten-Reduzierein richtung 108 gelegten Videosignals auf mehr als acht Millio nen Bildpunkte pro Sekunde erhöht wird).The image converter device 106 consists of a monochromatic or a color-capable television camera for recording objects that lie within a region of the space defined by a relatively wide field of view, and for deriving a video signal that is applied as an input signal to a data reduction device 108 . This video signal represents in real time all picture elements of each copy of successive and relatively high-resolution frames, which are derived from the image converter device 106 . For example, each two-dimensional frame from the image converter device 106 may consist of 512 × 512 (= 262 144) picture elements. The successive frames can appear at a repetition rate or rate of 30 frames per second. In the present case, a serial stream of pixels is applied to the data reducer 108 from the video signal output of the image converter device 106 , at a rate of almost eight million pixels per second. In some cases, however, it is desirable in a robot system or in an automatic camera monitoring system to provide a resolution of more than 512 x 512 pixels per frame and / or to have a frame frequency of more than 30 frames per second (which makes the Pixel rate of the video signal applied to the data reducing device 108 is increased to more than eight million pixels per second).

Für eine Bildanalyse mittels Rechner ist es normalerweise erforderlich, daß die Information der einzelnen Bildpunkte jeweils in Digitalform (anstatt in Analogform) vorliegt. Um eine genügend feine Grauabstufung zu erzielen, ist es üblich, jeden der Bildpunkt-Stufenwerte mit 8 Bits pro Bildpunkt zu digitalisieren. Beim Fehlen einer Bilddaten- Reduzierung und im Falle eines Realzeitbetriebs müßte der Rechner in Realzeit sechzehn Millionen Bits pro Sekunde oder mehr verarbeiten. Sehr wenige bildanalysierende Rech ner können mit dieser Geschwindigkeit arbeiten, und sol che Rechner sind sehr teuer. It is normal for image analysis using a computer required that the information of the individual pixels is available in digital form (instead of in analog form). In order to achieve a sufficiently fine gray gradation, it is usual, each of the pixel level values with 8 bits per Digitize pixels. In the absence of an image data Reduction and in the case of real-time operation would have to Computer in real time sixteen million bits per second or process more. Very few image analyzers ner can work at this speed, and sol Che computers are very expensive.

Die Daten-Reduziereinrichtung 108, auf welche die vorlie gende Erfindung hauptsächlich gerichtet ist, vermindert die vom Rechner 102 zu verarbeitende Datenmenge beträcht lich, ohne das hohe Auflösungsvermögen oder das große Ge sichtsfeld der Bildwandlereinrichtung opfern zu müssen.The data reducer 108 , to which the present invention is mainly directed, considerably reduces the amount of data to be processed by the computer 102 without having to sacrifice the high resolution or the large field of view of the image converter device.

Das von der Daten-Reduziereinrichtung 108 mit reduzierten Bilddaten gelieferte Ausgangssignal (welches das Ausgangs signal der mit Fovea-Automatik arbeitenden Kamera 100 ist) wird als Eingangsgröße auf den Rechner 102 gegeben. Der Rechner 102 analysiert die ihm zugeführten reduzierten Bilddaten gemäß seinem Programm. Das Programm hängt na türlich vom jeweiligen Zweck des in Fig. 1 dargestellten Systems ab. Im Falle eines Überwachungssystems beispiels weise kann der Rechner 102 so programmiert sein, daß er wesentliche Änderungen in der von der Bildwandlereinrich tung 106 aufgenommenen Szene erkennt, z. B. das Vorhanden sein von bewegten Objekten, von Objekten mit einer oder mehreren speziellen Formen, usw.. Der Rechner kann einen Ausgangsanschluß zu irgendeiner Nutzeinrichtung (nicht dar gestellt) aufweisen, etwa zu einer Alarmeinrichtung im Fal le eines Überwachungssystems. Ein anderes Beispiel der An lage nach Fig. 1 ist ein Robotersystem. In diesem Fall ist der Rechner 102 so programmiert, daß er für eine gewünsch te "Auge/Hand"-Koordinierung zwischen einer Nutzeinrich tung, die eine mechanische Hand bildet, und der Bildwand lereinrichtung 106 sorgt. Genauer gesagt liefert der Rech ner 102 als eine Ausgangsgröße bestimmte Befehlssignale an eine mechanische Hand entsprechend Informationen, die zum einen in den ihm von der Bildwandlereinrichtung 106 zuge führten reduzierten Daten und zum anderen in Rückkopp lungssignalen enthalten sind, die von der die mechanische Hand bildenden Nutzeinrichtung her empfangen werden.The output signal supplied by the data reducer 108 with reduced image data (which is the output signal of the camera 100 operating with automatic fovea) is given as an input variable to the computer 102 . The computer 102 analyzes the reduced image data supplied to it in accordance with its program. The program naturally depends on the purpose of the system shown in FIG. 1. In the case of a monitoring system, for example, the computer 102 can be programmed so that it detects significant changes in the scene recorded by the image converter device 106 , e.g. B. the presence of moving objects, objects with one or more special shapes, etc. The computer can have an output connection to any user device (not shown), such as an alarm device in the case of a monitoring system. Another example of the system according to FIG. 1 is a robot system. In this case, the computer 102 is programmed such that it provides for a desired "eye / hand" coordination between a device which forms a mechanical hand and the screen learning device 106 . More specifically, the computer 102 supplies certain command signals as an output variable to a mechanical hand in accordance with information which is contained on the one hand in the reduced data supplied to it by the image converter device 106 and on the other hand in feedback signals which are provided by the user device forming the mechanical hand be received here.

Die Bildwandlereinrichtung 106 der Kamera 100 kann (je nach ihrer Verwendungsart) entweder stationär oder beweglich sein. Im Falle eines Robotersystem beispielsweise wird es gewöhnlich zweckmäßig sein, eine Bewegungsvorrichtung 110 für die Bildwandlereinrichtung vorzusehen. Die Bewe gungsvorrichtung 110 wird durch ein Ausgangssignal vom Rechner 102 entsprechend der Objektinformation gesteuert, die in den am Rechnereingang zugeführten reduzierten Bild daten enthalten ist und denjenigen Bereich des Raumes be treffen, der gerade im Gesichtsfeld der Bildwandlereinrich tung 106 ist. In diesem Fall gibt die Bewegungsvorrichtung 110 Rückkopplungssignale zurück zum Rechner 102, um die Istposition der Bildwandlereinrichtung 106 anzuzeigen.The image converter device 106 of the camera 100 can (depending on its type of use) be either stationary or movable. In the case of a robot system, for example, it will usually be expedient to provide a movement device 110 for the image converter device. The movement device 110 is controlled by an output signal from the computer 102 in accordance with the object information contained in the reduced image data supplied at the computer input and that area of the room which is currently in the field of view of the image converter device 106 . In this case, the movement device 110 returns feedback signals to the computer 102 in order to display the actual position of the image converter device 106 .

Insoweit beschrieben, bildet die Kombination von Kamera 100 und Rechner 102 ein vollständig automatisiertes System (d. h., es ist keine Bedienung durch einen Menschen erfor derlich). Falls aber gewünscht, kann das System nach Fig. 1 eine wahlweise zu benutzende Bedienungsstation 104 haben. Wie in Fig. 1 angedeutet, enthält die Station 104 ein Sichtgerät 112 und ein Handsteuergerät 114. Das Sichtge rät 112 erlaubt es der Bedienungsperson, die vom Rechner 102 abgeleitete Bildinformation zu betrachten, und das Handsteuergerät 114 erlaubt der Bedienungsperson, Hand befehlssignale an den Computer 102 zu senden. Zweck sol cher Handbefehlssignale kann es z. B. sein, die auf dem Sichtgerät 112 darzustellende Bildinformation auszuwäh len und/oder von Hand die einzelnen Ausgaben vom Rechner 102 an irgendeine oder alle der verschiedenen Einrichtun gen wie die Daten-Reduziereinrichtung 108, die Bewegungs vorrichtung 110 und die Nutzeinrichtung (nicht gezeigt) zu steuern.As described so far, the combination of camera 100 and computer 102 forms a fully automated system (ie, no human operation is required). If desired, however, the system of FIG. 1 may have an optional operator station 104 . As indicated in FIG. 1, the station 104 contains a viewing device 112 and a hand control device 114 . The vision device 112 allows the operator to view the image information derived from the computer 102 , and the hand controller 114 allows the operator to send hand command signals to the computer 102 . Purpose of such hand command signals, it can e.g. B. be to select the image information to be displayed on the display device 112 and / or by hand the individual outputs from the computer 102 to any or all of the various devices such as the data reducer 108 , the movement device 110 and the use device (not shown) to control.

In Fig. 2 ist eine erste Ausführungsform der Datenredu ziereinrichtung 108 dargestellt, welche die Prinzipien der vorliegenden Erfindung verkörpert. Ein der Datenreduzier einrichtung 108 von der Bildwandlereinrichtung 106 eingangs zugeführte Videosignal (das ein in Form abgefragter Proben vorliegende Signal aus einem Festkörper-Bildwandler wie etwa einem CCD-Bildwandler sein kann oder, alternativ, ein kontinuierliches Signal aus einem Bildaufnahmegerät mit Fernsehröhre) wird auf einen Analog/Digital-Wandler (A/D- Wandler) 200 gegeben, der den Pegel jedes der aufeinan derfolgenden Bildelemente des Videosignals in eine aus mehreren Bits (z. B. 8 Bit) bestehende Digitalzahl umwan delt. Jedes der aufeinanderfolgenden zweidimensionalen Vollbilder, die durch das Videosignal dargestellt werden, besteht aus P _X Bildelementen oder "Bildpunkten" in der Horizontalrichtung und P _Y Bildpunkten in der Vertikalrich tung. Da die Bildwandlereinrichtung 106 ein hochauflösen der Bildwandler ist, sind die Werte von P _X und P _Y jeweils relativ groß (z. B. 512). Das Videosignal selbst ist ein zeitabhängiges Signal (Zeitfunktion), welches dadurch ge wonnen wird, daß das zweidimensional-räumliche Bild, wel ches gerade durch den Bildwandler der Einrichtung 106 auf genommen wird, während jeder Vollbildperiode abgetastet wird. Das digitale Ausgangssignal vom A/D-Wandler 200 wird als eine Eingangsgröße auf einen Raumfrequenz-Spektralana lysator 202 gegeben. Alternative Ausführungsformen des Spektralanalysators 202 sind in den Fig. 3 und 3a dar gestellt, die weiter unten erläutert werden.In FIG. 2, a first embodiment of the device shown Datenredu is ornamental 108 embodying the principles of the present invention. A video signal input to the data reducer 108 from the image converter device 106 (which may be a signal in the form of sampled samples from a solid-state image converter such as a CCD image converter or, alternatively, a continuous signal from an image recording device with a television tube) is applied to one Analog / digital converter (A / D converter) 200 is given, which converts the level of each of the successive picture elements of the video signal into a digital number consisting of several bits (e.g. 8 bits). Each of the successive two-dimensional frames represented by the video signal consists of P _X pixels or "pixels" in the horizontal direction and P _Y pixels in the vertical direction. Since the image converter device 106 is a high-resolution image converter, the values of P _X and P _{Y are} each relatively large (e.g. 512). The video signal itself is a time-dependent signal (time function), which is obtained by the fact that the two-dimensional spatial image, which is currently being recorded by the image converter of the device 106 , is sampled during each frame period. The digital output signal from the A / D converter 200 is given as an input variable to a spatial frequency spectral analyzer 202 . Alternative embodiments of the spectrum analyzer 202 are shown in FIGS . 3 and 3a, which are explained further below.

Der Raumfrequenz-Spektralanalysator 202 leitet aus dem digitalisierten Videosignal, das jedes der aufeinander folgenden Vollbilder darstellt und ihm am Eingang ange legt wird, eine nach Ordnungszahlen geordnete Gruppe von N + 1 getrennten Videoausgangssignalen L₀ . . . L _{N -} ₁ und G _N ab (wobei N eine ganzzahlige Mehrzahl ist). Die je weiligen Videoausgangssignale L₀ . . . L _{N -} ₁ und G _N bilden einander angrenzende Teilspektralbänder des Raumfreqenz spektrums des Bildes, das durch die Bildpunkte jedes der aufeinanderfolgenden Vollbilder des am Eingang des Analy sators 202 zugeführten digitalisierten Videosignals definiert ist. Jedes Videoausgangssignal L₀ . . . L _{N -} ₁ definiert ein dem Durchlaßbereich eines Bandpasses gleichendes Band (Bandpaß- Band) des Raumfrequenzspektrums des Bildes, wobei L₀ das die höchsten Raumfrequenzen belegende Bandpaß-Band und L _{N -} ₁ das die niedrigsten Raumfrequenzen belegende Bandpaß-Band des Bildspektrums definiert. G _N definiert ein tiefpaßarti ges Restband, das alle diejenigen Raumfrequenzen des Raum frequenzspektrums des Bildes enthält, die unterhalb der Frequenzen des Bandpaß-Bandes L _{N -} ₁ liegen. Vorzugsweise hat jedes der Bandpaß-Bänder L₀ . . . L _{N - 1} für jede der beiden räumlichen Dimensionen des Bildes eine Bandbreite von jeweils einer Oktave (d. h., wenn die vom Spektralana lysator 202 zu analysierende Höchstraumfrequenz in einer der Dimensionen gleich f₀ ist, dann hat das Bandpaß-Band L₀ in dieser Dimension eine Mittenfrequenz von 3f₀/4, das Bandpaß-Band L ₁ in dieser Dimension hat eine Mittenfrequenz von 3f₀/8, das Bandpaß-Band L ₂ in dieser Dimension hat eine Mittenfrequenz von 3f₀/16, usw.). Somit zeigt das erste Band L₀ der Gruppe von Ausgangs-Videosignalen die gleiche relativ hohe räumliche Auflösung wie das Eingangs-Video signal des Analysators 202. Ferner "besteht" dieses erste Band L₀ der Gruppe aus der gleichen Anzahl (P _X · P _Y) von Bildpunkten pro Vollbild wie das Eingangs-Videosignal des Analysators 202. Von den anderen Bändern der Gruppe hin gegen zeigt jedes eine geringere räumliche Auflösung und eine kleinere Anzahl von Bildpunkten als das unmittelbar vorhergehende Band der Gruppe. Somit besteht das letzte Band G _N (das Restband) der Gruppe aus einer zweiten ge gebenen Anzahl von Bildpunkten (P′ _X · P′ _Y), welche die geringste Anzahl von Bildpunkten in allen den Bändern der Gruppe ist.The spatial frequency spectral analyzer 202 derives from the digitized video signal, which represents each of the successive frames and is applied to it at the input, a group of N + 1 separated video output signals L ₀ ordered by atomic numbers. . . L _N- ₁ and G _N ab (where N is an integer plurality). The respective video output signals L ₀. . . L _N- ₁ and G _N form adjacent partial spectral bands of the spatial frequency spectrum of the image, which is defined by the pixels of each of the successive frames of the digitized video signal supplied to the input of the analyzer 202 . Any video output signal L ₀. . . L _{N -} ₁ defines a the passband of a bandpass equal tape (band-pass band) of the image spatial frequency spectrum, wherein L ₀ which the highest spatial frequencies occupying bandpass band and L _{N -} ₁ defines the lowest spatial frequencies occupying band-pass band of the image spectrum. G _N defines a low-pass residual band that contains all those spatial frequencies of the spatial frequency spectrum of the image that are below the frequencies of the band-pass band L _{N -} ₁ . Each of the bandpass bands preferably has L ₀. . . L _{N - 1 has} a bandwidth of one octave for each of the two spatial dimensions of the image (ie, if the maximum spatial frequency to be analyzed by the spectral analyzer 202 is equal to f ₀ in one of the dimensions, then the bandpass band L ₀ has this dimension a center frequency of 3 f ₀ / 4, the bandpass band L ₁ in this dimension has a center frequency of 3 f ₀ / 8, the bandpass band L ₂ in this dimension has a center frequency of 3 f ₀ / 16, etc.) . Thus, the first band L ₀ of the group of output video signals shows the same relatively high spatial resolution as the input video signal of the analyzer 202 . Furthermore, this first band L ₀ of the group consists of the same number (P _X · P _Y ) of pixels per frame as the input video signal of the analyzer 202 . In contrast to the other bands in the group, each shows a lower spatial resolution and a smaller number of pixels than the immediately preceding band in the group. Thus, the last band G _N (the remaining band) of the group consists of a second given number of pixels (P ′ _X · P ′ _Y ), which is the lowest number of pixels in all the bands of the group.

Gemäß der Fig. 2 wird jedes der Bandpaß-Bänder L₀ . . . L _{N -} ₁ als Eingangssignal an ein jeweils zugeordnetes Exemplar von (P′ _X · P′ _Y)-Fenstertorschaltungen 204-0 . . . 204- (N - 1) gelegt. Jedes der Tore 204-0 . . . 204- (N - 1) empfängt außer dem an einem Steuereingang ein zugeordnetes Fenstermitte- Steuersignal vom Rechner 102, wie es in Fig. 2 angedeutet ist. Jedes der Tore 204-0 . . . 204- (N - 1) kann einen örtlich bestimmten zweidimensionalen räumlichen Teil jedes Voll bildes durchlassen, der aus P′ _X · P′ _Y Bildpunkten besteht und das Ausgangssignal des betreffenden Tors bildet. Die se Ausgangssignale sind mit L′₀ . . . L′ _{N - ₁ bezeichnet. Je
des Tor wirkt somit als ein Raumfenster für den jeweils
durchgelassenen, örtlich festgelegten zweidimensionalen
räumlichen Teil. Das jedem der Tore 204-0 . . . 204- (N - 1)
angelegte Fenstermitte-Steuersignal bestimmt die relative
Position dieses örtlich bestimmten räumlichen Teils jedes
Vollbildes. Gemäß der Fig. 1 werden die jeweiligen Ausgangs
signale L′₀ . . . L′ _{N -} ₁ von den Toren 204-0 . . . 204- (N - 1)
gemeinsam mit dem Ausgangssignal G _N des Analysators 202
an den Rechner 102 gelegt, entweder direkt oder, alter
nativ, über einen Multiplexer oder eine andere Datenver
bindung (nicht dargestellt).
Die in Fig. 2 dargestellte Ausführungsform der Bilddaten-
Reduziereinrichtung 108 der Kamera 100 bildet die Mindest
struktur, die erforderlich ist, um dem Rechner 102 Bild
daten zuzuführen, welche gemäß den Prinzipien der vorlie
genden Erfindung reduziert sind. In diesem Fall enthält
der Rechner 102 geeignete Speichereinrichtungen, um die
von der Reduziereinrichtung 108 gelieferten reduzierten
Bilddaten zumindest vorübergehend zu speichern, und eine
Auswahleinrichtung, um aus diesen gespeicherten reduzier
ten Bilddaten Steuersignale abzuleiten, die zur Daten-
Reduziereinrichtung 108 zurückgegeben werden. In manchen
Fällen ist es jedoch zweckmäßig, solche Speicher- und
Auswahleinrichtungen als Teil der Datenreduziereinrich
tung 108 der Kamera 100 vorzusehen anstatt sie in den
Rechner 102 aufzunehmen. Die Fig. 2a zeigt diese alter
native Ausführungsform der Bilddaten-Reduziereinrich
tung 108.
Wie in Fig. 2a dargestellt, werden die jeweiligen Aus
gangssignale L′₀ . . . L′ _{N -} ₁ und G _N der Anordnung nach
Fig. 2 nicht aus der Kamera 100 hinaus zum Rechner 102
geleitet. Stattdessen enthält die alternative Ausführungs
form der Datenreduziereinrichtung 108 nach Fig. 2a zu
sätzlich eine Gruppe von Speichern 206-0 . . . 206- N, von
denen jeder einem entsprechenden Exemplar der Ausgangs
signale L′₀ . . . L′_{N - 1} und G _N zugeordnet ist. Während jedes
der aufeinanderfolgenden Vollbilder werden die Bildpunkte
P′ _X · P′ _Y jedes der Ausgangssignale L′₀ . . . L′ _{N -} ₁ und G _N
(Fig. 2) in das jeweils zugeordnete Exemplar der P′ _X- und
P′ _Y-Speicher 206-0 . . . 206- N eingeschrieben. Nach einer
von jedem der Speicher 206-0 . . . 206- N bewirkten Zeitver
zögerung wird jeder dieser Speicher ausgelesen, und das
betreffende Ausgangssignal wird jeweils als gesondertes
Eingangssignal an einen Wählschalter 208 gelegt. Der Wähl
schalter 208 liefert unter dem Einfluß eines Schalter-
Steuersignals, das ihm vom Rechner 102 angelegt wird, se
lektiv die gespeicherten Bildpunkte P′ _X · P′ _Y, die aus
irgendeinem Exemplar der Gruppe der Speicher 206-0 . . .
206- N ausgelesen werden, als Ausgangssignal der Daten
reduziereinrichtung 108 der Kamera 100 zum Rechner 102.
Der Raumfrequenz-Spektralanalysator 202 der Fig. 2 kann
einfach aus einer Vielzahl von Bandpaßfiltern bestehen,
deren jedes als ein Ausgangssignal ein zugeordnetes Exem
plar der Bandpaßsignale L₀ . . . L _{N -} ₁ liefert, sowie aus
einem Tiefpaßfilter zur Ableitung des Restsignals G _N.
In manchen Fällen können eines oder mehrere Exemplare der
Bandpaßfilter durch Tiefpaßfilter ersetzt werden. Es ist
aber vorzuziehen, den Analysator 202 strukturell so aus
zubilden, wie es in Fig. 3 oder, als Alternative, in
Fig. 3a gezeigt ist. In diesem Zusammenhang sei auf die
gleichzeitig schwebende US-Patentanmeldung Nr.
(eigenes Aktenzeichen: RCA 79, 780) verwiesen, die aus
führlich jede der in den Fig. 3 und 3a gezeigten al
ternativen Ausführungsformen des Raumfrequenz-Spektral
analysators 202 offenbart.
Im einzelnen ist die Ausführungsform nach Fig. 3 in der
Lage, in Realzeit eine Signalverarbeitung gemäß einem
hierarchischen Pyramiden-Algorithmus durchzuführen, der
von Dr. Peter J. Burt entwickelt wurde (und deswegen als
"Burt-Pyramide" bezeichnet wird). Die Ausführungsform nach
Fig. 3a ist ein anderer Typ einer in Realzeit mit hierar
chischem Pyramiden-Algorithmus arbeitenden Signalverarbei
tungseinrichtung, bekannt als "FSD-Pyramide" (das Kürzel
FSD steht für "Filtern-Subtrahieren-Dezimieren").
Wie in Fig. 3 gezeigt, besteht der Burt-Pyramiden-Analysa
tor aus einer Reihe ("Pipeline") generell gleicher, abge
fragte Signale übertragender Stufen 300-1, 300-2 . . . 300- N.
Jede dieser Signalübertragungsstufen arbeitet mit einer
Abfragerate, die durch die Frequenz eines ihr angelegten
Exemplars digitaler Taktsignale CL ₁, CL ₂ . . . CL _N bestimmt
ist. Die Frequenz des an eine beliebige Stufe gelegten
Taktsignals ist jeweils niedriger als die Frequenz des an
irgendeine der vorhergehenden Stufen gelegten Taktsignals.
Vorzugsweise ist die Taktfrequenz jeder der Stufen 300-2 . . .
300- N jeweils halb so hoch wie die Taktfrequenz der un
mittelbar vorhergehenden Stufe. In der nachstehenden Be
schreibung sei davon ausgegangen, daß für die Taktsignale
CL ₁ . . . CL _N diese bevorzugte gegenseitige Beziehung gilt.
Wie in Fig. 3 gezeigt, besteht die Stufe 300-1 aus einer
Faltungsfilter (convolution filter)- und Dezimierungsein
richtung 302, einer Verzögerungseinrichtung 304, einer
Subtraktionseinrichtung 306 und einer Erweiterungs- und
Interpolationsfiltereinrichtung 308. Ein eingangsseitiger
Strom digitalisierter Bildelemente G₀ mit einer Abfrage
rate gleich der Frequenz des Taktsignals CL ₁ wird durch
die Faltungsfilter- und Dezimierungseinrichtung 302 ge
sendet, um einen ausgangsseitigen Strom von Bildelementen
G ₁ mit einer Abfragerate zu liefern, die gleich der Fre
quenz des Taktsignals CL ₂ ist. G₀ ist das digitalisierte
Videosignal am Eingang des Analysators 202. Das Faltungs
filter hat eine Tiefpaßfunktion, welche die Mittenfrequenz
jeder durch G ₁ dargestellten Bilddimension auf die Hälfte
der Mittenfrequenz der entsprechenden, durch G₀ darge
stellten Dimension reduziert. Gleichzeitig wird durch die
Dezimierung die Abfrage- oder Probendichte in jeder Dimen
sion um die Hälfte vermindert. Die einzelnen Bildelemente
von G₀ werden über die Verzögerungseinrichtung 304 auf ei
nen ersten Eingang der Subtrahiereinrichtung 306 gegeben.
Gleichzeitig werden die in ihrer Dichte verminderten Bild
elemente von G ₁ an das Erweiterungs- und Interpolations
filter 308 gelegt, das die Abfragedichte der G ₁-Bildele
mente zurück auf die Dichte der G₀-Elemente erhöht. Die
interpolierten G ₁-Bildelemente erhöhter Dichte werden dann
auf einen zweiten Eingang der Subtrahiereinrichtung 306
gegeben. Das Vorhandensein der Verzögerungseinrichtung
304 stellt sicher, daß jedes Paar von Proben G₀ und G ₁,
die einander in ihrer räumlichen Position entsprechen,
zur genau gleichen Zeit an den ersten bzw. zweiten Ein
gang der Subtrahiereinrichtung 306 gelegt wird. Der aus
gangsseitige Strom aufeinanderfolgender Proben L₀ von der
Subtrahiereinrichtung 306 definiert die höchste Raumfre
frequenz in jeder Dimension des abgetasteten Bildes.
Die anderen Stufen 300-2 . . . 300- N haben jeweils im wesent
lichen die gleiche Struktur wie die Stufe 300-1. Jedoch
verarbeitet jede der mit höherer Ordnungszahl numerierten
Stufen 300-2 . . . 300- N Signale mit einer jeweils niedrige
ren Raumfrequenz und einer jeweils geringeren Probendich
te als die jeweils unmittelbar vorhergehende Stufe. Ge
nauer gesagt stellt der ausgangsseitige Strom aufeinander
folgender Proben L ₁ die zweithöchste Oktave der Raumfre
quenzen in jeder Bilddimension dar, usw., so daß, wie in
Fig. 3 gezeigt, das gemäß der Burt-Pyramide analysierte
Signal sich zusammensetzt aus einzelnen, jeweils eine Ok
tave umfassenden Probenfolgen L₀ . . . L _{N -} ₁ (abgeleitet aus
den jeweiligen Subtraktionseinrichtungen 300-1 . . . 300- N)
und einem niedrigfrequenten Restsignal G _N (abgeleitet vom
Ausgang der Faltungsfilter- und Dezimierungseinrichtung
der Stufe 300- N).
Ein Hauptvorteil der Burt-Pyramide (ausführlicher in der
o. e. US-Patentanmeldung diskutiert) besteht darin, daß spä
ter durch Synthese aus den einzelnen analysierten Aus
gangssignalen L₀ . . . L _{N -} ₁ und G _N ein rekonstruiertes Bild in
einer Weise gewonnen werden kann, bei welcher merkliche
Begleitprodukte, die durch die Bildverarbeitung in das
Bild eingeführt werden, minimal bleiben. Ein Nachteil ei
ner Burt-Pyramide ist die Tatsache, daß man für jede Ana
lysatorstufe ein Erweiterungs- und Interpolationsfilter
(zusätzlich zu einer Faltungsfilter- und Dezimierungsein
richtung) braucht, was sowohl die Kosten als auch die Kom
pliziertheit erhöht.
Der in Fig. 3a gezeigte FSD-Pyramiden-Analysator ist in
mancher Hinsicht ähnlich dem Burt-Pyramiden-Analysator.
Erstens besteht der FSD-Analysator ebenfalls aus einer
Reihe generell gleicher Signalübertragungsstufen 300-1,
300-2 . . . 300- N für abgefragte Signalproben. Zweitens ar
beitet jede der Stufen mit einer Abfrage- oder Probenrate,
die durch die Frequenz jeweils gesondert angelegter Digi
taltaktsignale CL ₁, CL ₂ . . . CL _N bestimmt ist. Drittens
ist die Frequenz des Taktsignals für jede Stufe vorzugs
weise halb so hoch wie die Taktfrequenz der jeweils un
mittelbar vorhergehenden Stufe.
Im FSD-Pyramiden-Analysator unterscheidet sich jedoch die
spezielle strukturelle Ausbildung jeder Stufe (in Fig. 3a
allgemein mit 300- K bezeichnet) etwas von der strukturellen
Ausbildung jeder Stufe des Burt-Pyramiden-Analysators (wie
etwa der Stufe 300-1 in Fig. 3). Im einzelnen enthält jede
Stufe 300- K (wobei K jede Zahl von 1 bis N ist) des in
Fig. 3a gezeigten FSD-Pyramiden-Analysators ein Faltungs
filter 302 a, eine Dezimierungseinrichtung 302 b, eine Ver
zögerungseinrichtung 304 und eine Subtraktionseinrichtung
306.
Das Ausgangssignal vom Faltungsfilter 302 a wird (vor einer
Dezimierung durch die Einrichtung 302 b) auf einen Eingang
der Subtraktionseinrichtung 306 gegeben. Infolge dieser
strukturellen Ausbildung entfällt die Notwendigkeit, ein
Erweiterungs- und Interpolationsfilter in jeder Stufe
eines FSD-Pyramiden-Analysators vorzusehen. Der Fortfall
des Erweiterungs- und Interpolationsfilters vermindert so
wohl die Kosten als auch das Maß der Eigenverzögerung je
der Stufe des in Fig. 3a gezeigten FSD-Pyramiden-Analysa
tors wesentlich im Vergleich zu den Kosten und der Eigen
verzögerung des Burt-Pyramiden-Analysators nach Fig. 3.
Die Arbeitsweise des in den Fig. 1 und 2 (oder, alter
nativ, in den Fig. 1 und 2a) gezeigten Systems sei nun
unter Bezugnahme auf die Fig. 4 und 5 erläutert.
Das Rechteck 400 stellt die relativ große Ausdehnung des
zweidimensionalen Raumbereiches dar, der durch ein ganzes
Vollbild aus Bildelementen definiert ist. Das Ausgangssig
nal G _N vom Analysator 202 (das ohne Durchgang durch ein
Fenstertor an den Rechner 102 gelegt wird) stellt diesen
das ganze Vollbild deckenden Raumbereich mit der geringen
Auflösung dar, wie sie durch lediglich P′ _X · P′ _Y Bild
elemente pro Vollbild erhalten wird. Somit repräsentiert
das Signal G _N mit einer geringen Auflösung eine Gesamtan
sicht 500 (Fig. 5) eines oder mehrerer Objekte (z. B. einer
Vase 502) innerhalb des Raumbereichs, der im Augenblick von
der Kamera 100 überblickt wird. Zum Zwecke der Veranschau
lichung sei angenommen, daß die Werte für P′ _X und P′ _Y in
Fig. 4 und 5 jeweils gleich 6 sind. Somit setzt sich die
vollständige Fläche des die Gesamtansicht mit niedriger
Auflösung liefernden Raumbildbereichs 400 (in den Fig.
4 und 5 gezeigt) aus nur 36 Bildelementen zusammen.
Das Ausgangssignal L′ _{N -} ₁ vom Fenstertor 200- (N - 1) stellt
den örtlich bestimmten Teilbereich 402 des Raumes dar. Der
Teilbereich 402, dessen Dimensionen in Horizontal- und in
Vertikalrichtung nur jeweils halb so groß wie die entspre
chenden Dimensionen des Raumbereichs 400 sind, nimmt nur
ein Viertel der Fläche des Bereichs 400 ein. Jedoch setzt
sich der Teilbereich 402, wie in Fig. 5 gezeigt, ebenfalls
aus 36 Bildelementen zusammen, so daß sich eine Zwischen
ansicht 504 der Vase 502 mit einer Auflösung ergibt, die
höher ist als in der gering auflösenden Gesamtansicht 500.
In einer ähnlichen Weise wird jeder der örtlich bestimmten
("lokalisierten") Teilbereiche 404 und 406 des Raumes eben
falls durch 36 Bildelemente dargestellt (wie in Fig. 5
gezeigt). Die Teilbereiche 404 und 406 werden durch die
Ausgangssignale L′ _{N -} ₂ bzw. L′ _{N -} ₃ zugeordneter Fenstertore
204- (N - 2) und 204- (N - 3) repräsentiert, die in Fig. 2 nicht
eigens dargestellt sind. Jedoch ist die vom Teilbereich 404
eingenommene Fläche nur ein Viertel der Fläche des Teil
bereichs 402 (oder ein Sechzehntel der Fläche des Gesamt
bereichs 400). Daher ist die Auflösung der Zwischenansicht
506 der Vase 502 höher als diejenige der Zwischenansicht
504 (die wiederum eine höhere Auflösung hat als die gering
auflösende Gesamtansicht 500). In ähnlicher Weise ist die
Fläche des Teilbereichs 406 nur ein Viertel der Fläche des
Teilbereichs 404 (oder 1/64 der Fläche des die Gesamtan
sicht deckenden Raumbereichs 400). Die Ansicht 508 der
Vase 502 ist als diejenige mit der höchsten Auflösung.
Zur Veranschaulichung wurde bei der Erläuterung der Ar
beitsweise der vorliegenden Erfindung angenommen, daß der
Wert von N nur gleich 3 ist. In diesem Fall stellt also
das Signal L′₀ den Teilbereich 406 des Raumes dar, während
die Teilbereiche 404, 402 und 400 durch die Signale L′ ₁
bzw. L′ ₂ (für L′ _{N -} ₁) bzw. G ₃ (für G _N) dargestellt werden.
In der Praxis wird der Wert von N größer als 3 sein (nor
malerweise mindestens 5 oder 6). Außerdem werden in der
Praxis die Werte von P _X und P _Y jeweils größer sein als 6
(z. B. gleich 32 oder gleich 16). In solchen Fällen wird
der räumliche Bildbereich, der durch das hochauflösende
und ein weites Gesichtsfeld umfassende Videosignal von
der Bildwandlereinrichtung 100 dargestellt wird und durch
512 · 512 Bildelemente (oder sogar 1024 · 1024 Bildelemente)
definiert ist, mittels der Datenreduziereinrichtung 108 auf
5 oder 6 getrennte Ansichten verschiedener Auflösung von
jeweils 16 · 16 oder 32 · 32 Bildelementen reduziert.
Wie in Fig. 2 angedeutet, liefert der Rechner 102 an jedes
der Fenstertore 204-0 . . . 204- (N - 1) ein individuelles Fen
stermitte-Steuersignal. Dies macht es möglich, jeden der
einzelnen Teilbereiche des Raumes (z. B. die Teilbereiche
402, 404 und 406) abhängig von Befehlssignalen, die aus
dem Rechner 102 kommen, zu bewegen. Wie es schematisch
durch den Pfeil in Fig. 4 angedeutet ist, kann z. B. jeder
der Teilbereiche 402, 404 und 406 unabhängig und wahlweise
von seinem vorherigen Ort (gestrichelt gezeichnet) inner
halb des Raumbereichs 400 an seinen aktuellen Ort (ausge
zogen gezeichnet) innerhalb des Raumbereichs 400 verscho
ben werden. Auf diese Weise läßt sich jeder beliebige
Teil der den Raumbereich 400 deckenden Gesamtansicht mit
irgendeiner der verschiedenen höheren Auflösungen darstel
len.
Im Falle einer Überwachungskamera kann der Rechner 102 zu
nächst den die Gesamtansicht mit geringer Auflösung dar
stellenden Raumbereich analysieren, um festzustellen, ob
es den Anschein hat, daß irgendein Objekt von Interesse
(z. B. ein sich bewegendes Objekt, ein Objekt besonderer
Gestalt, usw.) in irgendeinem Teilbereich dieser Gesamt
ansicht vorhanden ist oder nicht. Falls ja, kann der Rech
ner dann diesen Teilbereich mit höher und höher werdenden
Auflösungen untersuchen, um eine Bestätigung dafür zu er
halten, ob ein interessierendes Objekt tatsächlich vorhan
den ist oder nicht. In einem Robotersystem könnte eine
in mancher Hinsicht ähnliche Untersuchung durch den Rechner
102 nützlich sein, um die "Auge/Hand"-Koordinierung zu be
sorgen.
Der wichtige Vorteil der vorliegenden Erfindung besteht
darin, daß die Menge der vom Rechner zu verarbeitenden Da
ten stark reduziert wird, ohne gleichzeitig entweder die
Auflösung oder das Gesichtsfeld der Bildwandlereinrichtung
zu reduzieren.
Im Falle der Fig. 2a liefert der Rechner 102 ein Schalter-
Steuersignal für den Wählschalter 206, das es dem Rechner
102 erlaubt, zu irgendeiner beliebigen Zeit diejenigen Da
ten zu untersuchen, die in irgendeinem der (P′ _X · P′ _Y)-
Speicher 204-0 . . . 204- N gespeichert sind. Dies vermindert
zusätzlich die vom Rechner 102 zu verarbeitende Datenmenge.
Es ist offensichtlich, daß es in manchen Fällen zweckmäßig
sein kann, selbst das letzte Band der Gruppe von Bändern
durch ein bewegliches Fenster zu senden, um noch weniger
als die zweite gegebene Anzahl von Bildpunkten an den Aus
gang der Bilddaten-Reduziereinrichtung 108 zu liefern.
Außerdem ist es im Falle, daß die Bildwandlereinrichtung
mit einer Bewegungsvorrichtung 110 versehen ist, möglich,
die jeweiligen Fenster in vorbestimmten festen räumlichen
Beziehungen zueinander zu halten und die Bildwandlerein
richtung unter Steuerung durch den Rechner zu bewegen, um
das interessierende Objekt in das Fenster höchster Auflösung
zu bringen. Es kann ferner wünschenswert sein, den Wählschal
ter 208 durch einen Wähler zu ersetzen, der in der Lage ist,
zwei oder mehr beliebige Ausgänge der Speicher 204-0 bis
204- N zur gleichen Zeit auszuwählen und dann gleichzeitig
die ausgewählten Speicherausgänge auf dem Sichtgerät 112
wiederzugeben. Solche strukturellen Modifikationen liegen
ebenfalls im Bereich der vorliegenden Erfindung.
Die Menge an Bilddaten, die dem Rechner 102 (Fig. 1) von
der Bilddaten-Reduziereinrichtung 108 (Fig. 1) zugeführt
werden müssen, läßt sich noch weiter vermindern, wenn man
für die Reduziereinrichtung 108 eine Ausführungsform ver
wendet, die ein oder mehrere Bildmerkmale von besonderem
Interesse speziell erfaßt und vorverarbeitet. Bei solchen
"Spezialmerkmalen" kann es sich z. B. handeln um die räum
liche Position von bewegten Objekten (im Gegensatz zu
stationären Objekten) und/oder von speziellen Musterfor
men und/oder von Objekten mit bestimmten räumlichen Orien
tierungen in dem das weite Gesichtsfeld umfassenden Bild,
das durch das Videosignal dargestellt wird, welches von
der Bildwandlereinrichtung 106 zur Bilddaten-Reduzierein
richtung gelangt. Auch bestimmte örtliche Farb- und/oder
Bildstrukturen können in Frage kommen; die möglichen Spe
zialmerkmale sind auf die hier aufgezählte Auswahl nicht
beschränkt. Das Blockschaltbild der Fig. 6 zeigt für die
Bilddaten-Reduziereinrichtung 108 eine Ausführungsform,
die zur Erfassung und Vorverarbeitung solcher Spezialmerk
male in der Lage ist.
Die in Fig. 6 dargestellte Bilddaten-Reduziereinrichtung
besteht aus einer Videosignalquelle 600, einem sogenannten
Spezialmerkmal-Detektor 602, einer Übertragungsfunktions
schaltung 604 für Bildpunkt-Absolutwerte, einer Faltungs
filter/Dezimator-Pyramide 606 und einer Gruppe von P′ _x ·
P′ _y Fenstertorschaltungen 608-0 . . . 608- (N - 1).
Die Videosignalquelle 600 kann irgendeine von verschie
denen Formen haben, Beispiele sind in den Fig. 8a, 8b
und 8c gezeigt. In jedem Fall leitet die Videosignalquel
le 600 ein digitalisiertes Videosignal ab, das eine rela
tiv große Anzahl (P _x · P _y) von Bildpunkten pro Vollbild
hat. In ihrer einfachsten Form (Fig. 8a) besteht die
Videosignalquelle 600 a einzig aus einem Analog/Digital-
Wandler 800, der das analoge Videosignal aus der hochauf
lösenden, ein weites Gesichtsfeld aufnehmenden Bild
wandlereinrichtung 106 (Fig. 1) in Digitalform umwandelt.
Wie außerdem in Fig. 8a angedeutet, kann das analoge Vi
deosignal aus der Bildwandlereinrichtung 106 als Video
signal des "ausgefüllten" Bildes in der Anordnung nach
Fig. 6 verwendet werden. Zur Beschreibung des Betriebs
der in Fig. 6 gezeigten Ausführungsform der Bilddaten-
Reduziereinrichtung 108 sei zunächst angenommen, daß die
Videosignalquelle 600 die einfache Form nach Fig. 8a hat.
Anschließend werden die in den Fig. 8b und 8c gezeig
ten komplizierteren Formen der Videosignalquelle 600
(600 b und 600 c) behandelt.
Das digitalisierte Videosignal von der Videosignalquelle
600 wird auf den Eingang des Spezialmerkmal-Detektors
602 gegeben. Der Detektor 602 kann ebenfalls verschiede
ne Formen annehmen, je nachdem, welcher Art das oder die
interessierenden Spezialmerkmale sind. Zur Veranschauli
chung sind in den Fig. 9a, 9b und 9c drei verschiede
ne Formen des Spezialmerkmal-Detektors 602 dargestellt.
Zur Beschreibung des Betriebs der in Fig. 6 gezeigten
Ausführungsform der Bilddaten-Reduziereinrichtung 108
sei zuerst einmal angenommen, daß der Spezialmerkmal-
Detektor 602 die in Fig. 9a gezeigte Form (602 a) hat.
Anschließend werden die in den Fig. 9b und 9c darge
stellten Spezialmerkmal-Detektoren (602 b und 602 c) be
handelt.
Im einzelnen zeigt die Fig. 9a als Beispiel für einen
Spezialmerkmal-Detektor einen einfachen und verhältnis
mäßig primitiven Detektor 602 a für bewegte Objekte, der
aus einem Vollbildspeicher 900 und einer Bildpunkt-Sub
trahiereinrichtung 902 besteht. Das digitalisierte Vi
deosignal vom Ausgang der Videosignalquelle wird an den
Eingang des Vollbildspeichers 900 und an den Plus-Ein
gang (+) der Bildpunkt-Subtrahiereinrichtung 902 gelegt,
und das Ausgangssignal aus dem Vollbildspeicher 900 wird
auf den Minus-Eingang (-) der Bildpunkt-Subtrahiereinrich
tung 902 gegeben. Der Vollbildspeicher 900 speichert ein
vollständiges Vollbild von Bildpunkten und legt, jeweils
nach einer Verzögerungszeit von genau einer Vollbildperio
de, jeden ausgelesenen Bildpunkt des gespeicherten Voll
bildes an den Minus-Eingang der Subtrahiereinrichtung 902,
deren Plus-Eingang jeweils gleichzeitig den dazu entspre
chenden Bildpunkt aus dem Vollbild des laufenden digitali
sierten Videosignals empfängt. Die Bildpunkt-Subtrahier
einrichtung 902 liefert an ihrem Ausgang ein Videosignal,
in welchem die Polarität und der Pegel oder Wert jedes
Bildpunktes der algebraischen Differenz zwischen den Wer
ten des Bildpunktpaares entspricht, das dem Plus- und
Minus-Eingang der Subtrahiereinrichtung 902 zum zugeord
neten Zeitpunkt zugeführt ist. Daher wird, abgesehen von
irgendwelchem Hintergrundrauschen, für jeden Bildpunkt des
digitalisierten Videosignals aus der Quelle 600, der in
seiner räumlichen Position stationären Objekten in dem
durch das digitalisierte Videosignal dargestellten Bild
entspricht, im ausgangsseitigen Videosignal der Subtra
hiereinrichtung 902 jeweils ein Wert erscheinen, der im
wesentlichen gleich Null ist. Andererseits führen beweg
te Objekte in den durch das digitalisierte Videosignal aus
der Quelle 600 repräsentierten Bild (d. h. Objekte, deren
räumliche Relativposition innerhalb des genannten reprä
sentierten Bildes sich zwischen aufeinanderfolgenden Voll
bildern des digitalisierten Videosignals aus der Quelle
600 ändert) dazu, daß im ausgangsseitigen Videosignal der
Subtrahiereinrichtung 902 positive und negative Bildpunkt
werte erscheinen, die wesentlich oberhalb und unterhalb
des Nullwertes liegen. Die räumliche Relativposition des
Objekts im Bild, das durch das ausgangsseitige Videosig
nal der Subtrahiereinrichtung repräsentiert wird, ist de
finiert durch die relative zeitliche Position der genann
ten positiven und negativen Bildpunkte in diesem Video
signal, während die relative Geschwindigkeit des bewegten
Objektes in Beziehung steht zum Abstand zwischen entspre
chenden positiven und negativen Bildpunkten im ausgangs
seitigen Videosignal der Subtrahiereinrichtung 902.
In der Praxis können kompliziertere und raffiniertere For
men von Detektoren für bewegte Objekte verwendet werden.
Solche Formen können z. B. folgendes enthalten: einen Voll
bildspeicher, der zwischen seinem Eingang und seinem Aus
gang eine Verzögerung entsprechend einer wählbaren ganzen
Anzahl von Vollbildperioden hat (um langsam bewegte Ob
jekte von schnell bewegten Objekten unterscheiden zu kön
nen); Zeitfilter; und/oder Raumzeitfilter.
Mit der obigen Beschreibung wird es auch deutlich, daß
das Bild, welches durch das digitalisierte Videosignal
aus der Quelle 600 repräsentiert wird, viel "ausgefüllter"
oder "belegter" ist als das abgeleitete Bild des bewegten
Objekts, das im Ausführungsbeispiel nach Fig. 9a durch
das Videosignal vom Ausgang der Bildpunkt-Subtrahierein
richtung 902 abgeleitet wird. Anders ausgedrückt: die
Subtrahiereinrichtung 902 vermindert wesentlich die Menge
der Daten, die im digitalisierten Videosignal des "aus
gefüllten" Bildes aus der Quelle 600 vorhanden sind, denn
sie eliminiert im wesentlichen alle diejenigen vielen Da
ten, die sich auf stationäre Objekte in diesem Bild be
ziehen.
Das Videosignal vom Ausgang des Spezialmerkmal-Detektors
602 wird auf den Eingang der Schaltung 604 gegeben, die
Bildpunkt-Absolutwerte gemäß einer bestimmten Übertra
gungsfunktion liefert. Der Wert jedes Bildpunktes des
Videosignals, das vom Spezialmerkmal-Detektor 602 an den
Eingang dieser Absolutwert-Übertragungsfunktionsschaltung
604 gelegt wird, kann zusätzlich zu seinem Betrag eine
Polarität (positiv oder negativ) haben oder nicht. Die
Schaltung 604 verarbeitet jeden Bildpunkt des ihr ange
legten Videosignals entsprechend ihrer vorbestimmten Über
tragungsfunktion. Diese Übertragungsfunktion bewirkt aller
mindestens, daß die eventuell vorhandene Polaritätsinfor
mation für den Bildpunkt entfernt wird und am Ausgang
ein Videosignal erscheint, in dem jeder Bildpunkt nur
durch einen Absolutwert definiert ist. Im einfachsten
Fall ist dieser Absolutwert proportional dem Betrag
(ungeachtet der Polarität) des betreffenden Bildpunktes
am Eingang der Schaltung 604. Ist jeder Bildpunkt des
Videosignals am Eingang der Schaltung 604 durch eine Bi
närzahl dargestellt, in welcher das höchstwertige Bit
die Polaritätsinformation und die übrigen Bits die Be
tragsinformation bilden, dann kann die Schaltung 604 im
allereinfachsten Fall Bildpunkt-Absolutwerte durch ein
faches Wegnehmen des höchstwertigen Bits liefern. In die
sem Fall ist die Übertragungsfunktion für den Absolutwert
des Bildpunktes gleich 1.
Alternativ kann die Schaltung 604 auch mit einer kom
plizierten Übertragungsfunktion arbeiten, um Bildpunkt-
Absolutwerte für ihr ausgangsseitiges Videosignal abzulei
ten. So kann die Übertragungsfunktion z. B. eine quadrati
sche Funktion sein, d. h. es wird Quadrat des Betrags
jedes Bildpunktes des zugeführten Videosignals errechnet.
Die Absolutwert-Übertragungsfunktionsschaltung 604 kann
eine (gewünschtenfalls adaptive) signalverarbeitende Ein
richtung in Form einer Nachschlagetabelle, eines Verstär
kers, eines Wahlschalters, eines Pressers, usw. enthal
ten, um die Bildpunkte des ihr zugeführten Videosignals
entsprechend irgendeiner bestimmten Übertragungsfunktion
zu verarbeiten. Eine solche Signalverarbeitungseinrich
tung kann auf die Polarität der einzelnen Bildpunkte, die
das eingangsseitige Videosignal der Schaltung 604 bilden,
ansprechen oder nicht. Die Schaltung 604 kann z. B. eine
Schwellenwertschaltung enthalten, um für alle diejenigen
Bildpunkte des eingangsseitigen Videosignals, deren Ab
solutwert unter einem vorbestimmten Minimum liegt, je
weils einen Nullwert im ausgangsseitigen Videosignal zu
liefern, und/oder es kann ein Quantisierer vorgesehen
sein, um die Anzahl der Graustufenwerte der signifikanten
Bildpunkte vom Ausgang des Spezialmerkmal-Detektors 602
zu komprimieren (und damit die Menge der Bilddaten weiter
zu reduzieren).
Wie in Fig. 6 angegeben, enthält jedes der Videoausgangs
signale vom Spezialmerkmal-Detektor 602 und von der Ab
solutwert-Übertragungsfunktionsschaltung 604 jeweils P _x ·
P _y Bildpunkte pro Vollbild.
Es sind Fälle denkbar, in denen die Bildpunkte des zu
erfassenden Spezialmerkmals ausschließlich aus Absolut
werten bestehen (d. h. alle Bildpunktwerte haben zwangs
läufig dieselbe Polarität). In solchen außergewöhnlichen
Fällen könnte der Spezialmerkmal-Detektor schon für sich
auch die Funktion der Absolutwert-Übertragungsfunktions
schaltung erfüllen. Wenn in den Patentansprüchen die Funk
tion der Spezialmerkmal-Erfassung und die Absolutwert-
Übertragungsfunktion getrennt genannt sind, dann ist dies
so allgemein zu verstehen, daß auch der eben erwähnte
außergewöhnliche Fall mit eingeschlossen ist.
Das Videosignal vom Ausgang der Absolutwertschaltung 604
wird an den Eingang einer Faltungsfilter/Dezimator-Pyra
mide 606 gelegt. Die Faltungsfilter/Dezimator-Pyramide
606 ist im allgemeinen ähnlich der bekannten Pyramide
nach Fig. 3, jedoch mit dem Unterschied, daß in jeder
Stufe die Subtrahiereinrichtung, das Erweiterungs- und
Interpolationsfilter und eventuell auch die Verzögerungs
einrichtung der Anordnung nach Fig. 3 fehlen. Somit besteht
jede Stufe der Faltungsfilter/Dezimator-Pyramide 606 aus
einer Tiefpaß-Faltungsfilter- und Dezimierungseinrichtung
und möglicherweise einer Verzögerungseinrichtung. Das
G₀-Ausgangssignal von der Faltungsfilter/Dezimator-Pyra
mide 606 ist das ungefilterte, nicht-dezimierte Videosig
nal am Eingang dieser Pyramide (mit oder ohne Verzögerung,
je nach dem Vorhandensein der Verzögerungseinrichtung).
Die Ausgangssignale G ₁ . . . G _{N -} ₁, G _N der Faltungsfilter/
Dezimator-Pyramide 606 sind die Ausgangssignale (ver
zögert oder unverzögert) der Faltungsfilter- und Dezi
mierungseinrichtung der ersten, . . . (N - 1)ten und N-ten
Stufen der Pyramide 606.
Da das Videosignal, das vom Ausgang der Absolutwertschal
tung 604 zum Eingang der Faltungsfilter/Dezimator-Pyrami
de 606 gegeben wird, nur aus Bildpunkt-Absolutwerten be
steht (d. h. alle Bildpunktwerte haben die gleiche Polari
tät), enthält das Basisband dieses Videosignals zwangs
läufig eine Gleichstromkomponente und niedrigfrequente
Komponenten (sowie auch hochfrequente Komponenten). Das
Faltungsfilter jeder nachfolgenden Stufe in der Pyramide
606 ist ein Tiefpaßfilter, dessen nominelle obere Grenz
frequenz niedriger ist als die nominelle obere Grenz
frequenz des Filters in der jeweils unmittelbar vorher
gehenden Stufe der Pyramide 606. Außerdem wird durch die
in jeder Stufe der Pyramide 606 erfolgende Dezimierung
die Anzahl der Bildpunkte (Bildpunktdichte) unter dieje
nige der unmittelbar vorhergehenden Stufe der Pyramide
606 vermindert. Somit hat das G₀-Signal von der Pyramide
606 die höchste Bildpunktdichte (P _x · P _y Bildpunkte pro
Vollbild); der G _N-Ausgang der Pyramide 606 hat die ge
ringste Bildpunktdichte (P′ _x · P′ _y Bildpunkte pro Voll
bild), und jeder der Ausgänge G₁ . . . G _{N - 1} der Pyramide
606 hat eine Bildpunktdichte, die niedriger ist als am
Ausgang der jeweils unmittelbar vorhergehenden Stufe und
höher als am Ausgang der unmittelbar nachfolgenden Stufe
der Pyramide 606.
Was die einzelnen Bilder angeht, die durch die Ausgangs
signale G₀ . . . G _N der Pyramide 606 dargestellt werden, so
repräsentiert in jedem der Ausgangssignale G ₁ . . . G _N jeder
der zugehörigen Bildpunkte einen örtlich begrenzten räum
lichen Teilbereich des Bildes, der größer ist als der von
einem Bildpunkt im Ausgangssignal der unmittelbar vorher
gehenden Stufe der Pyramide 606 repräsentierte Teilbereich.
Außerdem stellt in den Ausgangssignalen G ₁ . . . G _N der
Pyramide 606 der Wert eines einem bestimmten räumlichen
Teilbereich des Bildes entsprechenden Bildpunktes das
Integral (Summe oder Mittelwert) der Werte aller derjeni
gen Bildpunkte dar, die im Ausgangssignal der unmittel
bar vorhergehenden Stufe der Pyramide 606 diesen betref
fenden Teilbereich des Bildes belegen.
Die erwähnte Integration hat zur Folge, daß der Dynamik
bereich der Bildpunktwerte in unerwünschter Weise ver
größert wird. Ist z. B. ein einzelner G₀-Bildpunkt, der
einen beträchtlichen Wert hat, von G₀-Bildpunkten mit
Nullwert umgeben, dann führt die Integration zu einem
G _N-Bildpunkt mit ziemlich niedrigem Wert. Andererseits
führt eine örtliche Zusammenballung von G₀-Bildpunkten,
die alle einen endlichen Wert haben, zu einem G _N-Bild
punkt mit ziemlich hohem Wert. Diese unerwünschte Ver
größerung des Dynamikbereichs wird noch schlimmer, wenn
der erstgenannte einzelne G₀-Bildpunkt einen endlichen
Wert gerade über dem Schwellenwert hat und die an zwei
ter Stelle genannten zusammengeballten G₀-Bildpunkte
Werte haben, die viel höher als der Schwellenwert sind.
Um diesen unerwünscht erhöhten Dynamikbereich zu kom
primieren, ist es gewöhnlich notwendig, den Wert jedes
integrierten Bildpunktes mit einem Faktor von 2 bis 4
zu multiplizieren und dann den multiplizierten Wert auf
einen vorbestimmten Maximalwert zu begrenzen.
Die Ausgangssignale G₀ . . . G _{N -} ₁ der Pyramide 606 werden
jedes auf den Eingang einer bewegbaren (P′ _x · P′ _y)-Fen
stertorschaltung 608-0 . . . 608- (N - 1) gegeben. Diese Schal
tungen, die in Aufbau und Funktion den Fenstertorschal
tungen 204-0 . . . 204- (N - 1) der Fig. 2 entsprechen, werden
unter Steuerung durch Fenstermitte-Steuersignale "bewegt",
die aus dem Rechner kommen. Somit stellen die Ausgangs
signale G′₀ . . . G′ _{N -} ₁ der Fenstertorschaltungen 608-0 . . .
608- (N - 1) örtliche Teilbereiche des Bildes dar, jeweils
durch P′ _x · P′ _y Bildpunkte aus dem betreffenden Ausgangs
signal der Pyramide 606. Da der G₀-Ausgang der Pyramide
606 ein Bild höherer Auflösung (mit einer größeren Anzahl
an Bildpunkten) als der G ₁-Ausgang repräsentiert, ist die
Größe des räumlichen Teilbereichs des Bildes, der durch
die P′ _x · P′ _y Bildpunkte des G′₀-Signals dargestellt wird,
kleiner als die Größe des räumlichen Teilbereichs des Bil
des, der durch die P′ _x · P′ _y Bildpunkte des G′₁-Signals
dargestellt wird. In ähnlicher Weise ist bei jedem der
nachfolgenden G′-Signale die Größe des räumlichen Teil
bereichs des Bildes, der jeweils durch P′ _x · P′ _y Bild
punkte dargestellt wird, jeweils größer als bei dem je
weils unmittelbar vorhergehenden G′-Signal. Wie in Fig. 6
angegeben, enthält das G _N-Ausgangssignal der Pyramide 606
schon selbst nur P′ _x · P′ _y Bildpunkte pro Vollbild. Daher
wird der gesamte Raumbereich des Bildes durch die P′ _x ·
P′ _y Bildpunkte des G _N-Signals dargestellt.
Die Videoausgangssignale G′₀ . . . G′ _{N -} ₁ und G _N werden alle
zum Rechner 102 gegeben. Daher kann der Rechner 102 so
programmiert werden, daß er zum ersten die räumlichen Po
sitionen nur derjenigen Exemplare der P′ _x · P′ _y Bildpunk
te des G _N-Videoausgangssignals lokalisiert, die bedeut
same (bzw. endliche) Absolutwerte haben, und zum zweiten
anschließend diese Information benutzt, um nacheinander
die einzelnen Fenstertorschaltungen 608- (N - 1) . . . 608-0
(in dieser Reihenfolge) so zu bewegen, daß mit immer
größer werdender Auflösung eine Konzentration auf kleiner
und kleiner werdende räumliche Teilbereiche des Bildes
erfolgt, welche die genannten, bedeutsame Absolutwerte
aufweisenden G _N-Bildpunkte enthalten. Da außerdem die
zum Rechner 102 gegebenen Videoausgangssignale G′₀ . . .
G′ _N - 1 und G _N im wesentlichen nur die relativ kleine Menge
"interessierender" Bilddaten enthalten (praktisch alle
"uninteressanten" Bilddaten des ursprünglichen Videosig
nals aus der Quelle 600 sind entfernt worden), wird die
Programmierung des Rechners 102 einfacher und seine effek
tive Arbeitsgeschwindigkeit höher.
Neben seiner Programmierung zur Steuerung der Bewegung
der Raumfenstertorschaltungen kann der Rechner 102 auch
noch dazu programmiert werden, daß er eine weitere Fein
heits- und/oder Komplex-Analyse der reduzierten Bilddaten
vornimmt, die ihm durch die Videoausgangssignale G′₀ . . .
G′ _{N -} ₁ und G _N zugeführt werden. Derartige Analysen können
z. B. auf den Raumfrequenzgehalt der jeweils zugeführten
speziellen Bilddaten gründen.
Es sei nun der angenommene Fall betrachtet, daß die Video
signalquelle 600 gemäß der Fig. 8a ausgebildet ist und daß
der Spezialmerkmal-Detektor 602 entsprechend der Fig. 9a
konstruiert ist. Ferner sei angenommen, daß die in Fig. 6
gezeigte Ausführungsform der Bilddaten-Reduziereinrichtung
108 Teil eines Überwachungskamerasystems ist, das die re
lative räumliche Lage bewegter Objekte innerhalb des räum
lichen Bereichs visuell identifizieren soll, der von einer
Fernsehkamera aufgenommen wird, die ein "ausgefülltes"
Videosignal liefert, welches die Bilddaten sowohl beweg
ter als auch stationärer Objekte innerhalb dieses Raum
bereichs enthält. In diesem Fall wird das "ausgefüllte"
Videosignal von der Quelle 600 über einen Mischer 610 auf
den Eingang der Bildwiedergabeeinrichtung 112 gegeben
(vgl. Fig. 6 und Fig. 1).
Nach der Verarbeitung ist jedoch das am Ausgang der Ab
solutwertschaltung 604 abgeleitete Videosignal nicht mehr
"ausgefüllt" (d. h. nicht mehr voll belegt). Nur relativ
wenige der P _x · P _x Bildpunkte pro Vollbild dieses abge
leiteten Videosignals, d. h. diejenigen Bildpunkte, die
ein bewegtes Objekt definieren) haben bedeutsame Absolut
werte. Alle übrigen Bildpunkte pro Vollbild haben prak
tisch Nullwert. Unter Anwendung der oben beschriebenen
Prinzipien der Erfindung kann der Rechner 102 die Zen
trierung jeder der Fenstertorschaltungen 608- (N - 1) . . .
608-0 in dieser Reihenfolge nacheinander so steuern
(beginnend mit Raumpositionsdaten der niedrigsten Bild
auflösung, die vom G _N-Videoausgangssignal der Pyramide
606 geliefert werden), daß mit hoher Auflösung die räum
liche Position des beliebigen Objekts innerhalb des wei
ten Gesichtsfeldes lokalisiert wird. Der Rechner 102 kann
dann so vorprogrammiert werden, daß er diese mit hoher Auf
lösung gegebene Information über die räumliche Position
benutzt, um ein oder mehrere Videosignale zur Darstellung
von Symbolen zu erzeugen, welche die räumliche Lage der
Spezialmerkmale auf der Wiedergabeeinrichtung anzeigen
(z. B. durch ein kleines Quadrat, einen kleinen Kreis und/
oder ein anderes kleines Symbol vorbestimmter Form). Die
ses Anzeigesymbol-Videosignal wird im Mischer 610 mit dem
"ausgefüllten" Videosignal gemischt und als zusammenge
setztes Videosignal auf den Eingang der Wiedergabeeinrich
tung 112 gegeben.
Wie in Fig. 7 schematisch dargestellt, zeigt der Bild
schirm 700 der Wiedergabeeinrichtung 112 ein oder mehrere
Anzeigesymbole, die dem "ausgefüllten" Bild überlagert
sind. Im erwähnten Fall einer Überwachungskamera zeigt
der Ort jedes dieser Symbole auf dem Bildschirm 700 die
räumliche Position eines bewegten Objekts innerhalb des
von der Überwachungskamera aufgenommenen Raumbereichs an.
Der Rechner 102 läßt sich auch so programmieren, daß be
wegte Objekte, deren Bewegungsgeschwindigkeit unter einem
bestimmten Minimum liegt (z. B. fallende Blätter, durch
leichten Wind bewegte Baumäste, usw.), ignoriert werden,
um Fehlalarme zu vermeiden. Ferner läßt sich der Rechner
102 so programmieren, daß er bei Erfassung eines ernstzu
nehmenden bewegten Objekts einen hörbaren Alarm auslöst,
um eine Aufsichtsperson zu veranlassen, den Bildschirm 700
zu überprüfen und festzustellen, wo sich dort irgendein
Anzeigesymbol befindet.
Andere Beispiele für einen Spezialmerkmal-Detektor sind
Detektoren, die auf bestimmte Musterformen reagieren
(vgl. Fig. 9b) und Detektoren, die auf bestimmte Orientie
rungen reagieren (Fig. 9c). Der in Fig. 9b dargestellte
Musterform-Detektor 602 b enthält einen Musterform-Bild
punktgenerator 904, der eine örtliche Gruppe von Bild
punkten erzeugt, die eine vorbestimmte Musterform defi
nieren. Bei dem Generator kann es sich um ein Gerät han
deln, das entweder nur ein einziges vorbestimmtes Muster
oder aber ein ausgewähltes Exemplar mehrerer vorbestimm
ter Muster liefern kann. Außerdem kann dafür gesorgt sein,
daß sich die Größe und/oder Orientierung des oder der vor
bestimmten Muster steuern läßt. Die Auswahl und gegebenen
falls die Steuerung kann von Hand oder durch den Rechner
erfolgen. In jedem Fall wird das Ausgangssignal des Mu
sterform-Bildpunktgenerators 904 auf einen ersten Ein
gang einer Korrelationseinrichtung 906 gegeben, die an
einem zweiten Eingang das digitalisierte Videosignal aus
der Quelle 600 empfängt. Die Korrelationseinrichtung 906
leitet aus diesen beiden Eingangssignalen ein Videoaus
gangssignal ab, in welchem alle diejenigen Merkmale des
vom digitalisierten Videosignal 600 dargestellten Bildes,
die nicht die vom Generator 604 erzeugte vorbestimmte
Form aufweisen, weggenommen sind.
Der in Fig. 9c dargestellte Orientierungsmerkmal-Detek
tor 602 c enthält ein oder mehrere sogenannte "Richtungs
filter", die in der Lage sind, innerhalb des vom digita
lisierten Videosignal aus der Quelle 600 dargestellten
Bildes diejenigen Ränder zu erfassen, die in einer be
stimmten Richtung verlaufen (oder mindestens dieser Rich
tung nahekommen). Die Fig. 9c zeigt als Beispiel eine
Ausführungsform mit vier getrennten Richtungsfiltern 908-
0, 908-45, 908-90 und 908-135, die dazu benutzt werden
können, das durch das zugeführte Videosignal repräsen
tierte Bild daraufhin zu analysieren, ob in ihm Objekt
ränder vorhanden sind, die eine oder mehrere spezifizier
te räumliche Orientierungen haben.
Der Spezialmerkmal-Detektor 602 kann auch von anderer
Art sein, als es speziell in den Fig. 9a, 9b und 9c
gezeigt ist. Außerdem kann das zu erfassende Spezialmerk
mal so sein, daß es gleichzeitig mehr als ein Kriterium
erfüllen muß. So könnte man einen Spezialmerkmal-Detektor
vorsehen, der nur bewegte Objekte mit einer vorbestimmten
Musterform in einer besonderen Orientierung erfaßt. Wich
tig für die vorliegende Erfindung ist nur, daß der Spe
zialmerkmal-Detektor 602 aus dem Bild, welches durch das
digitalisierte Videosignal aus der Quelle 600 dargestellt
wird, praktisch alle "uninteressanten" Daten entfernt und
nur die "interessierenden" Daten für die weitere Verar
beitung und Eingabe in den Rechner 102 übrig läßt.
Auch die Videosignalquelle 600 kann kompliziertere Formen
annehmen, als es in Fig. 8a dargestellt ist. Wie z. B. in
Fig. 8b gezeigt, kann das Raumfrequenzspektrum des von
der Bildwandlereinrichtung 106 kommenden Videosignals
mittels der Anordnung nach Fig. 2a analysiert werden, und
das digitalisierte Videosignal von der Quelle 600 b kann
dann das Ausgangssignal eines ausgewählten Exemplars der
Speicher 206-0 . . . 206- N sein. Alternativ kann statt der
Anordnung nach Fig. 2a auch nur diejenige nach Fig. 2
vorgesehen sein oder gar nur der A/D-Wandler und der
Raumfrequenz-Spektralanalysator nach Fig. 2. In diesen
alternativen Fällen benötigt man einen Wählschalter, um
eines der Signale L′ und L auszuwählen.
Außerdem kann die Videosignalquelle 600 b einen Wählschal
ter 802 enthalten, um das "ausgefüllte" Videosignal wahl
weise entweder direkt von der Bildwandlereinrichtung 106
oder vom Videosignalausgang der Anordnung nach Fig. 2a
abzuleiten.
Eine noch kompliziertere Videosignalquelle ist in Fig. 8c
dargestellt. In diesem Fall wird ein digitalisiertes Vi
deosignal, das entweder von der Anordnung nach Fig. 8a
oder von der Anordnung nach Fig. 8b kommen kann, auf den
ersten Eingang eines Wählschalters 804 gegeben, während
ein ausgewähltes Exemplar der Videoausgangssignale G′₀ . . .
G′ _{N -} ₁, G _N (Fig. 6) rekursiv auf den zweiten Eingang des
Wählschalters 804 rückgekoppelt wird. Der Wählschalter
wird dann betätigt (entweder von Hand oder durch den
Rechner 102), um eines dieser Signale als digitalisier
tes Videoausgangssignal der Quelle 600 c zu verwenden.
Die in den Fig. 8a, 8b und 8c gezeigten Beispiele für
die Videosignalquelle 600 sind natürlich nicht die ein
zigen. So könnte z. B. eine der Ausführungsform nach Fig.
8c funktionell äquivalente Videosignalquelle durch eine
sich ausfächernde Baumschaltung realisiert werden, in
welcher jedes (oder nur eines oder einige wenige) der
Videoausgangssignale G′₀ . . . G′ _{N -} ₁ und G _N einer ersten
Anordnung nach 02437 00070 552 001000280000000200012000285910232600040 0002003624818 00004 02318Fig. 6 jeweils als Eingangs-Videosignal
an eine eigene gesonderte zusätzliche Anordnung nach
Fig. 6 gelegt wird.
Wenn man eine kompliziertere Form der Videosignalquelle
600 verwendet, kann es in manchen Fällen zweckmäßig sein,
das "ausgefüllte" Videosignal für die Bilddarstellung
nicht aus der Videosignalquelle selbst, sondern statt
dessen aus dem Rechner oder aus einem dem Rechner zugeord
neten Speicher abzuleiten.
Wie in Fig. 6a gezeigt ist, kann die Ausführungsform nach
Fig. 6 ähnlich modifiziert werden, wie es die Fig. 2a
für den Gegenstand der Fig. 2 zeigt. Im einzelnen wird
dann jedes der Videoausgangssignale G′₀ . . . G′ _{N -} ₁, G _N der
Anordnung nach Fig. 6 an ein zugeordnetes Exemplar von
(P′ _x · P′ _y)-Speichern 612-0 . . . 612- (N - 1) und 612- N gelegt.
Die Ausgangsgrößen dieser Speicher werden auf die Eingänge
eines Wählschalters 614 gegeben, der unter Steuerung durch
ein vom Rechner 102 geliefertes Schaltsteuersignal jeweils
ein ausgewähltes Exemplar dieser Signale zum Rechner 102
liefert.
Vorstehend wurden in Digitaltechnik ausgeführte Ausfüh
rungsbeispiele der Erfindung beschrieben, weil es vor
teilhafter sein dürfte, die Erfindung durch Digitalschal
tungen anstatt durch Analogschaltungen zu realisieren.
Es sei jedoch erwähnt, daß es nichts gibt, was die An
wendung der Analogtechnik zur Realisierung der Erfindung
ausschließen würde.
Ferner sei noch erwähnt, daß die Bildwandlereinrichtung
106 nicht unbedingt wie beschrieben eine monochromati
sche oder Farb-Fernsehkamera darstellen muß, obwohl dies
der üblichste Fall ist. Das Eingangs-Videosignal kann
auch von anderen Bildwandlertypen abgeleitet werden, z. B.
von einem Infrarot-Bildwandler, einem Röntgen-Bildwandler,
einer Bildwandlereinrichtung, die eine Anordnung von Druck
sensoren enthält, um ein Bild eines zweidimensionalen tast
baren Bereichs (z. B. einer Oberflächenstruktur) zu liefern,
usw.} According to theFig. 2 each of the bandpass bandsL₀. . .L _{N -} ₁ as an input signal to an assigned copy from(P ′ _X ·P ′ _Y) Window gate circuits204-0. . . 204- (N - 1) placed. Each of the gates204-0. . . 204- (N -1) receives except an assigned window center at a control Control signal from the computer102as it is inFig. 2 indicated is. Each of the gates204-0. . . 204- (N -1) Can be local certain two-dimensional spatial part of each full let the picture throughP ′ _X ·P ′ _Y There are pixels and forms the output signal of the relevant gate. The Output signals are withL ′₀. . .L ′ _{N - ₁ designated. Each
the gate thus acts as a room window for each
transmitted, fixed two-dimensional
spatial part. Each of the gates204-0. . . 204- (N -1)
applied window center control signal determines the relative
Position of this localized spatial part of each
Full screen. According to theFig. 1 will be the respective output
signalsL ′₀. . .L ′ _{N -} ₁ from the gates204-0. . . 204- (N -1)
together with the output signalG _N of the analyzer202
to the computer102 laid, either directly or, older
natively, via a multiplexer or other data ver
binding (not shown).
In theFig. 2 illustrated embodiment of the image data
Reducing device108 the camera100 forms the minimum
structure that is required to the calculator102 Picture
to supply data which is in accordance with the principles of
ing invention are reduced. In this case contains
the computer102 appropriate storage facilities to the
from the reducing device108 delivered reduced
To store image data at least temporarily, and a
Selector to reduce from these stored
derive control signals for data
Reducing device108 be returned. In some
However, it is advisable in such cases to store and
Selection devices as part of the data reducer
tung108 the camera100 to provide instead of in the
computer102 to record. TheFig. 2a shows this age
native embodiment of the image data reducer
tung108.
As inFig. 2a, the respective off
output signalsL ′₀. . .L ′ _{N -} ₁ andG _N according to the order
Fig. 2 not out of the camera100 out to the computer102
headed. Instead, the alternate execution contains
form of the data reducer108 toFig. 2a to
additionally a group of memories206-0. . . 206- N, from
which each have a corresponding copy of the original
signalsL ′₀. . .L′_{N - 1} andG _N assigned. During each
the successive frames become the pixels
P ′ _X ·P ′ _Y each of the output signalsL ′₀. . .L ′ _{N -} ₁ andG _N
(Fig. 2) in the respectively assigned copy of theP ′ _X- and
P ′ _Y-Storage206-0. . . 206- N registered. After a
from each of the stores206-0. . . 206- N caused time delay
delay, each of these memories is read out, and that
The respective output signal is a separate one
Input signal to a selector switch208 placed. The choice
counter208 delivers under the influence of a switch
Control signal sent to him by the computer102 is created, se
selectively the saved pixelsP ′ _X ·P ′ _Y, from
any copy of the group of stores206-0. . . 206- N be read out as the output signal of the data
reducing device108 the camera100 to the computer102.
The spatial frequency spectral analyzer202 theFig. 2 can
simply consist of a variety of bandpass filters,
each of which has an associated Exem as an output signal
plar of bandpass signalsL₀. . .L _{N -} ₁ delivers, as well as from
a low-pass filter to derive the residual signalG _N.
In some cases, one or more copies of the
Bandpass filters can be replaced by low-pass filters. It is
but prefer the analyzer202 structurally like that
to form like it inFig. 3 or, as an alternative, in
Fig. 3a is shown. In this context, the
pending U.S. patent application no.
(own file number: RCA 79, 780) referenced from
guide each of the in theFig. 3 and 3a shown al
alternative embodiments of the spatial frequency spectral
analyzers202 disclosed.
In detail, the embodiment is according toFig. 3 in
Able to process signals in real time according to a
hierarchical pyramid algorithm to perform the
from Dr. Peter J. Burt was developed (and therefore as
"Burt pyramid" is called). The embodiment according to
Fig. 3a is another type of one in real time with hierarchy
signal processing using the pyramid algorithm
processing facility, known as the "FSD pyramid" (the abbreviation
FSD stands for "filter-subtract-decimate").
As inFig. 3, there is the Burt pyramid analyzer
gate from a row ("pipeline") generally the same, abge
asked signals of transmitting stages300-1, 300-2. . . 300- N.
Each of these signal transmission stages works with one
Polling rate by the frequency of an applied to it
Copy of digital clock signalsCL ₁,CL _2nd . . .CL _N certainly
is. The frequency of the applied to any stage
Clock signal is lower than the frequency of the
any of the previous stages of the clock signal.
The clock frequency is preferably each of the stages300-2. . . 300- N each half as high as the clock frequency of the un
indirectly previous stage. In the following Be
Let us assume that for the clock signals
CL ₁ . . .CL _N this preferred mutual relationship applies.
As inFig. 3, there is the stage300-1 from one
Convolution filter - and decimation
direction302, a delay device304, one
Subtraction device306 and an expansion and
Interpolation filter device308. An input side
Stream of digitized picture elementsG₀ with a query
rate equal to the frequency of the clock signalCL ₁ is through
the convolution filter and decimation device302 ge
sends to an output stream of picture elements
G ₁ to deliver at a polling rate equal to Fre
frequency of the clock signalCL _2nd is.G₀ is the digitized
Video signal at the input of the analyzer202. The convolution
filter has a low-pass function, which is the center frequency
everyone throughG ₁ illustrated image dimension to half
the center frequency of the corresponding, byG₀ darge
posed dimension reduced. At the same time, the
Decimation the query or sample density in each dimension
sion reduced by half. The individual picture elements
fromG₀ are on the delay device304 on egg
NEN first input of the subtractor306 given.
At the same time, the density is reduced
elements ofG ₁ to the expansion and interpolation
filter308 placed that the query density of theG ₁-Fele
elements back to the density of theG₀ elements increased. The
interpolatedG ₁Picture elements of increased density are then
to a second input of the subtractor306
given. The presence of the delay device
304 ensures that every pair of samplesG₀ andG ₁,
that correspond to each other in their spatial position,
at the exact same time on the first or second on
gear of the subtractor306 is placed. The one out
aisle stream of successive samplesL₀ from the
Subtractor306 defines the highest space
frequency in every dimension of the scanned image.
The other stages300-2. . . 300- N have each essentially
same structure as the level300-1. However
processes each of those numbered with a higher atomic number
stages300-2. . . 300- N Signals with a low
spatial frequency and a lower sample each
te as the immediately preceding level. Ge
more specifically, the output current is on top of each other
following samplesL ₁ the second highest octave of the Raumfre
sequences in every image dimension, etc., so that, as in
Fig. 3, which analyzed according to the Burt pyramid
Signal is composed of individual, each an Ok
comprehensive sample sequencesL₀. . .L _{N -} ₁ (derived from
the respective subtraction facilities300-1. . . 300- N)
and a low frequency residual signalG _N (derived from
Output of the convolution filter and decimation device
the stage300- N).
A major advantage of the Burt pyramid (more detailed in the
o. e. U.S. patent application discussed) is that late
ter by synthesis from the individual analyzed out
signalsL₀. . .L _{N -} ₁ andG _N a reconstructed picture in
can be obtained in a manner in which noticeable
Accompanying products created by image processing in the
Image are introduced, remain minimal. A disadvantage
A Burt pyramid is the fact that for every Ana
analyzer stage an expansion and interpolation filter
(in addition to a convolution filter and decimation
direction) needs what both the costs and the comm
complexity increased.
The inFig. 3a FSD pyramid analyzer shown in
in some ways similar to the Burt pyramid analyzer.
First, the FSD analyzer also consists of one
Series of generally identical signal transmission stages300-1, 300-2. . . 300- N for queried signal samples. Second ar
processes each of the stages at a query or sample rate,
the Digi created separately by the frequency
clock signalsCL ₁,CL _2nd . . .CL _N is determined. Third
the frequency of the clock signal is preferred for each stage
as half as the clock frequency of each un
indirectly previous stage.
However, this differs in the FSD pyramid analyzer
special structural training of each level (inFig. 3a
generally with300- K designated) something of the structural
Training each level of the Burt pyramid analyzer (like
about the level300-1 inFig. 3). Each contains in detail
step300- K (in whichK any number from 1 toN is) of in
Fig. 3a FSD pyramid analyzer a convolution
filter302 a, a decimation device302 b, a ver
delay device304 and a subtractor
306.
The output signal from the convolution filter302 a will (before a
Decimation by the facility302 b) to an entrance
the subtraction device306 given. As a result of this
Structural training eliminates the need for one
Extension and interpolation filters in every stage
an FSD pyramid analyzer. The elimination
of the expansion and interpolation filter is reduced
probably the cost as well as the amount of self-deceleration ever
the level of inFig. 3a shown FSD pyramid analysis
tors compared to the costs and the own
delay of the Burt pyramid analyzerFig. 3rd
The operation of the in theFig. 1 and 2 (or, old
native, in theFig. 1 and 2a) shown now
with reference to theFig. 4 and 5 explained.
The rectangle400 represents the relatively large extent of the
two-dimensional spatial area represented by a whole
Full picture is defined from picture elements. The exit signal
nalG _N from the analyzer202 (that without going through a
Window gate to the computer102 is placed)
the whole area covering the whole area with the small
Resolution as represented by onlyP ′ _X ·P ′ _Y Picture
elements per frame is obtained. Thus represented
the signalG _N overall with a low resolution
view500 (Fig. 5) one or more objects (e.g. one
vase502) within the area of space that is currently from
the camera100 is overlooked. For the purpose of viewing
assumption that the values forP ′ _X andP ′ _Y in
Fig. 4 and 5 are 6 each. Thus, the
full area of the overall view with lower
Resolution-providing spatial image area400 (in theFig.
4 and 5) composed of only 36 picture elements.
The output signalL ′ _{N -} ₁ from the window gate200- (N -1)
the local sub-area402 of the room
Subarea402, whose dimensions in horizontal and in
Vertical direction only half as large as that
dimensions of the space400 are just takes
a quarter of the area of the area400 a. However, sets
the subarea402, as inFig. 5, also shown
composed of 36 picture elements, so that there is an intermediate
view504 the vase502 with a resolution that
is higher than in the low-resolution overall view500.
In a similar way, each is localized
("localized") subareas404 and406 of the room
if represented by 36 picture elements (as inFig. 5
shown). The subareas404 and406 are through the
Output signalsL ′ _{N -} _2nd respectively.L ′ _{N -} _3rd assigned window gates
204- (N -2) and204- (N -3) represented inFig. 2 not
are shown specifically. However, that is from the subarea404
occupied area only a quarter of the area of the part
area402 (or a sixteenth of the total area
area400). Hence the resolution of the intermediate view
506 the vase502 higher than that of the intermediate view
504 (which in turn has a higher resolution than the low one
high-resolution overall view500). Similarly, the
Area of the partial area406 only a quarter of the area of the
Sub-area404 (or 1/64 of the area of the total
visible area400). The view508 the
vase502 is the one with the highest resolution.
For illustration purposes, the explanation of Ar
of the present invention assumed that the
value ofN is only equal to 3. So in this case,
the signalL ′Teil the section406 of space while
the subareas404, 402 and400 through the signalsL ′ ₁
respectively.L ′ _2nd (ForL ′ _{N -} ₁) respectively.G _3rd (ForG _N) being represented.
In practice, the value ofN be greater than 3 (nor
sometimes at least 5 or 6). In addition, in the
Practice the values ofP _X andP _Y each be greater than 6
(e.g. equal to 32 or equal to 16). In such cases
the spatial image area, which is characterized by the high resolution
and a wide field of view video signal from
the image converter device100 is represented and by
512 x 512 picture elements (or even 1024 x 1024 picture elements)
is defined by means of the data reducing device108 on
5 or 6 separate views of different resolutions from
16 x 16 or 32 x 32 picture elements reduced respectively.
As inFig. 2 indicated, the computer delivers102 to everyone
the window gates204-0. . . 204- (N -1) an individual fen
middle control signal. This makes it possible for everyone
individual sections of the room (e.g. the sections
402, 404 and406) depending on command signals coming from
the calculator102 come to move. As it is schematic
by the arrow inFig. 4 is indicated, z. B. everyone
of the subareas402, 404 and406 independent and optional
from its previous location (shown in dashed lines) inside
half of the room area400 to its current location (ex
drawn drawn) within the space400 missed
be. In this way, anyone can
Part of the room area400 overall view with
any of the various higher resolutions
len.
In the case of a surveillance camera, the computer can102 to
the next is the overall view with low resolution
Analyze the area in question to determine whether
it appears that some object of interest
(e.g. a moving object, a special object
Shape, etc.) in any portion of this total
view exists or not. If so, the invoice can
then this sub-area with higher and higher
Examine resolutions to confirm
maintain whether an object of interest actually exists
that is or not. In a robot system, one could
similar examination by the computer in some respects
102 be useful to be able to "eye / hand" coordination
to care.
The important advantage of the present invention is
in that the amount of Da to be processed by the computer
ten is greatly reduced without reducing either
Resolution or the field of view of the image converter device
to reduce.
In case ofFig. The computer delivers 2a102 a switch
Control signal for the selector switch206it the computer
102 allows those Da at any time
to investigate those in any of the(P ′ _X ·P ′ _Y) -
Storage204-0. . . 204- N are saved. This diminishes
additionally from the computer102 Amount of data to be processed.
It is obvious that in some cases it is useful
can be even the last band of the group of bands
to send through a moving window, even less
than the second given number of pixels at the out
gear of the image data reduction device108 to deliver.
It is also in the case that the image converter device
with a moving device110 is possible,
the respective windows in predetermined fixed spatial
To maintain relationships with one another and the image converter
direction under the control of the computer to move
the object of interest in the highest resolution window
bring to. It may also be desirable to use the dial scarf
ter208 to be replaced by a voter who is able to
two or more arbitrary outputs of the memory204-0 to
204- N select at the same time and then simultaneously
the selected memory outputs on the display device112
play. Such structural modifications lie
also within the scope of the present invention.
The amount of image data that the calculator102 (Fig. 1) from
the image data reducer108 (Fig. 1) fed
can be reduced even further if one
for the reducing device108 an embodiment ver
that applies one or more image features of special
Interest recorded and pre-processed. In such
"Special features" can be z. B. act about the space
position of moving objects (as opposed to
stationary objects) and / or of special samples
men and / or of objects with certain spatial orias
tations in the image encompassing the wide field of vision,
which is represented by the video signal which of
the image converter device106 for image data reduction
direction. Also certain local color and / or
Image structures can be considered; the possible Spe
Special features are not on the selection listed here
limited. The block diagram of theFig. 6 shows for the
Image data reduction device108 one embodiment,
those for capturing and preprocessing such special feature
male is able.
In theFig. 6 shown image data reduction device
consists of a video signal source600, a so-called
Special feature detector602, a transfer function
circuit604 for pixel absolute values, a convolution
filter / decimator pyramid606 and a group ofP ′ _x ·
P ′ _y Window gate circuits608-0. . . 608- (N -1).
The video signal source600 can be any of various
which have shapes, examples are in theFig. 8a, 8b
and 8c. In any case, the video signal source conducts
le600 a digitized video signal from a rela
tiv large number(P _x ·P _y) of pixels per full screen
Has. In its simplest form (Fig. 8a)
Video signal source600 a only from an analog / digital
Converter800which the analog video signal from the high up
dissolving, wide-field image
converter device106 (Fig. 1) converted to digital form.
As also inFig. 8a indicated, the analog Vi
deo signal from the image converter device106 as a video
signal of the "completed" picture in the order
Fig. 6 can be used. To describe the operation
the inFig. 6 shown embodiment of the image data
Reducing device108 Let us first assume that the
Video signal source600 the simple form afterFig. 8a has.
Then the in theFig. 8b and 8c shown
most complicated forms of the video signal source600
(600 b and600 c)treated.
The digitized video signal from the video signal source
600 is on the entrance of the special feature detector
602 given. The detector602 can also be different
take ne forms, depending on the kind of which or which
special features of interest. To illustrate
chung are in theFig. 9a, 9b and 9c three different ones
ne forms of the special feature detector602 shown.
To describe the operation of the inFig. 6 shown
Embodiment of the image data reduction device108
Let’s first assume that the special feature
detector602 in theFig. 9a shape shown (602 a) Has.
Then the in theFig. 9b and 9c Darge
provided special feature detectors (602 b and602 c) be
acts.
The shows in detailFig. 9a as an example of one
Special feature detector a simple and proportionate
moderately primitive detector602 a for moving objects, the
from a full screen memory900 and a pixel sub
trahiereinrichtung902 consists. The digitized Vi
deo signal from the output of the video signal source is sent to the
Full frame memory input900 and the plus-on
gang (+) of the pixel subtractor902 placed,
and the output signal from the frame memory900 becomes
to the minus input (-) of the pixel subtractor
tung902 given. The full screen memory900 saves one
full frame of pixels and sets, each
after a delay of exactly one full screen period
de, every pixel of the stored full
image to the minus input of the subtractor902,
whose plus input corresponds to that at the same time
appropriate pixel from the full screen of the current digitali
based video signal. The pixel subtractor
Facility902 delivers a video signal at its output,
in which the polarity and level or value of each
Pixel of the algebraic difference between the who
corresponds to the pair of pixels which corresponds to the plus and
Minus input of the subtractor902 to the assigned
neten time is supplied. Therefore, apart from
any background noise for each pixel of the
digitized video signal from the source600who in
its spatial position stationary objects in the
image represented by the digitized video signal
corresponds to the subtra in the output video signal
here facility902a value appears in each case
is essentially zero. On the other hand, lead
objects in the through the digitized video signal
the source600 represented image (i.e. objects whose
spatial relative position within the aforementioned reprä
sent image between successive full
images of the digitized video signal from the source
600 changes) to the fact that in the output video signal
Subtractor902 positive and negative pixels
values appear that are significantly above and below
of the zero value. The spatial relative position of the
Object in the image, which is generated by the video signal on the output side
nal of the subtractor is de
financed by the relative temporal position of the genann
th positive and negative pixels in this video
signal while the relative speed of the moving
Object is related to the distance between correspond
appropriate positive and negative pixels in the output
side video signal of the subtractor902.
In practice, more complex and sophisticated For
detectors for moving objects.
Such shapes can e.g. B. contain the following: a full
image memory between its entrance and its exit
a delay corresponding to a selectable whole
Number of full screen periods (to move slowly Ob
distinguish objects from fast moving objects
nen); Time filter; and / or spacetime filter.
With the above description it also becomes clear that
the image that is generated by the digitized video signal
From the source600 is represented, much "filled out"
or more "occupied" than the derived image of the moving one
Object that in the exemplary embodimentFig. 9a through
the video signal from the output of the pixel subtract
direction902 is derived. In other words: the
Subtractor902 significantly reduces the amount
of the data in the digitized video signal from the "
filled "image from the source600 are present because
it essentially eliminates all those many Da
ten that relate to stationary objects in this picture
pull.
The video signal from the output of the special feature detector
602 is going to the input of the circuit604 given that
Pixel absolute values according to a certain transfer
supply function. The value of each pixel of the
Video signal from the special feature detector602 to the
Input of this absolute value transfer function circuit
604 can be placed in addition to its amount
Have polarity (positive or negative) or not. The
circuit604 processes every pixel of your
put video signal according to their predetermined over
supporting function. This transfer function does everything
at least that the possibly existing polarity information
mation for the pixel is removed and at the exit
a video signal appears in which each pixel only
is defined by an absolute value. In the simplest
In this case, this absolute value is proportional to the amount
(regardless of the polarity) of the pixel in question
at the input of the circuit604. Is every pixel of the
Video signal at the input of the circuit604 through a bi
shown in which the most significant bit
the polarity information and the remaining bits the Be
form support information, then the circuit604 in the
in the simplest case pixel absolute values by a
provide multiple removal of the most significant bit. In the
This case is the transfer function for the absolute value
of the pixel is 1.
Alternatively, the circuit604 also with a com
duplicated transfer function work to pixel
Get absolute values for your output video signal
ten. So the transfer function z. B. a quadrati
be a function, d. H. it becomes square of the amount
calculated every pixel of the supplied video signal.
The absolute value transfer function circuit604 can
a (if desired adaptive) signal processing input
direction in the form of a look-up table, an amplifier
kers, a selector switch, a press, etc. included
to the pixels of the video signal fed to it
according to any particular transfer function
to process. Such a signal processing device
can depend on the polarity of the individual pixels
the input video signal of the circuit604 form,
address or not. The circuit604 can e.g. Legs
Threshold circuit included to for all those
Pixels of the input-side video signal, their Ab
is below a predetermined minimum, each
because a zero value in the output video signal too
deliver, and / or a quantizer may be provided
be the number of grayscale values of the significant
Pixels from the output of the special feature detector602
to compress (and thus the amount of image data further
to reduce).
As inFig. 6, each contains the video output
signals from the special feature detector602 and from the Ab
solid value transfer function circuit604 eachP _x ·
P _y Pixels per frame.
Cases are conceivable in which the pixels of the
special feature exclusively from Absolut
values exist (i.e. all pixel values have compulsory
commonly the same polarity). In such extraordinary
The special feature detector could do this on its own
also the function of the absolute value transfer function
fulfill circuit. If in the claims the radio
tion of the special feature detection and the absolute value
Transfer function are called separately, then this is
so general to understand that the one just mentioned
exceptional case is included.
The video signal from the output of the absolute value circuit604
is connected to the input of a convolution filter / decimator pyra
mide606 placed. The convolution filter / decimator pyramid
606 is generally similar to the well-known pyramid
toFig. 3, but with the difference that in each
Level the subtractor, the expansion and
Interpolation filter and possibly also the delay
arrangement according to the arrangementFig. 3 are missing. So there is
each level of the convolution filter / decimator pyramid606 out
a low-pass convolution filter and decimation device
and possibly a delay device. The
G₀ output signal from the convolution filter / decimator pyra
mide606 is the unfiltered, non-decimated video sig
nal at the entrance of this pyramid (with or without delay,
depending on the presence of the delay device).
The output signalsG ₁ . . .G _{N -} ₁,G _N the convolution filter /
Decimator pyramid606 are the output signals (ver
hesitates or without delay) of the convolution filter and deci
mierungseinrichtung the first,. . .(N -1) ten andN-th
Levels of the pyramid606.
Because the video signal coming from the output of the absolute value scarf
tung604 to the input of the convolution filter / decimator pyrami
de606 is given only from pixel absolute values
stands (i.e. all pixel values have the same polarity
act), contains the baseband of this video signal forced
commonly a DC component and low frequency
Components (as well as high-frequency components). The
Convolution filter of each subsequent level in the pyramid
606 is a low pass filter whose nominal upper limit
frequency is lower than the nominal upper limit
frequency of the filter in the immediately preceding
going level of the pyramid606. In addition, the
at every level of the pyramid606 decimation
the number of pixels (pixel density) below that
some of the immediately preceding level of the pyramid
606 reduced. So that hasG₀ signal from the pyramid
606 the highest pixel density(P _x ·P _y Pixels per
Full screen); theG _N- Exit of the pyramid606 has the ge
lowest pixel density(P ′ _x ·P ′ _y Pixels per full
picture), and each of the outputsG₁. . .G _{N - 1} the pyramid
606 has a pixel density lower than am
Output of the immediately preceding stage and
higher than at the exit of the immediately following stage
the pyramid606.
As for the individual images, the output
signalsG₀. . .G _N the pyramid606 are represented, so
represents in each of the output signalsG ₁ . . .G _N everyone
the associated pixels a localized space
part of the image that is larger than that of
a pixel in the output signal immediately before
going level of the pyramid606 represented section.
It also poses in the output signalsG ₁ . . .G _N the
pyramid606 the value of a given spatial
Part of the image corresponding to the pixel
Integral (sum or mean) of the values of all those
gene pixels that are in the output signal of the immediate
bar previous level of the pyramid606 this concerns
occupy part of the image.
The integration mentioned has the consequence that the dynamic
range of pixel values undesirably ver
is enlarged. Is z. B. a singleG₀ pixel, the
has a considerable value ofG₀ pixels with
Surround zero value, then the integration leads to a
G _N-Picture with a fairly low value. On the other hand
conducts a local cluster ofG₀ pixels,
that all have a finite value, to oneG _N-Picture
point of fairly high value. This unwanted ver
widening the dynamic range gets worse when
the first named individualG₀ pixel a finite one
Value just above the threshold and that at two
concentrated togetherG₀ pixels
Have values that are much higher than the threshold.
To come to this undesirably increased dynamic range
priming, it is usually necessary to value each
integrated pixel with a factor of 2 to 4
to multiply and then the multiplied value
limit a predetermined maximum value.
The output signalsG₀. . .G _{N -} ₁ the pyramid606 will
each at the entrance of a movable(P ′ _x ·P ′ _y) -Fen
stertor circuit608-0. . . 608- (N -1) given. This scarf
the structure and function of the window scarf
exercises204-0. . . 204- (N -1) theFig. 2 correspond to
"moved" under control by window center control signals,
that come from the computer. Thus, the output
signalsG'₀. . .G' _{N -} ₁ the window gates608-0. . . 608- (N -1) local parts of the picture, each
byP ′ _x ·P ′ _y Pixels from the relevant output
signal of the pyramid606. Since theG₀ exit of the pyramid
606 a higher resolution image (with a larger number
at pixels) than theG ₁-Output represented is the
Size of the spatial sub-area of the image that is represented by
theP ′ _x ·P ′ _y Pixels of theG'₀ signal is displayed,
smaller than the size of the spatial part of the bil
the one by theP ′ _x ·P ′ _y Pixels of theG'₁ signal
is pictured. In a similar way everyone is
subsequentG'Signals the size of the spatial part
area of the image, each byP ′ _x ·P ′ _y Picture
points is shown, each larger than that
because immediately precedingG'-Signal. As inFig. 6
specified, contains theG _N- Output signal of the pyramid606
just myselfP ′ _x ·P ′ _y Pixels per frame. Therefore
the entire spatial area of the image is covered by theP ′ _x ·
P ′ _y Pixels of theG _NSignal.
The video output signalsG'₀. . .G' _{N -} ₁ andG _N will all
to the computer102 given. Hence the calculator102 so
be programmed so that he first the spatial Po
sitions of only those copies of theP ′ _x ·P ′ _y Pixel
te ofG _N-Video output signal localized, which means
have the same (or finite) absolute values, and second
then used this information in order
the individual window gate circuits608- (N -1) . . .608-0
(in that order) so that with always
increasing resolution a concentration on smaller
and diminishing spatial parts of the image
takes place, which the mentioned, significant absolute values
exhibitingG _NImage points included. Since also the
to the computer102 given video output signalsG'₀. . .
G' _N - 1 andG _N essentially only the relatively small amount
contain "interesting" image data (practically all
"uninteresting" image data from the original video
nals from the source600 have been removed), the
Programming the computer102 simpler and its effek
tive working speed higher.
In addition to its programming to control the movement
the room window gate circuits can the computer102 also
still be programmed to make it another fine
unit and / or complex analysis of the reduced image data
that makes him through the video output signalsG'₀. . .
G' _{N -} ₁ andG _N are fed. Such analyzes can
e.g. B. on the spatial frequency content of each supplied
special image data.
Let us now consider the assumed case that the video
signal source600 according to theFig. 8a is formed and that
the special feature detector602 according to theFig. 9a
is constructed. It is also assumed that the inFig. 6
shown embodiment of the image data reducing device
108 Is part of a surveillance camera system that the right
relative spatial position of moving objects within the space
should visually identify the area from a
TV camera is recorded, which is a "filled in"
Video signal delivers, which both move the image data
ter as well as stationary objects within this space
area contains. In this case the "filled in"
Video signal from the source600 through a mixer610 on
the input of the image display device112 given
(see.Fig. 6 andFig. 1).
After processing, however, this is at the exit of the Ab
solute value switching604 derived video signal no longer
"filled in" (i.e. no longer fully occupied). Only relative
few of theP _x ·P _x Pixels per frame this abge
conducted video signal, d. H. those pixels that
define a moving object) have meaningful absolute
values. All other pixels per frame have prak
table zero value. Using the above
The computer can apply the principles of the invention102 the zen
each of the window gates608- (N -1) . . .
608-0 control in this order one after the other
(starting with spatial position data of the lowest image
resolution by theG _N-Video output signal of the pyramid
606 be delivered) that the space with high resolution
position of any object within the white
th visual field is localized. The computer102 can
then be preprogrammed so that it is high on
solution given information about the spatial position
used to display one or more video signals
of symbols to generate the spatial location of the
Show special features on the playback device
(e.g. by a small square, a small circle and /
or another small symbol of a predetermined shape). The
This display symbol video signal is in the mixer610 with the
"filled" video signal mixed and as merged
set video signal on the input of the playback device
tung112 given.
As inFig. 7 schematically shown, the picture shows
umbrella700 the playback device112 one or more
Display symbols that overlay the "filled in" picture
are. In the case mentioned a surveillance camera shows
the location of each of these symbols on the screen700 the
spatial position of a moving object within the
area recorded by the surveillance camera.
The computer102 can also be programmed so that be
moved objects, their speed of movement under one
certain minimum (e.g. falling leaves, through
light winds moving tree branches, etc.), are ignored,
to avoid false alarms. The calculator can also be used
102 program it so that when it detects a serious
moving object triggers an audible alarm,
to get a supervisor to use the screen700
to check and determine where any
Display icon.
Other examples of a special feature detector are
Detectors that respond to certain pattern shapes
(see.Fig. 9b) and detectors based on certain orientie
responses (Fig. 9c). The inFig. 9b shown
Pattern shape detector602 b contains a pattern shape image
point generator904who is a local group of image
points that defi a predetermined pattern shape
kidneys. The generator can be a device
either just a single predetermined pattern
or a selected copy of several predetermined
can supply samples. It can also be ensured
that the size and / or orientation of the or the before
can control certain patterns. The selection and given
if the control can be done manually or by the computer
respectively. In any case, the output signal of the Mu
sterform pixel generator904 on a first one
correlation facility906 given that to
the digitized video signal from a second input
the source600 receives. The correlation facility906
derives a video from these two input signals
output signal in which all those features of the
from the digitized video signal600 displayed image,
not the generator604 generated predetermined
Have shape, are removed.
The inFig. 9c orientation feature detection
gate602 c contains one or more so-called "directional
filters "that are able to operate within the digita
lized video signal from the source600 shown
Image to capture those edges that are in a be
right direction (or at least this rich
approach). TheFig. 9c shows one as an example
Embodiment with four separate directional filters908-
0, 908-45, 908-90 and908-135that are used for this
can represent that by the supplied video signal
to analyze whether there is an object in it
there are margins that specify one or more
have spatial orientations.
The special feature detector602 can also from others
Be kind than it is specifically in theFig. 9a, 9b and 9c
is shown. In addition, the special feature to be recorded
times so that there is more than one criterion at the same time
must meet. So you could use a special feature detector
provide only moving objects with a predetermined
Pattern form in a special orientation. Wich
It is only for the present invention that the Spe
special feature detector602 from the picture, which by the
digitized video signal from the source600 shown
, practically all "uninteresting" data is removed and
only the "interesting" data for further processing
processing and input into the computer102 leaves.
Also the video signal source600 can be more complicated forms
assume than it is inFig. 8a is shown. Such as B. in
Fig. 8b, the spatial frequency spectrum of the of
the image converter device106 coming video signal
by means of the arrangementFig. 2a are analyzed, and
the digitized video signal from the source600 b can
then the output signal of a selected copy of the
Storage206-0. . . 206- N be. Alternatively, instead of
Order afterFig. 2a only after thatFig. 2nd
be provided or only the A / D converter and
Spatial frequency spectral analyzer afterFig. 2. In this
alternative cases you need a selector switch to
one of the signalsL ′ andL to select.
In addition, the video signal source600 b a dial scarf
ter802 included to choose the "filled in" video signal
either directly from the image converter device106
or from the video signal output according to the arrangementFig. 2a
to derive.
An even more complicated video signal source is inFig. 8c
shown. In this case, a digitized Vi
deosignal, either by arrangementFig. 8a
or from the orderFig. 8b can come on
first input of a selector switch804 given while
a selected copy of the video output signalsG'₀. . .
G' _{N -} ₁,G _N (Fig. 6) recursively to the second input of the
Selector switch804 is fed back. The selector switch
is then operated (either by hand or by the
computer102) to digitize one of these signals
th video output signal of the source600 c to use.
The in theFig. 8a, 8b and 8c examples of
the video signal source600 are of course not the one
tens. For example, B. one of the embodimentFig.
8c functionally equivalent video signal source by a
fanning out tree switching can be realized in
which each (or only one or a few) of the
Video output signalsG'₀. . .G' _{N -} ₁ andG _N a first
Arrangement according to 02437 00070 552 001000280000000200012000285910232600040 0002003624818 00004 02318Fig. 6 each as an input video signal
to its own separate additional arrangement
Fig. 6 is placed.
If you have a more complicated form of video signal source
600 used, it may be useful in some cases
the "filled in" video signal for image display
not from the video signal source itself, but instead
its assigned from the computer or from a computer
derived memory.
As inFig. 6a, the embodiment according to FIG
Fig. 6 can be modified in a similar way to theFig. 2a
for the subject ofFig. 2 shows. In more detail
then each of the video output signalsG'₀. . .G' _{N -} ₁,G _N the
Order afterFig. 6 to an assigned copy of
(P ′ _x ·P ′ _y)-To save612-0. . . 612- (N -1) and612- N placed.
The output variables of this memory are on the inputs
a selector switch614 given that under control by
one from the computer102 supplied switching control signal each
a selected copy of these signals to the computer102
delivers.
Above were executed in digital technology
Rungsbeispiele the invention described because it before
The invention by digital scarf is likely to be more prominent
solutions instead of using analog circuits.
However, it should be mentioned that there is nothing that the An
use of analog technology to implement the invention
would rule out.
It should also be mentioned that the image converter device
106 not necessarily a monochromati as described
cal or color television camera must represent, although this
is the most common case. The input video signal can
can also be derived from other types of imagers, e.g. B.
of an infrared image converter, an X-ray image converter,
an image converter device which has an arrangement of pressure
contains sensors to taste an image of a two-dimensional
deliverable area (e.g. a surface structure),
etc.}

Claims

1. A method for reducing data in connection with an input video signal which, with a relatively high spatial resolution, represents an image with a large field of view, which consists of a first given number of image elements, characterized by the following steps:
as a first step, the input video signal (from 106 or 600 ) is processed (in 202 of 108 of FIG. 2 or in 602, 604, 606 of 108 in FIG. 6) so that a first output video signal (G _N ) and at least one second output video signal (e.g. L ₀ in Fig. 1; G ₀ in Fig. 6) is obtained, the first output video signal being a derived image which has a relatively low spatial resolution and a given field of view of the image represented by the input video signal corresponds to the field of view and which consists of a second given number (P ′ _x · P ′ _y ) of picture elements which is smaller than the first given number (P _x · P _y ), and wherein the second output video signal represents a derivative image which has the given field of view and whose resolution is equal to or less than the relatively high spatial resolution of the image represented by the input video signal, but larger than the relatively low spatial one Resolution ng of the image represented by the first output video signal, where the number of picture elements of the image represented by the second output video signal is equal to or less than the first given number, but greater than the second given number;
as a second step, the second output video signal is then further processed (eg in 204-0 of FIG. 2 or in 608-0 of FIG. 6) in order to supply the number of picture elements of the derived picture represented by this signal reduce by a spatially-spatially limited subset of picture elements of the said signal is sent through a room window, said subset containing a number of picture elements that is not greater than the second given number.

2. The method according to claim 1, characterized in that as a further step the spatial position of the room window within the given field of vision of the represented by the first output video signal selectively moved image (through window control signals).

3. The method according to claim 1, characterized in
that in the first processing step a plurality of second output video signals (L ₀ - L _{N -} ₁ ; or G ₀ - G _{N - 1} ) are derived, which together form a group ordered by atomic numbers, wherein each of the before the last video signal in the A grouping video signal represents an image which has a large field of view and has a higher resolution and a larger number of picture elements than the image represented by the next successive video signal in the group, and the last video signal in the group represents a derived image, that has a large field of view and a higher resolution and a larger number of pixels than the image represented by the first output video signal;
that in the further processing step each of the plurality of the second output video signals of the group is further processed by in each case a spatially-locally limited subset of picture elements of the signal in question being transmitted through a separate window in each case, the number of picture elements in the individual subsets being larger is as the second given number.

4. The method according to claim 3, characterized in that the spatial position of each of the room windows se is moved selectively.

5. The method according to claim 4, characterized in that the selective movement of each of the space fen independent of the other room windows he follows.

6. The method according to claim 3, characterized in that each of the subsets is given one of the second Has the same number of picture elements.

7. The method according to claim 1, characterized in that in the first processing step the spatial frequency spectrum of the input video signal Image is analyzed to a plurality of second Derive output video signals, which together a group together by atomic numbers zender bands as partial spectra of the spatial frequency spec represent the image in which the first volume is the shows the highest resolution of all bands in the group and each subsequent volume has a smaller space resolution shows that immediately previous volume of the group, the individual Video signal, which is the last band of the group represents, forms the first output video signal and where for a given copy of those tapes of the group pe, which precedes the last volume by its atomic number approach, represents the second output video signal.

8. The method according to claim 7, characterized in that that in the further processing step each of those gene video signals, one each before the last tape represent the band lying, further processing is done by a spatially-localized part set of picture elements of the relevant video signal through a respective assigned room window is sent, the number of picture elements of the Subset is not greater than the second given Number.

9. The method according to claim 8, characterized in that selectively the spatial position of each of the panes is moved.

10. The method according to claim 9, characterized in that the selective movement of the spatial position each of the room windows each independently of the whose room windows occur.

11. The method according to claim 10, characterized in that each of the subsets consists of a number of pixels element that is equal to the second given Number.

12. The method according to claim 1, characterized in that the second processing step contains the following steps:
Detection of special features of interest in the image represented by the input video signal in order to derive a special video signal which, with high resolution, represents a special feature image which essentially only defines the relative spatial positions of those picture elements in the image which are of interesting special features of the image represented by the input video signal, where only the picture elements defining a detected special feature of the special video signal have significant levels of positive or negative polarity against a zero value;
Processing of this special video signal to derive an absolute value video signal in which each of its picture elements has an absolute value which corresponds to the significant value of the respectively assigned pixel of the special video signal after a specific transfer function;
Processing of the absolute value video signal in order to derive therefrom the first output video signal and the second output video signal.

13. The method according to claim 12, characterized in that that when processing the captured special video signals one picture element with zero value for all those picture elements of the special video signal is set which has an absolute value below a predetermined non-zero threshold to have.

14. The method according to claim 12, characterized in that that the special feature is a moving object, wel ches within the spatial area of the vom Input video signal represented image is located.

15. The method according to claim 12, characterized in that the special feature is an object with a predetermined Pattern shape is that within the space area of the image represented by the input video signal located.

16. The method according to claim 12, characterized in that the special feature is an object with a past agreed spatial orientation, which is internal half the spatial area of the input video signal shown image.

17. The method according to claim 12, characterized in that when processing the absolute value video signal low pass filtering and decimation to the high resolution and picture element density the first given number of picture elements of the from this signal displayed image on the ge rings resolution and pixel density of the second given number of picture elements by which he ver output video signal displayed image reduce.

18. The method according to claim 17, characterized in that during the processing of the absolute value video signal, the low-pass filtering and decimation is carried out a given number of times in cascade in order to derive a group of video signals which, ordered by ordinal numbers, a plurality of second Output video signals and the first output video signal to and in which

a) the first of the second output video signals in the group represents an image which has the same high resolution and pixel density of the first given number as the image represented by the absolute value video signal,
b) each other of the second output video signals in the group represents an image which has a lower resolution and picture element density than the image which is represented by the immediately preceding copy of the second output video signals in the group, and
c) the last copy of the second output video signals in the group represents an image that has a higher resolution and pixel density than the low resolution and pixel density of the second given number in the image represented by the first output video signal;
d) that in the further processing step each of the plurality of the second output video signals of the group is further processed by a spatially-locally limited subset of picture elements of the video signal in question is sent through a separate room window, each of the subset a number of picture elements has elements that are not greater than the second number given.

19. The method according to claim 18, characterized in that each of the room windows is movable and that fer ner the following steps are carried out:
Display of a relatively solid image derived from the input video signal;
Use of the first output video signal and the majority of the second output video signals after their mentioned further processing for selective movement of the room window in order to locate the spatial position of a detected special feature in the reproduced solid image and then a symbol-representing video signal according to this localization generate, which indicates the localized spatial position of the detected special feature;
Use of the symbol-representing video signal to superimpose an image representation of the symbol in the reproduced filled-in image at the localized spatial position of the detected special feature.

20. The method according to claim 12, characterized in that each of the room windows is movable and that fer ner the following steps are carried out:
Rendering a relatively solid image derived from the input video signal;
Use of the first output video signal and the second output video signal after said further processing for said selective movement of the room windows in order to localize the spatial position of a captured special feature in the reproduced filled image and then corresponding to this localization a symbol-representing video signal generate that designates the localized spatial position;
Use of the symbol-representing video signal in order to superimpose an image reproduction of the symbol in the reproduced filled-in image at the localized spatial position of the detected special feature.

21. Electronic camera with area-wise concentration of the image resolution (fovea control) to derive a video output signal that is reduced in terms of the amount of data, with a high-resolution image sensor device that takes up a wide field of view and that can deliver an input video signal in real time that contains all picture elements in all successive frames of an image of the spatial area seen by the image converter device, the frame represented by this input video signal consisting of a first given number of picture elements, characterized by:
a first device ( 200, 202 in Fig. 2; 600, 602, 604, 606 in Fig. 6) for the processing of the input video signal such that it results in a first output video signal (G _N ) and at least a second output -Video signal (z. B. L ₀ in Fig. 2; G ₀ in Fig. 6) is obtained, wherein the first output video signal with relatively low spatial resolution represents frames, each of which comprises a given field of view which corresponds to the face field corresponds to the successive frames represented by the input video signal and each of which consists of a given second number (P ′ _x · P ′ _y ) of picture elements which is smaller than the first given number (P _x · P _y ), and wherein represents the second output video signal derived frames, each of which encompasses the given field of view and has a resolution that is equal to or less than the relatively high resolution of each frame represented by the input video signal, but larger than the relatively small one Resolution of the frames represented by the first output video signal, each consisting of a number of picture elements equal to or less than the first given number but greater than the second given number;
a second means ( 204-0 etc. in Fig. 2; 608-0 etc. in Fig. 6) for further processing the second output video signal by the number of pixels of each of the derived frames represented by this signal to reduce that it sends a spatially-locally limited subset of picture elements of this signal through a Raumfen ster, said subset consisting of a number of picture elements which is not greater than the second given number.

22. Camera according to claim 21, characterized in
that it is designed for use with an image processing computer ( 102 ) which responds to the video output signal of the camera to derive at least one camera control signal (window control), and
that the second device includes a window device ( 204-0 etc .; 608-0 etc.) responsive to the camera control signal to selectively position the spatial position of the room window within the wide field of view of the first output video signal derived image to move.

23. Camera according to claim 21, characterized in that the first processing means ( 108 in Fig. 2 or 6) includes means ( 202; 606 ) for analyzing the spatial frequency spectrum of the image represented by the input video signal to derive a plurality of separate video signals , which together represent a group of adjacent bands ordered by atomic numbers (L 1- L _{N -} ₁ , G _N ; G ge- G _N ) as partial spectra of the spatial frequency spectrum, in which the first band (L ₀; G ₀) of the group represents the shows the highest spatial resolution of all the bands in the group and in which each of those bands that follow the first band in the group shows a lower spatial resolution than the immediately preceding band in the group, and wherein the separate video signal which is the last band (G _N ) of the group constitutes the first output video signal, while a given copy of the other tapes (L _N- ₁ ; G _N- ₁ ) of the group included in the group last Go ahead tape forming the second output video signal.

24. A camera according to claim 23, characterized in that said second means includes window means (204-0 etc .; 608-0 etc.), each of which has derjeni, gene separated video signals representing a band before the last band in the group further processed by sending a spatially-locally limited subset of picture elements of the respective copy of the separate video signals through its own separate room window, each de of the subset consisting of a number of picture elements that is not greater than the second given number.

25. Camera according to claim 24, characterized in
that they are designed for use with an image processing computer ( 102 ) which responds to the video output signal of the camera to derive camera control signals (window control), and
that the window device responds to at least one of the camera control signals to selectively move the position of the spatial window within the field of view defined by the picture elements of the last band.

26. Camera according to claim 25, characterized in
that the camera control signals for the movable window of each of the individual bands each contain a separate control signal and
that the window device is responsive to each of the separate control signals to selectively move the spatial position of each of the movable windows independently of the other windows.

27. Camera according to claim 24, characterized in that each of the subsets mentioned is a number consists of picture elements that are equal to the second given number is.

28. A camera according to claim 24, characterized in that the second device further contains:
storage means ( 206-0 etc. in Fig. 2a) for storing both the second given number of picture elements constituting the respective subset from each of the movable windows and the second given number of picture elements from the last band of the group;
selector means ( 208 ) responsive to the camera control signal applied to selectively provide the stored second given number of picture elements corresponding to only one of the subsets or the last band of the group as the video output signal of the camera.

29. Camera according to claim 23, characterized in that the analyzing device ( 202 in Fig. 2) is a Burt pyramid analyzer ( Fig. 3).

30. Camera according to claim 23, characterized in that the analyzing device ( 202 in Fig. 2) with filtering, subtraction and decimation is the analyzer (FSD analyzer) ( Fig. 3, 3a).

31. A camera according to claim 21, characterized in that the first processing device contains an analog / digital converter ( 202, 800 , etc.) to represent the value of each picture element of the input video signal in the form of a multi-bit number.

32. Camera according to claim 21, characterized in that the first processing device contains the following:
a special feature detector ( 602 ) for detecting special features of interest in the image represented by the input video signal in order to derive a special video signal which, with high resolution, represents a special feature image which essentially only those relative positions of picture elements in the Defined image area, which are taken from particularly interesting predetermined features of the image represented by the input video signal, wherein only the image elements of the special video signal defining a captured special feature have significant level values of positive or negative polarity with respect to a zero value;
an absolute value-forming device ( 604 ) which derives an absolute value video signal from the special video signal, in which each picture element has an absolute value which corresponds to the significant level value of the respectively assigned picture element of the special video signal according to a specific transfer function;
a processing pyramid ( 606 ) with low-pass convolution filter and decimation circuit for processing the absolute value video signal such that a given plurality of output video signals are derived therefrom which contains the first output video signal and the second output video signal.

33. Camera according to claim 32, characterized in that the absolute value-forming device one image each element with zero value for all those picture elements of the special video signal that uses an absolute worth having a predetermined, different from Zero discriminatory threshold.

34. Camera according to claim 32, characterized in that the special feature detector is a motion detector ( 602 a in Fig. 9a) which detects a moving object which is within the spatial area of the image represented by the input video signal.

35. Camera according to claim 32, characterized in that the special feature detector is a pattern shape detector ( 602 b in Fig. 9b) which detects an object with a predetermined pattern shape, which is within the spatial range of the input video signal the image shown.

36. Camera according to claim 32, characterized in that the special feature detector has an orientation filter ( 602 c in Fig. 9c) to detect an object with a predetermined spatial orientation, which is within the spatial range of that represented by the input video signal Image.

37. Camera according to claim 32, characterized in that the first processing device contains a video signal source ( 600 a in Fig. 8a) which derives a digitized video signal for the input of the special feature detector and which has a selector switch ( 804 in Fig. 8c), which in one position derives the digitized video signal from the input video signal and in another position derives the digitized video signal in a recursive manner from the video output signal of the camera.

38. Camera according to claim 32, characterized in
that it is designed for use with an image processing computer ( 102 ) which responds to the video output signal of the camera to derive camera control signals;
that the second means includes window means ( 608-0 , etc.) that further processes each of the two separate output video signals contained in the given plurality of processing pyramid output video signals by taking a spatially-localized subset of image points each of these separate signals transmits through its own separate movable room window, each of the subsets having a number of image elements which is not greater than the second given number;
that the window device includes a device which responds to each of the camera control signals to selectively due to the spatial position of each of the movable windows within the field of view of the image represented by the most output video signal.

39. Camera according to claim 38, characterized in
that it is designed to be used with an image display device ( 112 in FIG. 6) to reproduce a relatively filled image derived from the input video signal, and
that the computer derives one of the separate camera control signals from the output video signals let through by the movable room windows in order to selectively move the room windows to locate the spatial position of a detected special feature in the reproduced filled image, and
that the computer overlays a generated display symbol in the given filled-in image at the localized spatial position of the detected special feature.

40. Camera according to claim 38, characterized in that each of the subsets from a number of picture elements ten that is equal to the second given number is.

41. Camera according to claim 38, characterized in that the second device further contains:
storage means ( 612 , etc.) for storing both the respective second subset of given number of picture elements from each of the movable windows and the second given number of picture elements from the last band of the group;
a selector switch ( 614 ) responsive to the camera control signal applied to selectively deliver the stored second given number of picture elements corresponding to only one of the subsets or the last band of the group as the video output signal of the camera.