DE4037739C1 - - Google Patents

Description

Die Erfindung betrifft Abbildungssysteme gemäß dem Oberbe­ griff der Ansprüche 1 und 13 sowie ein Verfahren zum Bereit­ stellen von simultanen Realzeitbildern gemäß dem Oberbegriff des Anspruchs 18. Insbesondere betrifft die vorliegende Erfindung Systeme zum Bereitstellen einer Vielzahl von Simultanbildern. Während die vorliegende Erfindung im fol­ genden aus Gründen einer anschaulichen Anwendung unter Bezugnahme auf eine bestimmte Ausführungsform beschrieben wird, soll darauf hingewiesen werden, daß die Erfindung nicht auf sie begrenzt ist. Der Durchschnittsfachmann wird die verschiedenen zusätzlichen Modifikationen, Anwendungen und Ausführungsformen des Gegenstandes der Erfindung erken­ nen.

In vielen Anwendungen herrscht ein Bedarf an einem weiten Blickwinkel und desweiteren an einen oder mehrere Zoom- Blickwinkel mit hoher Auflösung. Dies verlangt herkömmlicher Weise einen Sensor pro Blickwinkel. Indessen wäre es vor­ teilhaft, alle diese Blickwinkel mittels eines einzelnen Sensors bereitzustellen. Beispielsweise entstehen bei vor­ wärtsschauenden Infrarotsystemen (FLIR) viele Situationen, in denen simultane Weit- sowie Zoom-Blickwinkel einer Szene­ rie vorteilhaft wären. Eine Weitwinkelansicht kann dazu ver­ wendet werden, Ziele zu finden und zu kennzeichnen, während Zoom-Ansichten eines jeden der Ziele verwendet werden kön­ nen, um jedes Ziel zu identifizieren und, wenn nötig, die Bewaffnung darauf auszurichten. Zum Beispiel kann ein Fahrer eine Weitwinkelansicht benötigen, während ein Schütze simul­ tane Zoom-Ansichten von besonderen Teilen der umgebenden Szenerie benötigen kann.

In der Vergangenheit sind, um sowohl Weitwinkelansichten als auch eine oder mehrere Zoom-Ansichten zu erreichen, Abbil­ dungssysteme verwendet worden, welche einen Satz von Linsen und die damit verbundene optische Ausrüstung für jedes gewünschte Blickfeld benötigten. Typifiziert durch die opti­ sche Sichtfeldvisierkontrolle beinhalteten derartige Systeme einen optischen Sichtfeldschalter, welcher aktiviert wurde, wann immer der Benutzer ein anderes Sichtfeld wünscht. Unglücklicherweise existieren verschiedene Begrenzungen, welche mit dem einfachen Bereitstellen von sequentiellen optischen Anordnungen zum Bereitstellen sequentieller Sicht­ felder eines Objektes in Realzeit zusammenhängen.

Im dem Umfang, in dem Systeme, die mit derartigen sequen­ tiellem optischen Anordnungen ausgestattet sind, eine Viel­ zahl von Bildern einer Szenerie bereitstellen, ist das gezoomte Bild grundsätzlich auf das Zentrum des Weitwinkel­ sichtfeldes begrenzt. Diese bekannte Visierbegrenzung hin­ dert einen zweiten Anwender daran, auf einen Teil des Bildes neben der Grenze des Weitwinkelsichtfeldes zu zoomen.

Darüberhinaus liegt eine besonders signifikante Begrenzung der sequentiellen optischen Anordnung darin, daß derartige Systeme simultane Bilder nicht per se bereitstellen. Das heißt, daß solange nur ein Satz von Optiken zu einer Zeit ausgewählt werden kann, nur eine Ansicht zu eben jener Zeit verfügbar sein wird. Dies ist insbesondere in Situationen eine offensichtliche Begrenzung, in denen es als wünschens­ wert erscheint, ein Sichtfeld für mehr als einen Anwender gleichzeitig bereitzustellen, wie beispielsweise für militä­ rische Systeme.

Eine weitere Begrenzung der sequentiellen optischen Anord­ nung ist, daß die Vergrößerung der Linsen gewöhnlich festge­ legt und diskret begrenzt ist. Zu einer bestimmten Zeit ist nur eine Vergrößerung verfügbar.

Eine Vielzahl von simultanen optischen Anordnungen weisen einige der Probleme, die mit sequentiellen optischen Anord­ nungen verbunden sind, nicht mehr auf, indem eine Mehrzahl von simultanen Bildern bereitgestellt wird, aber derartige Systeme könne zu einer signifikanten Erhöhung der Kosten, der Größe und des Gewichtes des Abbildungssystemes führen (dies wird insbesondere bezüglich der FLIR-Systeme problema­ tisch, die grundsätzlich teuer sind). Die zuvor beschriebe­ nen Systeme sind grundsätzlich mechanisch komplex und weisen enge Herstellungstoleranzen auf, was einen präzisen Aufbau sowie eine aufwendige Wartung verlangt. Darüberhinaus erhö­ hen die vielfachen simultanen optischen Aufbauten grundsätz­ lich das Gewicht auf der kardanischen Aufhängung, die den Sensor trägt, was zu einer Begrenzung der Leistungsfähigkeit des Basissystems führt. Wenn die optischen Anordnungen eine gemeinsame Brennebene teilen, reduzieren sie die Abtasteffi­ zienz (da jede Ansicht nur einen Teil der Abtastung verwen­ det).

Schließlich gibt es viele Systeme in dem Bereich, für den diese Eigenschaft der Anzeige einer Mehrzahl von simultanen Bildern wünschenswert wäre. Bislang ist die Nachrüstung von existierenden Systemen zum Bereitstellen dieser begrenzten konventionellen Eigenschaft zu teuer, um eine praktikable Option darzustellen.

Die Bereitstellung einer Mehrzahl von Sichtfeldern aus einem einzelmen optischen Aufbau löst viele der Probleme, welche mit der Vielzahl von simultanen optischen Aufbauten zusam­ menhängen. Beispielsweise beschreibt die gleichfalls schwe­ bende US-Patentanmeldung Nr. 0 73 11 785, angemeldet von R. Zwirn am 14. Februar 1989, eine Technik zum Bereitstellen simultaner Sichtfelder aus einer einzelnen optischen Anord­ nung. Indessen benötigt dieses System eine Anzeige für jedes Sichtfeld.

Zusammenfassend wäre es daher vorteilhaft, ein preiswertes nicht mechanisches System oder eine Technik zum Bereitstel­ len einer Vielzahl von simultanen Realzeitbildern mit vari­ ierenden Sichtfeldern auf einer einzelnen Anzeige bereitzu­ stellen. Idealerweise sollte das System eine einfache nicht­ störende Nachrüstung in existierende Systeme erlauben und ihre Leistungsfähigkeit nicht beeinträchtigen.

Diese Aufgabe wird erfindungsgemäß durch eine Vorrichtung gemäß den Ansprüche 1 bzw. 13 und durch ein Verfahren gemäß dem Anspruch 18 gelöst.

Im einzelnen geschieht dies erfindungsgemäß dadurch, daß ein System bereitgestellt wird, welches eine Vielzahl von simul­ tanen Realzeitbildern aus einem einzelnen Bildsensor bereit­ stellt. Das System ist für die Verwendung mit einem Bildsen­ sor angepaßt, der einen ersten Satz von elektrischen Signa­ len in Antwort auf elektromagnetische Energie bereitstellt, die er aus einer Szenerie empfangen hat. Das System umfaßt einen Prozessor zum Verarbeiten des ersten Satzes der elek­ trischen Signale, um einen zweiten Satz von elektrischen Signalen bereitzustellen und wenigstens eine Anzeige, um die Kombination von nicht gezoomten Teilen der Szenerie sowie verbesserten Ansichten anderer Teile der Szenerie, welche durch den zweiten Satz der elektrischen Signale dargestellt werden, anzuzeigen.

In einer bevorzugten Ausführungsform der vorliegenden Erfin­ dung beinhaltet der Prozessor einen Schaltkreis zum Erhöhen der Abtastrate des Bildsensors und einen Entfalter zum Ver­ arbeiten der mit hoher Abtastrate abgetasteten Signale der­ art, daß die verbesserten Ansichten von Teilen der Szenerie vergrößerte Ansichten mit hoher Auflösung jener Szene­ rieteile sind.

Die Unteransprüche haben vorteilhafte Weiterbildungen der Erfindung zum Inhalt.

Weitere Einzelheiten, Merkmale und Besonderheiten der vor­ liegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung und der Zuhilfenahme der Zeichnung.

Es zeigt:

Fig. 1 ein Blockdiagramm einer beispielhaften Ausfüh­ rungsform des Abbildungssystemes der vorliegen­ den Erfindung;

Fig. 2(a) die Intensität eines Originalobjektes und sein unscharfes Bild, als eine Funktion der Position über die Bildebene des in der vorliegenden Erfindung verwendeten Sensors;

Fig. 2(b) die hohen Frequenzen, die mittels des Faltungs­ prozesses der vorliegenden Erfindung rekonstru­ iert werden;

Fig. 2(c) ein verbessertes (die Unschärfe ist unterdrückt) Bild als ein Ergebnis des Entfaltungsprozesses, der in der bevorzugten Ausführungsform der vor­ liegenden Erfindung verwendet wird;

Fig. 3 eine graphisch-perspektivische Ansicht einer Oberfläche, welche der Faltungsmaske entspricht, die von dem Bildprozessor des Abbildungssystemes der vorliegenden Erfindung verwendet wird;

Fig. 4(a) und 4(b) ein Originalbild und die Bilder, die jeweils auf der Anzeige durch den Bildprozessor erzeugt worden sind, der in dem Abbildungssystem der vor­ liegenden Erfindung verwendet wird.

Fig. 1 zeigt ein Blockdiagramm einer beispielhaften Ausfüh­ rungsform des Abbildungssystemes 10 der vorliegenden Erfin­ dung. Das System 10 umfaßt eine konventionelle Fernsehkamera oder einen Videoabbilder 12, welcher einen ersten Satz von elektrischen Ausgangssignalen bereitstellt, die eine Szene innerhalb seines Sichtfeldes darstellen. Jeder beliebige Typ von Fernsehkamera oder Videoabbilder kann verwendet werden. In der bevorzugten Ausführungsform der vorliegenden Erfin­ dung ist die Fernsehkamera oder der Videoabbilder ein nicht integrierender Typ wie beispielsweise ein vorwärtsschauender Infrarot-(FLIR)-Sensor.

In der beispielhaften Ausführungsform von Fig. 1 wird der Ausgang der Kamera 12 in einen Bildprozessor 16 eingeführt. Der Bildprozessor 16 erzeugt einen zweiten Satz von elektri­ schen Signalen, welcher, gemäß der bevorzugten Ausführungs­ form, eine Kombination einer Weitwinkelansicht der Kamera 12 sowie eine oder mehrere scharfe, vergrößerte Ansichten hoher Auflösung eines Teiles der Weitwinkelansicht darstellen. Der Ausgang des Prozessor 16 wird an eine Anzeige 18 ausgegeben, welche simultan die Weitwinkelansicht der Kamera 12 sowie die Zoom-Ansichten für den Anwender anzeigt. An dieser Stelle soll darauf hingewiesen werden, daß die Auflösung der Kamera 12, des Bildprozessor 16 und der Anzeige 18 variieren kann, ohne daß der Gegenstand der vorliegenden Erfindung verlassen wird. Darüberhinaus kann die Größe der Weitwin­ kelansicht und der Zoom-Vergrößerungsfaktor variieren, ohne den Gegenstand der Erfindung zu verlassen.

Der Prozessor 16 beinhaltet einen Vielfachbild-Registrie­ rungsschaltkreis 26, einen Rahmenspeicher 28, einen Entfal­ ter 30 und einen Punktstreuungsfunktionsschaltkreis 36 (point spread function circuit). Das System 10 weist des weiteren ein Bedienelement 20 für die Auswahl der zu zoomen­ den Bereiche und eine Formatsteuerung 22 zum Bereitstellen der nötigen Steuersignale an den Prozessor 16 auf, um das Zoomen zu steuern. Darüberhinaus beinhaltet das System 10 einen Servo 24, um den Richtwinkel der Kamera 12 zu steuern. Das Bedienelement 20 kann in einem Joystick oder Lichtstift eingefügt sein. Die Formatsteuerung 22 kann mit digitalen Puffern ausgestattet sein. Indessen wird darauf hingewiesen, daß weitere Verfahren verwendet werden können, um das Bedienelement 20 und die Formatsteuerung 22 einzufügen, ohne dabei den Gegenstand der Erfindung zu verlassen.

Im Betrieb wählt der Anwender das Sichtfeld der Kamera 12 durch das Bedienelement 20 aus. Die Steuerung 20 steuert den Richtwinkel der Kamera 12 über den Servo 24. Der Fachmann wird erkennen, daß der Typ des Servos variiert werden kann, ohne den Gegenstand der Erfindung zu verlassen. Der Anwender wählt desweiteren über das Bedienelement 20 die Bereiche der Weitwinkelansicht aus, die gezoomt werden sollen. Die Anzahl der gezoomten Bereiche, die ausgewählt werden können, ist nur durch die Anzahl der gezoomten Ansichten begrenzt, die auf einem Bildschirm angezeigt werden können. Das Bedienele­ ment 20 gibt diese Informationen an die Formatsteuerung 22 weiter. Die Formatsteuerung 22 steuert den Bildprozessor 16, welcher seinerseits ebenso den Servo 24 steuert.

Die Formatsteuerung 22 steuert den Bildprozessor 16, indem Signale bereitgestellt werden, welche anzeigen, wo der Pro­ zessor 16 Signale auszugeben hat, die einer Weitwinkelan­ sicht der Kamera 12 entsprechen, und wo der Prozessor 16 Signale auszugeben hat, welche einer Zoom-Ansicht eines Tei­ les der Weitwinkelansicht der Kamera 12 entsprechen. Wo eine Zoom-Ansicht verlangt wird, erhöht der Prozessor 16 die Abtastrate der Kamera 12 oberhalb des Nyquist-Kriteriums und entfaltet die hoch abgetasteten Signale derart, daß für aus­ gewählte Teile der Anzeige der zweite Satz der elektrischen Signale einer scharfen, vergrößerten Ansicht mit hoher Auf­ lösung eines Teiles der Weitwinkelansicht der Kamera 12 ent­ spricht.

Das US-Patent Nr. 45 17 599 (R. Zwirn et. al., veröffentlicht am 14. Mai 1985 (auf die Offenbarung der Druckschrift wird vollinhaltlich Bezug genommen)) beschreibt eine Technik zum Verarbeiten des Ausgangs der Kamera 12, um ein derartig ver­ bessertes Bild zu erhalten. Das erhöhte Abtasten eines Tei­ les der Szenerie wird durch den Vielfachbild-Registrierungs­ schaltkreis 26 bereitgestellt, welcher einen vielfach regi­ strierten Teil eines Videorahmens produziert, der aus einer Mehrzahl von Subpixeln eines reduzierten Bereiches aus einer kleineren Mehrzahl von normalen Videorahmen besteht, die von der Kamera 12 bereitgestellt werden. Die Bildbewegung oder das Kameraflimmern zwischen aufeinanderfolgenden herkömmli­ chen Videorahmen bestimmt die Subpixelverschiebung in dem vielfach registrierten Teil des Videorahmens. Tatsächlich bildet der Vielfachbildregistrierungschaltkreis 26 ein Mosaik von verschobenen Subpixeln von aufeinanderfolgenden Videorahmen, die von der Kamera 12 erzeugt wurden.

Die Einfügung der Vielfachbildregistrierung in existierende Systemhardware kann unter Verwendung einer Korrelationsspur­ führung (correlation tracker), eines Bildbewegungskompensa­ tionsservofehlers (image motion compensation servo error) oder eines Kameraplattformstabilisierungsgyrofehlers (camera platform stabilizing gyro error) erreicht werden. Der Viel­ fachbild-Registrierungsschaltkreis 26 umfaßt typischerweise die Bereitstellung zum Ableiten der Adressen, in die die entsprechend verschobenen Pixeldaten in dem Rahmenspeicher 28 angeordnet werden. Es wird darauf hingewiesen, daß andere Techniken verwendet werden können, um die Abtastrate der Kamera zu erhöhen, einschließlich die Verwendung von kleine­ ren Detektoren, um eine dichte Abtastung in einem einzelnen Rahmen zu erreichen.

Der Vielfachbild-Registrierungsschaltkreis 26 empfängt Steu­ ersignale aus der Formatsteuerung 22 und gibt die beabsich­ tigten Verschiebungen an den Servo 24 aus und adressiert Verschiebungen zum Rahmenspeicher 28. Der Rahmenspeicher 28 speichert die vielfach registrierten Teile der Videorahmen, welche durch den Vielfachbild-Registrierungsschaltkreis 26 erzeugt worden sind und welche mit den verbleibenden norma­ len Teilen des Videorahmens kombiniert sind, die durch die Kamera 12 produziert wurden. Wenn der Anwender anzeigt, daß die Weitwinkelansicht der Kamera 12 angezeigt werden soll, leitet der Vielfachbild-Registrierungsschaltkreis 26 einfach diese Daten durch den Rahmenspeicher 28 zu ihren Origi­ naladressen. Wenn der Anwender anzeigt, daß eine gezoomte Ansicht eines Teiles der Weitwinkelansicht angezeigt werden soll, arbeitet der Vielfachbild-Registrierungsschaltkreis 26 wie oben angezeigt, um ein Mosaik von Subpixeln zu erzeugen, die die Zoom-Ansicht darstellen.

Herkömmliche Videosignale werden in den Rahmenspeicher 28 als aufeinanderfolgende Proben gespeichert, die von der Kamera 12 über den Registrierungsschaltkreis 26 empfangen worden sind. Indessen werden vielfach registrierte Video­ signale diskontinuierlich in dem Rahmenspeicher 28 gespei­ chert. Der Vergrößerungsfaktor bestimmt, wie die vielfach registrierten Pixel verteilt sind. Zum Beispiel wird für eine Vergrößerung von zwei jede andere Adresse und jede andere Linie ausgelassen, wenn die Videodaten gespeichert werden. Eine horizontale halbe Pixelverschiebung in der Sichtlinie der Kamera 12 vor dem nächsten Rahmen erlaubt das Auffüllen der alternierenden Adressen, die entlang diesen Linien ausgelassen wurden. Das Auffüllen der fehlenden Zei­ len bedingt eine vertikale halbe Pixelverschiebung in der Sichtlinie und eine vertikale volle Pixelverschiebung in den Speicheradressen, um jedes andere Pixel in den ausgelassenen Zeilen aufzufüllen. Schließlich wird eine horizontale halbe Pixelverschiebung vor dem nächsten Rahmen das Einfüllen der fehlenden Pixeln in den zuvor ausgelassenen Zeilen erlauben. Eine Gesamtzahl von vier Videorahmen wird benötigt, um den Videospeicher 28 anfänglich zu füllen.

Auf eine ähnliche Art und Weise bedingt die Vergrößerung um einen Faktor 3, daß jeder dritte Pixel und jede dritte Zeile während jedes Rahmens gefüllt wird und daß eine 1/3 Pixel­ verschiebung in der Sichtlinie der Kamera 12 vor jedem nach­ folgenden Rahmen stattfindet. Daher bedingt eine Vergröße­ rung um einen Faktor 3 neun Videorahmen, um den Videospei­ cher 28 anfänglich zu füllen. Die Formatsteuerung 22 stellt die Koordinaten für den Rahmenspeicher 28 bereit, um das Speichern der Videodaten in ihm zu steuern. Der Vielfach­ bild-Registrierungsschaltkreis 26 stellt Signale für den Servo 24 bereit, um den verlangten Pixel-Offset und die Richtung des Offsets vor jedem nachfolgenden Videorahmen zu steuern.

Die Daten in dem Videospeicher 28, die die kombinierte Weit­ winkelansicht und die ausgewählten Zoom-Ansichten darstel­ len, werden generell gefiltert, bevor sie auf der Anzeige 18 angezeigt werden. In der bevorzugten Ausführungsform variie­ ren die Filter in Abhängigkeit der Punktverteilungsfunktion (point spread function) des ausgewählten Videosystems. Dem­ nach wird ein Filter für die Teile der Anzeige bereitge­ stellt, welche die Weitwinkelansicht darstellen und ein Fil­ ter für jeden Teil der Anzeige bereitgestellt, welche eine bestimmte Zoom-Vergrößerung darstellt. Der Entfalter 30 in dem Bildprozessor 16 stellt eine derartige Filterfunktion bereit. Der Punktverteilungsschaltkreis 36 versorgt den Ent­ falter 30 mit den geeigneten Punktverteilungsfunktionsko­ effizienten entsprechend dem Vergrößerungsfaktor des Teiles der Anzeige, der gefiltert wird.

Die Formatsteuerung 22 gibt Signale an den Punktverteilungs­ funktionsschaltkreis 36 und an den Entfalter 30 aus, um anzuzeigen, welcher Teil der Anzeige gefiltert wird und folglich den geeigneten zu verwendenden Filter. Der Ausgang des Entfalters 30 ist ein zweiter Satz von elektrischen Aus­ gangssignalen, welcher die Weitwinkelansicht darstellt, die die ausgewählten Zoom-Ansichten enthält, um die Signale auf der Anzeige 18 anzuzeigen. Der Fachmann wird erkennen, daß eine Vielzahl von verschiedenen Filtern verwendet werden kann, ohne den Gegenstand der Erfindung zu verlassen.

Die Filtertechnik der bevorzugten Ausführungsform der vor­ liegenden Erfindung ist in den Fig. 2(a) bis 2(c) darge­ stellt. Fig. 2(a) zeigt die Intensität eines Bildes als eine Funktion der Position des Bildes über die Bildebene der Kamera 12 für ein Originalobjekt (durchgezogene Linie), das eine scharfe Ecke aufweist, und für ein unscharfes Bild (gestrichelte Linie) durch eine Verzerrung des Originalob­ jektes durch die Punktverteilungsfunktion der Kamera 12. Fig. 2(b) zeigt, daß die hohen Frequenzen durch den Fal­ tungsprozeß rekonstruiert werden. Das Resultat ist das ver­ besserte (unverzerrte) Bild, wie es in Fig. 2(c) dargestellt ist, und wie es an die Anzeige 18 ausgegeben wird.

Der Entfalter 30 verwendet eine Entfaltungsmaske der Form, wie sie in Fig. 3 dargestellt ist. Die X-Achse stellt eine Position entlang einer ersten Richtung über die Bildebene der Kamera 12 dar, und die Y-Achse stellt eine Position ent­ lang einer zweiten Richtung senkrecht zu der ersten Richtung über die Bildebene der Kamera 12 dar. Die Z-Achse stellt die Intensität dar. Wie in der zuvor aufgeführten Referenz beschrieben, nähert die Maske das Inverse des Sensorgüteab­ falls unter Verwendung des Negativen der Punktverteilungs­ funktion plus einer positiven Impulsfunktion auf dem zentra­ len Pixel mit der Gewichtung 2, wobei die gesamte Gewichtung der vollständigen Maske gleich eins ist.

Die Verbesserung des Originalbildes der Kamera 12 durch den Bildprozessor 16 erlaubt die simultane Anzeige von sowohl der Weitwinkelansicht als auch von ausgewählten Teilen der Anzeige 18, um gezoomte Ansichten zusammen mit einer verbes­ serten Auflösung und einer minimalen Verzerrung darzustel­ len. Fig. 4(a) zeigt ein Originalbild, wie es durch die Kamera 12 gesehen wird, mit Teilen 40 und 50 der Anzeige 18, welche für das Zoomen ausgewählt wurden. Fig. 4(b) zeigt das verbesserte Bild, wie es auf der Anzeige 18 beobachtet wird, mit den ausgewählten Teilen 40 und 50, und zwar vergrößert und mit einer höheren Auflösung als das Originalbild der Kamera 12.

Zusammenfassend kann also festgestellt werden, daß das erfindungsgemäße System eine Vielzahl von simultanen Real­ zeitbildern aus einem einzelnen Bildsensor bereitstellt. Das Abbildungssystem 10 ist für die Verwendung mit einem Bild­ sensor 12 ausgelegt, der einen ersten Satz von elektrischen Signalen in Antwort auf Eingangssignale bereitstellt, die er aus einer Szenerie empfängt. Das System 10 beinhaltet einen Prozessor 16 zum Verarbeiten des ersten Satzes der elektri­ schen Signale, um einen zweiten Satz von elektrischen Signa­ len bereitzustellen, und eine Anzeige 18, zum Anzeigen der Kombination der nicht gezoomten Teile der Szenerie sowie der verbesserten Ansichten von anderen Teilen der Szenerie, wie sie durch den zweiten Satz der elektrischen Signale darge­ stellt sind. In einer bevorzugten Ausführungsform beinhaltet der Prozessor Schaltkreise zum Erhöhen der Abtastrate des Bildsensors 12 und einen Entfalter 30 zum Verarbeiten der hochabgetasteten Signale derart, daß die verbesserten Ansichten der Teile der Szenerie hochaufgelöste vergrößerte Ansichten dieser Teile der Szenerie darstellen.

Während die vorliegende Erfindung in Zusammenhang mit einer illustrierenden Ausführungsform und einer bestimmten Anwen­ dung beschrieben wurde, wird darauf hingewiesen, daß die Erfindung nicht auf derartige Anwendungen beschränkt ist. Der Fachmann wird die Lehre der vorliegenden Erfindung erkennen und somit auf weitere Modifikationen und Anwendun­ gen schließen. Beispielsweise ist die Erfindung nicht auf den hier beschriebenen Kameratyp und die entsprechende Anzeige beschränkt. Darüberhinaus ist die Erfindung nicht auf eine einzelne Anzeige beschränkt. Jede beliebige Anzahl von Anzeigen und entsprechenden Bildprozessoren kann verwen­ det werden, je nachdem wie es für die jeweilige Anwendung nötig ist. Desweiteren ist die Videoverbesserung nicht auf die Vergrößerung beschränkt. Jeder beliebige Typ von Videoverbesserung kann bereitgestellt werden, je nach dem wie es in der jeweiligen Anwendung benötigt wird.

Claims (18)

1. Ein Abbildungssystem zum Bereitstellen von ersten und zweiten simultanen Realzeitbildern aus einem Sensor zum Betrachten auf einer Anzeige oder für eine nachfolgende Verarbeitung, wobei der Bildsensor einen ersten Satz von elektrischen Signalen in Antwort auf Eingänge aus­ gibt, die er aus einer Szenerie empfangen hat, wobei das Abbildungssystem aufweist:
Verarbeitungsvorrichtungen zum Verarbeiten des ersten Satzes von elektrischen Signalen, um einen zweiten Satz von elektrischen Signalen bereitzustellen, welcher die ersten und zweiten simultanen Realzeitbilder darstellt, wobei das erste simultane Realzeitbild eine Ansicht eines Teiles der Szenerie ist, die durch den ersten Satz der elektrischen Signale dargestellt wird und das zweite simultane Realzeitbild eine verbesserte Ansicht eines Teiles der Szenerie ist; und
Anzeigevorrichtungen, zum Anzeigen des zweiten Real­ zeitbildes innerhalb der Anzeige des ersten Realzeit­ bildes in Antwort auf den zweiten Satz von elektrischen Signalen.

2. Abbildungssystem nach Anspruch 1, worin die Verarbei­ tungsvorrichtungen Verbesserungsvorrichtungen aufwei­ sen, zum Bereitstellen der verbesserten Ansicht von wenigstens einem Teil der Szenerie, sowie Formatsteue­ rungsvorrichtungen zum Steuern der Verbesserungsvor­ richtungen.

3. Abbildungssystem nach Anspruch 2, worin die Verbesse­ rungsvorrichtungen Abtastratenvorrichtungen aufweisen, zum selektiven Erhöhen einer Abtastrate des Bildsen­ sors.

4. Abbildungssystem nach Anspruch 3, worin die Abtastra­ tenvorrichtungen Vielfachbild-Registrierungsvorrichtun­ gen aufweisen, zum Bilden eines vielfach registrierten Videoteiles eines Rahmens, welcher aus einem Mosaik von verschobenen Subpixeln aus aufeinanderfolgenden Video­ rahmen besteht, die von dem Videosensor erzeugt worden sind.

5. Abbildungssystem nach Anspruch 4, worin die Verbesse­ rungsvorrichtungen Rahmenspeichervorrichtungen aufwei­ sen, zum selektiven Speichern der vielfach registrier­ ten Videorahmen und des Videorahmens, der durch den Bildsensor unter Steuerung der Formatsteuerung erzeugt worden ist.

6. Abbildungssystem nach Anspruch 5, worin die Verbesse­ rungsvorrichtungen Entfaltungsvorrichtungen aufweisen, zum selektiven Entfalten des vielfach registrierten Videorahmens und zum selektiven Entfalten des Videorah­ mens, der durch den Bildsensor unter Steuerung der For­ matsteuerung erzeugt worden ist, um einen Satz von ent­ falteten Signalen bereitzustellen.

7. Abbildungssystem nach Anspruch 6, worin die Entfal­ tungsvorrichtungen Vorrichtungen zum Entfalten des vielfach registrierten Videorahmens mit dem Inversen der Punktverteilungsfunktion (point spread function) aufweisen, das mit den Verschlechterungen des Bildsen­ sors bei der erhöhten Abtastrate verbunden ist.

8. Abbildungssystem nach Anspruch 6, worin die Entfal­ tungsvorrichtungen Vorrichtungen aufweisen, zum Entfal­ ten des durch den Videosensor erzeugten Videorahmens mit dem Inversen der Punktverteilungsfunktion (point spread function), das mit den Verschlechterungen des Bildsensors verbunden ist.

9. Abbildungssystem nach Anspruch 6, worin die Entfal­ tungsvorrichtungen Vorrichtungen aufweisen, zum Verbes­ sern des Satzes von entfalteten Signalen, um den zwei­ ten Satz von elektrischen Signalen bereitzustellen, der die ersten und zweiten simultanen Realzeitbilder dar­ stellt.

10. Abbildungssystem nach Anspruch 1, worin die Anzeigevor­ richtungen wenigstens eine Anzeige aufweisen, welche mit den Verarbeitungsvorrichtungen verbunden ist und welche ausgelegt ist, jede Kombination von Teilen der Szenerie und den verbesserten Ansichten von Teilen der Szenerie anzuzeigen.

11. Abbildungssystem nach Anspruch 10, worin die verbes­ serte Ansicht der Szenerie eine vergrößerte, hochaufge­ löste Ansicht eines Teils der Szenerie ist.

12. Abbildungssystem nach Anspruch 10, worin die verbes­ serte Ansicht der Szenerie ein Satz von vergrößerten hochaufgelösten Ansichten von verschiedenen Teilen der Szenerie ist.

13. Ein Abbildungssystem zum Bereitstellen von ersten und zweiten simultanen Realzeitbildern aus einem Bildsen­ sor, mit:
Sensorvorrichtungen zum Bereitstellen eines ersten Satzes von elektrischen Signalen in Antwort auf Ein­ gänge, die von ihnen aus einer Szenerie empfangen wur­ den;
Verarbeitungsvorrichtungen zum Verarbeiten des ersten Satzes der elektrischen Signale, um einen zweiten Satz von elektrischen Signalen bereitzustellen, der die ersten und zweiten simultanen Realzeitbilder darstellt, wobei das erste simultane Realzeitbild eine Ansicht eines Teiles der Szenerie darstellt, und die Verarbei­ tungsvorrichtungen Verbesserungsvorrichtungen aufwei­ sen, zum Bereitstellen verbesserter Ansichten von Tei­ len der Szenerie, um das zweite simultane Realzeitbild bereitzustellen, und
Formatsteuerungsvorrichtungen, zum Steuern der Verbes­ serungsvorrichtungen, wobei die Verbesserungsvorrich­ tungen aufweisen:
Vorrichtungen zum effektiven Erhöhen der Abtastrate der Sensorvorrichtungen;
Vorrichtungen zun Entfalten der Videosignale, welche aus der erhöhten Abtastrate der Sensorvorrichtungen resultieren, mit dem Inversen der Punktverteilungsfunk­ tion (point spread function), welche mit den Ver­ schlechterungen der Sensorvorrichtungen verbunden ist, um einen Satz von entfalteten Signalen bereitzustellen; und
Anzeigevorrichtungen, zum Anzeigen des zweiten simulta­ nen Realzeitbildes innerhalb der Anzeige des ersten simultanen Realzeitbildes in Antwort auf den zweiten Satz von elektrischen Signalen.

14. Abbildungssystem nach Anspruch 13, worin die Vorrich­ tungen zum effektiven Erhöhen einer Abtastrate der Sen­ sorvorrichtungen Vielfachregistrierungsvorrichtungen aufweisen, zum Bilden eines Mosaiks von verschobenen Subpixeln aus aufeinanderfolgenden Videorahmen, die von den Sensorvorrichtungen erzeugt worden sind.

15. Abbildungssystem nach Anspruch 14, worin die Vorrich­ tungen zum effektiven Erhöhen einer Abtastrate der Sen­ sorvorrichtungen Rahmenspeichervorrichtungen aufweisen, zum selektiven Speichern des Mosaiks von verschobenen Subpixeln aus den Vielfachbild-Registrierungsvorrich­ tungen, und zum selektiven Speichern von Teilen der Szenerie, die von dem ersten Satz von elektrischen Sig­ nalen dargestellt werden.

16. Abbildungssystem nach Anspruch 13, worin die Anzeige­ vorrichtungen wenigstens eine Anzeige aufweisen, welche mit den Verarbeitungsvorrichtungen verbunden ist und welche angepaßt ist, eine Kombination von Teilen der Szenerie und den verbesserten Ansichten von Teilen der Szenerie anzuzeigen.

17. Abbildungssystem nach Anspruch 16, worin die verbesser­ ten Ansichten vergrößerte Ansichten hoher Auflösumg von Teilen der Szenerie sind.

18. Ein Verfahren zum Bereitstellen von ersten und zweiten simultanen Realzeitbildern aus einem Bildsensor zum Betrachten auf einer Anzeige oder für eine nachfolgende Verarbeitung, welches die Schritte aufweist:
Bereitstellen eines ersten Satzes von elektrischen Sig­ nalen in Antwort auf Eingänge, welche von einer Szene empfangen werden;
Verarbeiten des ersten Satzes von elektrischen Signa­ len, um einen zweiten Satz von elektrischen Signalen bereitzustellen, welcher die ersten und zweiten simul­ tanen Realzeitbilder darstellt, wobei das erste simul­ tane Realzeitbild eine Ansicht von wenigstens einem Teil der Szenerie ist, und das zweite simultane Real­ zeitbild eine verbesserte Ansicht von wenigstens einem Teil der Szenerie ist; und
Anzeigen des zweiten simultanen Realzeitbildes inner­ halb der Anzeige des ersten simultanen Realzeitbildes in Antwort auf den zweiten Satz von elektrischen Signa­ len.