CH689904A5 - Elektro-optischer Apparat zur Herstellung eines Bildes. - Google Patents

Description

  
 


 Technisches Gebiet 
 



  Bei der vorliegenden Erfindung handelt es sich allgemein um einen elektro-optischen Apparat gemäss Anspruch 1 und um ein Verfahren zum Betrieb des Apparates gemäss Anspruch 6. 


 Stand der Technik 
 



  Man muss sehr weit in der Geschichte zurückgehen, um den ersten Gebrauch von Landkarten zu finden. Allgemein sind dem Benutzer über Landkarten Informationen zugänglich, die ihn vor Dingen warnen, welche dem Benutzer aus seinem gegenwärtigen Standpunkt mit einem eingeschränkten Bildfeld nicht direkt zugänglich sind. Zum Beispiel wird ein Benutzer eines Stadtplanes den Tunnel in der Elm Street nicht sehen können, wenn er sich sieben Meilen entfernt in der Ersten Strasse befindet, selbst wenn er in Richtung Elm-Street-Tunnel blickt. Aber mit Hilfe einer Strassenkarte kann der Benutzer auch aus der Ersten Strasse die Existenz des Elm-Street-Tunnels feststellen. Er kann erkennen, dass der Tunnel drei Meilen lang ist, in der Achten Strasse beginnt und in der Elften Strasse endet.

   Es kann sogar die Grösse des Tunnels eingezeichnet sein, z.B., dass er auf vier Spuren und einen Radweg ausgebaut ist. 



  Unglücklicherweise ist es nicht immer möglich, die Informationen aus einer Karte in eine realistische Szene so zu übersetzen, wie sich die Szene in der Wirklichkeit darstellt. Gemeinhin wird von den Benutzern immer versucht, Landkarten so an der Wirklichkeit auszurichten, dass ein besserer "Eindruck" darüber entsteht, wo sich alles bezüglich der gegenwärtigen Position befindet. Mit Landkarten vertraute Benutzer können bestätigen, dass die Tatsache, dass Landkarten in der Regel nach Norden ausgerichtet sind, für die Orientierung am gegenwärtigen Standpunkt von eingeschränktem Nutzen ist. Wo immer auch Norden sein mag, neigt man dazu, die Karte so zu drehen, dass die Richtung in Sicht- oder Fahrtrichtung des Benutzers mit der Ausrichtung der Karte übereinstimmt.

   Dies mag enden mit "verkehrt herum" zu lesenden Landkarten, was ziemlich schwierig ist (z.B. wenn der Benutzer gen Süden fährt). Obwohl schon die Übertragung der Richtungen einer Karte auf die Wirklichkeit eine beeindruckende Leistung darstellt, ist es ein nicht  geringeres Problem, die Zeichen und Symbole der Landkarte als das zu erkennen, was sie in Wirklichkeit darstellen. So sagt das Symbol für einen Tunnel nichts darüber aus, wie der Tunnel wirklich aussieht. Die Tatsache, dass die Darstellung der Ansicht des Tunnels aus unendlich vielen Richtungen auf einer Landkarte nahezu unmöglich ist, erfordert den Gebrauch eines einfachen Symbols. Darüber hinaus enthält eine Karte weder Anhaltspunkte darüber, von welcher Position aus ein Benutzer den Tunnel zum ersten Mal sehen kann, noch Informationen über den Weg, auf welchem sich der Benutzer dem Tunnel nähert. 



  Es ist jetzt möglich, Informationen über Stadtpläne in Rechnern zu speichern und die Karten entsprechend dem vom Benutzer gewählten Weg darzustellen. Die Darstellung wird in "Echtzeit" aktualisiert, entsprechend der Bewegung des Benutzers durch die Stadt. Dadurch ist es möglich, dass Problem der nach Norden ausgerichteten Karten zu mindern, da der Rechner die Karten mit dem Kartentext in der richtigen Orientierung relativ zum Benutzer darstellen kann, auch wenn dieser in südliche Richtung fährt. Die computergenerierte Karte wird auf einem Bildschirm wiedergegeben. Diese Darstellung kann leicht mit aktueller Information entsprechend der Bewegung des Benutzers auf seiner Fahrt erneuert werden. Autokarten dieser Art sind allgemein bekannt.

   Sogar sehr spezielle Karten mit computergenerierten Indizes, die dem Benutzer bei Entscheidungen helfen, stehen zur Verfügung, wie, z.B. beschrieben in Patenten wie DeJong US #5 115 398. Dieses Gerät kann eine lokale Szene so darstellen, wie sie erscheinen mag. Diese Szene kann mit symbolischen Informationen überlagert werden, die dem Benutzer eine Handlung vorschlagen, wie z.B. das Abbiegen nach links, wie es die Fig. 3 der disclosure zeigt. Aber auch in diesem fortgeschrittenen System wird vom Benutzer ein hoher Grad an Übersetzung gefordert. Die computergenerierte Karte versucht nicht genau justierte Abbilder der repräsentierten Objekte darzustellen. Geräte, die Bilder ergänzen, benötigen "Head Up"-Displays (HUDs) und "Helmet Mounted"-Displays (HMDs).

   Das HUD ist ein nützliches Sichtgerät, welches dem Benutzer erlaubt, eine natürliche Szene zu betrachten, üblicherweise durch ein optisches Bildvereinigungselement, wie z.B. holographische Spiegel oder dichroitische Strahlteiler. Damit wird Information für die Navigation überlagert, z.B. Symbole von wirklichen oder vorgestellten Objekten, die Geschwindigkeit von Fahrzeugen, Höhenangaben usw. Als Hauptziel der HUDs gilt, die Zeit zu maximieren, die der Benutzer auf die interessierende Szene blickt. Für einen Kampfpiloten, der zuerst seine Augen auf eine Anzeige der nahen  Instrumententafel fokussieren muss, und dann danach erst mit seinen Blick wieder auf die umgebende Szene zurückkehrt, dauert dies zu lange und kann tödliche Fehler zur Folge haben. Das HUD erlaubt dem Piloten, seine Aufmerksamkeit immer auf die Umgebung zu richten, die optisch im Unendlichen liegt.

   Da die Instrumente für das Auge ebenso im Unendlichen dargestellt werden, entfällt die Notwendigkeit für das ständige Fokussieren der Augen. Ein HUD erlaubt dem Piloten, seine aufrechte Kopfhaltung ständig beizubehalten. Bei Fluglinien werden HUDs zur Landung bei schlechten Sichtverhältnissen eingesetzt. HUDs sind besonders nützlich in Landesituationen, bei denen die Grenzen der Landebahn wegen Nebels ausserhalb des Sichtfeldes des Piloten liegen. Dann können künstliche Grenzen auf das optische Vereinigungselement des HUD projiziert werden, um dem Benutzer die Grenzen der Landebahn sichtbar zu machen. Die Projektion der virtuellen Landebahn wird im Sichtfeld entsprechend von Daten positioniert, gespeist durch einen Informationsaustausch zwischen dem eingebauten Computer und dem elektronischen Landesystem ("instrument landing system" ILS), unter Zuhilfenahme eines VHF-Leitstrahls.

   Das System versorgt den Computer mit zwei Daten: erstens dem Gleitwinkel und zweitens einer Grösse, welche die laterale Position angibt. Diese Daten reichen dem Computer zur Berechnung eines optischen Bildes (Photonen), welches mittels des Strahlvereinigers über das reelle Bild (Photonen) projiziert wird. Dabei werden spezielle Details der wirklichen Szene hervorgehoben, wie z.B. die Grenzen der Landebahn. Die Positionierung der Überlagerung hängt von der Genauigkeit der Zieleinrichtung des Flugzeuges, welches zu dem ILS-Strahl und anderen physikalischen Grenzen justiert ist, ab. Der Computer ist nicht in der Lage, Bilder in der wirklichen Szene zu erkennen und versucht nicht, die wirkliche Szene zu verändern, ausgenommen von hervorragenden Merkmalen. HUDs werden teilweise dadurch charakterisiert, dass sie eine Kombination von zwei optischen Szenen darstellen.

   Die Kombination besteht aus der ersten Szene, die normalerweise vom Betrachter durch den optischen Strahlvereiniger gesehen wird, und aus der zweiten, dem computergenerierten Bild, welches im Strahlvereiniger mit dem wirklichen Bild kombiniert wird. In einem HUD-System ist es für den Computer nicht möglich, sich auf Objekte der wirklichen Szene zu beziehen wie z.B. sie zu ändern oder zu löschen. Das System betont lediglich ein Detail der wirklichen Szene, indem es wichtige Eigenschaften darüber zeichnet. HUDs sind zumeist sehr unförmig und werden typischerweise in einem Flugzeug oder einem Automobil eingesetzt. Sie benötigen viel Platz und eine komplexe Optik, beispielsweise Hologramme und speziell entwickelte Linsen. 



  "Helmet Mounted Displays" HMDs sind den HUDs ähnlich, indem sie ebenso bearbeitete Bilder mit der reellen Szene überlagern, sind aber üblicherweise auf leichte Tragbarkeit ausgelegt. Mikro-CRTs und kleine Strahlteiler ermöglichen es, das ganze System auf einem Helm zu montieren. Es ist schwierig, in einem sich schnell bewegenden Helm ein computergeneriertes Bild zu der wirklichen Szene zu justieren. HUDs können die mit gespeicherten Daten erzeugten Bilder justieren, da diese über die sich langsam bezüglich der Landebahn bewegende Flugzeugachse indiziert sind. Deshalb stellen HMDs im Allgemeinen Daten dar, die sich nicht mit den Kopfbewegungen des Piloten ändern, z.B. die Höhe und die Geschwindigkeit. HMDs werden durch dieselben Einschränkungen wie HUDs begrenzt, da sie es nicht ermöglichen, Elemente von wirklichen Bildern zu löschen oder zu verstärken. 



  Ein anderes, verwandtes System, das sich in dem rapide fortschreitenden Bereich der Computer unterstützten Sichtsysteme herausgebildet hat, ist die "Virtual Reality" (VR). Diese kommt wahrscheinlich am besten in dem Science-Fiction-Film "Star Trek: Die nächste Generation" zum Ausdruck. Das "Holodeck" ist ein Raum, wo der Benutzer all seine Umgebung von einem Computer erzeugen lassen kann, so dass es ihm als ein anderer Ort oder eine andere Zeit erscheint. 



  "Virtual Reality"-Systeme sind besonders nützlich für Ausbildungszwecke, z.B. in Flugsimulatoren. Ein Flugschüler kann von einem virtuellen "Cockpit" umgeben sein, bei dem es sich im Wesentlichen um ein Interface zu einem Computer handelt, während der Benutzer die Umgebung eines wirklichen Flugzeuges auf eine sehr realistische Weise "spürt", vielleicht noch durch künstliche Geräusche, Bilder oder sogar mechanische Bewegungen unterstützt. Handlungen des Benutzers können vom Computer interpretiert werden und der Computer kann auf diese Handlungen durch die Kontrolle der den Benutzer umgebenden Animation reagieren. VR-Systeme können eine vollständige sichtbare Szene erzeugen und es wird nicht versucht, ein computergeneriertes Bild einer wirklichen Szene zu überlagern.

   Ein VR-System hat zumeist keinerlei Kommunikation zwischen dem aktuellen Ort in der Wirklichkeit und der Animation, die dem Benutzer präsentiert wird. Zwischen dem Ort des VR-Systems und dem von ihm erzeugten Ort besteht generell kein physikalischer Zusammenhang. 



  VR-Systeme können Dinge darstellen, die noch nicht existieren. Zum Beispiel kann ein Haus vollständig von einem Computer modelliert werden, so dass der potenzielle Käufer in ihm herumlaufen kann, ehe es gebaut ist. 



  Der Käufer kann in die VR-Atmosphäre eintreten und durch computergenerierte Bilder und Anregungen fortschreiten, die genau wiedergeben, wie das Haus sein wird, wenn es fertig ist. Auf diese Weise kann man sich davon überzeugen, wie ein bestimmter Stil des Hauses wirken wird, bevor die hohen Kosten des Hausbaues zu Buche schlagen. Die VR-Maschine, die komplett mit den Informationen eines Designers programmiert wurde, nimmt keine Dinge vorweg, wie sie gegenwärtig existieren, und es besteht keine Verbindung zwischen den Elementen im VR-System und wirklich existenten Elementen. 



  Die Systeme und Erfindungen der oben genannten Art sind so entwickelt, Ansprüche, Vorteile und Ziele nur teilweise zu verwirklichen, wenn auch einige von ihnen nicht wenig bemerkenswert sind. Deshalb haben diese Systeme und Erfindungen Grenzen und Fehler, die ihren Einsatz in Bereichen ausschliessen, der nur durch die vorliegende Erfindung ermöglicht wird. Die früheren künstlichen Systeme und Erfindungen können nicht benutzt werden, um die Vorteile und Ziele der vorliegenden Erfindung zu verwirklichen. 


 Darstellung der Erfindung 
 



  Nun folgt die Erfindung eines Sichtsystems mit Geräten und Methoden zur Bildverstärkung, indem ein Bild einer wirklichen Szene von einem Rechenprozessor dahingehend verändert wird, dass Informationen einer Datenbank eingeschlossen werden. Die gespeicherten Informationen über diese Szene befinden sich dabei an einem Speicherplatz, der durch den aktuellen Ort und die Lage des Sichtsystems identifiziert wird. Die Hauptfunktion des Sichtsystems der Erfindung ist, im Gegensatz zu den früheren, die Präsentation von verstärkten wirklichen Bildern und Daten, welche kontinuierlich zur wirklichen Szene so justiert werden, wie diese Szene normalerweise von dem Benutzer des Sichtsystems betrachtet wird. Ein verstärktes Bild ist ein Bild, welches die wirkliche Szene darstellt, darüber hinaus aber Weglassungen, Hinzufügungen und Zusätze enthält.

   Die Kamera des Gerätes hat eine optische Achse, die die Blickrichtung festlegt, ähnlich einer einfachen Video-Kamera vom Typ "Camcorder", in dem das dargestellte Bild die wirkliche Szene genau so wiedergibt, wie sie vom Standpunkt mit Blick entlang der optischen Achse erscheint. Auf diese Weise kann man die dargestellte Information leicht bzgl. der Wirklichkeit orientieren. Ein fundamentaler Unterschied zwischen dem Sichtsystem der Erfindung und dem eines Camcorders besteht in der Bildverstärkung. Während ein  Camcorder eine Überlagerung eines Bildes mit Daten wie z.B. der Ladeanzeige der Batterie etc. darstellt, hat er keine "Kenntnis" über die betrachtete Szene. Die dargestellten Daten beziehen sich normalerweise auf das Sichtsystem oder von der Szene unabhängige Daten wie Zeit und Datum.

   Die Bildverstärkung der Erfindung kann speziell Informationen einer Szene hinzufügen, die gerade mit dem System betrachtet wird. 



  Das Sichtsystem der Erfindung kann eine Datenbank mit vorher aufgenommenen Bildern verschiedenster Szenen enthalten. Die präzise Position und Lage des Sichtgerätes indiziert dem Speicher die gerade betrachtete Szene. Ein Rechenprozessor kann Informationen über die spezielle Szene aus dem Speicher erhalten und kann das Bild der Szene verstärken, welches von der Kamera des Sichtgerätes erzeugt wird. Das resultierende Bild wird auf einem Display, bestehend aus einer Kombination von Informationen der optischen Eingabe und der in der Datenbasis gespeicherten Informationen dargestellt. Besonders wichtig ist die Möglichkeit einer Kommunikation zwischen den Daten aus dem Speicher und dem wirklichen Bild. Analysierende und verarbeitende Routinen können das Erkennen von Details der wirklichen Szene einschliessen und Vergleiche mit Artefakten der gespeicherten Daten durchführen.

   Dies kann für die Justierung der wirklichen Bilder bezüglich der abgerufenen Daten nützlich sein. In Situationen, in denen die optische Eingabe der Szene über die Kamera des Systems blockiert ist, wie z.B. bei dichtem Nebel, kann ein Bild erzeugt werden, das nur gespeicherte Informationen aus der Datenbank enthält. In anderen Fällen kann es vorkommen, dass die in der Grösse beschränkte Datenbank keine Informationen über eine spezielle Szene enthält. In diesem Fall entspräche das dargestellte Bild vollständig der wirklichen Szene aus dem optischen Eingang. In diesem speziellen Fall reduziert sich das System zu einem Äquivalent zu einem einfachen Camcorder oder Binokular. Ein weiterer Spezialfall ist der, bei dem die Eigenschaften einer wirklichen Szene selektiv gelöscht werden.

   Falls die hellen Lichter einer urbanen Skyline die eher detaillierte Navigationsbeleuchtung eines Seehafens dominieren, dann ist es mit den Bildverarbeitungsroutinen möglich, zwischen der Stadtbeleuchtung und den Navigationssignalen zu unterscheiden. Die ungewünschten Lichter der Stadt können im Prozessor gelöscht werden, bevor das resultierende Bild auf dem Display dargestellt wird. Im resultierenden Bild sind die Navigationssignale deutlich sichtbar, während das Licht der Stadt überhaupt nicht mehr beiträgt. Deshalb kann das resultierende Bild bei dieser Erfindung in verschiedenen Kombinationen Informationen aus zwei Quellen umfassen, zusammen überlagert, um ein einzelnes Bild mit hoher Informationsdichte zu  bilden.

   Die Informationen aus den beiden Quellen werden miteinander verglichen und kombiniert, um ein einzelnes, verstärktes Bild zu formen, welches auf einem Display dargestellt wird und zu der wirklichen Szene, wie sie der Benutzer sieht, justiert wird. 



  In der einfachsten Form kann man sich vorstellen, dass die Erfindung aus sechs Hauptkomponenten besteht: 1) Einer Kamera, die die optische Information der wirklichen Szene einliest und diese Information als elektrisches Signal an 2) den Rechenprozessor weitergibt; 3) ein Gerät zur Messung der Position der Kamera; 4) ein Lagebestimmungsmessgerät zur Bestimmung der Lage der Kamera (Richtung der optischen Achse); damit wird eindeutig die betrachtete Szene identifiziert, und damit wird der Speicherplatz in 5) der Datenbasis adressiert, an dem die Informationen bezüglich der verschiedenen Szenen gespeichert sind; der Rechenprozessor kombiniert die Daten von der Kamera und der Datenbasis und erzeugt ein einzelnes Bild, welches auf 6) einem Display dargestellt wird, dessen Bild kontinuierlich zu der wirklichen Szene, wie sie der Benutzer betrachtet, justiert wird. 



  Die Relation der Kamera zu dem Positionsmessgerät und dem Lagebestimmungsmessgerät ist so gewählt, dass die Messung der Position und der Lage der Kamera bezüglich beliebiger Referenzpunkte durchgeführt wird. Die Mittelwerte der Positions- und Lagemessungen sind so auf die Datenbank bezogen, dass die Werte der Messungen den Speicherplatz festlegen, an denen die zugehörenden Bilder gespeichert sind. Wir können uns die Positions- und Lagemessung so vorstellen, dass sie uns die Speicheradresse in Form von zwei orthogonalen Variablen liefern. Die Kamera steht mit dem Rechenprozessor so in Verbindung, dass es sich bei dem Bild, welches in der Kamera erzeugt wird, um ein elektronisches Bild handelt, das der Rechenprozessor verarbeitet. Die Datenbank steht mit dem Prozessor insofern in Verbindung, als sie ihn mit Informationen und Bildern für die Verarbeitungsroutinen versorgt.

   Das Display gehört zum Computer, da es das resultierende, verarbeitete Bild empfängt und das elektrische Bildsignal des Rechners in ein optisches Bild verwandelt, welches vom Benutzer betrachtet werden kann. Das Display ist zielgenau auf der optischen Achse justiert, so dass die Information der Wirklichkeit entspricht und dem Benutzer auf eine Art erscheint, die ihm erlaubt, das resultierende, verarbeitete Bild zu sehen, ohne es je nach der Orientierung zur wirklichen Szene interpretieren zu müssen. 



  In der einfachsten Form können die Methoden der Erfindung als aus sieben Hauptstufen bestehend betrachtet werden: 1) der Aufnahme, bei der  das Licht von einer Szene mit einer Linse abgebildet wird; 2) einem Verarbeitungsschritt, bei dem die optische Information der Aufnahme in ein elektrisches Signal umgewandelt wird; 3) der Positionsbestimmung, in der die Position der Kamera bestimmt wird; 4) der Lagebestimmungsmessung, bei der die Lage der Kamera gemessen wird; 5) dem Abruf der Daten, bei dem der Speicherplatz in Abhängigkeit der Messergebnisse nach Stufe 3 und 4 und Benutzer-Eingangsdaten gewählt werden, entsprechend dem Aufruf des Rechenprozessors; 6) einem Verarbeitungsschritt, in dem die Daten aus dem Speicher und dem elektronischen Bild vereinigt und bearbeitet werden; und der 7) Wiedergabe auf dem Display, bei der das verarbeitete Endbild dargestellt wird. 



  Das Produkt der Aufnahme, ein optisches Bild, wird im Konversionsschritt in ein elektrisches Signal umgewandelt. Das elektronische Bild des Konversionsschrittes wird im Verarbeitungsschritt dem Prozessor übertragen. Die Ergebnisse der Positions- und Lagebestimmung sind Werte, die im Datenabruf gebraucht werden. Das Ergebnis des Datenabrufes wird dem Prozessor übergeben, um im Verarbeitungsschritt mit dem elektronischen Bild des Konversionsschrittes kombiniert zu werden. Das Ergebnis des Verarbeitungsschrittes, eine resultierende elektronische Darstellung des bearbeiteten Bildes wird im Wiedergabeschritt übertragen und im optischen Format wiedergegeben. 



  Die Erfindung wird weiter dadurch zusammengefasst, indem sechs Beispiele der Erfindung gegeben werden, in denen die Beschreibung der Geräte, Methoden und ihrer Nutzen folgt. 



  In einem ersten zusammenfassenden Beispiel der Erfindung möge sich der Leser ein Szenario vorstellen, in dem ein Schiff sich einer Hafeneinfahrt nähert und der Benutzer der Erfindung der Offizier des Schiffes ist. Es ist übIlich für den Navigationsoffizier, viele Hilfen zu benutzen, um seinen Kurs durch die Wasserstrasse zu führen. Karten, einen Kompass, Leuchtbojen, Sonargeräte, Entfernungsmesser, Radar und Ferngläser sind einige der Instrumente, die man zur Navigation eines Bootes verwenden kann. Neuere Fortschritte in der Positionsbestimmung, insbesondere das Global Positioning System, GPS, haben die Aufgabe der Navigation hier vereinfacht. Mit dem GPS verfügt der Navigationsoffizier über die Kenntnis der Position des Schiffes mit einer Genauigkeit von +/- 300 Fuss, Nord und Ost, in einigen besonderen Fällen sogar genauer.

   Sogar mit einer derart guten Positionsbestimmung muss der Navigationsoffizier feststellen, welcher Position auf der Karte seine Position entspricht, die Symbole der Karte identifizieren und sich ein Bild von seiner Umgebung vorstellen. Dann muss der Navigationsoffizier die reale  Szene vor ihm nach identifizierbaren Objekten durchsuchen, um festzustellen, ob das, was er sieht, mit den Symbolen der Karte übereinstimmt. Häufig ist die Sicht durch Dunkelheit oder die Wetterbedingungen beeinträchtigt, und spezielle Lichter müssen als Markierungen auf der Karte identifiziert werden. Diese können farbige Blinklichter sein; diese können leicht mit den hellen Lichtern einer Stadt verwechselt werden. In anderen Fällen können die Markierungen unbeleuchtet sein und in der Dunkelheit unmöglich gefunden werden.

   Gefährliche Objekte, wie z.B. versunkene Schiffe, Seetang und Riffe, werden im Allgemeinen auf Karten gekennzeichnet, sind aber für der Navigationsoffizier nicht sichtbar, weil sie teilweise oder ganz unter Wasser liegen können. Der Navigationsoffizier muss sich seine Position im Bezug zu den Objekten der wirklichen Szene und denen der Karte in Gedanken vorstellen und muss sich auch die Gefahren der wirklichen Szene, vor denen die Karte warnt, vorstellen. Dieser Vorgang erfordert viele komplizierte Übersetzungen und Interpretationen zwischen der wirklichen Szene, den Markierungen auf der Karte, der Szene, wie sie der Navigationsoffizier sieht und der Karte, wie sie vom Navigationsoffizier verstanden wird. Sicherlich stellt dies zusammen ein grosses Fehlerpotenzial dar.

   Viele sehr gut ausgebildete und geübte Seenavigatoren haben bei der schwierigen Aufgabe der sicheren Navigation in einen Hafen versagt, was oftmals zu tragischen Konsequenzen führte. Mit dem System der Erfindung kann ein Navigationsoffizier zuverlässig auf eine Szene blicken und exakt den Ort bekannter Markierungen feststellen. Das System der Erfindung macht die Umsetzung der Symbole einer Karte in die Realität überflüssig. Der Benutzer der Erfindung kann das Display vor seinen Augen positionieren, um ein Bild der wirklichen Szene mit einer Überlagerung der Symbole der Karte zu sehen. Der Vorstellung des Navigators wird es dann klar, wo sich unsichtbare Riffe befinden und bei welchen Lichtern es sich um die wirklichen Navigationssignale handelt, und bei welchen um Strassenlaternen. Dem Computer ist es möglich, Informationen, wie z.B.

   Streulicht, aus den Bildern zu entfernen, um nur die Lichter, die für die Navigation benötigt werden, im Display wiederzugeben. Dies ist möglich, weil die Datenbank der Erfindung alle Navigationslichter "kennt" und der Prozessor alle anderen eliminieren kann. Das Display, auf welches der Benutzer schaut, enthält eine Darstellung der Szene, in der die unerwünschten Objekte eliminiert sind und nützliche Daten und Objekte hinzugefügt sind. Immer wenn der Navigator das Gerät der Erfindung in eine bestimmte Richtung lenkt, nimmt das Gerät ein optisches Bild der wirklichen Szene auf, bestimmt gleichzeitig Position und Lage des Gerätes und ruft aus der Datenbasis die Informationen bezüglich der beobachteten Szene ab. Der  Prozessor analysiert das Bild, alle aufgerufenen Daten, und vereinigt diese zu dem endgültig dargestellten Bild. 



  In einem weiterführenden Beispiel der Erfindung möchte eine Stadtplanungskommission wissen, wie ein vorgeschlagenes Gebäude in der Skyline der Stadt aussieht. Sicherlich ist es möglich, eine Fotografie der Skyline anzufertigen und das vorgeschlagene Gebäude in das Foto zu malen. Diese üblicherweise eingesetzte Methode hat einige Nachteile. Es zeigt nur eine einzelne Perspektive des geplanten Gebäudes und kann von einen voreingenommenen Entwickler von seiner "besten Seite" gezeigt werden (oder in einem "schlechtem Licht" von einem voreingenommenen Konkurrenten/Mitstreiter). Das Bauwerk mag so präsentiert werden, dass es in der Ausführung durch den Entwickler neben dem Rathaus sehr nobel aussieht. Da in einer Fotografie üblicherweise nur eine Perspektive gezeigt wird, kann es unmöglich sein, die ganze Wirkung festzustellen, die das Gebäude bezüglich anderer Standpunkte haben kann.

   Es mag aus dem vorbereiteten Foto nicht ersichtlich sein, dass der schöne Blick auf die Bucht, den die Besucher des Rathauses geniesen, nach der Vollendung des Gebäudes blockiert ist. Mit der vorliegenden Erfindung können die Details jeder Perspektive einfach sichtbar gemacht werden. Daten, die genau das vorgeschlagene Gebäude wiedergeben, können in die Datenbank des erfundenen Gerätes eingegeben werden. Sobald die Kamera der Erfindung in die Richtung des neuen Gebäudes gerichtet wird, nimmt das Kamerateil die wirkliche Szene wie sie erscheint auf und übergibt das Signal dem Prozessor. Das Gerät bestimmt genau die Position und die Lage der Kamera bezüglich der Szene und ruft die Daten aus dem Speicher, die wahrheitsgetreu die Perspektive des Gebäudes von diesem Standpunkt aus wiedergeben.

   Der Prozessor vereinigt dann die wirkliche Szene mit den Daten des vorgeschlagenen Gebäudes, um ein endgültiges Bild des Gebäudes aus dieser speziellen Perspektive zu zeigen. Es wäre sogar einem Hubschrauber möglich, in einem Bogen um den Ort des Gebäudes zu fliegen. Dem Benutzer wird es damit möglich, das Gebäude aus allen möglichen Richtungen zu betrachten. Ein Mitglied des Stadtrates kann sehen, wie die zukünftige Struktur aus allen Perspektiven in Wirklichkeit sein würde, ehe er der Ausführung des Planes zustimmt. 



  In einem zusätzlichen zusammenfassenden Beispiel wählen wir das Szenario, in dem ein Ingenieur Produkte der Erfindung zur Analyse und zum "troubleshooting" eines Entwicklungsproblems verwendet. Genauer der Fall, wenn ein Problem bei der Auslotung an Bord eines U-Bootes festgestellt wurde. Der komplizierte Aufbau, eingeschlossen von Rohren, Pumpen, Kabeln, Drähten usw. eines U-Bootes können sehr schwer zu verstehen  sein, wenn man auf die technische Zeichnung blickt und die Information des Planes in die Wirklichkeit übersetzen muss. Die unverzügliche und zuverlässige Identifikation eines speziellen Elementes kann in einem Notfall für das Überleben des Schiffes kritisch sein. Der folgende erläuternde technische Gebrauch der Erfindung stellt stark vereinfacht die Art der zuverlässigen Identifikation von technischen Eigenschaften dar. 



  Ein Ingenieur an Bord eines Unterseebootes muss an der Salzwasserpumpe im Torpedoraum arbeiten, die die Torpedorohre nach Gebrauch leerpumpen soll. Vorbereitend auf den Einsatz wird der Speicherinhalt des portablen elektro-optischen Sichtgerätes von dem Zentralcomputer des Schiffes mit Informationen über Details der fraglichen Pumpe und mit Details über den Torpedoraum, wo sich die Pumpe befindet, versehen. Im Falle eines durch einen Kampf beschädigten Schiffes oder im Falle begrenzter Sicht wegen Feuer oder Stromausfällen kann das Sichtsystem die Führung zu dem Ort der Pumpe durch audiovisuelle Anhaltspunkte gewähren.

   Da die verschiedenen Rohre durch Schotten oder hinter Wänden verlaufen können, kann das Sichtsystem dazu benutzt werden, durch Wände zu sehen und die Orte der Rohre einzufügen, so dass die andernfalls unsichtbaren Rohre fortwährend und ohne Mehrdeutigkeiten verfolgt werden können. Wenn die fragwürdige Pumpe erreicht ist, richtet der Ingenieur die Kamera-Achse des Sichtsystems in Richtung der Pumpe. Auf dem Display des Gerätes wird ein wirkliches Bild der Pumpe mit Daten überlagert, wie z.B. der Teilenummer der Pumpe und Anhaltspunkte über die Eigenschaften der Pumpe, wie z.B. welches Material gepumpt wird und die Flussrichtung. Das Sichtgerät kann Eingaben des Benutzers empfangen, um weitere Darstellungsmodi zu wählen.

   Diese Eingaben können durch mechanische Vorrichtungen, wie einer "Maus" durchgeführt werden, einfach durch einen Knopf, oder vielleicht durch verbale Kommandos unter Zuhilfenahme eines Spracherkennungssystems. Falls die Pumpe auseinander genommen werden muss, kann der Benutzer das Gerät durch verbale Kommandos anweisen, die einzelnen Montageschritte folgen zu lassen. Das Auseinandernehmen kann dann durch Hinweise des Sichtgerätes vereinfacht werden. Ein spezieller Teil kann hervorgehoben werden und die erforderliche Bewegung für seine sichere Entfernung kann simuliert werden, so dass der Benutzer das richtige Auseinandernehmen vor Ort lernen kann. 

   In ähnlicher Weise kann das Zusammensetzen begleitet werden, weil das vorhergehende Wissen über das Auseinandernehmen im Speicher verbleibt und leicht dem Benutzer dargeboten werden kann, so dass keine Übertragungen aus Anleitungen in die Wirklichkeit erforderlich sind. Ein hervorgehobenes Teil und eine  Bewegung zum Zusammenbau des Teiles kann auf dem wirklichen Bild des Werkstückes überlagert werden. 



  Ferner kann man sich in einem weiteren zusammenfassenden Beispiel die Komplexität der Situation vorstellen, in der Feuer bekämpft werden soll. Es mag für einen Feuerwehrhauptmann üblich sein, die Detailpläne des Inneren eines Gebäudes von einer Kopie zu lesen und diese Information über Funk den Feuerwehrmännern im Gebäude zu übermitteln. Das Problem dieser Methode besteht darin, dass es von vielen Übersetzungen zwischen verschiedensten Medien abhängt. Bei jeder Übersetzung wird die Information gemäss einer Übertragungsfunktion verändert und somit in der Genauigkeit begrenzt. Die vorliegende Erfindung bietet eine Alternative, welche die direkte Übertragung von detaillierten Informationen über eine Struktur an den Feuerwehrmann im Gebäude erlaubt. 



  Eine Videokamera und eine Brille kann in einem normalen Helm eines Feuerwehrmannes eingebaut werden, wobei die Brille das erforderliche Display enthält. Die Display-Einheit könnte entweder über Funk oder über eine feste Verdrahtung mit dem Computer in Verbindung stehen, dessen Speicher die vorher aufgezeichnete Informationen über Elemente der Struktur enthält. Das Positionsbestimmungssystem kann zu jeder Zeit feststellen, wo sich der Feuerwehrmann befindet und wohin er blickt. Ein wirkliches Bild von der Kamera kann dann mit den aufgezeichneten Daten kombiniert werden, um ein verstärktes Bild zu erzeugen. Falls das vom Feuer erzeugt helle Licht im wirklichen Bild ein wichtiges Detail, wie z.B. einen Türgriff, unsichtbar macht, kann der Prozessor das Feuer in der wirklichen Szene löschen und den Türgriff einzeichnen.

   Der Feuerwehrmann kann leicht seinen Weg durch das komplizierte Innere finden, welcher mit Rauch und Feuer gefüllt ist, was andernfalls ein Vordringen in das Gebäude verhindern würde. Informationen aus erster Hand, die über das erfundene Sichtsystem direkt einem Feuerwehrmann zur Verfügung gestellt werden, können die Geschwindigkeit und die Effektivität einer Brandbekämpfung enorm steigern. Ein in einem Helm montiertes Gerät wäre notwendigerweise klein und kompakt. Es kann so eingerichtet werden, dass die Kamera, das Display und das Positionsbestimmungsgerät (Position und Lage) sich im ständigen Funkkontakt mit dem Computer befinden, die möglicherweise sehr unförmig und weit entfernt sein kann. Diese Möglichkeit ist als Teilaspekt in dieser Erfindung vorgesehen und eingeschlossen. 



  Es sollte darauf hingewiesen werden, dass im Falle sehr starken Rauches, wenn keine wirklichen Bilder von der Kamera aufgenommen werden können, und die dargestellten Bilder nur aus gespeicherten  Informationen bestehen, das System einem "Virtual Reality Device" sehr ähnlich wird. Der wichtige Unterschied bleibt darin bestehen, dass die wieder gegebenen Bilder exakt zur Wirklichkeit und entsprechend der Blickrichtung des Benutzers justiert werden. Falls der Feuerwehrmann eine Tür öffnet, öffnet sich eine wirkliche Tür. Bei VR-Anwendungen erscheint es so, als ob eine wirkliche Tür geöffnet ist, aber die Tür in einem VR-System ist vollständig simuliert und es existiert keine wirkliche geöffnete Türe. 



  In einem weiteren zusammenfassenden Beispiel wird einem Touristen mit einem Sichtsystem ein Blick in die Vergangenheit gewährt. Man kann sich einen Bus voller Touristen vorstellen, die in Pompeij ankommen. Jede mit einem tragbaren Sichtsystem ausgestattete Person kann sich frei im Felde nach eigenem Willen bewegen. Es wird möglich sein, vorherbestimmte Orte zu haben, zu denen die Benutzer geleitet werden, und bei den Szenen, wie sie dem Benutzer geboten werden, einen entsprechenden "Soundtrack" anzubieten. Blickt ein Benutzer in das Sichtsystem, kann er die Gebäude sehen, wie sie jetzt aussehen und eine Simulation sehen, wie sie vor dem Ausbruch des Ätnas aussahen. Er sieht in einer Simulation, wie Menschen des alten Pompeij in ihrem täglichen Leben umhergehen. Ohne Warnung sieht der Betrachter, wie die Asche auf die Häuser fällt und wie die Menschen nach Schutz rennen.

   Die simulierten Ereignisse früherer Zeiten können leicht in modernen Zeiten mit Hilfe der vorgelegten Erfindung betrachtet werden. In dieser Version kann jedes tragbare Gerät für jede Person individuell und unabhängig in Funkkontakt mit einem gemeinsamen Daten- und Rechenzentrum kommunizieren. 



  Im abschliessenden zusammenfassenden Beispiel der Erfindung betrachten wir den Bedarf für Landvermesser, um in der Erde nach vergrabenen Rohrleitungen und Kabeln zu suchen. Falls in Bauprojekten die Veränderung oder Entfernung solcher Leitungen erforderlich ist oder neue Projekte installiert werden sollen, so dass sie die existierenden Anlagen nicht kreuzen, muss der Landvermesser die Lage dieser Anlagen ergründen. Ein Landvermesser hängt von der Dokumentation der vorhergehenden Konstruktionsprojekte ab und versucht, die Orte der verschiedenen Anlagen wie auf den Karten vermerkt in der Wirklichkeit abzustecken. Erneut erfordern die Übertragungen des Landvermessers aus den Karten und anderen Dokumenten auf die Wirklichkeit und an die Arbeiter der Ausgrabungsfirma Erfahrung und Ausbildung. Sogar mit neuen Karten kann das Unternehmen ein Alptraum und ein Fehler sehr teuer werden.

   Wenn man auf ein Display schauen könnte, welches zur wirklichen Szene justiert ist und ein Bild der wirklichen Szene mit überlagerten Positionen der Ausgrabungsarbeiten  darstellt, wäre es ein trivialer Vorgang, die Sicherheitsmarkierungen anzubringen. Mit dem erfundenen System können die vergrabenen Rohre und Kabel etc. in der Datenbasis gespeichert werden. Die Orte des Konstruktionsprojekts können dann in einer sehr kurzen Zeit vermessen werden. 



  Es sollte erwähnt werden, dass die meisten Kartensysteme dieser Art, sogar sehr ausgefeilte rechnergestützte Karten mit Daten und Symbolen in Verbindung mit Bildern, eine Übertragung des dargestellten Bildes auf das Bild der Wirklichkeit, wie es vom Benutzer gesehen wird, erfordert. Obwohl HUDs ein wirkliches Bild und ein gespeichertes Bild, das zur Wirklichkeit justiert ist, kombinieren, kann die Erfindung durch die Möglichkeit der Kommunikation zwischen dem wirklichen Bild und den Daten oder dem gespeicherten Bild unterschieden werden. Das HUD gewährt keine Erkennung, Justage, Unterdrückung ungewünschter Elemente und anderer Eigenschaften der Erfindung. Nur die vorliegende Erfindung gewährt ein System, welches bearbeitete Bilder, die zur einer Szene so justiert sind wie sie normalerweise betrachtet wird, produziert. 



  Der hauptsächliche Gegenstand der Erfindung ist die Gewährleistung eines vielseitigen Sichtsystems mit bei bisherigen Systemen vollständig unbekannten Eigenschaften. 



  Ein weiterer Hauptpunkt der Erfindung ist die Einführung eines Gerätes und eines Verfahrens zur Bearbeitung der Wirklichkeit, wobei wirkliche Szenen bearbeitet abgebildet werden, in Disziplinen wie Vermessung, Reparatur, Tourismus, Navigation und anderer, wobei dem Benutzer zusätzliche Informationen über die Szene geboten werden. 



  Ein weiterer Punkt der Erfindung ist die Gewährung eines Sichtsystems zur Betrachtung einer Landschaft, die Objekte enthält, welche im Zeitpunkt des Gebrauches noch nicht existieren, aber als zukünftige Teile der Landschaft geplant sind. 



  Ein weiterer Punkt der Erfindung ist die Gewährung eines Sichtgerätes zur Betrachtung einer Landschaft, welche Objekte enthält, die nicht mit konventionellen Sichtsystemen wie Kameras, Ferngläsern, Teleskopen, Videorecordern, HUD, HMD etc. gesehen werden können. 



  Ein weiterer Punkt der Erfindung ist die Gewährung eines Sichtgerätes, welches es erlaubt, ungewünschte Gegenstände der wirklichen Szene zu entfernen und durch computergenerierte, für den Benutzer wichtige Objekte zu ersetzen. 


 Kurze Beschreibung der Zeichnungen 
 



  Diese und andere Eigenschaften, Aspekte und Vorteile der vorliegenden Erfindung können bei der Betrachtung der folgenden Beschreibung, den angehängten Ansprüchen und den Zeichnungen besser verstanden werden: 
 
   Fig. 1 ist eine Zeichnung eines Benutzers der Erfindung, eine Szene, wie sie in Wirklichkeit vorkommt, und eine Szene, wie sie bearbeitet im Display der Erfindung sichtbar ist. 
   Fig. 2 ist die Zeichnung eines Strassenbildes einer Stadt (2a), wobei die Erfindung es dem Landvermesser erlaubt, andernfalls unsichtbare Details wie vergrabene Rohrleitungen und Abwasserkanäle zu sehen (2b). 
   Fig. 3 ist das Blockdiagramm der Komponenten und ihrer Verbindung untereinander, wie es aus der neuen Kombination in der Erfindung hervorgeht. 
   Fig. 4 ist ein weiteres detailliertes Blockdiagramm. 
   Fig. 5 ist eine elektro-optische Schemazeichnung einiger Systemkomponenten.

   
 


 Wege zur Ausführung der Erfindung 
 



  Die Erfindung stellt ein System zur Verfügung, mit dessen Einsatz ein bearbeitetes Bild hergestellt wird. In der Zeichnung in Fig. 1) wird ein Benutzer gezeigt, der durch ein portables System (1) der Erfindung in ein Tal blickt. Ein bearbeitetes Bild (3) wird dem Benutzer präsentiert und wird in die wirklichen Szene eingefügt. Das bearbeitete Bild kann Folgendes enthalten: Elemente, die noch nicht existieren, z.B. eine Brücke (4), repräsentativ für, zu der wirklichen Szene hinzugefügte Informationen; Elemente, die in Wirklichkeit existieren, aber im Endbild fehlen, z.B. Bäume zur rechten Seite der Brücke, repräsentativ für Informationen, die entfernt wurden; und schliesslich Elemente, deren ursprüngliche Erscheinungsform sich verändert hat. In Fig. 2 ist das Beispiel eines Bauvermessungsplanes gezeigt. Wie die Szene normalerweise aussieht, ist in Fig. 2(a) gezeigt.

   In Fig. 2(b) können die Trinkwasserleitungen (5), die zu den Häusern (7) führen, neben den Feuerhydranten (8) und den vergrabenen Abwasserkanälen leicht mit dem Display der Erfindung "gesehen" werden. 



  In der ersten vorgezogenen Darstellung der Erfindung enthält das elektro-optische Gerät eine Kamera (9), ein Positionsbestimmungsgerät (16), eine Lagebestimmungsmessgerät (15), einen Datenspeicher (12), einen  Computer (14) und ein Display (13). Bei der Kamera handelt es sich um ein elektro-optisches Gerät zum Einsatz zur Übertragung eines Lichtflusses aus dem Sichtfeld in ein optisches Bild in einem Bildfeld, der Konversion eines Lichtbildes in ein elektronisches Bild und der Übertragung des elektronischen Bildes zu dem Computer. Das Positionsbestimmungsgerät ist in der Lage, die Position der Kamera zu bestimmen; das Lagebestimmungsmessgerät ist in der Lage, die Verkippung der Achse zu bestimmen, die durch die optische Achse des Sichtfeldes der Kamera gegeben ist.

   Der Datenspeicher steht in Verbindung mit den Positions- und Lagebestimmungsmessgeräten, wobei die Werte der Lage und der Position den Ort oder die Orte im Datenspeicher angeben. Ferner steht er in Verbindung (39) mit dem Computer, wobei Bilddaten zu diesem übertragen werden können. Im Computer werden die elektronischen Bilder aus der Kamera mit den elektronischen Bildern (4) aus dem Datenspeicher verglichen, analysiert, bearbeitet und zur Darstellung eines einzelnen Bildes kombiniert. Der Computer steht in Verbindung mit dem Display, wobei die Information über die Position und Lage der Kamera relativ zur Szene dazu verwendet wird, um ein reales Bild der Szene relativ zur Position und der Lage der Kamera hervorzuheben. Eine detaillierte Beschreibung von jeder dieser Komponenten des Hauptgerätes folgt. 



  Für die beanspruchten Realisierungen der Erfindung ist vorhergesehen, dass der Kamerateil des Gerätes aus vier Hauptbestandteilen bestehen wird, die zu einer tragbaren, für den Benutzer (2) leicht handhabbaren Baugruppe (1) integriert werden. Diese beinhaltet: ein Linsengruppe für die optische Eingabe (38), eine Verwacklungssicherung, mindestens eine CCD-Kamera (20) und eine optische Zielvorrichtung (34). 



  Ein den Lichtstrom abbildendes Linsensystem kann in der tragbaren Kameraeinheit (1) montiert werden. Einachsige oder einäugige Systeme sind kommerziell erhältlich und werden üblicherweise in Geräten wie Camcordern und digitalen Fotokameras eingesetzt. Es ist vorzuziehen, dass das Objektiv über eine Zoom- und eine Autofokuseinrichtung verfügt; diese Systeme sind ausgereift. Ein Autofokussystem kann mit freiem Eingriff für den Benutzer durch einen Computer geregelt werden. Die Zoomvorrichtung kann ebenso elektronisch geregelt und manuell durch den Benutzer über einen elektrischen Schalter kontrolliert werden, oder sie kann auch durch den Computer, je nach bekannten Eigenschaften, speziell für eine gewählte  Szene geregelt werden. Die physikalischen Ausdehnungen des Aufnahmeobjektives legen das Bildfeld des Gerätes fest.

   Das Bildfeld ist variabel über die Zoomvorrichtung des Objektives. Informationen über das Bildfeld können dem Prozessor zur Verfügung gestellt werden, um in den Bildverarbeitungsroutinen Verwendung zu finden. 



  Bildstabilisierungseinrichtungen sind ebenso weitverbreitet in dem Bereich der elektronischen Fotografie. Die bekannten Systeme sind für die beanspruchten Realisierungen dieser Erfindung nützlich. Eine Verwacklungssicherung kann über ein piezoelektrisches Halbleiterelement geregelt werden, welches eine verzerrbares Prisma steuert. Bewegungsinformation von Messgyroskopen (35) kann Bewegungen meiden und das Steuersignal für die Prismen regeln. Das erfundene System kann dahingehend modifiziert werden, dass das Signal von jedem Gyroskop zur Kontrolle dem Rechner übergeben wird, der damit die Höhe und die Haltung des tragbaren Gerätes bestimmt.

   Dies kann für Systeme, die keinen Zugriff auf Signale des GPS haben, von besonderer Bedeutung sein, so z.B. für Unterseeboote oder für Systeme, die speziell für mikroskopische Anwendungen entwickelt wurden, wie für Operationen oder Mikromanipulatoren. Als Alternative zu den mechanischen Stabilisatoren kann eine elektronische Verwacklungssicherung eingesetzt werden, aber dadurch kann es zu Verlusten bei der Bildqualität kommen und in Situationen mit schnellen Bewegungen zu einem Verlust in der Kontinuität der Bilder. Eine elektronische Verwacklungssicherung kann auch nicht sofort dahingehend modifiziert werden, dass sie Bewegungsinformationen an den Prozessor liefern kann. 



  Nachdem das Lichtbild von einer Szene durch die Verwacklungssicherung stabilisiert ist, wird es auf mindestens ein CCD-Element fokussiert, welches sich in der Bildebene des Aufnahmeobjektives befindet. Eine mögliche Alternative stellen Siliziumzellen oder andere Aufnahmegeräte dar, aber CCDs sind vorzuziehen, weil deren Ausgang kompatibel mit dem elektronischen Computer sein kann, der die digitalen Daten verarbeitet. Der Lichtfluss aus der Szene wird in ein digitales, elektronisches Bildsignal, welches die Szene repräsentiert, umgewandelt. CCD-Elemente stehen auch leicht zur Verfügung und werden in modernen Bilderfassungsgeräten eingesetzt; standardisierte CCD-Elemente sind ohne Modifikationen oder nur mit kleineren Veränderungen für die vorliegende Form der Erfindung ausreichend. Die Kamera kann auf zwei verschiedene Wege ein Farbbild liefern.

   Es ist auch vorausgeplant, dass es nützlich sein kann, wenn CCD-Elemente für andere als dem menschlichen Auge sichtbare Anteile des Spektrums empfindlich sind. Zum Beispiel können manche Systeme dadurch  Vorteile haben, dass ihre CCD-Elemente für Infrarot-Aufnahmen ausgelegt sind. Der Gebrauch von IR-Geräten kann bei Anwendungen, wie z.B. der Brandbekämpfung und der Ackerbaukunde wichtig sein, bei welchen die wichtige Bildinformationen in Spektralbereichen ausserhalb des Sichtbaren liegen. 



  Ein Entfernungsmesser ist für eine Vielzahl von Systemfunktionen wichtig. Als erstes Aufgabe steht die Versorgung des Autofokus des Aufnahmeobjektives. Damit die Bilder scharf auf das CCD abgebildet werden, ist eine genaue Einstellung des Aufnahmeobjektives entsprechend der Entfernung des abzubildenden Objektes notwendig. Als zweite Funktion ist die Entfernungsangabe für den Prozessor wichtig, als sie Hinweise für die richtige Skalierung des wirklichen Bildes relativ zu den gespeicherten Daten liefert. Das Kamerabild und die Eingabe aus dem Datenspeicher werden kombiniert, weshalb eine Skalierung eine wichtige Vorraussetzung für die Qualität des endgültigen Bildes ist. Ein weiterer Einsatz, der dritte der optischen Entfernungsmessung, kann die Elimination ungewünschter Bildelemente sein.

   Zum Beispiel kann die Takelage eines Schiffes die Sicht auf das Spreizholz versperren, dann ist es möglich, dem Bildverarbeitungsprozessor die momentan wichtige Entfernung mitzuteilen. Der Prozessor kann dann Objekte entfernen, die sich nicht im ausgewählten Bereich befinden. 



  Ein Entfernungsmessgerät, z.B. ein Sonar- oder eine Ultraschallgerät, kann die Entfernung zwischen Kamera und den Objekten der Szene bestimmen. Es ist auch möglich, Laser oder Radarsysteme zu verwenden, aber diese sind aufwendiger und teurer. Der Computer kann die Entfernungsangaben direkt vom Entfernungsmesser empfangen oder er kann die Entfernungsangabe aus der Fokussierung und der Zoomeinstellung (18) der Aufnahmelinse bestimmen, welche von einer Computerroutine abgefragt werden können. Dies ist möglich, falls die Linse mit Wandlern ausgerüstet ist, welche die Fokussierung und die Zoomeinstellung des Objektives in ein für den Rechner lesbares elektrisches Signal verwandeln.

   Alternativ zu der aktiven Entfernungsmessung oder zusätzlich zu diesen ist es möglich, die Entfernung zu Objekten der Szene durch einen Vergleich von Bilddetails mit bekannten Elementen aus dem Datenspeicher zu vergleichen, die diesen Bilddetails entsprechen. Eine Veröffentlichung dieser Methode liegt in dem US-Patent #5 034 812, Rawlings, vor. Sobald Position und Höhe der tragbaren Kamera bekannt sind, kann ein wirkliches Bild dem Computer übergeben und von diesem analysiert werden. Bezüglich einer rechnergestützten topographischen Datenbasis kann die Position und damit die Entfernung und die Lage zu den vom Benutzer gewählten Elementen bestimmt werden.

   Ein  Beispiel: ein Objekt wie ein Leuchtturm, dessen Höhe vorher im Datenspeicher gespeichert wurde, kann im wirklichen Bild vermessen werden, so dass bei bekanntem Abbildungsmassstab des Objektives eine Entfernungsmessung möglich ist. Zur Erhöhung der Genauigkeit kann jede Bestimmung der Entfernung unabhängig voneinander oder in Kombination mit der Vielzahl der anderen durchgeführt werden. 



  Für die beanspruchten Realisierungen der Erfindung ist vorgesehen, dass die Positionsbestimmungseinheit des Gerätes ein globales Positionssystem, ein GPS-Empfänger (16) sein wird. Es gibt eine Vielzahl alternativer Positionsbestimmungseinheiten, die in anderen Realisationen der Erfindung eingesetzt werden können. Das schliesst Loran, Glonass und Omega ein, beschränkt sich aber nicht darauf. Da das GPS sehr genau ist und die Höhe mit liefert, ist es selbstverständlich für die Erfindung, das GPS zu wählen und von der zusätzlichen Präzision zu profitieren. Bei abgeschlossenen Systemen wie Untergrundarbeiten oder Unterseebooten kann das Positionsbestimmungssystem durch einfachere Versionen wie Triangulationsmessungen über bekannte Orte oder anderer Positionsmessverfahren ersetzt werden.

   Für Anwendungen im mikroskopischen Bereich wie z.B. der Untersuchung von Halbleiterkomponenten oder der Mikrosystemherstellung kann es von Vorteil sein, über ein Laserinterferometer die Position mit Subnanometergenauigkeit zu bestimmen. Die Erfindung ist unabhängig von den Details irgendeiner Positionsbestimmungseinheit, solange die Position bestimmt und an einen Computer übergeben werden kann. 



  Eine kleine, leichte und tragbare Kamera ist ein Ziel der Erfindung. Um dies zu erreichen, kann es erforderlich sein, den Hauptteil der Rechenkraft in eine separate Einheit zu packen, welche in Kommunikation mit der tragbaren Kamera steht. In dieser Anordnung ist es vorzuziehen, die Antenne (36) des GPS-Empfängers in die tragbare Kamera oder in direkte Nähe dazu zu bringen. Die sperrige Recheneinheit des GPS-Empfängers kann mit den anderen Computergeräten in einem Rucksack oder in einer stabilen Station untergebracht werden. Bei Einheiten, die in umbauten Plätzen benutzt werden, an denen das GPS-Signal vielleicht nicht empfangen werden kann, so z.B. auf der Brücke eines Schiffes, kann die Antenne an irgendwelchen anderen bekannten Plätzen relative zu der Kamera aufgestellt werden und  der bekannte und konstante Versatz dazwischen von der Rechenelektronik eliminiert werden. 



  In den beanspruchten Realisierungen der Erfindung ist vorhergesehen, die Einheit zur Bestimmung der Lage des Gerätes in einer von drei Alternativen zu realisieren. Jedes bestimmt die Richtung, die Neigung und die Verdrehung der tragbaren Kamera-Einheit. Ein in die tragbare Kamera eingebauter Flüssigkeitskompass (37) kann Richtungsangaben mit einer Genauigkeit von +/- 1 Grad liefern. Der Ausgang dieses Kompasses kann dem Computer zur Verfügung gestellt werden. Die Ausgänge der piezo-elektrischen Gyroskope der Verwacklungssicherung können auch dazu verwendet werden, mit dem Computer die Bewegung durch den Benutzer von einem Messpunkt aus zu berechnen. Der Messpunkt kann sich in Ruhe an einer bekannten Normalposition befinden oder durch die Beobachtung des Horizontes durch die tragbare Kamera festgelegt werden.

   Eine Alternative bietet ein dreiachsiges Magnetometersystem, welches ein zweiachsiges elektrolytisches Neigungsmessgerät enthält. Dieser Wandler befindet sich mit in der Kamera und versorgt den Computer mit vollständigen Lageangaben. Als weitere Alternative zur Berechnung der Lage (eingeschlossen der Richtung) aus einem bekannten Messpunkt kann ein piezo-elektrisches Gyroskop verwendet werden. Die Auswahl dieser Alternative kann durch den niedrigeren Preis getroffen werden, wie auch durch die Möglichkeit der Anwendung in Magnetfeldern, die genaue Richtungsmessungen ausschliessen (z.B. in der Nähe elektrischer Schweissgeräte; grosser Transformatoren etc.). Dabei ist zu beachten, dass die Verwacklungssicherung schon die erforderlichen piezo-elektrischen Gyroskope enthält.

   Es wäre möglich und wünschenswert, diese Alternative in allen drei oben genannten Fällen als eine zusätzliche Methode zur Erfassung der Lage zu gewähren. 



  In den beanspruchten Realisierungen der Erfindung ist es vorgesehen, dass der Rechenprozessor des Gerätes ein Mikrocomputer mit sehr schnellen Graphik- und Videokarten ist. 



  Wegen dem fortgeschrittenen Status der Entwicklung von Computern sind viele der notwendigen Komponenten eines Computers, z.B. ein Bildspeicher (22) und umfangreiche Cache-Speicher (23) bereits entwickelt. Die in Videospielen und Computeranimationen benutzten Rechner und Software bieten sich von selbst den vorliegenden Aufgaben an und können sofort diesen Aufgaben angepasst werden. Da die Aufgaben der vorgestellten Erfindung sehr einzigartig sind, wird auch die notwendige Software zur Bewältigung dieser Aufgaben notwendigerweise einzigartig sein. Es ist vorgesehen, dass das komplizierte Betriebssystem ("Instruction set"), welches entweder in Hardware, wie z.B. ROM, oder mit Software implementiert wird, gesetzlich geschützt sein wird.

   Es ist wahrscheinlich, über anwendungsspezifische Betriebssysteme und über viele Geräte mit jeweils eigenen, speziellen Instruktionsregeln zu verfügen. 



  In den beanspruchten Realisierungen der Erfindung ist vorhergesehen, dass es sich bei dem Datenspeicher des Gerätes um einen Massenspeicher wie z.B. eine CD-ROM, handeln wird. Der Datenspeicher kann vorprogrammierte Informationen bezüglich spezieller Szenen enthalten, die für den Benutzer von Interesse sind. Die Positionsbestimmungseinheit und die Lagebestimmungseinheit regeln den Zeiger auf den Datenspeicher. In der einfachsten Realisierung ist der Datenspeicher über eine orthogonale Matrix aus den beiden Variablen adressierbar. Die Werte einer Position Pn und die Lage An bestimmen eindeutig eine entsprechende Szene SCENE Pn,AnÜ. In fortgeschrittenen Versionen kann auch die Entfernung wichtig sein und die Entfernungsvariable eine dritte, orthogonale Variable in einer dreidimensionalen Matrix definieren: SCENE Pn,An,RnÜ.

   Die durch Rn definierte Variable teilt dem Computer mit, in welcher Ebene senkrecht zur Achse der Kamera sich die wichtige Information befindet. In einem noch weiter entwickelten System kann die Vergrösserung Mn in ähnlicher Weise eine vierdimensionale Matrix festlegen: SCENE Pn,An,Rn,MnÜ. Viele andere Faktoren können zur Kontrolle des Weges der Datenspeicherung und des Datenabrufes benutzt werden. Jede der für die vorliegenden Aufgaben speziellen Methoden sind Spezialfälle des allgemeinen Falles, in dem Daten bezüglich einer Szene dazu aus einem Datenspeicher abgerufen werden, um die betrachtete Szene zu identifizieren. 



  In den beanspruchten Realisierungen der Erfindung ist vorhergesehn, dass es sich bei dem Display (13) des Gerätes um ein übliches LCD-Element (32) handelt. Diese sind gegenwärtig die hellsten und schnellsten erhältlichen Displays. Sie werden häufig in Verbindung mit Video-Anwendungen eingesetzt. Alternativ ist es möglich, Plasma-Displays, Elektroluminiszenz oder irgendwelche anderen der vielen möglichen Displays zu verwenden. Die spezielle Form des Displays ist unwichtig und kann von der Anwendung abhängen, ohne von der Hauptsache der Erfindung abzuweichen. Eine wichtige Eigenschaft des Displays ist die Konversion eines elektrischen Signals, welches von der Videokarte (28) des Rechners stammt, in ein optisch sichtbares Bild, welches ein bearbeitetes wirkliches Bild der Szene darstellt, auf welche die Kamera gerichtet ist.

   Es ist ferner eine wichtige Eigenschaft des Displays der Erfindung, dass es mit der Wirklichkeit orientiert ist und, wie in Fig. 1 gezeigt wird, deshalb bezüglich der optischen Achse der Kamera justiert ist. 



  In den beanspruchten Realisierungen der Erfindung ist ferner vorhergesehen, dass das Gerät Apparate wie z.B. Kontrolltasten zur Benutzereingabe (29) zur Wechselwirkung mit laufenden Computerprogrammen und zur Spezifikation der Information, die für den weiteren Programmablauf benötigt werden, enthalten. Hinzu kommen, ebenso zur Kontrolle des Programmablaufes und zur Weitergabe von Informationen an den Benutzer, Geräuschwandler (31) beiderlei Art, wie z.B. Mikrophone und Ausgabegeräte wie Lautsprecher. Gewöhnliche Ausrüstungen, die bekannt sind zur Verbindung von Sichtgeräten an menschliche Augen und die physikalischen Bedingungen, wie z.B. Stative, Abtönungen der Linsen, Okkulararretierungen (30) und vieles mehr, sind alle als mit dem System der Erfindung als kompatibel berücksichtigt. 



  Die Erfindung gewährleistet auch Methoden zur Erzeugung eines bearbeiteten Bildes. 



  In den beanspruchten Realisierungen der Erfindung enthält die Methode des Sichtsystemes:
 einen Aufnahmeschritt, einen Konversionsschritt, einen Positionsbestimmungsschritt, einen Schritt zur Bestimmung der Lage, einen Datenabruf,  einen Verarbeitungsschritt und einen Wiedergabeschritt. Im Aufnahmeschritt werden die Objekte der Szene über das Licht, welches von den Objekten ausgeht und mindestens durch eine Linse eingefangen wird, auf die zweidimensionale Bildebene abgebildet, wo sie ein Bild in einer Ebene formen. Im Digitalisierungsschritt wird die zweidimensionale optische Eingabe in ein elektrisches Signal gewandelt. Im Positionsbestimmungsschritt wird die Position der Kamera relativ zu einem beliebigen Referenzpunkt bestimmt. Bei der Bestimmung der Lage wird die Lage der Kamera relativ zu einer beliebigen Richtung bestimmt.

   Im Datenabrufschritt werden Daten aus dem Datenspeicher in Übereinstimmung mit den Messergebnissen der beiden vorhergehenden Schritte abgerufen. Im Verarbeitungsschritt werden das Bild des Digitalisierungsschrittes und die Daten des Datenabrufschrittes zum endgültigen Bild kombiniert. Im Wiedergabeschritt wird das endgültige elektronische Bild in ein optische Bild konvertiert und so wiedergegeben, dass es zur wirklichen Szene justiert ist und der wirklichen Szene entspricht. Eine detaillierte Beschreibung jeder der Hauptschritte wird im Folgenden gegeben. 



  Im Aufnahmeschritt wird eine Kamera des Gerätes in die Richtung der Szene gerichtet und ein (Photonen-)Bild durch die Linse geformt. Das (Photonen-)Bild wird auf einem elektronischen Gerät erzeugt, welches in die Bildebene des Kameraobjektives gebracht wurde. Das gewünschte Sichtfeld kann mit der Zoom-Funktion des Objektives verändert werden, um selektive Teile der Szene auszuwählen. Der Aufnahmeschritt wird in den beanspruchten Realisierungen der Erfindung als kontinuierlich angenommen, und das Richten auf verschiedene Objekte wird in einem kontinuierlich erneuerten Bild resultieren. Echt-Zeit-Funktionen wie z.B. "Kameraschwenkungen", bei denen viele Aufnahmeschritte in rascher Folge vorkommen, sind vollständig eingeschlossen. Der Aufnahmeschritt kann durch den Benutzer beeinflussbar sein. 

   Falls eine vorbestimmte Entfernung durch eine Benutzereingabe gewählt wurde, kann sich der Computer anpassen und die Linse in Übereinstimmung mit der Eingabe feststellen. Dies wird in dem Beispiel deutlicher, in dem ein Benutzer Elemente eines entfernten Objektes sehen möchte, die automatische Entfernungsmessung sich jedoch nach einigen Objekten im Vordergrund richtet. Ein gewählter Bereich kann die Aufnahme von ungewünschten Vordergrundobjekten verhindern. 



  Das Verfahren der Erfindung unterscheidet sich von den Methoden wie HUDs und HMDs dadurch, dass die optische Wiedergabe der Szene in ein elektrisches Signal gewandelt wird, welches von einem Computer bearbeitet werden kann. Das Bild der wirklichen Szene kann in eine Bildfolge in gewöhnlichen Video-Raten konvertiert werden. Auf diese Weise sind keine Änderungen an existierenden Videoausrüstungen erforderlich und diese Ausrüstungen können leicht in das erfundene System eingebaut werden. Das digitale Signal der CCD ist insbesondere deshalb wünschenswert, weil bereits eine grosse Menge an mit CCDs kompatibler verarbeitender Hardware existiert. Die pixellierte Repräsentation von Bildern des CCD-Elementes ist auch kompatibel zu der pixellierten Repräsentation der Bilder auf den LCD-Displays. Das digitale Bild der CCD kann direkt an die Computerprogramme übergeben werden. 



  Die Position der Kamera kann in globalen (makroskopischen) Anwendungen mit GPS-Verfahren und in mikroskopischen Anwendungen mit Laser-Interferometrie festgestellt werden. Der Positionsbestimmungsschritt dient der Bestimmung des Ortes der Kamera relativ zu einem beliebigen Punkt und der Übergabe des Resultates dieser Messung an den Computer, so dass der Computer feststellen kann, wo im Datenspeicher die Daten gespeichert sind, die zu der Szene korrespondieren, auf welche die Kamera gerichtet ist. 



  Die Lage der optischen Achse der Kamera relativ zu allen drei Rotationsachsen wird gemessen, um die Richtung zu bestimmen, auf welche die Kamera zeigt. Dabei wird ferner identifiziert, auf welche Szene die Kamera blickt und was im Bildfeld der Kamera erscheint. Die Kenngrösse der Lage liefert typischerweise einen der Zeiger auf den Datenspeicher und damit, in Verbindung mit der Kenngrösse der Position, eindeutig die darin gespeicherten Daten. Die Lage kann in verschiedenen Anwendungen unterschiedlich erkannt werden. Bei Anwendungen in der Seefahrt können  "Richtung" und ein einbegriffener Horizont eindeutig die Szene bestimmen. Dies ist als Spezialfall der Lage in allen drei Rotationsachsen berücksichtigt. In vielen Fällen wird die Höhe berücksichtigt werden müssen, damit eine Szene zuverlässig identifiziert werden kann.

   Die hauptsächliche Funktion der Bestimmung von Position und Lage ist es, dem Computer genügend Information zu geben, um unzweideutig eine Szene zu identifizieren. 



  Nach durchgeführter Bestimmung von Position und Lage steht ein Minimum an Informationen zur Verfügung, um einen Ort im Datenspeicher zu spezifizieren. Für einige einfache Anwendungen stellt dies genügend Informationen dar, um gespeicherte Daten abrufen zu können. Diese können mit dem wirklichen Bild kombiniert werden, welches von der Kamera produziert wird, die auf die Szene, welche der gemessenen Position und Lage entspricht, gerichtet ist. In fortgeschrittenen Anwendungen können auch andere Faktoren, wie z.B. die Entfernung zum Objekt und die Vergrösserung, spezifiziert werden müssen, um die abzurufenden Daten zu spezifizieren. Nachdem die Daten abgerufen wurden, werden sie dem Prozessor übermittelt, um mit dem wirklichen Bild kombiniert zu werden. 



  Wirkliche Bilddaten werden vom Prozessor aus dem Konvertierungsschritt empfangen und bearbeitete Daten werden vom Prozessor aus dem Datenabrufschritt empfangen. Techniken, die Eigenschaften erkennen, und Bildverarbeitungsroutinen werden auf zwei Arten von Informationen angewendet, um schliesslich ein Bild zu erhalten, welches die gewünschte Kombination aus den beiden darstellt. Bestimmte ungewünschte Information kann aus dem Bild der wirklichen Szene entfernt werden. Wichtige Information, die nicht im Bild der wirklichen Szene erscheint, kann in den Daten gefunden werden und im endgültigen Bild zur Geltung gebracht werden. 



  Ein bearbeitetes wirkliches Bild, bestehend aus wirklicher Bildinformation und Daten aus dem Datenspeicher, wird im Prozessor zusammengesetzt und im Standard-Videoformat dem Display-Element übergeben. Das endgültige Bild wird dann in genau zur realen Szene justierter und in perfekter Übereinstimmung mit der wirklichen Szene auf eine Art und Weise dargestellt, die es dem Benutzer erlaubt, die Objekte und Eigenschaften zu "sehen", wie sie sonst in anderen Sichtgeräten nicht sichtbar sind. Bearbeitete wirkliche Bilder können mit Videoraten erzeugt werden, so dass eine Wiedergabe entsteht, welche eine mit der vom Rechner erzeugten Bearbeitung versehene Betrachtung in Echtzeit gewährleistet. 



  Trotzdem die vorliegende Erfindung in beachtlicher Genauigkeit mit Referenzen auf bestimmte beanspruchte Versionen der Erfindung beschrieben wurde, sind andere Versionen möglich. Deshalb sollten die Aussage und der Umfang des angehängten Anspruches nicht auf die hier enthaltenen Versionen beschränkt werden. 



  In Übereinstimmung mit jeder der beanspruchten Realisierungen der Erfindung wird ein Apparat und eine Methode der Realisation eines Sichtgerätes gewährleistet. Es ist klar ersichtlich, dass jede der oben beschriebenen Realisierungen beides, sowohl einen Apparat wie auch die Verfahren einschliessen, und dass der Apparat und die Verfahren einer beanspruchten Realisierung sich von dem Apparat und der Verfahren in einer anderen Realisierung unterscheiden können. 

Claims (8)

1. Elektro-optischer Apparat zur Herstellung eines Bildes einer realen Szene, dadurch gekennzeichnet, dass das Bild bezüglich der Szene so angeordnet ist, dass die Richtungen oben, unten, links und rechts im Bild direkt mit den Richtungen oben, unten, links und rechts der Szene korrespondieren und die Normalenrichtung der Bildebene auf die Mitte der Szene gerichtet ist und dass besagtes Bild von einem Datenspeicher abgerufene Informationen beinhaltet, deren Informationen der Position und Lage des Apparates zugeordnet sind.

2. Apparat nach Anspruch 1, dadurch gekennzeichnet, dass besagtes Bild durch ein Aufnahmesystem generierte Informationen beinhaltet und dass die Informationen aus einem Datenspeicher abrufbar sind und die Informationen aus dem Datenspeicher der Position und Lage des Apparates zugeordnet sind.

3.

Apparat nach Anspruch 2, dadurch gekennzeichnet, dass er ein Aufnahmesystem; ein Positionsbestimmungssystem; ein Lagebestimmungssystem; einen Datenspeicher; einen Computer; und ein Display umfasst, wobei besagtes Aufnahmesystem eine als Symmetrieachse auftretende optische Achse hat und damit die Blickrichtung definiert; ein Linsensystem symmetrisch zu der das Bildfeld definierenden Achse, und einen CCD-Chip ("Charge coupled device") im Bildfeld besitzt; besagtes Positionsbestimmungssystem einen Referenzpunkt bezüglich des besagten Aufnahmesystems aufweist; besagtes Lagebestimmungssystem eine die Blickrichtung definierende Referenzrichtung bezüglich des besagten Aufnahmesystems aufweist;

besagter Datenspeicher eine Speicheradressierung mit vorab aufgezeichneten Daten aufweist, sowie eine Vielzahl von den Standort indenti fizierenden, orthogonalen Variablen, eine Zeiger-Antwort mit den Werten von Position und Lage bestimmenden Geräten, die wiederum spezielle Speicherplätze mit aufgezeichneten Daten übereinstimmend mit der realen Szene ansprechen; besagter Computer ist ein auf einen Mikroprozessor basierender Rechner vom Typ Personalcomputer, ist kompakt und vom Anwender tragbar, ist elektronisch mit dem Aufnahmesystem, dem Positionssystem, dem Lagebestimmungssystem, der Datenbank und dem Display verbunden, hat graphische und bildverarbeitende Fähigkeiten;

und besagtes Display hat eine Normale senkrecht zur Displayebene, die Richtung der Normalen ist kollinear mit der Symmetrieachse des Aufnahmesystems, besagtes Display kommuniziert mit besagtem Computer.

4. Apparat nach Anspruch 2, der beinhaltet: ein Aufnahmesystem; ein Positionsbestimmungssystem; ein Lagebestimmungssystem; einen Datenspeicher einen Computer; und ein Display, wobei das Aufnahmesystem auf den Einfall von Licht reagiert und die Fähigkeit besitzt, das Licht in elektronische Signale, die besagter Computer verarbeiten kann, umzuwandeln, das Lagebestimmungssystem besitzt die Fähigkeit, die Lage des Aufnahmesystems, wie sie durch die Achse des Aufnahmesystems definiert wird, zu bestimmen, und gibt einen die Lage repräsentierenden Wert an den Computer;

der Datenspeicher besitzt die Fähigkeit, vorher aufgezeichnete Daten zu speichern, welche mit Objekten korrespondieren und welche Objekte repräsentieren, von denen bekannt ist, dass sie sich im augenblicklichen Blickfeld des durch seine aktuelle Position und Lage definierten Aufnahmesystems befinden, diese Daten aufzurufen und an den Computer weiterzuleiten;

der Computer besitzt die Fähigkeit, Signale des Aufnahmesystems und des Datenspeichers zu empfangen, diese Signale so zu vereinigen, dass ein gemischtes Bildsignal erzeugt wird und dieses gemischte Bild an das besagte Display weiterzuleiten; das Display besitzt die Fähigkeit, ein vom besagten Computer empfangenes gemischtes Bild in ein für den Benutzer sichtbares physikalisches Signal, das bezüglich der Achse der Blickrichtung ausgerichtet ist, umzuwandeln, das besagte Aufnahmesystem des elektrooptischen Apparates erlaubt es dem Benutzer, seine Umgebung mit computergeneriert verbesserten oder erweiterten und bezüglich des normalen Blickfeldes des Benutzers ausgerichteten Bildern zu sehen.

5. Apparat nach Anspruch 3, bei dem das Display in ein Sichtgerät vom Typ Binokular integriert ist, hat einen optischen Weg, korrespondierend zu den beiden Augen

6.

Verfahren zum Betrieb eines Apparates nach Anspruch 1, dadurch gekennzeichnet, dass ein Bild im Display gezeigt wird, das Daten aus dem Datenspeicher enthält, die speziell der Position und Lage der Bildebene zugeordnet werden

7. Verfahren nach Anspruch 6, wobei das Bild zusätzlich Daten eines Aufnahmesystems beinhaltet und eine Mischung von Daten des Aufnahmesystems und des Datenspeichers ist, wobei die Daten des Datenspeichers speziell der Position und Lage der Bildebene zugeordnet werden.

8.

Verfahren nach Anspruch 7, beinhaltend einen Akquisitionsschritt; einen Umwandlungsschritt; einen Positionsbestimmungsschritt; einen Lagebestimmungsschritt; einen Datenaufrufschritt; einen Prozessschritt; und einen Display- oder Projektionsschritt; wobei im Akquisitionsschritt die Objekte einer realen Szene durch Abbildung mit einer ein Linsensystem und eine Bildebene beinhaltenden Kamera aufgezeichnet werden, und das akquirierte Bild in einem Umwandlungsschritt in ein elektronisches Signal umgewandelt wird; im Umwandlungsschritt das in die Kamera einfallende optische Signal von einem Licht-Bild in der Bildebene der Kamera in ein elektronisches, vom Computer im Prozesschritt verarbeitbares Signal umgewandelt wird; im Positionsbestimmungsschritt die Position der Kamera bestimmt wird; im Lagebestimmungsschritt die Lage der Kamera bestimmt wird;

im Datenaufrufschritt spezielle Daten des Datenspeichers vom Computer während des Prozessschritts aufgerufen werden, wobei die Daten der Position und Lage der Kamera, wie im Positions- und im Lagebestimmungsschritt bestimmt, zugeordnet sind; im Prozessschritt das elektronische Signal aus dem Umwandlungsschritt und die Daten des Datenaufrufschritts vom Computer verarbeitet und zu einem gemischten Bild zusammengesetzt werden;

im Display oder Projektionsschritt das zusammengesetzte gemischte Bild in ein zweidimensionales optisches Bild umgesetzt wird, das vom Benutzer (Mensch) gesehen werden kann und so gezeigt wird, dass die Richtungen oben, unten, links und rechts des gezeigten Bildes mit oben, unten, links und rechts der realen Szene direkt korrespondieren, die Normale des gezeigten Bildes in Richtung der Mitte der Szene zeigt und bezüglich der realen Szene übereinstimmt.