-
Die
vorliegende Erfindung bezieht sich auf ein Bildausschneide-/Anzeigesystem
zum Ausschneiden und Anzeigen von Bildern, die ein Benutzer aus
einem Weitraumansichtsbild benötigt.
-
Es
besteht ein Bedarf an Außenansichtsdaten,
die auf Außenweitraumansichtsbildern
beruhen, die von einer Kamera, usw. aufgenommen wurden.
-
Solche
Außenansichtsdaten
sind für
Fahrzeugbesatzungen hilfreich, weil mit Ausnahme eines Piloten (Fahrers)
oder Copiloten (Beifahrers) in einem Fahrzeug wie einem Automobil,
einem Zug oder einem Flugzeug, die Außenansichten aufgrund der Positionen
der Besatzungsmitglieder sehr eingeschränkt oder gänzlich unsichtbar sind.
-
Die
Außenansichtsdaten
sind auch für
Fahrer oder Piloten hilfreich, weil Außenansichtsdaten, die einen
weiteren Winkel umfassen als die zum normalen Fahren oder Fliegen
erforderlichen Ansichten, für
eine sicherere und gefahrlosere Fahrt bzw. einen sichereren und
gefahrloseren Flug sorgen.
-
Außenansichtsdaten
werden erhalten, indem weiträumige,
kreisartige, originale Außenbilder,
die von einer einzelnen Kamera mit einem beweglichen Spiegel aufgenommen
wurden, ohne Verzerrung und Ausschneiden in Bilder umgesetzt werden
und ein Teil der umgesetzten Bilder angezeigt wird. Solche Daten
werden aber auch dadurch erhalten, dass weiträumige Originalbilder von einer
einzelnen Kamera mit einer Fischaugenlinse aufgenommen werden, die
Bilder an ausgewählten
Ansichtspunkten ausgeschnitten und über ein Netz an mehrere Benutzer
auf einem Bildschirm ausgegeben werden.
-
Die
US 5,657,073 bezieht sich
auf ein Bildverarbeitungssystem zur Herstellung eines panoramischen
oder panosphärischen
Bilds, indem eine beliebige Anzahl gleichzeitig aufgenommener, sich überlagernder
Bilder nahtlos ineinandergefügt
werden, die dann gemeinsam ein hemisphärisches oder größeres Blickfeld
umfassen.
-
Die
US 5,703,604 bezieht sich
auf Panoramafernsehen und optische Anzeigesysteme, die ein bewegliches
Auswahlfenster aufweisen, und sie bezieht sich auch auf Transformationsverfahren
für codierte
Daten, einschließlich
der Umsetzung anhand von Nachschlagtabellen, und auf Speicheradressenherstellung,
Adressierung und Speicherzugriffssteuerverarbeitung.
-
Es
ist jedoch schwierig, diese Bilder je nach Bedarf in Echtzeit an
Benutzer auszugeben. Darüber hinaus
führt das
Ausschneiden eines Teils von Weitraumbildern, die von einer einzelnen
Kamera aufgenommen wurden, zu einer Abnahme bei der Auflösung der
Ausschnittbilder, was die Schwierigkeit hervorruft, den Benutzern
qualitativ hochwertige Bilder bereitzustellen.
-
ZUSAMMENFASSUNG
DER ERFINDUNG
-
Eine
Aufgabe der vorliegenden Erfindung besteht darin, ein Bildausschneide-/Anzeigesystem bereitzustellen,
das mehreren Benutzern zeitgerecht qualitativ hochwertige Bilder
mit Abschnitten je nach Bedarf aus einem einzelnen Weitraumansichtsbild bereitstellt.
-
Die
vorliegende Erfindung stellt ein wie durch Anspruch 1 dargelegtes
Bildausschneide-/Anzeigesystem bereit.
-
KURZE BESCHREIBUNG
DER ZEICHNUNGEN
-
1 zeigt
ein Blockschema eines Bildausschneide-/Anzeigesystems nach der vorliegenden Erfindung;
-
2 stellt
eine Kameraanordnung nach der vorliegenden Erfindung dar;
-
3 stellt
ein Ablaufdiagramm dar, das die Bildzusammenstellungsverarbeitung
nach der vorliegenden Erfindung angibt; und
-
4 stellt
die Verarbeitung von der Kombination von Bildern bis zum Bildausschneiden
dar.
-
AUSFÜHRLICHE
BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
-
Bevorzugte
Ausführungsformen
nach der vorliegenden Erfindung werden nun mit Bezug auf die beigefügten Zeichnungen
offenbart.
-
1 zeigt
ein Blockschema eines Bildausschneide-/Anzeigesystems 1 nach
der vorliegenden Erfindung.
-
Das
Bildausschneide-/Anzeigesystem 1 schneidet Bilder aus einem
einzelnen Weitraumbild mit hoher Auflösung an von Benutzern je nach
Bedarf ausgewählten
Stellen aus, und gibt die qualitativ hochwertigen ausgeschnittenen
Bilder sofort an die Benutzer aus.
-
Das
System 1 ist in einem relativ kleinen Luftfahrzeug wie
einem Helikopter installiert, der mit mehreren Bildaufnahmeeinrichtungen,
wie etwa einer Tageslichtkamera, einer Infrarotkamera, einer Millimeterwellen-Kamera,
einem Laserradar und einem Millimeterwellen-Radar ausgestattet ist.
Es wird ein Weitraumbild mit hoher Auflösung erzeugt, indem mehrere,
durch diese Bildaufnahmeeinrichtungen aufgenommene Bilder aufeinanderfolgender
Sichtbereiche kombiniert werden.
-
Im
Einzelnen ist das Bildausschneide-/Anzeigesystem 1 mit
mehreren Kameras 2 als Einrichtungen zum Aufnehmen von
Bildern aufeinanderfolgender Sichtbereiche versehen, einer Verzerrungsbildkorrektureinrichtung 3,
um eine Verzerrung von Bildern zu korrigieren, die von der Kamera 2 aufgenommen
wurden, einer Bildzusammenstellungseinrichtung 4 zum Zusammenstellen
oder Kombinieren der Bilder, um ein einzelnes Weitraumansichtsbild herzustellen,
einem Bildspeicher 5 zum Speichern des Bilds, das von der
Bildzusammenstellungseinrichtung 4 hergestellt wurde, einer
Bildausschneideeinrichtung 10, um an Stellen, die für jedes
der Besatzungsmitglieder erforderlich sind, Bilder aus dem gespeicherten
einzelnen Weitraumansichtsbild auszuschneiden, und einer Anzeigeeinrichtung 20 mit
einer Helmanzeige (HMD) 21, die an jedem Helm der Besatzungsmitglieder
angebracht ist, um Bilder an einem Ansichtspunkt des Besatzungsmitglieds
anzuzeigen, und einer Kopfbewegungserfassungseinrichtung 22,
die an der HMD 21 befestigt ist, um die seitlichen und
vertikalen Positionen des Kopfs jedes Besatzungsmitglieds als Ansichtspunktdaten
zu erfassen und auszugeben.
-
Die
HMD 21 ist eine Anzeige mit einem durchschaubaren Display
wie etwa einer transparenten Flüssigkristallanzeige,
durch die tatsächliche
Ansichten durch die Bilder aus der Bildausschneideeinrichtung 10 hindurch
gesehen werden können.
Die Ansichtspunktdaten für
jedes der Besatzungsmitglieder können
durch einen Sensor ermittelt werden, der anstelle der Kopfbewegungserfassungsvorrichtung 22 die
Augapfelbewegung jedes der Besatzungsmitglieder erfasst.
-
Die
Bildausschneideeinrichtung 10 ist mit einem Einstellungsabschnitt 11 für die Bildausschneideposition
versehen, um eine Bildausschneideposition für jedes der Besatzungsmitglieder
auf dem einzelnen Weitraumansichtsbild auf Grundlage der Ansichtspunktdaten
aus der Kopfbewegungserfassungseinrichtung 22 jedes der
Besatzungsmitglieder einzustellen, einem Bildausschneideabschnitt 12,
um Bilder auf Grundlage der Bildausschneideposition auszuschneiden,
die vom Einstellungsabschnitt 11 eingestellt wurde, um
die ausgeschnittenen Bilder für jedes
der Besatzungsmitglieder anzuzeigen, und einem Bildvergrößerungsanpassungsabschnitt 13,
um die Vergrößerung jedes
ausgeschnittenen Bilds im Ansprechen auf ein Signal aus einem Bildvergrößerungseinstellungsabschnitt 6 anzupassen.
-
2 stellt
eine Frontkamera 2a, eine linke Kamera 2b und
eine rechte Kamera 2c dar, insgesamt also drei Kameras,
die an einem Helikopter 100 installiert sind.
-
Diese
drei Kameras sind so angeordnet, dass die optischen Achsen der Kameras 2a, 2b und 2c einander
in Bezug auf die Mitte eines Cockpits, usw. überschneiden.
-
Bei
den Bildaufnahmebereichen für
die Kameras 2a, 2b und 2c handelt es
sich um eine Front-, eine linke bzw. eine rechte Ansicht, die durchgehend sind
und sich um den Helikopter 100 herum überlagern.
-
Bilder,
die von den verschiedenen Kameras 2 aufgenommen werden,
werden von der Verzerrungsbildkorrektureinrichtung 3 auf
Verzerrung hin korrigiert und an die Bildzusammenstellungseinrichtung 4 übertragen,
um ein einzelnes Weitraumansichtsbild herzustellen.
-
Das
einzelne Weitraumansichtsbild hat eine hohe Auflösung, die, wenn es von den
drei Kameras 2a, 2b und 2c aufgenommen
wurde, fast dreimal höher
ist als dies der Fall bei einem Weitraumansichtsbild wäre, das
von einer Einzelkamera mit Fischaugenlinse oder beweglichem Spiegel
aufgenommen wird, wenn die drei Kameras und die einzelne Kamera
dieselbe Auflösung
haben.
-
Das
Bildausschneide-/Anzeigesystem 1 nach der vorliegenden
Erfindung bietet somit jedem der Besatzungsmitglieder qualitativ
hochwertige Bilder durch Ausschneiden an für jedes der Besatzungsmitglieder
erforderlichen Positionen aus einem einzelnen Weitraumansichtsbild
mit hoher Auflösung.
-
3 ist
ein Ablaufdiagramm, das eine Bildzusammenstellungsverarbeitung angibt,
die von der Bildzusammenstellungseinrichtung 4 durchgeführt wird.
-
Im
Schritt 1 wird ein Bild oder Farbton, den zwei zusammenzustellende
Bilder gemeinsam haben, extrahiert, um einen sich überlagernden
Abschnitt der Bilder zu erkennen. Als Nächstes wird in den Schritten
S2 und S3 jedes Bild zur Vergrößerung und
Position als Vorverarbeitung zur Bildzusammenstellung angepasst,
um Unterschiede bei der Größe oder
Position eines Objekts zu korrigieren, die aufgrund einer Veränderung
bei der Brennweite oder dem Sichtwinkel jeder Kamera aufgetreten
sind. Die sich überlagernden
Abschnitte der beiden Bilder werden im Schritt S4 zu einem Bild zusammengefasst. Die
sich überlagernden
Abschnitte werden im Schritt S5 beispielsweise durch Abstufungsverarbeitung
angepasst, um ein natürliches
Bild mit fast keinen sichtbaren Stößen zwischen den beiden Bildern
herzustellen.
-
Die
vorstehende Bildzusammenstellung wird so durchgeführt, dass
mit einem von einer ersten Bezugskamera aufgenommenen Bild, ein
Bild, das von der nächsten
Kamera aufgenommen wurde, kombiniert wird, wenn „n" Bilder, die von „n" Kameras (2) aufgenommen wurden,
kombiniert werden. Ein Bild der weiteren nächsten Kamera wird dann mit
dem zusammengestellten Bild kombiniert, was (n – 1) Mal wiederholt wird. So
entsteht ein Weitraumansichtsbild mit hoher Auflösung, das sich aus den „n" Bildern zusammensetzt
und im Bildspeicher 5 gespeichert wird.
-
Das
im Speicher 5 gespeicherte Weitraumansichtsbild wird an
die Bildausschneideeinrichtung 10 übertragen.
-
Die
Ansichtspunktdaten aus der Kopfbewegungserfassungseinrichtung 22 jedes
Besatzungsmitglieds wird durch den Einstellungsabschnitt 11 für die Bildausschneideposition
auf die Koordinate des aus dem Speicher 5 übertragenen
Bilds umgesetzt, um für
jedes der Besatzungsmitglieder eine Bildausschneideposition festzulegen.
-
Ein
Bild wird aus dem Weitraumansichtsbild an der festgelegten Position
mit einer Größe ausgeschnitten,
die der Anzeigeleistung jeder HMD 21 entspricht.
-
Das
ausgeschnittene Bild wird zur Vergrößerungsanpassung an den Bildvergrößerungsanpassungsabschnitt 13 übertragen.
-
Das
in der Vergrößerung angepasste
Bild wird an die HMDs 21 übertragen und in für jedes
der Besatzungsmitglieder erforderlichen Richtungen angezeigt.
-
Jedes
der Besatzungsmitglieder kann über die
HMD 21 tatsächliche
Ansichten durch das angezeigte Bild hindurch sehen. Der Anzeigebildschirm
in der HMD 21 wird auch dann nicht dunkel, wenn sich jedes
der Besatzungsmitglieder von dem aus einer Kombination von Bildern
der verschiedenen Kameras 2 hergestellten Weitraumansichtsbild
weg zu einer anderen Position wendet, wodurch die Sichtfelder für die Besatzungsmitglieder
sichergestellt werden.
-
Für ein Luftfahrzeug
wie einen Helikopter, können,
wie in 1 durch in unterbrochenen Linien dargestellte
Blöcke
angegeben ist, entscheidende Daten auf Grundlage von Geschwindigkeit,
Höhe, Position,
Fluglage, usw. von Sensoren generiert und auf der HMD 21 als
das Bild überlagernd
angezeigt werden.
-
4 stellt
die vorstehende Verarbeitung von der Herstellung eines Weitraumansichtsbilds
mit hoher Auflösung
durch eine Zusammenstellung von linken, frontalen und rechten Bildern
aus den drei Kameras 2a, 2b bzw. 2c bis
zum Bildausschneiden an Positionen für Besatzungsmitglieder dar.
-
Jedes
der Besatzungsmitglieder kann ein Bild sofort und separat in jeder
Richtung anschauen. Bei dieser Erfindung hat ein Weitraumansichtsbild
als eine für
jedes der Besatzungsmitglieder auszuschneidende Bildquelle eine
höhere
Auflösung
als ein Weitraumansichtsbild, das von einer einzelnen Kamera aufgenommen
wird. Somit kranken für
jedes der Besatzungsmitglieder anzuzeigende Bilder, die aus diesem
Weitraumansichtsbild ausgeschnitten werden, weniger an einer Abnahme
bei der Auflösung.
-
Die
vorliegende Erfindung bietet Besatzungsmitgliedern beispielsweise
eines Helikopters, der in einem weiträumigen Bereich auf der Suche nach
irgendjemandem ist, qualitativ hochwertige Bilder in jeder Position,
wodurch eine schelle und sichere Suche möglich wird. Die vorliegende
Erfindung macht keine einzelne Kamera für jedes der Besatzungsmitglieder
notwendig, wodurch ein kompaktes und leichtes Bildausschneide-/Anzeigesystem
bereitgestellt wird.
-
Wie
offenbart, stellt die vorliegende Erfindung schnell qualitativ hochwertige
Bilder für
jeden Benutzer je nach Bedarf an jeder Position aus einem Weitraumansichtsbild
bereit.
-
Den
Fachleuten auf dem Gebiet wird darüber hinaus klar sein, dass
es sich bei der vorstehenden Beschreibung um eine bevorzugte Ausführungsform der
offenbarten Vorrichtung handelt, und dass verschiedene Änderungen
und Abwandlungen an der Erfindung vorgenommen werden können, ohne
dass dabei von deren Rahmen abgewichen würde.