-
Die Erfindung bezieht sich auf eine
Bildverarbeitungsanordnung bzw. ein Bildverarbeitungsgerät und insbesondere
auf eine Bildverarbeitungsanordnung, die so ausgelegt ist, daß die Position
eines Blickpunktes in Bezug auf ein mittels einer Fernsehkamera
aufgenommenes Bild, welches auf einen Monitor anzeigbar ist, auf
Wunsch änderbar
ist.
-
Aus der
US 4 667 236 ist eine Bildverarbeitungsanordnung
zur perspektivischen Transformation von Fernsehbildern bekannt,
bei der zur Nachbildung verschiedener Blickwinkel auf ein Objekt
die Positionen von Bildpunkten entsprechend einem vorgegebenen Drehwinkel
verschoben werden. Ein Verfahren zur Verformung gekrümmter Oberflächen von
Bildobjekten, wie zum Beispiel Gesichter oder Kleidungsstücke, wird
in der
EP 0 211 345
A2 beschrieben. Die
EP 0 100 097 A2 beschreibt ein digitales
Bildverarbeitungssystem, mittels dem ein bezüglich einer gewünschten
Perspektive aus einer Datenbank gewähltes Hintergrundbild in ein
auf einem Monitor gezeigtes Ausgangsvideosignal eingeblendet werden
kann.
-
Um bei einer Fernsehsendung oder
dergleichen einen Gegenstand auf dem Boden von einer Vielzahl, von
Betrachtungspositionen aus betrachten zu können, ist bisher so vorgegangen
worden, daß die
Fernsehkamera an hohen Stellen unter Verwendung eines Gerüsts für die Bildaufnahme
oder eines Kranes derart angeordnet worden ist, daß die Bildaufnahmeposition
der Fernsehkamera und damit die Betrachtungs- bzw. Blickpunktposition
geändert
wurde. Dadurch, daß allein
auf derartige konventionelle Einrichtungen gebaut wurde, war es
zuweilen jedoch unmöglich,
die Blickpunktposition zu ändern,
da der Kran oder das Gerüst
für die Bildaufnahme
aufgrund der Bedingungen an der Stelle, an der das Bild aufgenommen
wurde bzw. wird, nicht zu installieren war bzw. ist.
-
Der Erfindung liegt die Aufgabe zugrunde,
eine Bildverarbeitungsanordnung zu schaffen, bei der die Position
des Blickpunkts in bezug auf einen auf einem Monitor anzuzeigenden
Gegenstand wahlfrei änderbar ist,
ohne die Bildaufnahmeposition ändern
zu müssen,
wobei, selbst wenn die scheinbare Position des Blickpunkts in bezug
auf den auf dem Monitor angezeigten Gegenstand verschoben wird,
die Natürlichkeit
des Bildes bewahrt werden kann.
-
Anhand von Zeichnungen wird die Erfindung
nachstehend beispielsweise näher
erläutert.
-
1 zeigt
in einem Blockdiagramm eine Ausführungsform
einer Einrichtung zur Bildverarbeitung gemäß der vorliegenden Erfindung.
-
2 und 3 zeigen schematische Diagramme
zur Erläuterung
des Prinzips der Erzeugung eines planarm Modells in einem dreidimensionalen
Koordinatensystem, wie dies mittels der Einrichtung zur Bildverarbeitung
gemäß der vorliegenden
Erfindung ausgeführt
wird.
-
4 zeigt
in einem schematischen Diagramm ein Beispiel eines von einer Kamera
in der Einrichtung zur Bildverarbeitung gemäß der vorliegenden Erfindung
aufgenommenen Bildes.
-
5 veranschaulicht
in einem schematischen Diagramm ein in 4 dargestelltes Bild, bezüglich dessen
die Position des Blickpunktes in der Einrichtung zur Bildverarbeitung
gemäß der vorliegenden
Erfindung verschoben worden ist.
-
6 zeigt
schematische Diagramme zur Erläuterung
des Prinzips der Korrektur von unnatürlichen Teilen in dem in 5 dargestellten Bild.
-
7 veranschaulicht
in einem schematischen Diagramm ein Bild nach Korrektur der unnatürlichen Teile
in dem in 5 dargestellten
Bild.
-
8 und 9 zeigen schematische Diagramme
zur Erläuterung
des Prinzips der Erzeugung eines Modells mit Höhen und Tiefen in einem dreidimensionalen
Koordinatensystem, welches mittels der Bildverarbeitung gemäß der vorliegenden
Erfindung ausgeführt
ist.
-
10 zeigt
ein schematisches Diagramm zur Erläuterung des Teiles, der unnatürlich wird,
nachdem die Position des Blickpunkts in der Einrichtung zur Bildverarbeitung
gemäß der vorliegenden
Erfindung verschoben worden ist.
-
11 zeigt
ein Flußdiagramm
zur Erläuterung
der Art und Weise des Betriebs der in 1 dargestellten
Einrichtung zur Bildverarbeitung.
-
Nunmehr wird die bevorzugte Ausführungsform
der Erfindung detalliert beschrieben. Dazu wird unter Bezugnahme
auf 1 im folgenden die
Struktur der Bildverarbeitungsanordnung 1 gemäß der vorliegenden Erfindung
erläutert.
Ein Bild eines Gegenstands, wie ein Golfplatz 3, wird mittels
einer Fernsehkamera 2 aufgenommen. Zu diesem Zeitpunkt
liegt die Fernsehkamera 2 fest bzw. ist fixiert, und der
Bildaufnahmewinkel beträgt θ. Der Bildaufnahmewinkel
wird mittels einer Bildaufnahmewinkel-Meßeinrichtung 4 gemessen
und einer ein planares Modell erzeugenden Erzeugungseinrichtung 5 zugeführt. Diese
Erzeugungseinrichtung 5 erzeugt ein planares Modell auf
der Grundlage des eingegebenen Bildaufnahmewinkels θ. Die das
planare Modell kennzeichnenden Daten, die von der Erzeugungseinrichtung 5 erzeugt
sind, werden einer Höheninformations-Addiereinrichtung 6 zugeführt. Diese
Einrichtung 6 modifiziert die für das planare Modell kennzeichnenden
Daten auf der Grundlage einer Höhen-Information,
die von einer Höheninformations-Eingabeeinrichtung 7 abgegeben
wird, wodurch Daten erzeugt werden, die kennzeichnend sind für ein Modell,
welches Höhen
und Tiefen aufweist. Die Daten, die kennzeichnend sind für das Höhen und
Tiefen aufweisende Modell werden an eine Speichersteuereinrichtung 8 abgegeben.
Ein VideoAusgangssignal von der Fernsehkamera 2 wird einem Eingangs-Bildspeicher 9 zugeführt und
in diesem gespeichert, so daß Bildelemente
jeweils unter bestimmten Adressen gespeichert sind. Unterdessen
erzeugt eine Sicht- bzw. Blickpunkt-Einstelleinrichtung 10 Sicht-
bzw. Blickpunkt-Einstelldaten auf der Grundlage der Blickpunkt-Steuerdaten,
die von einer Eingabeeinrichtung 11 her aufgenommen worden
sind, und gibt die betreffenden Blickpunkt-Einstelldaten an die
Speichersteuereinrichtung 8 ab. Eine Korrektureinrichtung 12 erzeugt
Korrekturdaten auf der Grundlage von Korrektursteuerdaten, die von
der Eingabeeinrichtung 11 aufgenommen worden sind, und
gibt die Korrekturdaten an die Speichersteuereinrichtung 8 ab.
Die Speichersteuereinrichtung 8 erzeugt auf der Grundlage
der Daten, die kennzeichnend sind für das Höhen und Tiefen aufweisende
Modell und die von der Höhen-Informations-Addiereinrichtung 6 abgegeben
worden sind, sowie auf der Grundlage der Blickpunkt-Einstelldaten,
die von der Blickpunkt-Einstelleinrichtung 10 abgegeben
worden sind, und auf der Grundlage der Korrekturdaten, die von der Korrektureinrichtung 12 abgegeben
worden sind, Leseadressen für
den Eingabe- bzw. Eingangs-Bildspeicher 9 sowie Schreibadressen
für einen
Ausgabe- bzw. Ausgangs-Bildspeicher 13. Die Leseadressen
für den
Eingangs-Bildspeicher 9 und die Schreibadressen für den Ausgangs-Bildspeicher 13 werden
dem Eingangs-Bildspeicher 9bzw. dem Ausgangs-Bildspeicher 13 zugeführt, wodurch
das in dem Eingangs-Bildspeicher 9 gespeicherte Videosignal
gelesen und unter bestimmten Adressen des Ausgangs-Bildspeichers 13 gespeichert wird.
Die aus dem Ausgangs-Bildspeicher 13 gelesenen Videosignale
werden einem Monitor 14 zugeführt und auf dessen Anzeigeschirm
angezeigt.
-
Nunmehr wird bei der Bildverarbeitungsanordnung 1 gemäß der vorliegenden
Erfindung, welche ein Bild eines Golfplatzes 3 oder dergleichen
mittels der Fernsehkamera 2 aufnimmt, das Prinzip der Erzeugung eines
planaren Modells in einem dreidimensionalen Koordinatensystem auf
der Grundlage des Bildaufnahmewinkels θ zu dem betreffenden Zeitpunkt
und der Abbildung eines von der Fernsehkamera 2 abgegebenen
Videosignals auf dem in dem dreidimensionalen Koordinatensystem
angeordneten planaren Modell beschrieben werden.
-
2 veranschaulicht
einen Zustand in dem Fall, daß ein
Bild eines Gegenstands in einer Ebene P mittels einer Fernsehkamera
2 aufgenommen
wird, die in der Richtung rechtwinklig zur Ebene P des Gegenstands
in der Ebene P perspektivisch auf die Bildaufnahmeeinrichtung (Schirm
20)
der Fernsehkamera
2 transformiert ist. Anders ausgedrückt heißt dies,
daß die
reale Position des Gegenstandes, dessen Bild mittels der Fernsehkamera
2 aufgenommen
wird, in der Ebene P liegt, die in einer bestimmten Entfernung von
dem Schirm
20 in der Richtung entgegengesetzt zur Position
des Betrachtungspunkts
21 angeordnet ist. Wenn die Position
OP des Gegenstands in der Ebene P gegeben ist mit (x, y, z), dann
wird demgemäß die Position
des Betrachtungspunkts
21 als Ursprung (O, O, O) genommen,
wobei die Mitte C des Schirmes
20 gegeben ist mit (O, O,
SCP) und wobei die Position SP des Gegenstands, die perspektivisch
auf dem Schirm
20 transformiert ist, gegeben ist mit (X,
Y, SCP). Die Beziehung zwischen der Position OP des Gegenstands
in der Ebene P und der Position SP des auf den Schirm
20 perspektivisch
transformierten Gegenstands wird durch die nachstehend angegebenen
Gleichungen ausgedrückt:
-
Sodann wird eine Ebene P' betrachtet bzw,
berücksichtigt,
die eine um einen bestimmten Winkel geneigte Ebene der in
2 dargestellten Ebene P
ist, wie dies
3 veranschaulicht.
Es sei angenommen, daß diese
Ebene P' um einen
Winkel A bezüglich
der Ebene x-z an der Stelle M geneigt ist, wobei die Beziehung zwischen
der Position OP eines Gegenstands in der Ebene P' und der Position SP des auf dem Schirm
20 perspektivisch
transformierten Gegenstands durch folgende Gleichungen ausgedrückt wird:
-
Durch Auflösen der Gleichungen (3) und
(4) nach x und y erhält
-
Damit gelangt man zu z entsprechend
folgender Beziehung: z
= Z + ycotθ ... (7)
-
Wie aus den Gleichungen (5), (6)
und (7) ersichtlich, kann durch Messen des Bildaufnahmewinkels θ der Fernsehkamera 2 bezüglich der
Ebene P' zum Zeitpunkt,
zu dem das Bild der Ebene P mittels der Fernsehkamera 2 aufgenommen
wird, und durch Substituieren des Winkels θ und der Position (X, Y, SCP)
des jeweiligen Bildelements des auf den Schirm 20 in den
Gleichungen (5), (6) und (7) perspektivisch transformierten Gegenstands
die Ebene P' in
dem dreidimensionalen Koordinatensystem berechnet werden. Hierbei
ist Z der Abstand von der Position des Blickpunktes 21 zur
Position M in der Ebene P'.
Dieser Abstand bzw. diese Strecke ist gleich dem Abstand zwischen
dem Punkt, in welchem die optische Achse der Kamera 2 den
Golfplatz 3 schneidet, und der Kamera. Im folgenden wird
die in der zuvor beschriebenen Weise erzeugte Ebene P' als „planares
Modell P'" bezeichnet werden.
-
Durch Zuordnen von Videodaten der
Bildelemente des auf dem Schirm 20 perspektivisch transformierten
Gegenstands zu den entsprechenden Koordinaten auf dem planaren Modell
P', welches in der
oben beschriebenen Weise erzeugt worden ist, wird die Abbildung
der Videodaten auf dem planaren Modell P' in dem dreidimensionalen Koordinatensystem
erreicht. Damit ist es er möglicht,
in dem dreidimensionalen Koordinatensystem das planare Modell P' zu erzeugen, welches
in bezug auf die Ebene x-z um denselben Winkel wie den Bildaufnahmewinkel θ der Fernsehkamera 2 geneigt
ist, wenn das Bild des Gegenstands in der Ebene P aufgenommen wird,
wobei das betreffende planare Modell die Videodaten aufweist. Die
auf dem planarm Modell P',
welches in dem dreidimensionalen Koordinatensystem angeordnet ist,
abgebildeten Videodaten werden dem in 1 dargestellten
Monitor 14 zur Anzeige zugeführt.
-
Wie oben beschrieben, kann durch
Hinzufügen
von beliebigen Werten, die den Koordinatenwerten gegenseitig zugeordnet
bzw. zugehörig
sind, welche den Positionen der Bildelemente des in dem dreidimensionalen
Koordinatensystem dargestellten planaren Modells P' entsprechen, das
planare Modell P' rotationsmäßig in dem
dreidimensionalen Koordinatensystem transformiert werden. Dadurch
ist es ermöglicht,
die Position des Blickpunktes in bezug auf das auf dem Monitor 14 angezeigte
planare Modell P' zu ändern.
-
Sogar in dem Fall, daß der Bildaufnahmewinkel θ der Fernsehkamera 2 in
bezug auf den Golfplatz 3 festliegt, wie dies in 1 veranschaulicht ist, kann
somit die Position des Blickpunktes in bezug auf den auf dem Monitor 14 angezeigten
Golfplatz 3 geändert
werden. Damit ist es leicht gemacht, die Position des Blickpunktes
derart zu ändern,
als wäre
die Fernsehkamera 2 nach oben gebracht, um das Bild des
Golfplatzes 3 von rechts oben aufzunehmen. Wenn eine Bildinformation
vorliegt, wie sie beispielsweise in 4 als
Bild vorliegt, das mittels einer Fernsehkamera 2 aufgenommen
wird bzw. ist, dann kann insbesondere ein Bild, bezüglich dessen
die Position des Blickpunktes zu einer Stelle oberhalb der Stelle
verschoben worden ist, wie dies 5 veranschaulicht,
ohne Änderung
des Bildaufnahmewinkels A der Fernsehkamera 2 erhalten
werden.
-
Demgemäß kann gemäß der vorliegenden Erfindung
die Position des Blickpunktes wunschgemäß festgelegt werden, wodurch
es leicht gemacht ist, die Bedeutung der Entfernung zu erfassen.
-
Wenn die Position des Blickpunkts
wunschgemäß bzw. wahlfrei
geändert
wird, wie dies oben beschrieben worden ist, machen jedoch jene Teile,
die nicht in der Ebene P' liegen,
wie Bäume
W und Menschen T, in dem betreffenden Bild das Bild unnatürlich, wenn
die Position des Blickpunkts verschoben wird, da das planare Modell
P' mit dem Gegenstand,
wie dem Golfplatz 3, angenähert in einer Ebene gebildet
ist.
-
Der Zustand eines Bildes eines derartigen
Gegenstands, wie eines auf dem Boden Q stehenden Baumes W, der mittels
einer Fernsehkamera 2 von einer Stelle eines Blickpunkts 21 aufgenommen
wird, wie dies in 6A veranschaulicht
ist, wird auf dem Monitor 14 dargestellt, wie dies 6B veranschaulicht. Falls,
wie dies 6C veranschaulicht,
die Position des Blickpunkts 21 in bezug auf den auf dem
Monitor 14 angezeigten Gegenstand in die Position oberhalb
des betreffenden Gegenstands gebracht wird, wie dies oben beschrieben worden
ist, wird die Länge
des Saumes W verlängert,
wie dies 6D verdeutlicht.
Der Grund hierfür
liegt darin, daß der
Zustand der das Bild des Gegenstands aufnehmenden Fernsehkamera 2,
wie dies 6A veranschaulicht,
nichts anderes ist als der Zustand, wie in 6C veranschaulicht, der Aufnahme des
Bildes des auf dem Boden Q liegenden Baumes W, wie dies 6A veranschaulicht.
-
Nunmehr wird das Verfahren zur Korrektur
der Länge
des stehenden Baumes W oder Menschen T erläutert werden. Als Korrekturmittel
wird ein Verfahren bzw. eine Technik angewandt, wie sie bereits
früher
angegeben worden ist (
US 4 791
581 ).
-
Zunächst wird ein zu verformender
Bereich VCF innerhalb des planaren Modells P' definiert, wie dies in
6C und
6D veranschaulicht
ist. Sodann wird ein Deformationsvektor Vi mit einer Deformationsrichtung und
Deformationsgröße festgelegt
bzw, gebildet. Ferner wird ein Aktionspunkt CPi festgelegt bzw.
gebildet, der die Position für
die Anwendung der Deformation und eine Vektorfeldfunktion Fi anzeigt.
Sodann ist bei Kennzeichnung des Positionsvektors des planarm Modells
P' vor der Deformation
mit P
0 der Positionsvektor P
N des planaren
Modells P' nach
der Deformation durch folgende Beziehung gegeben:
-
Der Zustand des in der oben beschriebenen
Weise deformierten planaren Modells P' ist in 6E veranschaulicht.
Dies bedeutet, daß der
Baum W nunmehr aufrecht steht. Demgemäß ist, wie in 6F veranschaulicht, der verlängerte Zustand
des Baumes W korrigiert, und damit werden der Boden Q und der Baum auf
dem Monitor 14 in demselben Zustand angezeigt wie in dem
Fall, daß die
Fernsehkamera 2 in die Stellung rechts oberhalb des Baumes
gebracht ist.
-
Durch Ausführen der oben beschriebenen
Korrektur kann das Bild mit Menschen T und Bäumen W, die länger sind
als der realen Größe entspricht,
korrigiert werden, womit das in 7 dargestellte
Bild erhalten werden kann.
-
Unter Bezugnahme auf
8 wird nunmehr der Fall beschrieben werden,
daß die
Höhen h
(u, v) eines Gegenstands, wie des Bodens Q', durch eine Informationsquelle, wie
einen topografischen Atlas, gegeben sind. Zunächst wird, wie dies oben beschrieben
worden ist, durch Substituieren des Bildaufnahmewinkels θ der Fernsehkamera
2 in
Bezug auf den Boden Q' und
der Positionen (X, Y, SCP) der Bildelemente des auf dem Schirm
20 perspektivisch
transformierten Gegenstands entsprechend den Gleichungen (5), (6)
und (7) ein planares Modell P'' in dem in
9 dargestellten dreidimensionalen
Koordinatensystem erhalten. Sodann wird das so erzeugte planare
Modell P" deformiert,
und zwar auf der Grundlage der Daten h(u, v), die kennzeichnend
sind für
die Höhe
an einer beliebigen Position (x, y, z) des planarm Modells P''. Die Koordinaten (x, y, z) einer beliebigen
Position in dem dreidimensionalen Koordinatensystem des planaren
Modells P'' nach der Deformation
werden aus folgenden Gleichungen berechnet:
-
Diese Gleichungen können aus
den Gleichungen (6) und (7) dadurch abgeleitet werden, daß Komponenten
längs der
y-Achse und der z-Achse bezüglich
der Höhe
h(u, v) des Gegenstands zu dessen rechten Seiten hinzugenommen werden.
Durch Verwendung der oben erwähnten
Gleichungen (9), (10) und (11) kann ein Modell p''' mit Höhen und
Tiefen, entsprechend dem Gegenstand in dem in 9 dargestellten dreidimensionalen Koordinatensystem,
erzeugt werden. Durch Heranziehen der Gleichungen (9), (10) und
(11) ist es ferner ermöglicht,
eindeutig Positionen der Bildelemente des auf den Schirm 20 perspektivisch
transformierten Gegenstands mit Koordinaten des Höhen und
Tiefen aufweisenden, Modells p''' zuzuordnen. Durch Zuweisen von Videodaten
der Bildelemente des auf dem Schirm 20 perspektivisch transformierten
Gegenstands zu entsprechenden Koordinaten des Höhen und Tiefen aufweisenden
Modells p''' wird somit erreicht, daß die Videodaten
auf dem Höhen
und Tiefen aufweisenden Modell p''' in dem dreidimensionalen Koordinatensystem
abgebildet werden. Damit kann das Höhen und Tiefen aufweisende
Modell p''', welches in bezug auf die Ebene x-z
um denselben Winkel geneigt ist wie den Bildaufnahmewinkel θ der Fernsehkamera 2,
wenn das Bild des Gegenstands auf dem Boden Q' aufgenommen wird, und das Videodaten
aufweist, in dem dreidimensionalen Koordinatensystem erzeugt werden.
Die Videodaten des Höhen
und Tiefen aufweisenden, in dem dreidimensionalen Koordinatensystem
angeordneten Modells p''' werden dem Monitor 14 zugeführt, wie
dies in 1 veranschaulicht
ist, und auf diesem angezeigt.
-
Wie oben beschrieben, kann durch
Hinzufügen
von wünschenswerten
bzw, wahlfreien Werten, die gegenseitig den Koordinaten zugehörig sind,
welche den Positionen der Bildelemente des Höhen und Tiefen aufweisenden
Modells p''' entsprechen und die in dem dreidiemensionalen
Koordinatensystem angeordnet sind, das Höhen und Tiefen aufweisende
und in dem dreidimensionalen Koordinatensystem angeordnete Modell
p''' gedreht werden. Dies bedeutet, daß der Neigungswinkel
des Höhen
und Tiefen aufweisenden Modells p''' in bezug auf die
Ebene x-z wahlfrei geändert
werden kann. Wenn die Videodaten des Höhen und Tiefen aufweisenden
Modells p''', welches in dem dreidimensionalen Koordinatensystem
angeordnet ist, auf dem Monitor 14 angezeigt werden, kann
die Ausrichtung des Höhen
und Tiefen aufweisenden angezeigten Modells p''' geändert werden.
Mit anderen Worten ausgedrückt
heißt
dies, daß die
Position des Blickpunktes in bezug auf das Modell p''' verändert werden
kann.
-
Zum Zeitpunkt, zu dem die Position
des Blickpunktes in bezug auf das Höhen und Tiefen aufweisende Modell
p''' geändert
wird, wie dies oben beschrieben worden ist, wird, falls ein Baum
W auf dem Boden Q' vorhanden
ist, wie dies in 10 dargestellt
ist, die Länge
des betreffenden Baumes W zu lang werden, wenn die Position des
Blickpunkts nach oben oberhalb des betreffenden Baumes gebracht
wird. Der Grund hierfür
liegt darin, daß generell
keine Daten, welche die Höhen
der Bäume
W angeben, in der Information bezüglich der Höhen des Bodens enthalten sind,
die aus einem topografischen Atlas oder dergleichen erhalten werden. Wenn
das Höhen
und Tiefen aufweisende Modell p''' erzeugt wird, werden somit die Höhen von
Bäumen
W vernachlässigt;
sie werden als auf dem Boden mit Höhen und Tiefen liegend betrachtet.
-
Die Länge des Baumes W, die zu groß wird,
wenn die Position des betreffenden Betrachtungspunktes nach oben
oberhalb des betreffenden Baumes gebracht wird, kann in derselben
Weise korrigiert werden, wie dies oben unter Heranziehung von 6 beschrieben worden ist. Zunächst wird
ein zu deformierender Bereich VCF in dem Höhen und Tiefen aufweisenden
Modell p "definiert.
Sodann wird ein Deformationsvektor Vi mit einer Deformationsrichtung
und einer Deformationsgröße festgelegt.
Ferner werden ein Aktionspunkt CPi, der die Position zur Anwendung
bzw. Ausübung
der Deformation anzeigt, und eine Vektorfeldfunktion Fi festgelegt bzw.
gebildet. Durch Angabe bzw. Festlegen des Positionsvektors des Höhen und
Tiefen aufweisenden Modells P''' vor der Deformation mit P0 wird
sodann der Positionsvektor PN des Höhen und
Tiefen aufweisenden Modells P''' nach der Deformation durch Heranziehen
der Gleichung (8) berechnet. Danach wird das Höhen und Tiefen aufweisende
Modell P''' ferner in Übereinstimmung mit dem Positionsvektor
PN deformiert, und dadurch kann die Länge des
Baumes W korrigiert werden.
-
Wenn die Höhen h(u, v) des Gegenstandes,
wie des Bodens Q',
von einer Informationsquelle geliefert werden, wie von einem topografischen
Atlas, können
durch Erzeugen eines Höhen
und Tiefen aufweisenden Modells P''', wie dies oben beschrieben
worden ist, und durch Abbilden der Videodaten auf dem betreffenden Modell
die Höhen
des Bodens nach Änderung
der Position des Blickpunktes auf dem Monitor korrekt angezeigt werden.
-
Im folgenden wird die Betriebsweise
der in l dargestellten Bildverarbeitungsanordnung
1 gemäß der vorliegenden
Erfindung unter Bezugnahme auf 11 beschrieben
werden.
-
Beim Schritt SP1 beginnt die Bildverarbeitungsanordnung 1 zu
arbeiten.
-
Beim Schritt SP2 mißt die Bildaufnahme-Winkelmeßeinrichtung 4 den
Bildaufnahmewinkel θ der
Fernsehkamera 2 in bezug auf den Gegenstand, wie einen
Golfplatz 3. Der Bildaufnahmewinkel θ kann auch manuell von der
Bedienperson gemessen werden. Der durch die Bildaufnahme-Winkelmeßeinrichtung 4 gemessene Bildaufnahmewinkel θ wird an
die Planar-Modell-Erzeugungseinrichtung 5 abgegeben.
-
Beim Schritt SP3 erzeugt die Planar-Modell-Erzeugungseinrichtung 5 ein
planares Modell P' in
dem dreidimensionalen Koordinatensystem durch Substituieren des
Bildaufnahmewinkels θ und
der Positionen (X, Y, SCP) der Bildelemente des auf die Bildaufnahmeeinrichtung
der Fernsehkamera 2 perspektivisch transformierten Gegenstands
entsprechend den Gleichungen (5), (6) und (7). Die für das planare
Modell P' kennzeichnenden
Daten, die in der Planar-Modell-Erzeugungseinrichtung 5 berechnet
worden sind, werden an die Höhen-Informations-Addiereinrichtung 6 abgegeben.
-
Beim Schritt SP4 wird bestimmt, ob
eine Information bezüglich
der Höhen
(Höhen
und Tiefen) des Golfplatzes 3 oder dergleichen vorhanden
ist. Wenn bestimmt wird, daß die
die Höhen
betreffende Information beim Schritt SP4 vorhanden ist, dann werden
die für
die Höhen
kennzeichnenden Daten über
die Höhen-Informations-Eingabeeinrichtung
beim Schritt SPS an die Höhen-Informations-Addiereinrichtung 6 abgegeben bzw.
dieser eingangsseitig zugeführt.
Die betreffende Addiereinrichtung 6 addiert die für die Höhe kennzeichnenden
Daten zu den Daten, die kennzeichnend sind für das planare Modell P', welches in der
Planar-Modell-Erzeugungseinrichtung 5 berechnet worden
ist, wie dies in den Gleichungen (9), (10) und (11) angegeben ist.
Wenn festgestellt bzw, bestimmt wird, daß keine Information bezüglich der
Höhen vorhanden
ist, und zwar beim Schritt SP4, dann werden die in der Planar-Modell-Erzeugungseinrichtung 5 berechneten
Daten, die kennzeichnend sind für
das planare Modell P',
direkt an die Speichersteuereinrichtung 8 abgegeben.
-
Beim Schritt SP6 erzeugt die Speichersteuereinrichtung 8 auf
der Grundlage der von der Höhen-Informations-Addiereinrichtung 6 oder
der Planar-Modell-Erzeugungseinrichtung 5 abgegebenen Daten
Leseadressen für
den Eingangs-Bildspeicher 9 und Schreibadressen für den Ausgangs-Bildspeicher 13,
und diese Adressen werden an den Eingangs-Bildspeicher 9 bzw,
an den Ausgangs-Bildspeicher 13 abgegeben.
Das von der Fernsehkamera 2 abgegebene und in dem Eingangs-Bildspeicher 9 gespeicherte
Videosignal wird in Übereinstimmung
mit den Leseadressen ausgelesen, die von der Speichersteuereinrichtung 8 abgegeben sind,
und das betreffende Signal wird in den Ausgangs-Bildspeicher 13 in Übereinstimmung
mit den Schreibadressen eingeschrieben, die von der Speichersteuereinrichtung 8 abgegeben
sind. Durch diesen Prozeß können Videodaten
der Bildelemente des auf den Anzeigeschirm 20 perspektivisch
transformierten Gegenstands den entsprechenden Koordinaten des planaren
Modells P' oder
des Modells P''' mit Höhen und Tiefen zugeordnet weden.
Dieser Vorgang ist die Abbildung.
-
Beim Schritt SP7 werden die Daten,
die kennzeichnend sind für
den deformierten Bereich VCF, die Daten, die kennzeichnend sind
für den
Deformierungsvektor Vi, der die Deformierungsrichtung und die Deformierungsgröße anzeigt,
und die Daten, die kennzeichnend sind für den Aktionspunkt CPi, der
die Stelle anzeigt, an der die Deformation vorgenommen wird, sowie
die Vektorfeldfunktion Vi über
die Eingabeeinrichtung 11 der Korrektureinrichtung 12 zugeführt. Außerdem werden
dieser Einrichtung die Daten, welche kennzeichnend sind für den Positionsvektor
PO des planaren Modells P' vor
der Deformation, oder die Daten, die kennzeichnend sind für den Positionsvektor
P0 des Modells P''' mit Höhen und
Tiefen vor der Deformation, von der Speichersteuereinrichtung 8 zugeführt. Die
Korrektureinrichtung 12, die auf die eingangsseitigen Daten
anspricht, berechnet den Positionsvektor PN des planaren Modells
P' nach der Deformation
oder den Positionsvektor PN des Modells
P''' mit Höhen und Tiefen nach der Deformation
durch Heranziehen der Gleichung (8). Die Daten, die kennzeichnend
sind für
den berechneten Positionsvektor PN des planaren
Modells P' nach
der Deformation oder die kennzeichnend sind für den Positionsvektor PN des
Höhen und
Tiefen aufweisenden Modells P''' nach der Deformation, werden der Speichersteuereinrichtung 8 zugeführt. Die
Speichersteuereinrichtung 8 erzeugt auf der Grundlage der
Daten, die kennzeichnend sind für
den Positionsvektor PN, der von der Korrektureinrichtung 12 abgegeben
worden ist, die Leseadressen für
den Eingangs-Bildspeicher 9 und die Schreibadressen für den Ausgangs-Bildspeicher 13;
sie gibt diese Adressen an den Eingangs-Bildspeicher 9 bzw.
an den Ausgangs-Bildspeicher 13 ab. Das in dem Eingangs-Bildspeicher 9 gespeicherte
Videosignal wird in Übereinstimmung
mit den von der Speichersteuereinrichtung 8 abgegebenen
Leseadressen erneut ausgelesen und in Übereinstimmung mit den von
der Speichersteuereinrichtung 8 abgegebenen Schreibadressen
in den Ausgangs-Bildspeicher 13 eingeschrieben. Durch den
beschriebenen Prozeß kann
das planare Modell P' oder
das planare Modell P''' mit Höhen und Tiefen so eingestellt
werden, daß die
Längen
von Menschen T und Bäumen
W korrigiert sind.
-
Beim Schritt SP8 wird bestimmt, ob
die Korrektur beim Schritt SP7 abgeschlossen worden ist oder nicht.
Der Vorgang bei diesem Schritt 8 wird durch die Bedienperson ausgeführt, die
bestimmt, ob das auf dem Monitor 14 angezeigte Bild in
einen gewünschten
Zustand gebracht worden ist oder nicht.
-
Beim Schritt SP9 werden Blickpunkt-
bzw. Betrachtungspunkt-Steuerungsdaten über die
Eingabeeinrichtung 11 an die Blickpunkt- bzw. Betrachtungspunkt-Einstelleinrichtung 10 abgegeben,
und die Betrachtungspunkt-Einstelleinrichtung 10 addiert
ihrerseits die Werte, welche den Betrachtungspunkt-Steuerungsdaten entsprechen,
zu den Koordinaten des planaren Modells P' oder zu den Koordinaten des Höhen und
Tiefen aufweisenden Modells P''', welche von der Speichersteuereinrichtung 8 abgegeben
worden sind, um dadurch Blickpunkt-Einstelldaten zu erzeugen. Die Blickpunkt-Einstelldaten
werden an die Speichersteuereinrichtung 8 abgegeben. Die
Speichersteuereinrichtung 8 erzeugt auf der Grundlage der
von der Blickpunkt-Einstelleinrichtung 10 abgegebenen
Blickpunkt-Einstelldaten die Leseadressen für den Eingangs-Bildspeicher 9 und
die Schreibadressen für
den Ausgangs-Bildspeicher 13, und sie gibt diese Adressen
an den Eingangs-Bildspeicher 9 bzw, an den Ausgangs-Bildspeicher 13 ab.
Das in dem Eingangs-Bildspeicher
9 gespeicherte Videosignal
wird in Übereinstimmung
mit den von der Speichersteuereinrichtung 8 her zugeführten Leseadressen
erneut ausgelesen und in den Ausgangs-Bildspeicher 13 eingeschrieben,
und zwar in Übereinstimmung
mit der Schreibadresse, die von der Speichersteuereinrichtung her
abgegeben worden ist. Durch den beschriebenen Vorgang kann die Position
des Blickpunkts in bezug auf das planare Modell P' oder in bezug auf
das Höhen und
Tiefen aufweisende Modell P''' geändert
werden.
-
Beim Schritt SP10 bestimmt die Bedienperson
aus der Anzeige auf dem Monitor 14, ob ein gewünschter
Zustand erreicht worden ist oder nicht, und zwar als Ergebnis der
Einstellung oder Änderung
der Position des Blickpunkts in bezug auf das planare Modell, wie
dies beim Schritt SP9 ausgeführt
worden ist. Wenn der gewünschte
Zustand erreicht ist, wird der Vorgang beim folgenden Schritt SP11
beendet. Dies bedeutet, daß die
Einstellung der Position des Blickpunkts und die Korrektur des Bildes
zwischen der Bedienperson und der Bildverarbeitungsanordnung 1 in
einer interaktiven Weise ausgeführt
werden.
-
Sogar dann, wenn der Bildaufnahmewinkel
der Fernsehkamera 2 in bezug auf den Golfplatz 3 und
dergleichen festliegt, wie dies in 1 veranschaulicht
ist, kann gemäß der vorliegenden
Erfindung die Position des Blickpunkts in bezug auf den auf dem
Monitor 14 angezeigten Golfplatz 3 in wünschenswerter
Weise bzw, wahlfrei geändert
werden. Es ist daher leicht gemacht, die Position des Blickpunktes
so zu ändern,
als wäre die
Fernsehkamera 2 nach oben gebracht, um das Bild des Golfplatzes 3 von
rechts oben her aufzunehmen. Demgemäß kann die Richtung bzw, die
Bedeutung der Entfernung leicht gewonnen werden.
-
Wenn die Höhen h(u, v) des Gegenstands,
wie des Golfplatzes, durch eine derartige Informationsquelle, wie
einen topografischen Atlas, gegeben sind, wird das Höhen und
Tiefen aufweisende Modell P''' in der oben beschriebenen Weise erzeugt,
und die Videodaten werden darauf abgebildet, wodurch sogar in dem
Fall, daß die
Position des Blickpunkts geändert
wird, die Höhen
des Bodens auf dem Monitor 14 korrekt wiedergegeben werden
können.
-
Obwohl der Golfplatz als Beispiel
des Gegenstands bei der obigen Beschreibung des Ausführungsbeispiels
verwendet worden ist, können
verschiedene andere Plätze
bzw. Stellen, wie Baseball-Felder,
selbstverständlich
als Gegenstand bei der vorliegenden Erfindung benutzt werden.
-
Ferner kann ein Bild, welches durch
Abbilden von Bilddaten, die durch Aufnahme des Bildes eines Golfplatzes
oder dergleichen erhalten worden sind, auf einem planaren Modell
erhalten worden ist, welches durch Approximation des Golfplatzes
oder dergleichen an eine Ebene erzeugt worden ist, mit einem Bild
kombiniert werden, welches durch Abbilden von Bilddaten, die durch
Aufnehmen des Bildes von Menschen, Bäumen oder dergleichen erhalten
worden sind, auf einem planaren Modell erhalten worden ist, das
durch Approximation der Bäume,
Menschen oder dergleichen an eine Ebene erzeugt worden ist, wodurch
ein Modell des Golfplatzes oder dergleichen mit Bäumen, Menschen
oder dergleichen in einem dreidimensionalen Koordinatensystem erzeugt
werden kann.
