DE69121627T2

DE69121627T2 - Vorrichtung zur Detektion von Bewegungsvektor

Info

Publication number: DE69121627T2
Application number: DE69121627T
Authority: DE
Inventors: Toshiaki Kondo; Masayoshi Sekine
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1990-04-27
Filing date: 1991-04-26
Publication date: 1997-01-23
Anticipated expiration: 2011-04-27
Also published as: EP0454481B1; DE69121627D1; EP0454481A3; EP0454481A2; US5296925A

Description

GRUNDLAGEN DER ERFINDUNG

Bereich der Erfindung

Die vorliegende Erfindung betrifft eine Vorrichtung zur Erfassung eines Bewegungsvektors, und im einzelnen eine Bewegungsvektor-Erfassungsvorrichtung zur Verwendung in einem optischen Bildaufnahmegerät wie einer TV-Kamera, einer elektronischen Kamera, einer Videokamera und einer industriellen Bildmeßeinrichtung. Im einzelnen bezieht sich die vorliegende Erfindung auf eine Bewegungsvektor Erfassungsvorrichtung zur Verwendung in einer optischen Bilderzeugungsvorrichtung mit einer Erschütterungsisolationsfunktion und einer Nachführfunktion.

Zugehöriger Stand der Technik

Ein Verfahren zur Erfassung eines Bewegungsvektors durch Verarbeiten eines Bildsignals ist durch ein zeitlichräumliches Steigungsverfahren veranschaulicht, das im U.S.- Patent Nr. 3 890 462 offenbart ist. Wird der Bildversetzungsbetrag in Richtung x mit α und der Bildversetzungsbetrag in Richtung y mit β bezeichnet, dann erfolgt deren Berechnung in Abhängigkeit vom vorherigen Verfahren gemäß den nachfolgenden Gleichungen:
Gemäß dem letzteren Verfahren können sie mittels der nachfolgenden Gleichungen berechnet werden:
wobei d der Dichtepegelunterschied an derselben Stelle zwischen zeitlich aufeinander folgenden Bildern, d. h. die Steigungszeit ist, gx' und gy' jeweils räumliche Steigungen ∂g(x,y)/∂x in der x-Richtung und eine räumliche Steigung ∂g(x,y)/∂y in der y-Richtung ist, wenn das Bild durch g ausgedrückt wird, ΣB die Berechnungssumme innerhalb eines Blocks bezeichnet, der einen Einheitsberechnungsbereich bestehend aus einer Vielzahl von Pixeln darstellt, und sign ( ) eine Funktion zur Übertragung des Vorzeichens gx' und gy' bildet.
Obwohl die Bewegungsvektorberechnung unter Verwendung von Gleichung (1) in Abhängigkeit von dem Steigungsverfahren verwendet wurde, hat Gleichung (2) für eine Echtzeitbildverarbeitung an Bedeutung gewonnen, bei der Hochgeschwindigkeitsberechnungen erforderlich sind.
In Gleichung (2) tritt jedoch ein Problem auf, daß die Genauigkeit erheblich verschlechtert wird, wenn der Ausdruck ΣBgx'gy' einen großen Wert annimmt, da Gleichung (2) aus einer vereinfachten Gleichung (1) hervorgegangen ist, wobei der Ausdruck &epsi;Bgx'gy' der Gleichung (1) zu angenommen wurde.
Es ist daher eine Aufgabe der vorliegenden Erfindung, eine Bewegungsvektor-Erfassungsvorrichtung bereitzustellen, die in der Lage ist, die vorstehend beschriebenen Probleme zu beseitigen, bei der eine Verschlechterung der Genauigkeit verhindert werden kann und die für eine Echtzeitverarbeitung geeignet ist.
Erfindungsgemäß wird eine Vorrichtung zur Erfassung eines Bewegungsvektors gemäß Patentanspruch 1 bereitgestellt.
Für ein besseres Verständnis der vorliegenden Erfindung werden nachstehend beispielhaft Ausführungsformen unter Bezugnahme auf die zugehörigen Zeichnungen beschrieben.
Die britische Patentschrift Nr. GB-A-2 165 417 offenbart eine Vorrichtung zur Umwandlung eines Filmbilds in ein Videobild, wobei ein Bewegungsvektor erfaßt wird, jedoch eine gewichtete Mittelung zur Bestimmung eines abschließenden Bewegungsvektors nicht verwendet wird.

KURZE BESCHREIBUNG DER FIGUREN

Fig. 1 ist ein Blockschaltbild zur Veranschaulichung eines Ausführungsbeispiels der vorliegenden Erfindung,
Fig. 2 ist eine vergleichende Darstellung zur Veranschaulichung eines Ergebnisses einer Schätzung des vertikalen Bewegungsbetrags in Bezug auf den horizontalen Bewegungsbetrag gemäß der vorliegenden Erfindung und dem bekannten Aufbau,
Fig. 3 ist ein Blockschaltbild zur Veranschaulichung eines dritten Ausführungsbeispiels der vorliegenden Erfindung,
Fig. 4 ist ein Blockschaltbild zur Veranschaulichung eines vierten Ausführungsbeispiels der vorliegenden Erfindung,
Fig. 5 veranschaulicht Frequenzkennlinien eines Kreuzfilters 14,
Fig. 6 veranschaulicht das Ergebnis eines Vergleichs zwischen dem Ergebnis einer Schätzung des vertikalen Bewegungsbetrags in Bezug auf den horizontalen Bewegungsbetrag, die mittels des Kreuzfilters und mittels eines Tiefpaßfilters durchgeführt wurde,
Fig. 7 ist eine Schaltungsanordnung zur Veranschaulichung eines Filters zum Begrenzen der Diagonalkomponente in einem räumlichen Bereich,
Fig. 8 veranschaulicht ein Verfahren zur Bestimmung einer Faltungsmaske zur Bandbegrenzung der diagonalen Komponente,
Fig. 9 ist ein Blockschaltbild zur Veranschaulichung eines Ausführungsbeispiels der vorliegenden Erfindung,
Fig. 10 veranschaulicht das Ergebnis einer Simulation, die in Verbindung mit dem bekannten Aufbau durchgeführt wurde,
Fig. 11 ist ein Ablaufdiagramm für einen Musterklassifikationsvorgang, der gemäß dem Ausführungsbeispiel der vorliegenden Erfindung durchgeführt wird, und
Fig. 12 und 13 sind Blockschaltbilder zur Veranschaulichung von Ausführungsbeispielen, bei denen die Bewegungsvektor-Erfassungsvorrichtung gemäß der vorliegenden Erfindung bei einer Bildabweichungskompensationsvorrichtung für eine Videokamera oder dergleichen angewendet wird.

AUSFÜHRLICHE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSBEISPIELE

Unter Bezugnahme auf die Figuren werden nun bevorzugte Ausführungsbeispiele einer Bewegungsvektor-Erfassungsvorrichtung gemäß der vorliegenden Erfindung beschrieben.
Fig. 1 ist ein Blockschaltbild zur Veranschaulichung des Aufbaus eines Ausführungsbeispiels der vorliegenden Erfindung. Gemäß Fig. 1 bezeichnet Bezugszeichen 10 einen Anschluß, dem Bildsignale zugeführt werden, und Bezugszeichen 12 ein Register zur Speicherung (d. h. zur zeitlichen Verzögerung) der Eingangssignale für ein Halbbild (oder Vollbild). Bezugszeichen 14 bezeichnet einen Subtrahierer zum Subtrahieren des Ausgangssignals des Registers 12 von einem dem Eingangsanschluß 10 zugeführten Bildsignal. Bezugszeichen 16 bezeichnet ein Register zum Speichern (d. h. zum zeitlichen Verzögern) der Eingangssignale während einer Abtastzeit für eine Vielzahl von Pixeln, die zur Berechnung der räumlichen Steigung einer Bilddichteverteilung erforderlich ist. Bezugszeichen 18 bezeichnet einen Subtrahierer zum Subtrahieren des Ausgangssignals des Registers 16 von dem dem Eingangsanschluß 10 zugeführten Bidsignal. Bezugszeichen 20 bezeichnet ein Register zum Speichern (d. h. zum zeitlichen Verzögern) der dem Eingangsanschluß 10 zugeführten Bildsignale während einer vorbestimmten Abtastperiode, so daß die räumliche Steigung in einer Richtung senkrecht zur räumlichen Steigung durch das Register 16 und den Subtrahierer 18 erhalten wird. Bezugszeichen 22 bezeichnet einen Subtrahierer zum Subtrahieren des Ausgangssignals des Registers 20 von dem dem Eingangsanschluß 10 zugeführten Bildsignal.
Bezugszeichen 24 bezeichnet eine Vorzeichenausgabeschaltung zur Übertragung eines das Vorzeichen (positiv, negativ oder Null) des Ausgangssignals des Subtrahierers 18 kennzeichnenden Signals. Bezugszeichen 26 bezeichnet einen Multiplizierer zum Multiplizieren des Ausgangssignals des Subtrahierers 14 mit dem Vorzeichen entsprechend dem von der Vorzeichenausgabeschaltung 24 übertragenen Signal. Bezugszeichen 28 bezeichnet einen Multiplizierer zum Multiplizieren des Ausgangssignals des Subtrahierers 18 mit dem Ausgangssignal des Subtrahierers 22. Bezugszeichen 30 bezeichnet eine Absolutwertschaltung zur Übertragung des absoluten Werts des Ausgangssignals des Subtrahierers 24. Die Bezugszeichen 32, 34 und 36 bezeichnen jeweils Summierschaltungen zum kumulativen Addieren von Ausgangssignaldaten des Multiplizierers 32, der Absolutwertschaltung 30 und des Multiplizierers 28. Bezugszeichen 38 bezeichnet einen Dividierer zum Dividieren des Ausgangssignals der Summierschaltung 32 durch das Ausgangssignal der Summierschaltung 34. Die Ausgangssignale des Dividierers 38 stellen Bewegungsvektoren des entsprechenden Blocks dar. Bezugszeichen 40 bezeichnet einen Speicher zum Speichern des Bewegungsvektors für jeden der Blöcke. Bezugszeichen 42 bezeichnet eine Sortierschaltung zum Anordnen (Sortieren) der Bewegungsvektoren der entsprechenden Blöcke, die dann im Speicher 40 gespeichert werden, wobei die Bewegungsvektoren in Abhängigkeit von der Größe des Ausgangssignals ΣBg'xg'y der Summierschaltung 36 angeordnet bzw. sortiert werden.
Bezugszeichen 44 bezeichnet eine Wichtungsmittelungsschaltung zum Mitteln der Bewegungsvektoren, die mittels der Sortierschaltung 42 angeordnet wurden, wobei die Bewegungsvektoren in geeigneter Weise gewichtet werden. Bezugszeichen 46 bezeichnet einen Ausgangsanschluß, über den die endgültigen Bewegungsvektoren übertragen werden.
Die Wirkungsweise wird nachstehend unter Bezugnahme auf Fig. 1 beschrieben. Ein dem Eingangsanschluß zugeführtes Bildsignal g wird auf drei Wege aufgeteilt. Hierbei handelt es sich um die Dichtedifferenz (Pegeldifferenz) zwischen zwei Halbbildern (oder Vollbildern), die zeitlich aufeinander folgen, d. h. die zeitliche Steigung d wird mittels des Registers 12 und des Subtrahierers 14 berechnet. Ferner wird die räumliche Steigung gx' in der x- Richtung des vorherigen Halbbilds (oder Vollbilds) mittels des Registers 16 und des Subtrahierers 18 berechnet. Desweiteren wird die räumliche Steigung gy' des vorherigen Halbbilds (oder Vollbilds) in y-Richtung mittels des Registers 20 und des Subtrahierers 22 berechnet.
Die räumliche Steigung gx' in der x-Richtung wird der Vorzeichenausgabeschaltung 24, der Absolutwertschaltung 30 und dem Multiplizierer 28 zugeführt. Die Vorzeichenausgabeschaltung 24 überträgt "+ 1" wenn die räumliche Steigung gx' positiv ist, sie überträgt "0", wenn sie Null ist und überträgt "- 1", wenn sie negativ ist. Die Absolutwertschaltung 30 überträgt den absoluten Wert der Steigung gx'- Der Multiplizierer 26 multipliziert die zeitliche Steigung d (das Ausgangssignal des Subtrahierers 14) mit dem Ausgangssignal der Vorzeichenausgabeschaltung 24. Die Summierschaltungen 32 und 34 addieren jeweils die Ausgangssignale des Multiplizierers 26 und der Absolutwertschaltung 30 bezüglich eines Erfassungsblocks, der aus einer vorbestimmten Anzahl von Pixeln besteht, auf. Somit berechnet die Summierschaltung 32 den Ausdruck ΣB d sign(gx'), während die Summierschaltung 34 den Ausdruck ΣB gx' berechnet. Der Dividierer 38 dividiert das Ausgangssignal der Summierschaltung 32 durch das Ausgangssignal der Summierschaltung 34. Das Ausgangssignal des Dividierers 38 entspricht dem Wert a der vorstehend angegebenen Gleichung (2). Im Ergebnis wird ein eindimensionaler (horizontaler oder vertikaler) Bewegungsbetrag erhalten.
Der Multiplizierer 28 multipliziert die räumliche Steigung gx' in x-Richtung durch die räumliche Steigung gy' in der y-Richtung. Die Summierschaltung 36 summiert die Ausgangssignale des Multiplizierers 28 in dem gleichen Block entsprechend den Summierschaltungen 32 und 34. Das Ausgangssignal ΣBgx' gy' der Summierschaltung 36 ist der an Null angenäherte Ausdruck zur Vereinfachung der Gleichung (1) zur Gleichung (2). Somit kann die Zuverlässigkeit oder die Bestimmtheit des Bewegungsvektors (des Ausgangssignals des Dividierers 38) in Abhängigkeit vom Ausgangssignal der Summierschaltung 36 durch Überprüfen des Ausdrucks ΣBgx' gy' bestimmt werden. Wird das Ausgangssignal der Summierschaltung 36 ausreichend an Null angenähert, dann ist das Ergebnis der Schätzung entsprechend der verwendeten Gleichung (2) verläßlich. Liegt demgegenüber ein großer Wert vor, dann ist die Verläßlichkeit nicht ausreichend.
Daher wird der durch den Dividierer 38 erhaltene Bewegungsvektor zeitweilig in dem Speicher 40 gespeichert, bevor er mittels der Sortierschaltung 42 in Abhängigkeit von der Größe ΣBgx' gy' sortiert wird. In der Wichtungsmittelungsschaltung 44 wird ein Mittelungsvorgang in der Weise durchgeführt, daß die Gewichtung in umgekehrter Proportionalität zu ΣBgx' gy' vergrößert wird. Im Ergebnis kann ein Signal zur Bezeichnung eines weiteren verläßlichen Bildbewegungsbetrags am Ausgangsanschluß 46 erhalten werden.
Eine Wirkungsweise dieses Ausführungsbeispiels wird nun unter Bezugnahme auf Fig. 2 beschrieben. Fig. 2 ist eine grafische Darstellung zur Veranschaulichung eines Ergebnisses einer Simulation, die für den Fall durchgeführt wurde, daß dieses Ausführungsbeispiel bei einem Bildsignal angewendet wird, das von einem Festkörperbildaufnahmeelement einer Kamera erhalten wurde und die Werte horizontal x vertikal x Gradation = 256 x 256 x 8 Bits aufweist. Die Achse der Abszisse der grafischen Darstellung repräsentiert die horizontale Bewegung des Bilds, während die Achse der Ordinate den geschätzten Betrag betrifft, der in vertikaler Richtung infolge der horizontalen Bewegung des Bilds erzeugt wird. Die grafische Darstellung veranschaulicht das Ergebnis der Schätzung bezüglich eines Ausgangssignals zur Angabe der Anzahl der vertikalen Pixel, in denen sich das Bild bewegt, wenn sich das Bild in der horizontalen Richtung um 1 bis 10 Pixel bewegt hat. Da tatsächlich keine vertikale Bewegung durchgeführt wurde, stellt das Ergebnis der schätzung in vertikaler Richtung einen sogenannten fehlerhaften Erfassungsbetrag dar. Gemäß Fig. 2 bezeichnet das Symbol O den fehlerhaften Erfassungsbetrag gemäß diesem Ausführungsbeispiel und X bezeichnet den fehlerhaften Erfassungsbetrag, der mittels eines bekannten Steigungsverfahrens erhalten wurde, bei welchem die Gleichung (2) in vereinfachter Weise verwendet wird.
Das durch die Markierung O in Fig. 2 dargestellte Ergebnis und bezüglich dieses Ausführungsbeispiels wird durch eine Mittelung von ΣBgx' gy' erhalten, wobei die Gewichtung in umgekehrter Proportionalität zu dieser Größe ansteigt. Wie es aus Fig. 2 erkennbar ist, kann der fehlerhafte Erfassungsbetrag gemäß der vorliegenden Erfindung in erheblichem Umfang vermindert werden. Bei dieser Simulation ist die Anzahl der Blöcke in einem Vollbild zu 16 angenommen, und die in den entsprechenden Blöcken erhaltenen Bewegungsblöcke werden in Abhängigkeit einer umgekehrten Proportionalität zur Verarbeitungsfunktion Σ Bgx' gy' sortiert (angeordnet). Ferner wird ein Mittelungsvorgang in der Weise durchgeführt, daß die Gewichtung nacheinander vermindert wird, wobei von einem Wert 16 (16:15:14:,...,:3:2:1) einer konstanten Steigung ausgegangen wird.
Gemäß dem vorstehend beschriebenen Ausführungsbeispiel erfolgt das zum Zeitpunkt der Mittelung der Ausgangsergebnisse der Erfassungsblöcke verwendete Gewichtungsverfahren in der Weise, daß die Reihenfolge in Abhängigkeit von der Stärke der Verarbeitungsfunktion ΣBgx' gy' verwendet wird. Somit kann das Erfordernis der Speicherung der Werte der Verarbeitungsfunktion nach einem Vergleich mit der Verarbeitungsfunktion ΣBgx' gy' die für jeden Block durchgeführt wurde, entfallen. Im Ergebnis kann der Algorithmus vereinfacht werden, da lediglich Beziehungen bezüglich der Stärke (Größe) der Verarbeitungsfunktion herausgegriffen werden.
Nachfolgend wird ein Gewichtungsverfahren beschrieben, das dadurch gekennzeichnet ist, daß die Größe der Verarbeitungsfunktion in erheblichem Umfang berücksichtigt wird.
Dabei kann ein Gewichtungsverfahren, wie es mittels der Wichtungsmittelungsschaltung 44 durchgeführt wird, verwendet werden, wobei in der Weise vorgegangen wird, daß der aus dem Ausgangssignal des Dividierers 38 erhaltene Bewegungsvektor mit einem invertierten Wert der Verarbeitungsfunktion ΣBgx' gy' multipliziert wird. Im Ergebnis wird der Wert der Verarbeitungsfunktion ΣBgx' gy' berücksichtigt und die Verläßlichkeit des Bewegungsvektors kann weiter verbessert werden. In diesem Fall kann die Sortierschaltung 42 selbstverständlich aus der Schaltungsanordnung entfallen.
Werden die Ausgangsergebnisse der Blöcke mit α&sub1;, α&sub2;, αm bezeichnet, dann wird die Wichtungsmittelungsgleichung, bei der die invertierten Werte der Verarbeitungsfunktion als Gewichtung verwendet werden, in der nachfolgenden Weise ausgedrückt:
Entsprechend jedem der vorstehend beschriebenen Ausführungsbeispiele wird der Ausdruck ΣBgx' gy' als Verarbeitungsfunktion verwendet. Die Verarbeitungsfunktion gemäß ΣBgx' gy' umfaßt die physikalische Bedeutung einer räumlichen Steigungskomponente des Bildsignals in einer diagonalen Richtung. Ist der Wert der vorstehend beschriebenen Verarbeitungsfunktion groß, dann bedeutet dies daher, daß die diagonale räumliche Steigungskomponente groß ist. Gemäß den vorstehend beschriebenen Ausführungsbeispielen bildet die Verarbeitungsfunktion zur Bezeichnung der diagonalen räumlichen Steigungsfunktion die Summe ΣBgx' + ΣBgy' des absoluten Werts ΣBgx' der Summe der horizontalen räumlichen Steigungen in einem Block und des absoluten Werts ΣBgy' der Summe der vertikalen räumlichen Steigungen in einem Block.
Fig&sub0; 3 zeigt mittels eines Blockschaltbilds den grundsätzlichen Aufbau zur Veranschaulichung des Ausführungsbeispiels, wobei dieselben Elemente wie diejenigen in Fig. 1 mit denselben Bezugszeichen bezeichnet sind. Es werden somit nur die gegenüber Fig. 1 geänderten Bereiche beschrieben. Die Bezugszeichen 48 und 50 bezeichnen Summierschaltungen, die in ähnlicher Weise wie die Summierschaltungen 32 und 34 angeordnet sind, wobei die Summierschaltungen 48 und 50 zur Berechnung der Ausgangssignale der Subtrahierer 18 und 22 für jeden Block dienen. Die Bezugszeichen 52 und 54 bezeichnen Absolutwertschaltungen zur Berechnung der absoluten Werte der Summierschaltungen 48 und 50. Ein Addierer 56 addiert die Ausgangssignale der Absolutwertschaltungen 52 und 54.
Die Sortierschaltung 58 sortiert die Bewegungsvektoren in dem Speicher 40 in Abhängigkeit von ihren Werten. Die Wichtungsmittelungsschaltung 60 gewichtet die sortierte (angeordnete) Reihenfolge, die mittels der Sortierschaltung 58 angeordnet ist, wobei gemittelt und das Ergebnis des Mittelungsvorgangs zu einem Ausgangsanschluß 62 übertragen wird.
Der Addierer 56 überträgt den Wert von ΣBgx' + ΣBgy' der den diagonalen Steigungskomponentenbetrag bezeichnet. Die Wichtungsmittelungsschaltung 60 bewertet den Bewegungsvektor in einem Block, in dem die Diagonalkomponente groß ist, als niedrig, und bewertet den Bewegungsvektor in einem Block, in dem Diagonalkomponente klein ist, als hoch. Sind jedoch die Werte ΣBgx' , und [Σ Bxy' sehr verschieden, ist somit beispielsweise einer zwanzigmal größer als der andere, dann bedeutet dies entsprechend dem in Fig. 3 gezeigten Ausführungsbeispiel, daß eine gerichtete räumliche Steigung in der waagerechten Richtung oder der vertikalen Richtung vorliegt. Tatsächlich ist die diagonale Komponente klein. Es ist daher wichtig, den Gewichtungsvorgang unter Berücksichtigung der vorstehend beschriebenen Tatsachen bezüglich der Wichtungsmittelungsschaltung 60 durchzuführen.
Wie sich aus dem vorstehenden ergibt, kann eine Verschlechterung der Erfassungsgenauigkeit infolge der diagonalen Komponente verhindert werden. Daher kann der Bewegungsvektor genau und mit großer Geschwindigkeit ermittelt werden.
Ein viertes Ausführungsbeispiel der vorliegenden Erfindung wird nachstehend unter Bezugnahme auf die Fig. 4 bis 8 beschrieben, wobei das vierte Ausführungsbeispiel in der Lage ist, die Verschlechterung der Erfassungsgenauigkeit des Bewegungsvektors infolge der diagonalen räumlichen Steigung eines Bilds zu verhindern.
Gemäß dem vierten Ausführungsbeispiel der vorliegenden Erfindung ist eine Bewegungsvektor-Erfassungsvorrichtung einschließlich einer Filtereinrichtung zur Bandbegrenzung der diagonalen räumlichen Steigungskomponente eines zugeführten Bildsignals und einer Verarbeitungseinrichtung zur Verarbeitung des Bildvektors in Abhängigkeit von einer Schätzungsgleichung vorgesehen, die den Einfluß der diagonalen räumlichen Steigungskomponente annähert. Somit wird der Begrenzungsvorgang der diagonalen räumlichen Steigungskomponente gemäß den vorstehend beschriebenen Ausführungsbeispielen mittels einer Filtereinrichtung durchgeführt.
Die Bewegungsvektor-Erfassungsvorrichtung gemäß diesem Ausführungsbeispiel der vorliegenden Erfindung wird nachstehend unter Bezugnahme auf die Figuren beschrieben.
Fig. 4 zeigt mittels eines Blockschaltbilds den Aufbau des Ausführungsbeispiels der vorliegenden Erfindung. Bezugszeichen 110 bezeichnet einen Eingangsanschluß, über den das Bildsignal zugeführt wird. Bezugszeichen 112 bezeichnet eine zweidimensionale Fouriertransformationsschaltung und 114 bezeichnet ein Kreuzfilter mit einer kreuzförmigen Frequenzkennlinie. Bezugszeichen 116 bezeichnet eine zweidimensionale inverse Fouriertransformationsschaltung und 118 bezeichnet ein Register zur Speicherung (d. h. zur zeitlichen Verzögerung) des zugeführten Bildsignals während einer Halbbildperiode (oder Vollbildperiode). Bezugszeichen 120 bezeichnet ein Register zur Speicherung (d. h. zur zeitlichen Verzögerung) des Eingangssignals während einer Abtastzeit für eine Vielzahl von Pixeln, die zur Berechnung der räumlichen Steigung der Bilddichteverteilung erforderlich sind. Die Bezugszeichen 122 und 124 bezeichnen Subtrahierer und 126 bezeichnet eine Vorzeichenausgabeschaltung zur Übertragung eines Signals zur Bezeichnung des Vorzeichens (positiv, negativ oder Null) des Eingangssignals (wobei die räumliche Steigung durch das Ausgangssignal des Subtrahierers 124 bezeichnet ist). Bezugszeichen 128 bezeichnet einen Multiplizierer und Bezugszeichen 130 bezeichnet eine Absolutwertschaltung zur Übertragung des absoluten Werts des Ausgangssignals des Subtrahierers 124. Die Bezugszeichen 132 und 134 bezeichnen Summierschaltungen zur kumulativen Addition von Daten eines speziellen Blocks und 136 bezeichnet einen Dividierer zum Dividieren des Ausgangssignals der Summierschaltung 132 durch das Ausgangssignal der Summierschaltung 134. Bezugszeichen 138 bezeichnet einen Ausgangsanschluß, über welchen ein Signal zur Bezeichnung des horizontalen oder vertikalen Bewegungsbetrags eines Bilds übertragen wird.
Die Wirkungsweise wird nachstehend unter Bezugnahme auf Fig. 4 beschrieben. Ein dem Eingangsanschluß 110 zugeführtes Bildsignal g&sub0; wird einer zweidimensionalen Fouriertransformation durch die Fouriertransformationsschaltung 112 zum Erhalten eines Signals G&sub0; unterworfen.
Das Ausgangssignal G&sub0; der Fouriertransformationsschaltung 112 wird dem Kreuzfilter 114 zugeführt, so daß die horizontale und vertikale Komponente übertragen werden und die Komponente der Steigung in diagonaler Richtung entfernt wird. Das Ausgangssignal des Kreuzfilters 114 wird einer invertierten Fouriertransformation durch die inverse Fouriertransformationsschaltung 116 unterworfen. Ein Ausgangssignal g der inversen Fouriertransformationsschaltung 116 stellt ein Bildsignal dar, das durch ausreichendes Entfernen der diagonalen Steigungskomponente von dem dem Eingangsanschluß 110 zugeführten Bildsignal gebildet wurde.
Das Ausgangssignal g der inversen Fouriertransformationsschaltung 116 wird auf zwei Wege aufgeteilt, wobei in jedem dieser Wege die Dichtedifferenz (Pegeldifferenz) zwischen den zwei Halbbildern (Vollbildern), die zeitlich aufeinander folgen, d. h. die zeitliche Steigung d durch das Register 118 und den Subtrahierer 122, berechnet wird Demgegenüber wird mittels des Registers 120 und des Subtrahierers 124 in dem anderen Weg die räumliche Steigung g' zwischen einer vorbestimmten Anzahl von Pixeln in dem gegenwärtigen Vollbild (Halbbild oder Vollbild) berechnet.
Die derart erhaltene räumliche Steigung g' wird der Vorzeichenausgabeschaltung 126 und der Absolutwertschaltung 130 zugeführt. Die Vorzeichenausgabeschaltung 126 überträgt den Wert "+ 1", wenn die räumliche Steigung g' positiv ist, sie überträgt "0", wenn sie Null ist, und überträgt "- 1", wenn sie negativ ist. Die Absolutwertschaltung 130 überträgt den absoluten Wert der räumlichen Steigung g'.
Der Multiplizierer 128 multipliziert die zeitliche Steigung d (das Ausgangssignal des Subtrahierers 122) mit dem Ausgangssignal der Vorzeichenausgabeschaltung 126 zur Übertragung von d sign(g'). Die Summierschaltungen 132 und 134 summieren jeweils die Ausgangssignale des Multiplizierers 128 und der Absolutwertschaltung 134 in Blöcken auf, die jeweils aus einer vorbestimmten Anzahl von Pixeln bestehen. Die Summierschaltung 132 berechnet somit Σ B d sign(g'), während die Summierschaltung 134 den Wert ΣB g' berechnet. Der Dividierer 136 dividiert das Ausgangssignal der Summierschaltung 132 durch das Ausgangssignal der Summierschaltung 134, so daß ΣBd sign(g')/ΣB g' berechnet wird. Wird somit die horizontale räumliche Steigung gx' durch das Register 120 und den Subtrahierer 124 erhalten, dann kann der horizontale Bewegungsbetrag α am Ausgangsanschluß 138 erhalten werden. Wird ferner die vertikale räumliche Steigung gy' durch das Register 120 und den Subtrahierer 124 erhalten, dann kann der vertikale Bewegungsbetrag β am Ausgangsanschluß 138 erhalten werden.
Die Wirkungsweise des Kreuzfilters 114 wird nachstehend unter Bezugnahme auf die Fig. 5 und 6 beschrieben. Fig. 5 veranschaulicht eine Bandpaßkennlinie des Kreuzfilters 114, das zur Verarbeitung eines Bilds von 256 x 256 x 1 Byte von einer Videokamera ausgelegt ist, wobei das Filter 114 die Größe 256 x 256 aufweist, die derjenigen des Bilds entspricht. Das Eingangsbild g&sub0; wird in G&sub0; mittels der zweidimensionalen Fouriertransformation umgeformt, bevor es mittels des Kreuzfilters 114 gefiltert wird, so daß ein Bildspektrum G erhalten wird. Das Spektrum G wird sodann erneut einer zweidimensionalen inversen Fouriertransformation unterzogen, so daß sich ein Bild g ergibt, das in einen tatsächlichen Raum transformiert wurde. Im Ergebnis wird der Bewegungsbetrag des Bilds berechnet. Der horizontale Bewegungsbetrag wurde unter Verwendung der vorstehend beschriebenen Gleichung (2) geschätzt für eine Echtzeitverarbeitung in dem Falle, daß das Kreuzfilter mit den vorstehend angegebenen Eigenschaften verwendet wird, und daß in dem Falle geschätzt wurde, daß es ein einfaches Tiefpaßfilter der Größe 20 x 20 verwendet wurde. Fig. 6 veranschaulicht das Ergebnis der Schätzung des vertikalen Bildbewegungsbetrags bezüglich des horizontalen Bewegungsbetrags, wenn sich das Bild um 1 bis 10 Pixel nur in der horizontalen Richtung bewegt hat. Gemäß Fig. 6 bezeichnet das Symbol 0 das Ergebnis der Schätzung entsprechend dem vorliegenden Ausführungsbeispiel, in dem das Kreuzfilter verwendet wird, während X das Ergebnis der Schätzung in dem Fall bezeichnet, daß das Tiefpaßfilter verwendet wird.
Da sich das Bild lediglich in der horizontalen Richtung bei der vorstehend beschriebenen Simulation bewegt hat, ist das Ergebnis der Schätzung des vertikalen Bewegungsbetrags mit Null identisch. Das Ergebnis der Schätzung des vertikalen Bewegungsbetrags kann jedoch nicht zu Null gemacht werden infolge des Einflusses durch die Annäherung der Gleichung (2). In dem Falle der Verwendung des Tiefpaßfilters vergrößert sich das Ergebnis der Schätzung im Verhältnis zum Bildbewegungsbetrag. Gemäß dem vorliegenden Ausführungsbeispiel, in welchem das Kreuzfilter verwendet wird, kann der Bildbewegungsbetrag erheblich in Bezug auf das Ergebnis in dem Falle der Verwendung des Tiefpaßfilters vermindert werden, obwohl das Ergebnis der Schätzung des vertikalen Bewegungsbetrags nicht genau zu Null gemacht werden kann. Ferner kann die vertikale Komponente, d. h. der Fehler größer gemacht werden, auch wenn sich der Bildbewegungsbetrag vergrößert hat.
Da die Diagonalkomponente ΣBgx' ΣBgy' ganz einfach zu "0" gemacht wurde für die Berechnung in Zusammenhang mit der Gleichung (2), wird die Genauigkeit in erheblichem Umfang verschlechtert, falls die diagonale Steigungskomponente groß ist.
Gemäß Fig. 6 bezeichnen die durch X angegebenen Ergebnisse den erfaßten Bewegungsbetrag des Bilds in der vertikalen Richtung in dem Falle, daß das Spektrum G des Bilds mit einem quadratischen Tiefpaßfilter der Größe 20 x 20 multipliziert und Gleichung (2) bei dem Bild angewendet wurde, das in einen echten Raum mittels der zweidimensionalen Fouriertransformation umgewandelt wurde. Wie es aus dem vorstehenden erkennbar ist, wird der tatsächliche Bewegungsbetrag des Bilds vergrößert, wobei sich das Ausgangssignal vergrößert. Diese Tatsache bedeutet eine Vergrößerung des Fehlers.
Demgegenüber bezeichnen die mit O angegebenen Ergebnisse den erfaßten Bewegungsbetrag des Bilds in der vertikalen Richtung im Falle der vorliegenden Erfindung, bei der das Spektrum G (fx, fy) des Bilds mit dem vorstehend beschriebenen Kreuzfilter multipliziert und Gleichung (2) bei dem Bild angewendet wurde, das in einen echten Raum durch die zweidimensionale Fouriertransformation umgewandelt (transformiert) wurde. Die durch O angegebenen Ergebnisse zeigen ein hervorragendes Ergebnis der Verhinderung der Vergrößerung der vertikalen Komponente, d. h. des Fehlers, im Vergleich zu den mittels X gedruckten Ergebnissen.
Obwohl das Band der diagonalen Steigungskomponente durch den Frequenzbereich gemäß dem vorliegenden Ausführungsbeispiel nach Fig. 4 begrenzt ist, kann es auch durch den räumlichen Bereich beschränkt sein. Fig. 7 veranschaulicht ein Beispiel eines Aufbaus der Schaltung zur Verwendung in einem Filter zur Begrenzung des Bands durch den räumlichen Bereich. Fig. 7 veranschaulicht ein Beispiel des Aufbaus einer Filterschaltung zum Entfernen der diagonalen Steigungskomponente eines analogen TV-Signals. Gemäß Fig. 7 bezeichnet Bezugszeichen 140 einen Eingangsanschluß, über den ein analoges TV-Signal zugeführt wird. Die Bezugszeichen 142 und 144 kennzeichnen Verzögerungsschaltungen für eine horizontale Abtastperiode. Das Bezugszeichen 146 bezeichnet eine Addierschaltung zum Addieren eines dem Eingangsanschluß 140 zugeführten Signals, eines Signals, das mittels der Verzögerungsschaltung 142 um eine horizontale Abtastperiode verzögert wurde, und eines Signals, das mittels der Verzögerungsschaltung 142 und 144 um zwei horizontale Abtastperioden verzögert wurde, wobei die vorstehend beschriebenen Signale jeweils eine Gewichtung von -1/4, 1/2 und -1/4 erhalten. Bezugszeichen 148 bezeichnet ein Bandpaßfilter BPF und 150 bezeichnet eine Verzögerungsschaltung zur Anpassung des Grads der Verzögerung des Bandpaßfilters BPF 148. Bezugszeichen 152 bezeichnet einen Subtrahierer zum Subtrahieren des Ausgangssignals des BPF 148 vom Ausgangssignal der Verzögerungsschaltung 150. Bezugszeichen 154 bezeichnet einen Ausgangsanschluß.
In dem Falle, daß die Polarität jedes der TV-Signale der oberen und unteren Abtastzeilen bezüglich einer beliebigen Abtastzeile invertiert wurden, sind die Ausgangssignale des BPF 148 und der Verzögerungsschaltung 150 gleich. Daher wird das Ausgangssignal am Ausgangsanschluß 154 zu Null im Bandpaßbereich für das BPF 148, wodurch die diagonale Steigungskomponente entfernt wird.
Es ist ein weiteres Verfahren verfügbar, das derart aufgebaut ist, daß die Maske eines Bilds einer Faltungsberechnung im räumlichen Bereich unterzogen wird, wodurch das Band der diagonalen Steigungskomponente begrenzt wird. Da dieses Verfahren mathematisch dem in Fig. 4 gezeigten Ablauf äquivalent ist, können die Fouriertransformation und die inverse Fouriertransformation in dem jeweiligen Aufbau entfallen. Daher kann die Verarbeitungsgeschwindigkeit vergrößert und der gerätemäßige Aufbau (Hardware) vereinfacht werden.
Unter Bezugnahme auf Fig. 8 wird nun ein Verfahren zur Bestimmung der Maske in einem räumlichen Bereich beschrieben. Das Bestimmungsverfahren (Entwicklungsverfahren) ist wie folgt: zuerst wird eine Funktion zur Bezeichnung eines Tiefpaßfilters (mit einer quadratischen A X A-Anordnung um den in Fig. 8 gezeigten Ursprung) einschließlich eines Kreuzfilters, das für den Frequenzbereich ausgelegt ist, bestimmt. Sodann wird eine Funktion zur Bezeichnung der vier Ecken des Tiefpaßfilters bestimmt. Nachfolgend werden die derart bestimmten beiden Funktionen einer Subtraktion unterzogen. Im Ergebnis kann angenähert eine Funktion mit einer kreuzförmigen Frequenzkennlinie in dem Frequenzbereich erhalten werden. Die mittes der vorstehend beschriebenen Subtraktion erhaltene Funktion wird einer Fouriertransformation unterworfen, wobei im Ergebnis eine Faltungsmaske im räumlichen Bereich erhalten wird.
Die nachstehende Beschreibung erfolgt unter Verwendung einer speziellen Funktion der Faltungsmaske im räumlichen Bereich. Unter Bezugnahme auf Fig. 8 wird ein Tiefpaßfilter, dessen eine Seite A ist, mittels der nachfolgenden Gleichung angenähert:
F&sub1; = 4/A² sinc (2/A fx) sinc (2/A fy)
In diesem Falle wird die Breite, bei der die sinc-Funktion aus der Sicht der Niederfrequenzseite zuerst gleich 0 wird, in Übereinstimmung mit A gebracht. Werden nun die Mittelkoordinaten eines schraffierten Bereichs in Fig. 8 zu (±α, ±α) angenommen, dann werden diese gemäß der nachfolgenden Gleichung angenähert
F&sub2; = {sinc(2/B fx - α) + sinc (2/B fx + α)} x {sinc(2/B.fy - α) + sinc (2/B fy + α)} x 4/B²
Entsprechend einer Transformation wird die nachfolgende Gleichung erhalten:
F&sub2; = (sinc (2/Bfx) * {δ(fx - α) + δ(fx + α)}] x [sinc (2/B fy) * {δ6(fy - α) + δ(fy + α)}] x 4/B²
wobei * der Operator der Faltungsoperation (Faltungsoperator) ist. Ferner wird in diesem Fall die Breite, bei der die sinc-Funktion aus den Mitten der vier schraffierten Bereiche her gesehen zuerst zu 0 wird, gemäß Fig. 8 in Übereinstimmung mit B gebracht. Wird nun die Funktion F&sub2; von der Funktion F&sub1; subtrahiert, dann ergibt sich das folgende Ergebnis
Wird nun die inverse Fouriertransformation von F zu f angenommen, dann wird das folgende Ergebnis erhalten.
f = rect(Ax/2)*rect(Ay/2)
- rect(Bx/2){exp(-j2π x α) + exp(j2π x
rect(By/2) {exp(-j2πyα) + exp(j2πyα)}
rect(Ax/2) rect(Ay/2)
- 2cos(2πxα) cos(2πyα)
x rect(Bx/2) rect(By/2)
Da α = (A - B)/2, kann α entfernt werden, so daß sich das folgende Ergebnis ergibt:
f = rect(Ax/2).rect(Ay/2)
- 2cos(2πx(A-B)/2) cos(2πy(A-B)/2)
x rect(Bx/2) rect(By/2)
Durch Ersetzen der gewünschten Werte von A und B in die vorstehend beschriebene Gleichung kann eine gewünschte Faltungsmaske in einem räumlichen Bereich bestimmt (entwickelt) werden.
Wie aus dem vorstehenden zu entnehmen ist, kann die Verschlechterung der Erfassungsgenauigkeit infolge der diagonalen Komponente gemäß der vorliegenden Erfindung verhindert werden. Im Ergebnis kann der Bewegungsvektor mit großer Geschwindigkeit und großer Genauigkeit ermittelt werden.
Nachstehend wird nun ein siebentes Ausführungsbeispiel der vorliegenden Erfindung beschrieben. Wie vorstehend beschrieben, kann die Versetzung eines Bilds aus der Gleichung (2) in der Weise erhalten werden, daß der Bewegungsbetrag in x-Richtung aus der räumlichen Steigung in x-Richtung und der Dichtedifferenz erhalten wird, und der Bewegungsbetrag in y-Richtung aus der räumlichen Steigung in y-Richtung und der Dichtedifferenz erhalten wird. Der Einfluß der räumlichen Steigung in den relativen Richtungen von x und y wird somit nicht in Betracht gezogen. Im Ergebnis kann die zweidimensionale Bildbewegung mit dem vorstehend beschriebenen Verfahren nicht in befriedigender Weise behandelt werden.
Die nachfolgende Beschreibung erfolgt unter Bezugnahme auf Fig. 10. Fig. 10 veranschaulicht das Ergebnis einer Erfassung mittels eines bekannten Verfahrens in dem Falle, daß ein Bild mit einer (nach rechts unten gerichteten) diagonalen Richtung in 16 Blöcke aufgeteilt ist und daß diese in einer Richtung nach rechts oben bewegt werden, wie es im oberen Bereich von Fig. 10 gezeigt ist, wobei das Ergebnis mittels eines Bewegungsvektors für jeden Block veranschaulicht ist. Die in Fig. 10 gezeigten Kreisbögen veranschaulichen konstante Dichtelinien.
In den Böcken #6, #11 und #16 sind starke diagonale räumliche Steigungskomponenten gezeigt. Das zeitlich räumliche Steigungsverfahren setzt jedoch voraus, daß "keine große zeitlich räumliche Steigung in diagonaler Richtung in einem Block vorliegt". Da die vorstehend beschriebenen Ergebnisse diese Voraussetzung nicht erfüllen, werden korrekte Schätzungen in x-Richtung und y- Richtung nicht durchgeführt.
In den Blöcken #2, #3 und #4 ist die Bewegung in y-Richtung nicht korrekt geschätzt, obwohl die Bewegung in x-Richtung korrekt geschätzt wurde. In den Blöcken #5, #9 und #13 ist im Gegensatz zu den Blöcken #2, #3 und #4 die Bewegung in y-Richtung korrekt geschätzt, jedoch ist die Bewegung in x--
Richtung nicht korrekt geschätzt. Die Gründe hierfür liegen in der Tatsache, daß "die Bewegung in einer Richtung, in der keine räumliche Steigung vorliegt, nicht geschätzt werden kann" entsprechend dem zeitlich räumlichen Steigungsverfahren. Ferner wird in den Blöcken #7, #8, #10 und #14 ein kritischer Fehler in einer Richtung erzeugt, in der die räumliche Steigung infolge desselben Prinzips des zeitlich räumlichen Steigungsverfahrens klein ist.
Es ist daher eine Aufgabe der vorliegenden Erfindung, eine schnelle und genaue Bewegungsvektor-Erfassungsvorrichtung bereitzustellen, die die vorstehend angegebenen Probleme lösen und an eine Echtzeitverarbeitung angepaßt werden kann. Zur Lösung dieser Aufgabe wird eine Bewegungsvektor- Erfassungsvorrichtung bereitgestellt zum Erhalten eines Bildbewegungsbetrags aus der Dichtedifferenz zwischen Vollbildern und der räumlichen Steigung in einem Vollbild, wobei die Bewegungsvektor-Erfassungsvorrichtung umfaßt: eine erste Verarbeitungseinrichtung zur Verarbeitung des Bewegungsvektors für jeden Block in Abhängigkeit von einer Schätzungsgleichung, die den Einfluß einer diagonalen räumlichen Steigungskomponente annähert, eine zweite Verarbeitungseinrichtung zum Erhalten eines Signals zur Bezeichnung des diagonalen räumlichen Steigungskomponentenbetrags eines Eingangsbildsignals, eine Klassifizierungseinrichtung zur Klassifizierung der Blöcke in Muster, die dem Ergebnis der durch die zweite Verarbeitungseinrichtung durchgeführten Verarbeitung entsprechen, und eine Mittelungseinrichtung zum Mitteln des durch die erste Verarbeitungseinrichtung erhaltenen Bewegungsvektors des entsprechenden Blocks durch eine Gewichtung, die in Abhängigkeit von der durch die Klassifizierungseinrichtung durchgeführten Zuordnung (Klassifizierung) bestimmt ist.
Im Ergebnis durch die Verarbeitung der ersten Verarbeitungseinrichtung wird der Bewegungsvektor grundsätzlich aus einer angenäherten Abschätzungsgleichung erhalten. Daher kann der Ablauf mit hoher Geschwindigkeit durchgeführt werden. Da ferner die Blöcke unter Berücksichtigung des diagonalen räumlichen Steigungskomponentenbetrags durch die zweite Verarbeitungseinrichtung und die Klassifizierungseinrichtung klassifiziert sind und die Mittelungseinrichtung einen gewichteten Mittelungsvorgang in Abhängigkeit von der derart gebildeten Klassifizierung durchführt, kann die Verarbeitung des geschätzten Ergebisses mit einem infolge der angenäherten Abschätzungsgleichung auftretenden Fehler vermindert werden. Der Bewegungsvektor kann daher in verläßlicher Weise erhalten werden.
Im einzelnen wird die Verteilung der räumlichen Steigung in eine Vielzahl von einfachen Mustern klassifiziert. Ferner wird das Ergebnis der Abschätzung des Bewegungsbetrags in einer Richtung, in der jeder der Blöcke einfach ermittelt werden kann, vergrößert, während es in einer Richtung, in der keine korrekte Erfassung möglich ist, vermindert wird. Daher kann ein Fehler verhindert werden, der erzeugt wird, wenn das Prinzip oder Annahme des Steigungsverfahrens nicht ausreichend sind.
Dieses Ausführungsbeispiel wird nun unter Bezugnahme auf die Figuren beschrieben.
Fig. 9 zeigt ein Blockschaltbild zur Veranschaulichung eines Ausführungsbeispiels der vorliegenden Erfindung, bei der der Aufbau der vorliegenden Erfindung im Rahmen einer Vollbilderschütterungs-Verhinderungseinrichtung einer TV- Kamera oder Video-Kamera angewendet wird. Unter Bezugnahme auf Fig. 9 bezeichnet Bezugszeichen 210 einen Eingangsanschluß, dem ein Bildsignal zugeführt wird. Bezugszeichen 212 bezeichnet ein Register zum Speichern (d. h. zum zeitlichen Verzögern) des Eingangssignals für ein Vollbild (oder ein Halbbild). Bezugszeichen 214 bezeichnet einen Subtrahierer zum Subtrahieren des Ausgangssignals des Registers 212 von einem dem Eingangsanschluß 210 zugeführten Bildsignal. Bezugszeichen 216 bezeichnet ein Register zum Speichern (d. h. zum zeitlichen Verzögern) des Eingangssignals während einer Abtastzeitdauer für eine Vielzahl von Pixeln, die zur Berechnung der räumlichen Steigung in x-Richtung einer Bilddichteverteilung erforderlich sind. Bezugszeichen 218 bezeichnet einen Subtrahierer zum Subtrahieren des Ausgangssignals des Registers 216 von dem dem Eingangsanschluß 210 zugeführten Bildsignal. Bezugszeichen 220 bezeichnet ein Register zum Speichern (d. h. zum zeitlichen Verzögern) des dem Eingangsanschluß 210 zugeführten Bildsignals während einer vorbestimmten Abtastperiode, so daß die räumliche Steigung in y-Richtung erhalten wird. Bezugszeichen 222 bezeichnet einen Subtrahierer zum Subtrahieren des Ausgangssignals des Registers 220 von dem dem Eingangsanschluß 210 zugeführten Bildsignal. Das Ausgangssignal des Subtrahierers 214 stellt die Dichtesteigung d dar, das Ausganssignal des Subtrahierers 218 stellt die räumliche Steigung gx' in x- Richtung dar und das Ausgangssignal des Subtrahierers 222 bildet die räumliche Steigung gy' in y-Richtung.
Die Bezugszeichen 224 und 226 bezeichnen jeweils Vorzeichenausgabeschaltungen zur Übertragung eines Signals zur Angabe des Vorzeichens (positiv, negativ oder Null) der Ausgangssignale der Subtrahierer 218 und 222. Die Bezugszeichen 228 und 230 bezeichnen jeweils Multiplizierer zum Multiplizieren der Ausgangssignale der Vorzeichenausgabeschaltungen 224 und 226 mit dem Ausgangssignal (der Dichtesteigung d) des Subtrahierers 214. Die Bezugszeichen 232 und 234 bezeichnen jeweils Absolutwertschaltungen zur Übertragung des absoluten Werts der Ausgangssignale der Subtrahierer 218 und 222. Bezugszeichen 236 bezeichnet einen Multiplizierer zum Multiplizieren des Ausgangssignals gx' des Subtrahierers 218 mit dem Ausgangssignal gy' des Subtrahierers 222. Die Bezugszeichen 238, 240, 242, 244, 246, 248 und 250 bezeichnen jeweils Summierschaltungen zum Summieren von Ausgangssignaldaten des Multiplizierers 228, der Absolutwertschaltung 232, des Multiplizierers 230, der Absolutwertschaltung 234, des Multiplizierers 236, des Subtrahierers 218 und des Subtrahierers 222. Bezugszeichen 252 bezeichnet einen Dividierer zum Dividieren des Ausgangssignals der Summierschaltung 238 durch das Ausgangssignal der Summierschaltung 240. Bezugszeichen 254 bezeichnet einen Dividierer zum Dividieren des Ausgangssignals der Summierschaltung 242 durch das Ausgangssignal der Summierschaltung 244. Bezugszeichen 256 bezeichnet einen Dividierer zum Dividieren des Ausgangssignals der Summierschaltung 248 durch das Ausgangssignal der Summierschaltung 250. Das Ausgangssignal des Subtrahierers 252 zeigt den Bewegungsbetrag in x- Richtung, während das Ausgangssignal des Subtrahierers 254 den Bewegungsbetrag in y-Richtung angibt. Bezugszeichen 258 bezeichnet eine Absolutwertschaltung zum Übertragen des absoluten Werts des Ausgangssignals des Dividierers 256.
Bezugszeichen 260 bezeichnet einen Speicher zum Speichern des von den Dividierern 252 und 254 übertragenen Bewegungsbetrags und der von der Absolutwertschaltung 258 übertragenen räumlichen Steigungsinformation. Bezugszeichen 262 bezeichnet eine Musterklassifizierungsschaltung zum Klassifizieren, wie es nachstehend noch beschrieben wird, der Blöcke in eine Vielzahl von räumlichen Steigungsmustern in Abhängigkeit von der räumlichen Steigungsinformation. Bezugszeichen 264 bezeichnet eine Mittelungsschaltung zum Mitteln der Blöcke, die mittels der Klassifizierungsschaltung 262 klassifiziert wurden, wobei diese in angemessener Weise gewichtet werden. Bezugszeichen 266 bezeichnet einen Ausgangsanschluß zum Übertragen des Bewegungsvektors, der das Ergebnis der Erfassung darstellt.
Die Wirkungsweise wird nachstehend unter Bezugnahme auf Fig. 19 beschrieben. Das Register 212 und der Subtrahierer 214 berechnen die Dichtedifferenz in den beiden Halbbildern (oder Vollbildern), die einander zeitlich folgen, d. h. die zeitliche Steigung d des dem Eingangsanschluß 210 zugeführten Bildsignals g. Das Register 216 und der Subtrahierer 218 berechnen die räumliche Steigung gx' in x- Richtung im vorherigen Halbbild (oder Vollbild). Das Register 220 und der Subtrahierer 222 berechnen die räumliche Steigung gy' in y-Richtung des vorherigen Halbbilds (oder Vollbilds).
Die Vorzeichenausgabeschaltung 224 überträgt "+ 1", wenn das Ausgangssignal gx' des Subtrahierers 218 positiv ist, sie überträgt "0", wenn das Ausgangssignal gleich Null ist und überträgt "- 1", wenn das Ausgangssignal negativ ist. Die Absolutwertschaltung 230 überträgt den absoluten Wert der räumlichen Steigung gx. Der Multiplizierer 228 multipliziert das Ausgangssignal d des Subtrahierers 214 mit dem Ausgangssignal der Vorzeichenausgabeschaltung 224. In gleicher Weise überträgt die Vorzeichenausgabeschaltung 226 ein Signal zur Angabe des Ausgangssignals gy' des Subtrahierers 228. Die Absolutwertschaltung 234 überträgt den absoluten Wert der räumlichen Steigung gy'. Der Multiplizierer 230 multipliziert das Ausgangssignal d des Subtrahierers 214 mit dem Ausgangssignal der Vorzeichenausgabeschaltung 226. Die Summierschaltungen 238, 240, 242 und 244 summieren jeweils die Ausgangssignale des Multiplizierers 228, der Absolutwertschaltung 232, des Multiplizierers 230 und der Absolutwertschaltung 234 bezüglich eines aus einer vorbestimmten Anzahl von Pixeln bestehenden Blocks. Somit berechnet die Summierschaltung 238 den Ausdruck ΣBd sign(gx'), die Summierschaltung 240 den Ausdruck ΣBd gx' , die Summierschaltung 242 den Ausdruck Zbdsign(gy') und die Summierschaltung 244 berechnet den Ausdruck ΣBd gy' . Der Dividierer 252 dividiert das Ausgangssignal der Summierschaltung 238 durch das Ausgangssignal der Summierschaltung 240. Der Dividierer 254 dividiert das Ausgangssignal der Summierschaltung 242 durch das Ausgangssignal der Summierschaltung 244. Die Ausgangssignale der Dividierer 252 und 254 entsprechen jeweils den Werten α und β in den vorstehend beschriebenen Gleichungen. Die Ausgangssignale der Dividierer 252 und 254 werden zeitweilig in dem Speicher 260 gespeichert.
Der Multiplizierer 236 multipliziert das Ausgangssignal gx' des Subtrahierers 218 durch das Ausgangssignal gy' des Subtrahierers 222. Die Summierschaltung 246 summiert die Ausgangssignale des Multiplizierers 236 bezüglich eines vorbestimmten Blocks. Die Summierschaltungen 248 und 250 summieren jeweils die Ausgangssignale gx' und gy' der Subtrahierer 218 und 222. Der Dividierer 256 dividiert das Ausgangssignal der Summierschaltung 248 durch das Ausgangssignal der Summierschaltung 250. Die Absolutwertschaltung 258 gibt den absoluten Wert des Ausgangssignals des Dividierers 256 aus. Somit gibt die Absolutwertschaltung den Ausdruck ΣBgx'/ΣBgy' aus. Das Ausgangssignal ΣBgx' gy' der Summierschaltung 246 und das Ausgangssignal der Absolutwertschaltung 258 werden dem Speicher 260 zugeführt.
Die Musterklassifikationsschaltung 262 klassifiziert jeden der Blöcke in eine Vielzahl von Einzelmustern bezüglich der in dem Speicher 260 gespeicherten Information gemäß dem Ausdruck ΣBgx'/ΣBgy' , und ΣBgx' gy'. Das Ablaufdiagramm zur Veranschaulichung des Klassifizierungsvorgangs ist in Fig. 10 gezeigt. Ist somit der Ausdruck ΣBgx' gy' der als Parameter dient, in einem bestimmten Block größer als ein vorbestimmter Schwellenwert Th (S1), dann wird eine Bestimmung durchgeführt, daß die diagonale räumliche Steigungskomponente groß ist. In diesem Falle wird das Ergebnis des Ausgangssignals des betroffenen Blocks weggelassen (S2). Zu diesem Zeitpunkt kann eine Gewichtung in Abhängigkeit von ΣBgx' gy' in gleicher Weise wie bei den vorstehend beschriebenen Ausführungsbeispielen anstelle eines einfachen Weglassens durchgeführt werden. Wird sodann eine Bestimmung durchgeführt, daß der Ausdruck ΣBgx' größer als der Ausdruck ΣBgy' des Ergebnisses von ΣBgx'/ ΣBgy' ist, dann wird das Abschätzungsergebnis α in x- Richtung als hoch verarbeitet, während das Abschätzungsergebnis β in y-Richtung als niedrig verarbeitet wird (S4). Wird eine Bestimmung in der Weise durchgeführt, daß der Ausdruck ΣBgx' im wesentlichen gleich dem Ausdruck ΣBgy' ist, dann werden beide Abschätzungsergebnisse α und β in x-Richtung und y-Richtung als verläßlich angesehen und hoch verarbeitet (S5). Ist der Ausdruck ΣBgx' ausreichend kleiner als der Ausdruck ΣBgy' dann wird das Abschätzungsergebnis β in der y-Richtung hoch verarbeitet und das Abschätzungsergebnis α in der x-Richtung niedrig verarbeitet (S6).
Wie vorstehend beschrieben, wurde jeder der Blöcke klassifiziert und gewichtet in Abhängigkeit von der Klassifizierung in der Mittelungsschaltung 264, wodurch das Ergebnis der Schätzung für jeden der Blöcke gemittelt wird. Die gemittelten Ergebnisse werden mittels des Ausgangsanschlusses 266 übertragen.
Im Ergebnis kann der Einfluß des erfaßten Blocks, der eine sehr steile diagonale räumliche Steigung aufweist und damit einen großen Fehlerbeitrag liefert, beseitigt werden. Daher kann der Bewegungsvektor sehr genau ermittelt werden.
Wie der vorstehenden Beschreibung zu entnehmen ist, kann gemäß der vorliegenden Erfindung der Fehler im Erfassungsergebnis der Bewegung in einer Richtung, in der keine räumliche Steigung vorliegt, vermieden werden. Desweiteren kann der Fehler im Erfassungsergebnis, der infolge der Tatsache gebildet wurde, daß in einem Block eine große diagonale räumliche Steigung vorliegt, vermieden werden. Der Bewegungsvektor kann daher mit großer Geschwindigkeit genau ermittelt werden.
Die Fig. 12 und 13 veranschaulichen Ausführungsbeispiele, bei denen die vorstehend beschriebene Bewegungsvektor- Erfassungsschaltung im Rahmen einer Erschütterungs kompensationseinrichtung (Erschütterungsverhinderungseinrichtung) für eine Video-Kamera angewendet wird.
Fig. 12 veranschaulicht einen Aufbau, bei dem ein veränderbares spitzwinkeliges Prisma als Erschütterungskompensationseinrichtung verwendet wird, wobei das veränderbare spitzwinkelige Prisma in der Weise vorgesehen ist, daß die optische Achse einer Abbildungslinse derart angeordnet ist, daß sie zur optischen Kompensation der Erschütterung veränderbar ist. In Fig. 12 bezeichnet Bezugszeichen 301 ein veränderbares spitzwinkeliges Prisma mit einer Richtung der optischen Achse entsprechend dem optischen Linsenabbildungssystem, d. h. dem spitzen Winkel, wobei das veränderbare spitzwinkelige Prisma durch Einspritzen einer Silikonflüssigkeit zwischen zwei parallele Glasplatten hergestellt wird. Bezugszeichen 302 bezeichnet eine Abbildungslinse (Abbildungsobjektiv) und Bezugszeichen 303 bezeichnet ein Abbildungselement wie ein Ladungskopplungselement CCD zur Übertragung eines Signals zur Bezeichnung des Ergebnisses einer Abbildung durch fotoelektrische Umwandlung des Objektbilds mittels der Abbildungslinse 302. Bezugszeichen 304 bezeichnet einen Vorverstärker und Bezugszeichen 305 bezeichnet eine Kamerasignal-Verarbeitungsschaltung zur Übertragung eines standardisierten Videosignals durch Unterwerfen des das Ergebnis der Abbildung kennzeichnenden und von dem Abbildungselement übertragenen Signals einer Vielzahl von Abläufen wie einem Austastprozeß, einem Prozeß zum Hinzufügen eines Synchronisationssignals und einer T- Korrektur. Bezugszeichen 306 bezeichnet die Bewegungsvektor-Erfassungsschaltung entsprechend der Beschreibung bezüglich der vorstehenden Ausführungsbeispiele. Bezugszeichen 307 bezeichnet eine Systemsteuerungsschaltung zur Berechnung von Informationen über die Richtung und den Betrieb des veränderbaren spitzwinkeligen Prismas, das eine Information bezüglich des von der Bewegungsvektor-Erfassungsschaltung 306 zugeführten Bildbewegungsvektor aufnimmt zur Kompensation der Bildbewegung infolge einer Erschütterung der Kamera, und wobei die Systemsteuerungsschaltung 307 ferner den Reaktionsbetrag desselben berechnet. Bezugszeichen 308 bezeichnet eine Ansteuerungsschaltung zur Ansteuerung des veränderbaren spitzwinkeligen Prismas 301 in Abhängigkeit von einer durch die Systemsteuerungsschaltung 307 berechneten Information.
Im Ergebnis kann der Bewegungsvektor infolge einer Bilderschütterung (Erschütterung der Kamera) durch die Bewegungsvektor-Erfassungsschaltung 306 entsprechend jedem der vorstehend beschriebenen Ausführungsbeispiele ermittelt werden. Sodann werden die Richtung und der Betrag der Bewegung des veränderbaren spitzwinkeligen Prismas in Abhängigkeit von dem derart bestimmten Bewegungsvektor berechnet, so daß das veränderbare spitzwinkelige Prisma angetrieben wird und somit die Erschütterung korrigiert werden kann.
Da die Wirkungsweise der Bewegungsvektor-Erfassungsschaltung die gleiche ist, wie bei jedem der vorstehend beschriebenen Ausführungsbeispiele, ist ihre Beschreibung weggelassen.
Fig. 13 veranschaulicht einen Aufbau, bei dem kein optisches System in der Erschütterungskompensationseinrichtung verwendet wird, wobei das Bild zeitweilig in einem Speicher verfügbar ist und der aus dem Speicher gelesene Bereich verändert werden kann, wodurch eine Kompensation der Bewegung des Bildes möglich ist.
Dieselben Elemente wie diejenigen des Ausführungsbeispiels gemäß Fig. 12 erhalten dieselben Bezugszeichen, so daß ihre Beschreibung hier entfallen kann.
Ein von dem Vorverstärker 304 übertragenes Bildsignal wird mittels eines A/D-Wandlers 309 in ein digitales Signal umgewandelt, bevor es von einem Speicher in einer digitalen Signalverarbeitungsschaltung 310 aufgenommen wird. Die Umsetzungsrate und die zeitliche Steuerung der A/D- Wandlung, die zum Zwecke des Empfangens des Bilds durch den Speicher durchgeführt wird&sub1; und die Schreibzeiten und die Adressen werden mittels einer Speichersteuerungsschaltung 313 gesteuert. Ferner wird die Leseadresse des Speichers und die zeitliche Steuerung mittels der Speichersteuerungsschaltung 313 gebildet.
Ein von dem Speicher 310 gelesenes digitales Bildsignal wird einer Vielzahl von Kamerasignalverarbeitungen in der Kamerasignalverarbeitungsschaltung 311 unterworfen. Es wird sodann in ein analoges Signal mittels einer D/A- Wandlungsschaltung 312 umgewandelt, so daß es als Videosignal übertragen werden kann. Es kann jedoch auch in der vorliegenden Form als digitales Bildsignal übertragen werden.
In einer Bewegungsvektor-Erfassungsschaltung 315 wird in gleicher Weise wie bei dem in Fig. 1 gezeigten Ausführungsbeispiel der Bewegungsvektor infolge einer Erschütterung der Kamera ermittelt, wobei der ermittelte Bewegungsvektor sodann der Systemsteuerungsschaltung 314 zugeführt wird. In der Systemsteuerungsschaltung 314 werden die Richtung und der Betrag der Bewegung des Bilds in Abhängigkeit von dem mittels der Bewegungsvektor- Erfassungsschaltung 315 erfaßten Bewegungsvektor berechnet.
Im Ergebnis steuert die Systemsteuerungsschaltung 314 die Speichersteuerungsschaltung 313 in Abhängigkeit von dem Ergebnis der Berechnungen zur Steuerung des Speicherlesebereichs. Das Bild wird von dem Speicher mit einem Sehwinkel erfaßt, der größer ist als ein Sehwinkel, der zuvor übertragen wurde, und der Lesebereich wird zum Zeitpunkt des Lesens des Speichers geändert, so daß die Bewegung kompensiert werden kann. Durch Versetzen des Lesebereichs in Richtung der Bewegung wird die Bewegung des Bilds kompensiert.
Der vorstehend beschriebene Aufbau kann in der Weise abgewandelt werden, daß die Kamerasignalverarbeitungsschaltung hinter dem D/A-Wandler 312 zur Durchführung einer analogen Signalverarbeitung angeordnet wird. Die Verarbeitung kann jedoch auf einfache Weise entsprechend der Durchführung einer digitalen Signalverarbeitung vollendet werden, wodurch ein Vorteil in Bezug auf eine Rauschunterdrückung erzielt wird.
Wie vorstehend beschrieben, können die bei einer Videokamera auftretenden Erschütterungen mittels einer Bewegungsvektor-Erfassungsschaltung gemäß der vorliegenden Erfindung kompensiert werden. Desweiteren kann die vorliegende Erfindung in weiten Bereichen angewendet werden, beispielsweise bei einer Schwenkbewegung einer Kamera und bei der Erschütterungskompensation als Bewegungserfassungseinrichtung.
Im Ergebnis kann eine Videokamera mit einer Erschütterungskompensationsfunktion einschließlich eines extrem weiten Bewegungserfassungsbereichs verwirklicht werden, die in der Lage ist, die Erfassungskompensation von verschiedenen Bewegungen unabhängig von ihrem Ausmaß durchzuführen, und die eine befriedigende Wirkungsweise erzielt.

Claims

1. Vorrichtung zur Erfassung eines Bewegungsvektors eines von einer Bilderfassungseinrichtung ausgegebenen Bildsignals auf der Basis einer Neigung einer Änderung des Bildsignals in einem Bildrahmen, mit

einer ersten Einrichtung (12, 14, 24, 26, 32, 16, 18, 20, 22, 30, 32, 34, 38) zum Empfangen des Bildsignals und Bestimmen des Bewegungsvektors durch Erfassen der Steigung (gx', gy') einer Änderung des Bildsignals innerhalb des Rahmens, und

einer zweiten Einrichtung (36) zur Erfassung einer diagonalen Steigungskomponente des Bildsignals und zur Ausgabe eines diagonalen Steigungssignals,

dadurch gekennzeichnet, daß desweiteren vorgesehen ist:

eine dritte Einrichtung (40, 42, 44) zum Mitteln des von der ersten Betätigungseinrichtung ausgegebenen Bewegungsvektorsignals in gewichteter Weise, wobei die Gewichtung in Abhängigkeit von dem durch die zweite Einrichtung ausgegebenen diagonalen Steigungssignal erfolgt zur Erzeugung eines mit Gewichtung gemittelten Bewegungsvektors.

2. Vorrichtung nach Anspruch 1, bei der die erste Einrichtung eine erste Berechnungseinrichtung (12, 14) umfaßt zur Berechnung der zeitlichen Steigung (d) eines Bewegungsvektors im Bildsignal.

3. Vorrichtung nach Anspruch 2, bei der die Einrichtung zur Berechnung der zeitlichen Steigung ein Register (12) zur Speicherung eines Vollbilds des Bildsignals und einen Subtrahierer (14) umfaßt zur Subtraktion des Inhalts des Registers vom Bildsignal.

4. Vorrichtung nach Anspruch 3, bei der die erste Einrichtung eine Berechnungseinrichtung (16, 18) zur Berechnung einer ersten diagonalen gerichteten räumlichen Steigung des Bewegungsvektors und eine Einrichtung (24, 26, 30, 32, 34, 38) umfaßt zum Ableiten des Bewegungsvektors aus der Berechnungseinrichtung der zeitlichen Steigung und der Berechnungseinrichtung der diagonalen Richtung.

5. Vorrichtung nach Anspruch 4, bei der die Einrichtung zum Ableiten des Bewegungsvektors einen Multiplizierer (26) umfaßt zur Multiplikation des Ausgangssignals des Subtrahierers mit dem Vorzeichen des Ausgangssignals der zweiten Berechnungseinrichtung.

6. Vorrichtung nach Anspruch 5, bei der die erste Einrichtung eine Einrichtung (32) zum Aufsummieren der Ausgangssignale des Multiplizierers, eine Einrichtung (34) zum Aufsummieren des absoluten Werts der zweiten Berechnungseinrichtung und eine Einrichtung (38) aufweist zur Aufteilung der Ausgangssignale der Aufsummiereinrichtungen.

7. Vorrichtung nach einem der Ansprüche 2 bis 6, bei der die dritte Einrichtung ein Register (20) zur Verzögerung des Eingangssignals und einen Subtrahierer (22) umfaßt zur Subtraktion des Eingangssignals vom Inhalt des Registers.

8. Vorrichtung nach Anspruch 7, bei der die zweite Betriebseinrichtung einen Multiplizierer (28) zur Multiplikation der Ausgangssignale der zweiten und dritten Berechnungseinrichtung und eine Einrichtung (36) aufweist zum Aufsummieren der Ausgangssignale des Multiplizierers.

9. Vorrichtung nach Anspruch 8, mit einer Speichereinrichtung (40) zum zeitweiligen Speichern des Ausgangssignals des Dividierers, einer Einrichtung (42) zum Anordnen des Inhalts des Speichers in Abhängigkeit vom Ausgangssignal der zweiten Betriebseinrichtung, und einer Einrichtung (44) zur Durchführung einer gewichteten Mittelung des Ausgangssignals der Speichereinrichtung zum Herleiten eines Signals zur Angabe der Bewegung des Eingangssignals.