DE69322423T2 - Vorrichtung zur Detektion von Bewegungsvektoren - Google Patents

Description

• Die vorliegende Erfindung bezieht sich auf die Verbesserung einer Bewegungsvektor-Detektions- bzw. Erfassungsvorrichtung, die für ein Kodiergerät zur Kodierung eines Bewegtbildsignals oder für ein Bildvibrationskorrekturgerät zur Korrektur der Auswirkungen einer Kameravibration bei einem Bewegtbildsignal vorgesehen ist.
• Bisher beinhalten bekannte Bewegungsvektorerfassungsverfahren für ein Kodiergerät oder ein Bildvibrationskorrekturgerät beispielsweise ein Zeitbereich-Gradientenverfahren, ein auf der arithmetischen Korrelationsoperation beruhendes Korrelationsverfahren und ein Blockübereinstimmungsverfahren, wie es in der US-A-3 890 462, der JP-B-60-46878 offenbart ist. Das Zeitbereich-Gradientenverfahren ist ausführlich bei B. K/P. Horn et al., "Artificial Intelligence 17", Seiten 185 bis 203, 1981 beschrieben. Die arithmetische Übereinstimmungsoperation ist ausführlich bei Morio Ogami et al., "Information Processing", Band 17, Nr. 7, Seiten 634 bis 640, Juli 1976 beschrieben.
• Das Zeitbereich-Gradientenverfahren ist ein Verfahren, wodurch ein Bewegungsausmaß eines Bildes durch d/Δ aus einer Luminanzdifferenz d zwischen Vollbildern (oder Teilbildern) und einer Luminanzdifferenz Δ zwischen Bildelementen in einer Bildebene ausgedrückt wird. Gemäß diesem Verfahren wird die Luminanzdifferenz d zwischen Vollbildern (oder Teilbildern) durch ein Signal Δ derart normalisiert, daß ein von einer Ka mera erhaltenes Signal einem zeitlichen Mittel einer Teilbildperiode entspricht, und wenn das Bewegungsausmaß des Bildes groß ist, wird eine Kante schwach und die Luminanzdifferenz Δ zwischen den Bildelementen verringert sich.
• Gemäß dem Blockübereinstimmungsverfahren (das auch Schablonenübereinstimmungsverfahren genannt wird), wird andererseits ein Eingangsbildsignal in Blöcke geeigneter Größe (beispielsweise 8 Bildelemente · 8 Zeilen) eingeteilt, eine Differenz zwischen dem aktuellen Bildelement und dem Bildelement in einem vorbestimmten Bereich des vorhergehenden Vollbildes (oder Teilbildes) wird blockweise berechnet, und es wird nach dem Block des vorhergehenden Vollbildes (oder Teilbildes) gesucht, in dem die Summe des Absolutwertes einer derartigen Differenz minimal wird. Eine relative Abweichung des relevanten Blocks zeigt einen Bewegungsvektor eines derartigen Blocks an.
• Gibt es allerdings eine Vielzahl unterschiedlicher Bewegungen in der Bildebene, können gemäß den vorstehend angeführten herkömmlichen Verfahren lediglich Bewegungsvektoren geringer Zuverlässigkeit aufgrund einer falschen Übereinstimmung des entsprechenden Bildelements wegen des Erscheinens oder Verdeckens eines zu fotografierenden Objekts oder eines Einflusses durch die verschiedenen Bewegungen der anderen zu fotografierenden Objekte aus dem über der Grenze derart unterschiedlicher Bewegungen liegenden Block erfaßt werden. Es besteht ein Problem darin, daß sich die Kodiergenauigkeit des Kodiergeräts oder eine Korrekturgenauigkeit des Bildvibrationskorrekturgeräts merklich aufgrund falscher Bewegungsvektoren verschlechtert, die aus einem derartigen Block erfaßt werden.
• Der Erfindung liegt daher die Aufgabe zugrunde, eine Bewegungsvektor-Erfassungsvorrichtung auszugestalten, die die Erfassungsgenauigkeit eines Bewegungsvektors unter Berücksichtigung der vorstehend angeführten Probleme verbessern kann.
• Diese Aufgabe wird erfindungsgemäß durch eine Vorrichtung zur Berechnung von Bewegungsvektoren zur Verwendung bei der Korrektur einer Bewegung in einem Bild aufgrund einer Kameravibration gelöst, mit
• a) einer Bewegungsvektorerfassungseinrichtung, die zur Einteilung eines Eingangsbildes in eine Vielzahl von Blöcken und zur Erfassung jeweiliger eine Bildbewegung in jedem der Blöcke definierender Bewegungsvektoren betreibbar ist, und
• b) einer Bewegungsvektor-Berechnungseinrichtung, die zur Bestimmung eines Bewegungs-Erfassungsbereichs zur Bildbewegungserfassung, der aus einer Gruppe der Blöcke besteht, in denen auf der Grundlage der Bewegungsvektoren eine korrelierte Bildbewegung als vorhanden bestimmt wird, und zur Berechnung eines eine Durchschnitts-Bildbewegung in dem Bewegungserfassungsbereich definierenden Durchschnitts- Bewegungsvektors auf der Grundlage der Bewegungsvektoren der den Bewegungserfassungsbereich bildenden Blöcke betreibbar ist,
• dadurch gekennzeichnet, daß die Bewegungsvektor- Berechnungseinrichtung eine Bewegungsvektor- Auswertungseinrichtung aufweist, die zur Auswertung der Zuverlässigkeit des jeweiligen Bewegungsvektors für jeden in dem Bewegungserfassungsbereich positionierten Block und zur Bestimmung eines jeweiligen Gewichtskoeffizienten daraus betreibbar ist, wobei die Bewegungsvektor- Berechnungseinrichtung ferner zur Berechnung des Durch schnitts-Bewegungsvektors durch Ausführung eines Gewichts- Durchschnittsbildungsvorgangs betreibbar ist, in dem der Beitrag jedes Bewegungsvektors entsprechend seinem jeweiligen Gewichtskoeffizienten gewichtet wird.
• Die zweite Aufgabe der Erfindung besteht in der Ausgestaltung einer Videokamera mit einem Bildvibrationskorrekturgerät, das die vorstehend angeführte Bewegungsvektorerfassungsvorrichtung aufweist und die Auswirkungen einer Bildvibration aufgrund einer Kameravibration erfassen und mit großer Genauigkeit korrigieren kann.
• Gemäß einem bevorzugten Ausführungsbeispiel der Erfindung ist eine Videokamera offenbart, bei der eine Bewegungsvektorberechnungseinrichtung ausgebildet ist, um einen Bewegungsvektorwert durch Durchführung einer Gewichtungsverarbeitung gemäß den Positionsinformationen von Blöcken, die Bereiche einnehmen, in denen die gleiche Bewegung durchgeführt wird, entsprechend einem orts- oder zeitabhängigen Nachbarschaftskriterium für jeden Block durchzuführen, wodurch die Durchführung einer sehr genauen Bewegungsvektorerfassung ermöglicht wird.
• Die dritte Aufgabe der Erfindung besteht in der Ausgestaltung eines Bildvibrationskorrekturgeräts, das Bildvibrationen durch Erfassung eines Bewegungssektors eines Bildes erfaßt, wobei der Korrekturvorgang mit großer Genauigkeit und großer Zuverlässigkeit durchgeführt werden kann, indem ein Zielbereich zur Ausführung der Vibrationskorrektur immer optimiert wird.
• Zur Lösung dieser Aufgaben ist gemäß einem bevorzugten Ausführungsbeispiel der Erfindung ein Bildvibrationskorrekturgerät offenbart, mit einer Bewegungsvektorerfassungseinrichtung zur Erfassung eines jeweiligen Bewegungsvektors für jeden Block, der durch Einteilen eines Bildes in eine Vielzahl von Blöcken erhalten wird, einer Vibrationsausmaß- Erfassungseinrichtung zur Erfassung eines Vibrationsausmaßes auf der Grundlage von von der Bewegungsvektorerfassungseinrichtung erhaltenen Bewegungsvektorinformationen eines aus einem Satz von Blöcken bestehenden Bereichs, der einem angezeigten Zielbereich entspricht, einer Korrektureinrichtung zur Korrektur einer Vibration und einer Ansteuereinrichtung zur Korrektur der Vibrations durch Ansteuerung der Korrektureinrichtung gemäß den Informationen von der Vibrationsausmaßerfassungseinrichtung, wobei das Gerät ferner eine Grenzerfassungseinrichtung zur Erfassung einer Grenze in dem Bild und eine Zielbereichsentscheidungseinrichtung zur Entscheidung des der Vibrationskorrektur zu unterziehenden Bereichs auf der Grundlage der Grenzinformationen von der Grenzerfassungseinrichtung und der Informationen von der Bewegungsvektorerfassungseinrichtung und zur Übermittlung von den Zielbereich definierenden Daten zu der Vibrationsausmaßerfassungseinrichtung aufweist.
• Gemäß einem weiteren bevorzugten Ausführungsbeispiel der Erfindung ist ein Vibrationskorrekturgerät offenbart, mit einer Bewegungsvektorerfassungseinrichtung zur Erfassung eines Bewegungsvektors für jeden Block, der durch Einteilen eines Bildes in eine Vielzahl von Blöcken erhalten wird, einer Vibrationsausmaßerfassungseinrichtung zur Erfassung eines Vibratiosausmaßes auf der Grundlage von Bewegungsvektorinformationen eines Satzes von einem angezeigten Zielbereich ent sprechenden Blöcken, die von der Bewegungsvektorerfassungseinrichtung erhalten werden, einer Korrektureinrichtung zur Korrektur einer Vibration und einer Ansteuereinrichtung zur Korrektur der Vibration durch Ansteuerung der Korrektureinrichtung entsprechend den Informationen von der Vibrationsausmaßerfassungseinrichtung, wobei das Gerät ferner eine Zielbereichentscheidungseinrichtung zur Anwendung verschiedener Gewichte bei den Informationen von der Bewegungsvektorerfassungseinrichtung, zum Hinzufügen der gewichteten Informationen für ein vorbestimmte Zeit, zur Bestimmung des der Vibrationskorrektur zu unterziehenden Zielbereichs auf der Grundlage jedes Additionswerts und zur Übermittlung von den Zielbereich definierenden Daten zu der Vibrationsausmaßerfassungseinrichtung aufweist.
• Eine weitere Aufgabe der Erfindung besteht in der Ausgestaltung einer Videokamera mit dem vorstehend angeführten Bildvibrationskorrekturgerät.
• Die Erfindung wird nachstehend anhand von Ausführungsbeispielen unter Bezugnahme auf die beiliegende Zeichnung näher beschrieben. Es zeigen:
• Fig. 1 ein Blockschaltbild eines Aufbaus einer Videokamera mit einem Bildvibrationskorrekturgerät, bei dem das erste Ausführungsbeispiel angewendet wird,
• Fig. 2A bis 2C Darstellungen eines Ablaufs von der Eingabe eines Bildsignals bis zur Beurteilung eines Zielbereichs,
• Fig. 3 eine Darstellung einer einen Zielbereich anzeigenden Binärabbildung gemäß dem ersten Ausführungsbeispiel,
• Fig. 4 eine Darstellung eines Beispiels einer Faltungsmaske, die bei dem Zielbereich in Fig. 3 angewendet wird,
• Fig. 5 eine Darstellung eines weiteren Beispiels einer Faltungsmaske, die bei dem Zielbereich in Fig. 3 angewendet wird,
• Fig. 6 eine Gewichtskoeffizientenverteilungsdarstellung, die die Zuverlässigkeit in dem Zielbereich gemäß dem ersten Ausführungsbeispiel zeigt,
• Fig. 7 eine Gewichtskoeffizientenverteilungsdarstellung, wenn die gesamte Bildebene der Zielbereich wird, gemäß dem zweiten Ausführungsbeispiel,
• Fig. 8 eine Darstellung einer Zuverlässigkeitsbewertungsfunktion gemäß der Gesamtanzahl an Gewichtskoeffizienten gemäß dem zweiten Ausführungsbeispiel,
• Fig. 9 eine Darstellung eines Beispiels einer Faltungsmaske, die bei einem Zielbereich gemäß dem dritten Ausführungsbeispiel angewendet wird,
• Fig. 10 eine Gewichtskoeffizientenverteilungsdarstellung, wenn die Maske in Fig. 9 mit der Zielbereichsabbildung in Fig. 3 gefaltet wurde,
• Fig. 11 ein Blockschaltbild einer Videokamera mit einer Vorrichtung gemäß einem vierten Ausführungsbeispiel,
• Fig. 12 eine Darstellung eines Beispiels eines Teilbildes, das in einem Nachführungsfotografiemodus zeitsequentiell stetig ist,
• Fig. 13 einen optischen Fluß, der als Ergebnis einer arithmetischen Operation bei zwei Bildebenen erhalten wird, die zeitsequentiell stetig sind,
• Fig. 14 eine Darstellung des Ergebnisses in dem Fall, daß der optische Fluß in Fig. 13 für eine vorbestimmte Zeit hinzugefügt wurde,
• Fig. 15 ein Blockschaltbild einer Videokamera mit einer Vorrichtung gemäß dem fünften Ausführungsbeispiel,
• Fig. 16 eine Darstellung einer Kante in einem Bild,
• Fig. 17 eine Darstellung eines Signalverlaufs, wenn die Kante in Fig. 16 einer Ableitung erster Ordnung unterzogen wurde,
• Fig. 18 eine Darstellung eines Signalverlaufs, wenn die Kante in Fig. 16 einer Ableitung zweiter Ordnung unterzogen wurde,
• Fig. 19 ein Blockschaltbild einer Videokamera mit einer Vorrichtung gemäß dem sechsten Ausführungsbeispiel,
• Fig. 20 eine Darstellung der Größenordnung einer verbleibenden Komponente, wenn ein Vibrationszustand durch eine Cosinuskurve modelliert und für ein vorbestimmte Zeit addiert wird, und
• Fig. 21 eine Darstellung einer Größenordnung einer verbleibenden Komponente, wenn ein Vibrationszustand durch eine Sinuskurve modelliert und für eine vorbestimmte Zeit addiert wird.
• Fig. 1 zeigt ein Blockschaltbild des Aufbaus einer Videokamera mit einem Bildvibrationskorrekturgerät, bei der das erste Ausführungsbeispiel angewendet wird.
• In Fig. 1 bezeichnet das Bezugszeichen 10 ein zu fotografierendes Objekt, 20 eine Bildaufnahmelinse, 30 ein Bildaufnahmeelement beispielsweise aus einem zweidimensionalen Ladungskopplungsbaustein (CCD), 40 eine Abtast-Halte-(S/H-)Schaltung zum Auslesen eines Ausgangssignals aus dem Bildaufnahmeelement 30, wie einem zweidimensionalen CCD-Baustein, 50 eine Lichtwertautomatik- bzw. selbstregelnde Steuerschaltung (AGC) zum Konstanthalten eines Signalpegels, 60 einen Analog- Digital-(A/D-)Wandler, 70 eine Verzögerungsschaltung zur Verzögerung eines zeilensequentiellen Farbdifferenzsignals von dem Bildaufnahmeelement 30, wie einem zweidimensionalen CCD- Baustein lediglich um einen Zeitabschnitt von zwei Horizontalabtastungen, 80 eine Farbsignalverarbeitungsschaltung, 90 einen Digital-/Analog-(D/A-)Wandler zur Umwandlung eines Farbsignals in ein digitales Signal und 95 einen Farbsignalausgabeanschluß.
• Das Bezugszeichen 100 bezeichnet ein Tiefpaßfilter (LPF) zur Beseitigung einer Farbsignalkomponente, die mit einem Luminanzsignal vermischt ist, 110 eine Steigerungseinrichtung zur Erhöhung einer Hochfrequenzkomponente in dem Luminanzsignal, 120 eine Gamma-Korrektureinrichtung, 130 eine Bewegungsvektorerfassungsschaltung, 140 einen Mikrocomputer zur Beurteilung der Zuverlässigkeit jedes Blocks, der durch Einteilung einer Bildebene zur Erfassung eines Bewegungsvektors in eine Vielzahl von Blöcken erhalten wird, 150 eine Speicherauslesesteuerschaltung, 160 einen Speicher zur Speicherung eines Bildes eines Teilbildes oder eines Vollbildes, 170 einen D/A-Wandler zur Umwandlung des digitalen Signals in eine Leuchtsignalausgabe und 180 einen Luminanzsignalausgangsanschluß.
• Nachstehend wird die Arbeitsweise der Videokamera mit dem vorstehenden Aufbau beschrieben.
• Das Objekt 10 wird auf das Bildaufnahmeelement 30 durch die Bildaufnahmelinse 20 projiziert und wird fotoelektrisch in ein elektrisches Signal durch das Bildaufnahmeelement gewandelt. Die S/H-Schaltung 40 tastet und liest ein Ausgangssignal des Bildaufnahmeelements 30 aus. Die AGC-Schaltung 50 steuert automatisch die Verstärkung des Ausgangssignals der S/H-Schaltung. Der A/D-Wandler 60 wandelt das Ausgangssignal der AGC-Schaltung 50 analog zu digital. Die Verzögerungsschaltung 70 für zwei horizontale Abtast-Zeitabschnitte separiert das zeilensequentielle Farbdifferenzsignal von dem Bildaufnahmeelement 30 in ein "1H"-Verzögerungssignal und ein "0H+2H"-Verzögerungssignal und führt es einem Luminanzsignalverarbeitungsabschnitt (Schaltung nach dem Tiefpaßfilter 100) und der Farbsignalverarbeitungsschaltung 80 zu.
• Die Farbsignalverarbeitungsschaltung 80 erzeugt ein Farbsignal. Das Farbsignal wird durch den D/A-Wandler 90 in das analoge Signal gewandelt und aus dem Farbsignalausgangsanschluß 95 ausgegeben.
• Andererseits wird das zu dem Luminanzsignalverarbeitungsabschnitt gesendete Signal zuerst dem Tiefpaßfilter 100 zugeführt. Das Tiefpaßfilter 100 beseitigt eine Trägerkomponente aus dem sequentiellen Farbdifferenzsignal und separiert das Luminanzsignal. Die Steigerungseinrichtung 110 führt eine Verarbeitung zur Erhöhung einer Hochfrequenzkomponente wie einer Kante des Objekts oder dergleichen zur Verbesserung der Bildqualität aus. Für gewöhnliche wird die zweite Ableitung eines Videosignals zu einem ursprünglichen Signal hinzugefügt bzw. addiert. Die Gamma-Korrektureinrichtung 120 verhindert die Sättigung in einem sehr hellen Abschnitt und erweitert den dynamischen Bereich. Die Bewegungsvektorerfassungsschaltung 130 kann mittels einer Schaltung beruhend auf dem vorstehend angeführten Zeitbereich-Gradientenverfahren oder mittels einer Schaltung beruhend auf der vorstehend angeführten arithmetischen Übereinstimmungsoperation aufgebaut sein. Gemäß diesem Ausführungsbeispiel ist es allerdings erforderlich, ein Erfassungsverfahren zu verwenden, das Verarbeitungen in Echtzeit ausführen kann. Der Speicher 160 ist eine Verzögerungsschaltung zur Verzögerung des Luminanzsignals um eine vorbestimmte Zeit (bei diesem Ausführungsbeispiel um die Zeit eines Teilbildes). Der Speicher 160 speichert das Luminanzsignal, das um ein Teilbild vorangeht, und ermöglicht die Durchführung einer arithmetischen Operation beruhend auf dem Zeitbereich-Gradientenverfahren oder eine arithmetische Korrelationsoperation mit dem gegenwärtigen Teilbild.
• Der Mikrocomputer 140 extrahiert zuerst einen einen Satz von Blöcken umfassenden Zielbereich, der ein Ziel zur Korrektur darstellt, und erzeugt einen Zielbewegungsvektor aufgrund der Vibration aus der Verteilungs (dem optischen Fluß) der Bewegungsvektoren entsprechend den Blöcken in dem Satz, die durch die Bewegungsvektorerfassungsschaltung 130 erfaßt werden. Der Mikrocomputer 140 führt ferner eine Gewichtungsverarbeitung bei jedem Block entsprechend dem Grad aus, mit dem der Block von anderen Blöcken des Satzes umgeben ist, und berechnet ein Bewegungsausmaß des Bildes in diesem Moment.
• Die Speicherauslesesteuerschaltung 150 steuert die Ausleseposition des Speichers 160, um den durch den Mikrocomputer 140 berechneten Zielbewegungsvektor zu beseitigen (oder zu korrigieren). Das aus dem Speicher 160 ausgelesene Luminanzsignal wird durch den D/A-Wandler 170 in das analoge Signal umgewandelt und wird aus dem Luminanzsignalausgangsanschluß 180 ausgegeben.
• Nachstehend wird ein Verfahren zur Bewertung der Zuverlässigkeit der Bewegungsvektoren, das in dem Mikrocomputer 140 ausgeführt wird, unter Bezugnahme auf die Fig. 2 bis 6 beschrieben.
• Die Fig. 2A bis 2C zeigen Darstellung des Ablaufs von der Eingabe des Bildsignals bis zur Beurteilung eines Bereichs (der nachstehend als Zielbereich bezeichnet wird), der der Bildvibrationskorrektur in diesem Moment zu unterziehen ist.
• Fig. 2A zeigt ein Eingangsbild, das in (8 · 6) Blöcke eingeteilt ist. Fig. 2B zeigt das Ergebnis der für jeden Block durchgeführten Erfassung der Bewegungsvektoren. Eine Verteilungsdarstellung derartiger Bewegungsvektoren wird allgemein als optisches Flußdiagramm bezeichnet. Aus Fig. 2B ist ersichtlich, daß Bereiche, in denen weitgehend zwei verschiedene Bewegungen ausgeführt werden, in dem mittleren Abschnitt und einem peripheren Abschnitt der Bildebene vorhanden sind.
• Fig. 2C zeigt das Ergebnis, bei dem der Zielbereich aus dem optischen Flußdiagramm extrahiert ist.
• Ein Verfahren zur Extraktion des Zielbereichs aus den Bewegungsvektoren ist ein Zeit-Richtungs-Additionsverfahren von Bewegungsvektoren jedes Blocks, das in der JP-63-269554 offenbart ist.
• Fig. 3 zeigt eine binäre Zielbereichsabbildung (effektiver Bereich), wobei der Wert 1 den extrahierten Bereichen zugeordnet und der Wert 0 dem Bereich außerhalb des Ziels zugeordnet ist.
• Im allgemeinen wird die Zielbereichsabbildung mit den erfaßten Bewegungsvektoren multipliziert, und der effektive Bereich wird extrahiert, und die Bewegungsvektoren in dem effektiven Bereich werden einfach durch eine gleichmäßige Gewichtung gemittelt, wodurch ein Bewegungsausmaß des Bildes erhalten wird.
• Fig. 4 zeigt ein Beispiel einer Faltungsmaske, die bei der Zielbereichsabbildung in Fig. 3 angewendet wird.
• Die Maske in Fig. 4 zeigt an, daß im Fall des Vorhandenseins von Blöcken angrenzend an die aktuellen Zielblöcke in der vertikalen und lateralen Richtung die aktuellen Zielblöcke jeweils mit einem Gewicht von 1 Einheit beaufschlagt werden. Grenzen keine Zielblöcke in der schrägen Richtung relativ zu einem bestimmten Zielblock an, wird der Zielblock mit einem Gewicht von 0,5 Einheiten beaufschlagt. Dadurch erhöht sich das Gewicht mit der Anzahl der anderen Blöcke, die die aktuellen Zielblöcke umgeben. Der Grund dafür, daß das Gewicht für Zielblöcke mit Nicht-Zielblöcken als Nachbarn in der schrägen Richtung gering ist, beruht auf der Eigenschaft, daß die Bewegung des Bildsignals im allgemeinen ein geringes Ausmaß bezüglich der schrägen Komponente hat. Die Faltung wird nur für die effektiven Blöcke (Blöcke, für die der Wert 1 eingefügt wurde) als Ziel ausgeführt. Oder die Zielbereichabbildung wird einer arithmetischen Und-Operation unterzogen, wobei die Faltung für die gesamte Bildebene durchgeführt wird und der Wert des Nicht-Zielbereichs (ungültigen Bereichs) auf 0 gehalten wird.
• Fig. 5 zeigt ein Beispiel im Fall einer Expansion der Faltungsmaske von 3 · 3 in Fig. 4 auf 5 · 5.
• Die Größe der Faltungsmaske oder der Gewichtskoeffizienten in der Maske (d. h. ein Verfahren zur Zuordnung von Gewichtswerten) kann auch entsprechend den Bildaufnahmebedingungen umgeschaltet werden.
• Fig. 6 zeigt das Ergebnis im Fall, daß die Maske in Fig. 4 mit dem effektiven Bereich der Zielbereichabbildung in Fig. 3 gefaltet ist.
• In Fig. 6 gezeigte Koeffizientenwerte zeigen die Zuverlässigkeiten der Bewegungsvektoren, die aus dem relevanten Block erfaßt werden. Es reicht aus, einen Durchschnittsbildungsvorgang der Bewegungsvektoren entsprechend den Gewichten auszuführen.
• Die Ausleseposition des Bildes aus dem Speicher wird unter Verwendung der durch die vorstehend angeführten Vorgänge erhaltenen Bewegungsvektoren entschieden, und ein korrigiertes Bild, in dem die störenden Vibrationskomponente korrigiert ist, wird aus dem Luminanzsignalausgangsanschluß 180 ausgegeben.
(Zweites Ausführungsbeispiel)
• Gemäß dem vorstehend beschriebenen ersten Ausführungsbeispiel wird der Gewichtsmittelungsvorgang bzw. - durchschnittsbildungsvorgang der Bewegungsvektoren bei dem effektiven Bereich der Zielbereichabbildung entsprechend dem Ergebnis ausgeführt, bei dem eine bestimmte Maske gefaltet wurde. Bei dem zweiten Ausführungsbeispiel wird allerdings die Zuverlässigkeit des in dem ersten Ausführungsbeispiel erhaltenen Zielbewegungsvektors selbst neu unter Verwendung der Gesamtanzahl von Gewichtskoeffizienten bewertet, die als Ergebnis der Faltung mit einer bestimmten Maske erhalten werden, d. h. unter Verwendung der Gesamtanzahl der Gewichtseinheiten. Das zweite Ausführungsbeispiel kann auch zusammen mit dem ersten Ausführungsbeispiel angewendet werden.
• Fig. 7 zeigt das Ergebnis, wobei die Faltungsmaske in Fig. 4 in dem Fall angewendet wird, in dem bestimmt wird, daß alle 8 · 6 Blöcke in der Bildebene effektiv sind.
• In diesem Fall ist der Gesamtwert aller Gewichtskoeffizienten in Fig. 7 gleich 282 und stellt die obere Grenze einer derartigen Gesamtanzahl dar. Da die Zuverlässigkeit der aus dem relevanten Bereich erfaßten Bewegungsvektoren hoch ist, da der Bereich des Zielbereichs groß ist, kann die Zuverlässigkeit des Zielbewegungsvektors neu aus der Größe des Gesamtwerts der Gewichtskoeffizienten bewertet werden.
• Fig. 8 zeigt eine Zuverlässigkeitsbewertungsfunktion gemäß dem Gesamtwert der Gewichtskoeffizienten.
• Ist die Gesamtanzahl von Einheiten klein, ist der extrahierte Bereich klein oder die extrahierten Bereiche sind getrennt vorhanden. In jedem der beiden Fälle wird, da die Wahrscheinlichkeit, daß die Bewegungsvektoren falsch erfaßt sind, hoch ist, ein kleiner Koeffizient kleiner als 1 multipliziert, wodurch der Einfluß auf nachfolgende Verarbeitungen unterdrückt wird. Unter der Annahme, daß die Anzahl der Blöcke in der Ebene gleich M · N ist, wird die Verteilung der Gewichtskoeffizienten wie folgt ausgedrückt.
• 0 ≤ (Gesamtanzahl der Einheiten) ≤ 7MN - 4M - 4N + 2
• Die vorstehend beschriebenen Bearbeitungsvorgänge werden durch den Mikrocomputer 140 in Fig. 1 ausgeführt.
(Drittes Ausführungsbeispiel)
• Bei dem ersten und dem zweiten Ausführungsbeispiel wird die Zuverlässigkeit unter Verwendung der Informationen der örtlichen Anordnung der Zielblöcke als Kriterium bewertet. Gemäß dem dritten Ausführungsbeispiel wird dieses Konzept in Richtung der Zeitbasis erweitert.
• Im allgemeinen ist die Korrelation in der Zeitrichtung eines Bewegtbildes hoch. Wird beispielsweise das Objekt verfolgt und fotografiert, ist die Position, die das Objekt in der Bildebene einnimmt, stark bezüglich der Position in der vorhergehenden Bildebene (dem vorhergehenden Teilbild) eingeschränkt, und die Wahrscheinlichkeit dafür, daß das Objekt in jedem Teilbild ohne Positionskorrelation auftritt, ist extrem gering. Das heißt, die Wahrscheinlichkeit, daß der effektive Bereich in der aktuellen Bildebene an einer Position nahe dem Bereich erscheint, der als effektiver Bereich in der vorhergehenden Bildebene angesehen wurde, ist hoch. Daher definiert jeder Block, der als effektiver Bereich in der aktuellen Bildebene beurteilt wird, den zentralen Platz der Faltungsmaske mit einer mäßigen Gewichtskoeffizientenverteilung, und eine Und-Verknüpfung wird zwischen einer derartigen Abbildung und der Zielbereichabbildung ausgeführt, die in der nächsten Bildebene erhalten wird. Somit ist es möglich, die Zuverlässigkeit unter Verwendung der Korrelation in der Zeitrichtung der Positionen in der Bildebene eines bestimmten Bereichs zu bewerten.
• Nachstehend wird ein Ablauf gemäß dem Ausführungsbeispiel unter Bezugnahme auf die Fig. 9 und 10 beschrieben.
• Fig. 9 zeigt eine Faltungsmaske, die bei der in der aktuellen Bildebene erhaltenen Zielbereichabbildung angewendet wird. Da angenommen wird, daß eine Abweichung der Position eines Objekts zwischen Bildern mit der gleichen Wahrscheinlichkeit in jeder Richtung von 360º auftritt, ist die Gewichtskoeffizientenverteilung der Maske auch isotrop.
• Fig. 10 zeigt das Ergebnis, wobei die in Fig. 9 gezeigte Maske mit der in Fig. 3 gezeigten Zielbereichsabbildung gefaltet ist.
• Durch Ausführung einer arithmetischen Und-Verknüpfung zwischen der in Fig. 10 gezeigten Gewichtskoeffizientenverteilung und der Zielbereichabbildung, die in der nächsten Bilde bene erhalten wird, kann die Zuverlässigkeit jedes Blocks leicht bewertet werden.
• Die vorstehenden Verarbeitungsvorgänge werden durch den Mikrocomputer 140 in Fig. 1 ausgeführt.
• Gemäß dem vorstehend beschriebenen Ausführungsbeispiel wird die Zuverlässigkeit des erfaßten Bewegungsvektors durch den orts- oder zeitabhängigen Nachbarschaftsgrad (Annäherungsgrad) jedes Blocks bewertet, und der Gewichtungsvorgang gemäß der Zuverlässigkeitsbewertung wird bei dem Bewegungsvektor ausgeführt. Daher ist es möglich, die Genauigkeit des Bewegtbildkodiergeräts oder des Bildvibrationskorrekturgeräts zu verbessern, deren Genauigkeit durch Bewegungsvektoren geringer Zuverlässigkeit merklich verschlechtert wurde, die aus Blöcken erfaßt werden, die Grenzabschnitte des Ziels enthalten, in denen unterschiedliche Bewegungen inherent vorhanden sind.
• Gemäß dem vorstehend beschriebenen Ausführungsbeispiel umfaßt die Vorrichtung die Bewegungsvektorerfassungseinrichtung zur Einteilung eines Eingangsbildes in eine Vielzahl von Blöcken und zur Erfassung jeweiliger Bewegungsvektoren für jeden Block und die Bewegungsvektorberechnungseinrichtung zur Extraktion von Zielbereichen, in denen die gleiche Bewegung durchgeführt wird, aus den Bewegungsvektoren von der Bewegungsvektorerfassungseinrichtung und zur Berechnung der Durchschnittsbewegungsvektorwerte derartiger Zielbereiche durch Ausführung des Gewichtsdurchschnittsbildungsvorgangs gemäß den durch jeden Block eingenommenen Positionsinformationen oder die Bewegungsvektorberechnungseinrichtung zur Extraktion der Zielbereiche, in denen die gleiche Bewegung durchgeführt wird, aus den Bewegungsvektoren von der Bewegungsvektorerfassungseinrichtung und zur Berechnung der Bewegungsvektorwerte in diesen Zielbereichen durch Ausführung des Gewichtsdurchschnittsbildungsvorgangs gemäß der Position jedes Blocks in dem Eingangsbild, wobei der Durchschnittsbewegungsvektorwert durch Ausführung des Gewichtungsvorgangs gemäß den Positionsinformationen berechnet wird, die die Bereiche jedes Blocks einnehmen, in denen die gleiche Bewegung durchgeführt wird, oder gemäß den Positionsinformationen, die das Eingangsbild jedes Blocks einnehmen, d. h. gemäß dem orts- oder zeitabhängigen Nachbarschaftsgrad jedes Blocks.
• Demzufolge kann die Erfassungsgenauigkeit des Bewegungsvektors verbessert werden.
• Nachstehend werden das vierte bis sechste Ausführungsbeispiel beschrieben.
• Diese Ausführungsbeispiele beruhen als Voraussetzung auf dem Vibrationskorrekturgerät, bei dem Durchschnittsbewegungsvektorinformationen des dem bestimmten Zielbereich in der Bildebene entsprechenden Bereichs erfaßt werden und das Vibrationsausmaß auf der Grundlage der Durchschnittsbewegungsvektorinformationen erfaßt wird und die Vibrationskorrektureinrichtung zur Korrektur der Auswirkungen der Vibration betreibbar ist. Die Bestimmung des Zielbereichs zur Erfassung der Vibration wird optimiert.
• Vor der Beschreibung dieser Ausführungsbeispiele wird der Hintergrund eines derartigen Vibrationskorrekturgeräts geliefert.
• In einem optischen Fotografiegerät wie einer Kamera, Videokamera, elektronischen Kamera oder dergleichen erschwert die Kameravibration das Betrachten des Bildes und bewirkt eine Fehlfunktion ungeachtet dessen, ob das Gerät ein Meßinstrument für industrielle Zwecke oder ein Gerät zum allgemeinen Gebrauch ist. Insbesondere tritt beim Fotografieren während des Gehens, während des Fotografierens von einem sich bewegenden Fahrzeug aus, oder bei einem Fotografieren an einem Ort, an dem eine starke Vibration vorhanden ist, leicht eine vibration der Bildebene auf. Daher sind im Stand der Technik viele verschiedene Arten von Verfahren zur Korrektur der Bildebenenvibration vorgeschlagen.
• Beispielsweise wird gemäß der in der JP-A-61-248681 offenbarten Vibrationskorrekturkamera ein einfallendes Bild in ein elektrisches Signal durch ein Bildaufnahmesystem mit einem Linsensystem und einem fotoelektrischen Wandlerelement umgewandelt. Das elektrische Signal wird des weiteren vorbestimmten Signalverarbeitungen durch die Schaltung an der nächsten Stufe unterzogen und in das Fernsehbildsignal umgewandelt und einem Monitorgerät zugeführt. Das Fernsehbildsignal wird auch einer Bildvibrationserfassungsschaltung zugeführt. Durch das Erhalten einer Korrelation zwischen zwei Bildebenen, die voneinander um ein vorbestimmtes Zeitintervall getrennt sind, wird die Größe und Richtung der Bildvibration erfaßt. Auf der Grundlage des Erfassungsergebnisses wird das Linsensystem angesteuert und in eine derartige Richtung geregelt, um die Bildvibration zu beseitigen.
• Andererseits wird gemäß der Druckschrift "Picture Plane Vibration Correcting Apparatus", The Japan Society of Television, Technical Report, Band 11, Nr. 3, Seiten 43 bis 48, PPOE, 87-12, Mai 1987 zwischen zwei Bildebenen, die voneinander um ein vorbestimmtes Zeitintervall getrennt sind, eine Korrelation für jeden kleinen Bereich (der nachstehend als Block bezeichnet wird), erhalten, der durch gleichförmiges Einteilen der Bildebene in 140 kleine Bereiche erhalten wird, wodurch die Größe und die Richtung der Bildvibration bezüglich der gesamten Bildebene erhalten wird. Die Ergebnisse der Erfassung werden einer Mehrheitsentscheidung unterzogen, d. h., der Bereich des Maximalbereichs, in dem die erfaßten Bewegungsvektoren bevorzugt angeordnet sind, wird als Zielbereich zur Vibrationskorrektur ausgewählt, wodurch die Größe und Richtung der Bildebenenvibration beurteilt wird. Der der vorhergehenden Bildebene entsprechende Bereich wird aus dem Speicher extrahiert, in dem das Eingangsbild gespeichert ist, um die Bildebenenvibration zu beseitigen. Vergrößerungs- und Interpolationsverarbeitung werden ausgeführt, und die resultierenden Daten werden als Ausgangsbild ausgegeben.
• Gemäß der "Tracking Area Deciding Method" (Nachführungsbereich-Entscheidungsverfahren; JP-A-2-117276) wird ein Nachführungsbereich automatisch beurteilt, indem die für jeden Block für eine vorbestimmte Zeit erfaßten Bewegungsvektoren akkumuliert werden, und das optische Korrektursystem (variables vertikales Winkelprisma), das vor dem Linsensystem angeordnet ist, wird zur Korrektur des in dem Nachführungsbereich erfaßten Durchschnittsbewegungsvektors angesteuert, um dadurch die Bildebenenvibration zu unterdrücken.
• Der Vibrationskorrekturvorgang ist eine Funktion zur Korrektur der Kameravibration. Der Ausdruck "Nachführung" bezeichnet eine Funktion der Kamera zur Verfolgung eines sich bewe genden Objekts. Die grundlegenden Verarbeitungsvorgänge und Steuerverfahren dieser Funktionen sind gleich.
• Im vorstehenden Beispiel besteht allerdings ein Problem dahingehend, daß ein Umriß des zu verfolgenden Bereichs aufgrund einer Verschlechterung der Genauigkeit der Bewegungsvektoren in dem Grenzbereich des zu verfolgenden Bereichs verborgen ist, und die Genauigkeit der die Bildebenenvibration anzeigenden Bewegungsvektoren durch Bewegungsvektoren geringer Zuverlässigkeit verschlechtert ist, die aus solchen Blöcken, die den Umrißabschnitt einschließen, erzeugt sind. Selbst in von der Bildnachführung unterschiedlichen Fällen, beispielsweise wenn der Bediener eine Vibrationskorrektur bezüglich eines Hintergrunds in einem peripheren Abschnitt in der Bildebene wünscht, wenn einige sich bewegende Objekte oder ein Bewegungsobjekt in dem zentralen Abschnitt vorhanden ist, tritt das vorstehende Problem in dem Grenzgebiet eines derartigen Objekts auf. Die Ursachen für dieses Problem beruhen im Verdecken oder dem Auftreten des Bildes in dem Umrißabschnitt des zu fotografierenden Objekts zusammen mit der Bewegung des Objekts. Da es keine Garantie für die Übereinstimmung zwischen dem vorderen und hinteren Bild gibt, können in diesem Fall lediglich Bewegungsvektoren geringer Zuverlässigkeit erhalten werden.
• Als weiteres Problem werden gemäß der in der JP-A-61-248681 (erstes Beispiel wie vorstehend angeführt) offenbarten Vibrationskorrekturkamera die Größe und Richtung der Bildvibration durch den Erhalt einer Korrelation zwischen den Bildern erfaßt, die voneinander um eine vorbestimmte Zeit getrennt sind. Daher ist es wünschenswert, ein Bild bzw. einen Bildteil in einem Bild zu bewahren. Es ist schwierig, ein derar tiges Verfahren in Fällen anzuwenden, in denen eine Teilbewegung oder Modifikation im Bild auftritt, oder in Fällen, in denen sich der Hintergrund kontinuierlich im Nachführungsfotografiemodus ändert. Daher kann ein derartiges Verfahren lediglich auf einem begrenzten Anwendungsgebiet angewendet werden.
• Gemäß dem "Picture Plane Vibration Correcting Apparatus" (Bildebenenvibration-Korrekturgerät; zweites Beispiel wie vorstehend angeführt) wird andererseits, da der (nachstehend als Zielbereich bezeichnete) Bereich, der gegenwärtig der Vibrationskorrektur zu unterziehen ist, durch ein Mehrheitsentscheidungsverfahren in einem Stehbildfotografiemodus bestimmt wird, wie wenn der Bediener ein kleines Objekt verfolgen oder eine Vibrationskorrektur bezüglich des Hintergrunds durchführen möchte, im Fall, daß das zu fotografierende Objekt größer als der Hintergrundabschnitt ist und die Bewegungsvektoren des Objekts bevorzugt angeordnet sind, oder dergleichen, der falsche Bereich für Fotografiezwecke der Vibrationskorrektur unterzogen.
• Gemäß dem "Tracking Area Deciding Method" (Nachführungsbereich-Eintscheidungsverfahren; drittes Beispiel wie vorstehend angeführt) wird die Bildebene in eine Vielzahl von Bereichen (Blöcken) eingeteilt, und die für jeden Block erfaßten Bewegungsvektoren werden für eine vorbestimmte Zeit akkumuliert, wodurch der Zielbereich zur Vibrationskorrektur entschieden bzw. bestimmt wird. Deshalb eignet sich ein derartiges Verfahren selbst bei einer Teilbewegung im Bild gut und kann nach dem Willen des Fotografen eine Vibrationskorrektur bester Treue realisieren. Es gibt allerdings einen Fall, in dem der Akkumulationswert, der durch Ak kumulation der aus dem Zielbereich erfaßten Bewegungsvektoren für eine vorbestimmte Zeit erhalten wird, unzureichend klein ist. Ein derartiges Phänomen tritt insbesondere in dem Fall auf, daß der Zeitabschnitt länger als die Akkumulationszeit ist und eine Niederfrequenzvibration aufgetreten ist. In diesem Fall kann die Einteilung des Zielbereichs/Nicht- Zielbereichs nicht korrekt durchgeführt werden.
• Die erste Aufgabe des Ausführungsbeispiels besteht in der Ausgestaltung einer Vibrationskorrekturvorrichtung, die eine Vibrationskorrektur bei einem zu verfolgenden Objekt und ferner die Vibrationskorrektur des Hintergrunds ohne Einfluß durch das sich bewegende Objekt oder das Bewegungsobjekt durchführen kann.
• Die zweite Aufgabe des Ausführungsbeispiels besteht in der Ausbildung einer Vibrationskorrekturvorrichtung, die die Vibrationskorrektur in jeder Fotografiesituation exakt ausführen kann.
• Gemäß dem Ausführungsbeispiel umfaßt die Vorrichtung eine Grenzerfassungseinrichtung zur Erfassung einer Grenze in einem Bild und eine Zielbereichentscheidungseinrichtung zur Entscheidung eines der Vibrationskorrektur zu unterziehenden Bereichs auf der Grundlage von Grenzinformationen von der Grenzerfassungseinrichtung und Informationen von einer Bewegungsvektorerfassungseinrichtung und zur Übermittlung von den Zielbereich definierenden Daten zu einer Vibrationsausmaßerfassungseinrichtung, wobei die Grenze in einer Bildebene durch eine Bewegungsvektorverteilung oder eine arithmetische Laplace-Operation eines Eingangsbildes erfaßt wird und der der Vibrationskorrektur zu unterziehende Bereich durch die erfaßte Grenze und die Bewegungsvektorverteilung bestimmt wird.
• Andererseits weist die Vorrichtung eine Zielbereichentscheidungseinrichtung zum Anlegen verschiedener Gewichte an die Informationen von der Bewegungsvektorerfassungseinrichtung, zum Hinzufügen der gewichteten Informationen für eine vorbestimmte Zeit, zur Entscheidung des der Informationskorrektur zu unterziehenden Bereichs auf der Grundlage der Additionswerte und zur Übermittlung von den Zielbereich definierenden Daten zu der Vibrationsausmaßerfassungseinrichtung auf. Der Zielbereich wird aus den Größen der Additionswerte bestimmt, die durch das Beaufschlagen der Bewegungsvektorinformationen mit verschiedenen Gewichten erhalten werden.
(Viertes Ausführungsbeispiel)
• Fig. 11 zeigt ein Blockschaltbild einer Videokamera mit einer Vibrationskorrekturvorrichtung gemäß dem vierten Ausführungsbeispiel. In der Darstellung bezeichnet das Bezugszeichen 110 ein zu fotografierendes Objekt, 111 ein variables vertikales Winkelprisma, das die Richtung der optischen Achse verändern kann, 112 eine Bildaufnahmelinse, 113 ein Bildaufnahmeelement, beispielsweise aus einem zweidimensionalen Ladungskopplungsbaustein (CCD) und 114 eine Signalverarbeitungsschaltung zur Ausführung einer Gamma-Korrektur, eines Austastvorgangs, eines Hinzufügungsvorgangs eines Synchronisationssignals und dergleichen zu einem Ausgangsbildsignal aus dem Bildaufnahmeelement 113. Ein Fernsehsignal beispielsweise der NTSC-Norm wird aus einem Ausgangsanschluß 115 ausgegeben. Y bezeichnet ein Luminanzsignal. H. SYNC bezeichnet ein horizontales Synchronisationssignal. V. SYNC bezeichnet ein vertikales Syn chronisationssignal. Das Bezugszeichen 116 bezeichnet eine Verzögerungsschaltung zur Verzögerung des Luminanzsignals Y um eine vorbestimmte Zeit. Beispielsweise ist die Verzögerungsschaltung 116 durch einen Teilbildspeicher vom FIFO- ("First-in First-out-")Typ aufgebaut. Das Bezugszeichen 117 bezeichnet eine Blockeinteilungs-Impulserzeugungsschaltung zur Erzeugung eines Steuerimpulses zur Einteilung eines Bildsignals, das abgetastet wird, in vorbestimmte Blocksätze in einer Bildebene.
• Die Bezugszeichen 118 und 119 bezeichnen Einteilungsschaltungen jeweils zur Einteilung des Luminanzsignals Y entsprechend den ausgegebenen Impulsen von der Blockeinteilungs- Impulserzeugungsschaltung 117. Jede Vibrationskorrekturvorrichtung Einteilungsschaltung 118 und 119 erzeugt das Eingangsluminanzsignal Y in einem Stück pro Blocksatz in der Bildebene. Das heißt, jede Einteilungsschaltung umfaßt einen Steuerschaltungsabschnitt, dessen Öffnen- und Schließ- Vorgänge durch den Ausgangsimpuls der Erzeugungsschaltung 117 gesteuert werden, und einen Speicherabschnitt zur Speicherung eines Durchgangssignals des Steuerschaltungsabschnitts.
• Das Bezugszeichen 120 bezeichnet eine Bewegungsvektorerfassugnsschaltung zum Vergleich des Signals der aktuellen Bildebene und des Signals der Bildebene einer vorbestimmten Zeit, das von der Verzögerungsschaltung 116 ausgegeben wird, und zum Erhalt des Bewegungsvektors für jeden eingeteilten Block. Das Bezugszeichen 121 bezeichne einen Speicher zur Speicherung der Bewegungsvektorinformationen in jedem Abschnitt der Bildebene und 122 bezeichnet eine Laplace-Operationsschaltung zur Berechnung einer Laplace-Operation des Bewegungsvektors.
• Das Bezugszeichen 123 bezeichnet eine Zielbereichentscheidungsschaltung zur Entscheidung des der Vibrationskorrektur zu unterziehenden Bereichs unter Verwendung der Laplace- Operation des Bewegungsvektors, die auf der Grundlage der Laplace-Operationsschaltung 122 berechnet wird, 124 eine Vibrationsausmaßerfassungsschaltung zur Erfassung eines Vibrationsausmaßes aus dem Luminanzsignal Y. Beispielsweise ist die Vibrationsausmaßerfassungsschaltung 124 durch eine arithmetische Korrelationsoperationsschaltung zur Durchführung einer repräsentativen Punktübereinstimmung oder dergleichen oder eine Arithmetikoperationsschaltung des Zeitbereich- Gradientenverfahrens aufgebaut. Das Bezugszeichen 125 bezeichnet eine Ansteuerschaltung zur Ansteuerung eines Stellglieds 126, das nachstehend beschrieben ist, entsprechend einem Ausgangssignal der Vibrationsausmaßerfassungsschaltung 124. Das Bezugszeichen 126 bezeichnet das Stellglied zur Veränderung des Grads des vertikalen Zustands der optischen Achse des variablen vertikalen Winkelprismas 111. Durch Änderung des vertikalen Winkels des Prismas 111 kann der Abweichwinkel der austretenden optischen Achse bezüglich der eintretenden optischen Achse des Prismas 111 gesteuert werden.
• Bei dem vorstehenden Aufbau trifft das durch das Prisma 111 und die Linse 112 fallende Objektbild auf das Bildaufnahmeelement 113, wodurch es fotoelektrisch in das elektrische Bildsignal gewandelt wird. Das Bildsignal wird der Signalverarbeitungsschaltung 114 zugeführt und der Gamma-Korrektur, dem Austastvorgang, dem Additionsvorgang des Sync-Signals und dergleichen unterzogen. Das aus der Signalverarbeitungsschaltung 114 ausgegebene Luminanzsignal Y wird der Divisionsschaltung 119 direkt zugeführt. Das Luminanzsignal Y wird auch durch die Verzögerungsschaltung 116 um die Zeit einer Teilbildperiode (ungefähr 16,7 ms) verzögert und der Einteilungsschaltung 118 zugeführt. Somit teilen die Einteilungsschaltungen 118 und 119 die vorhergehende Bildebene in M · N Blöcke entsprechend den Ausgangsimpulsen der Blockeinteilungs-Impulserzeugungsschaltung 117 ein. Die Bewegungsvektorerfassungsschaltung 120 kann durch eine Schaltung beruhend auf dem Zeitbereich-Gradientenverfahren oder eine Schaltung beruhend auf dem arithmetischen Übereinstimmungsvorgang aufgebaut sein. Allerdings ist es erforderlich, einen Schaltungsaufbau zu verwenden, der die Verarbeitungsvorgänge in dem Ausführungsbeispiel in Echtzeit ausführen kann.
• Das Zeitbereich-Gradientenverfahren ist bei B. K. P. Horn et al., "Artificial Intelligence 17", Seiten 185 bis 203, 1981 beschrieben. Die arithmetische Übereinstimmungsoperation ist bei Morio Ogami et al., "Information Processing", Band 17, Nr. 17, Seiten 634 bis 640, Juli 1976, beschrieben.
• Die Operationen von der Bewegungsvektorerfassungsschaltung 120 bis zur Zielbereichentscheidungsschaltung 123 werden nachstehend unter Bezugnahme auf die Fig. 12 bis 14 praktisch beschrieben. Die Verteilung der ein Geschwindigkeitsteilbild einer gesamten Bildebene anzeigenden Bewegungsvektoren wird als optischer Fluß bezeichnet.
• Fig. 12 zeigt ein Beispiel von Teilbild-Bildebenen, die zeitsequentiell stetig sind, wenn sie im Nachführungsmodus fotografiert sind. Fig. 13 zeigt ein Beispiel eines optischen Flusses, der als Ergebnis der arithmetischen Operation zwischen den zwei Bildebenen erhalten wird, die zeitsequentiell stetig sind. Ein die Vibration anzeigender Bewegungsvektor, der während des Nachführungsfotografievorgangs auftritt, kann von einer Region (1) im mittleren Abschnitt der Bildebene beobachtet werden, in dem ein Objekt (Auto) vorhanden ist. Andererseits wird ein Bewegungsvektor in einem Hintergrundabschnitt (2) durch Synthetisieren des Bewegungsvektors, der einen Bildfluß in Verbindung mit dem Nachführungsfotografievorgang anzeigt, und des Bewegungsvektors aufgrund der Vibration erhalten.
• Nur unter Berücksichtigung von Fig. 13 ist die richtige Entscheidung darüber unmöglich, welche Region als Zielbereich einzustellen ist. Der Bewegungsvektor in einem unteren Kantenabschnitt (3) in Fig. 13 ist ein Vektor, der aus einer Region ausgegeben wurde, in der nicht genügend Bildinformationen in dem Eingangsbild vorhanden sind, und die Zuverlässigkeit äußerst niedrig ist, wobei ein derartiger Vektor als Rauschen betrachtet werden kann. Vor der praktischen Anwendung der vorliegenden Erfindung fehlen Bereiche, in denen Bildinformationen zu beseitigen sind.
• Fig. 14 zeigt eine Darstellung eines Beispiels des Ergebnisses, wobei der in Fig. 13 gezeigte optische Fluß eine vorbestimmte Zeit (1,3 Sekunden bei diesem Beispiel) akkumuliert wurde.
• In Fig. 14 kann eine Region eines Objekts (Autos) mit einem kleinen akkumulierten Wert im zentralen Abschnitt der Bildebene beobachtet werden. Bei diesem Beispiel versucht der Fotograf, ein Objekt im mittleren Abschnitt der Bildebene anzuordnen. Durch Akkumulation des optischen Flusses eine bestimmte Zeit lang kann ein zu fotografierendes Ziel nun durch den Fotografen beurteilt werden.
• Dies beruht auf der Idee, daß, "da der Fotograf das Bild im Zielbereich zu halten versucht, das Bild im Zielbereich zufällig um die Position schwingt, an der der Fotograf das Bild zentralisieren möchte".
• Das Ergebnis der Akkumulation der in dem Zielbereich erfaßten Bewegungsvektoren konvergiert aufgrund der Zufallseigenschaften der Bewegungsvektoren auf einen kleinen Wert. Andererseits geschieht dies nicht in dem Nicht-Zielbereich, so daß die Teilung des Zielbereichs und des Nicht-Zielbereichs anhand der Größe des Akkumulationswerts der Bewegungsvektoren durchgeführt werden kann.
• Die durch die Bewegungsvektorerfassungsschaltung 120 erfaßten Bewegungsvektoren werden im Speicher 121 eine vorbestimmte Zeit lang akkumuliert. Danach wird der Akkumulationswert der Laplace-Operationsschaltung 122 zugeführt. In der Laplace- Operationsschaltung 122 wird die Laplace-Operation der durch die Bewegungsvektorerfassungsschaltung 120 erfaßten Bewegungsvektoren berechnet, wodurch jene Blöcke identifiziert werden, die eine große Veränderung bezüglich des Bewegungsvektors zeigen. Die Berechnung der Laplace-Operation ist durch die folgenden Gleichungen definiert:
• ²u = ∂²u/∂x² + ∂²u/∂y²
• ²v = ∂²v/∂x² + ∂²v/∂y²
• wobei u und v Geschwindigkeiten in der x- und y-Richtung darstellen.
• Da Bereiche, in denen das Ergebnis der arithmetischen Laplace-Operation groß ist, einem Abschnitt entsprechen, in dem sich der Bewegungsvektor plötzlich verändert, können Blöcke, für die keine genauen Bewegungsvektoren erfaßt werden können, im Prinzip aus der Größe des Ergebnisses der Laplace- Operation identifiziert werden.
• In der Zielbereichentscheidungsschaltung 123 wird der Zielbereich, für den der Fotograf gegenwärtig die Operationskorrektur durchführen möchte, aus der Verteilung des Ergebnisses der arithmetischen Laplace-Operation genau bestimmt bzw. entschieden. Der Zielbereich wird zuerst grob aus der Verteilung der Akkumulationswerte der Bewegungsvektoren bestimmt, die für den gesamten Bereich der Bildebene für eine vorbestimmte Zeit erfaßt werden. Ferner wird der Bereich, in dem die genauen Bewegungsvektoren erfaßt wurden, aus dem Ergebnis der Laplace-Operation ausgewählt. In der Vibrationsausmaßerfassungsschaltung 124 werden die Bewegungsvektoren in dem durch die Zielbereichsentscheidungsschaltung 123 ausgewählten Bereich berechnet. Das heißt, von den durch die Bewegungsvektorerfassungsschaltung 120 erfaßten Bewegungsvektoren kann auch der Durchschnitt der Bewegungsvektoren berechnet werden, die aus den dem Zielbereich entsprechenden Blöcken ausgegeben werden. Oder die Bewegungsvektoren können auch neu genau im Zielbereich erfaßt werden. Das durch die Vibrationsausmaßerfassungsschaltung 124 erfaßte Vibrationsausmaß, d. h., das Bildebenenvibrationsausmaß wird der Ansteuerschaltung 125 zugeführt. Das Stellglied 126 wird durch die Ansteuerschaltung 125 angesteuert, und das Prisma 111 wird mit einem geeigneten Abweichwinkel beaufschlagt, und das Vibrationsausmaß wird optisch korrigiert.
(Fünftes Ausführungsbeispiel)
• Gemäß dem vorstehend beschriebenen vierten Ausführungsbeispiel wurde die Laplace-Operation des optischen Flusses zur Bestimmung des Zielbereichs durchgeführt. Allerdings kann die Laplace-Operation auch bei dem Eingangsbild selbst durchgeführt werden, und ein derartiger Fall wird nachstehend als fünftes Ausführungsbeispiel beschrieben.
• Fig. 15 zeigt ein Blockschaltbild einer Videokamera mit einer Vibrationskorrekturvorrichtung gemäß dem fünften Ausführungsbeispiel.
• Fig. 15 unterscheidet sich von Fig. 11 bezüglich eines Punkts dahingehend, daß das Bildsignal (Luminanzsignal Y) von der Signalverarbeitungsschaltung 114 dem Speicher 121 anstelle des Signals von der Bewegungsvektorerfassungsschaltung 120 zugeführt wird.
• Das Eingangsbild wird einmal im Speicher 121 gespeichert, und die Laplace-Operation wird bei dem Eingangsbild durch die Laplace-Operationsschaltung 122 ausgeführt.
• Die Effekte der Laplace-Operation werden nachstehend unter Bezugnahme auf die Fig. 16 bis 18 beschrieben.
• Fig. 16 zeigt eine Modelldarstellung einer in dem Bild vorhandenen Kante. Fig. 17 zeigt eine Darstellung des Ergebnisses, bei dem die Kante in Fig. 16 einmal abgeleitet wurde.
• Fig. 18 zeigt eine Darstellung des Ergebnisses, wobei das Ergebnis in Fig. 17 noch einmal abgeleitet wurde. Daher zeigt Fig. 18 das Ergebnis der zweiten Ableitung von Fig. 16, d. h., das Ergebnis der Laplace-Operation.
• Ein Nullüberkreuzungspunkt in Fig. 18 wird allgemein als Nullstelle bezeichnet, und zeigt einen Kantenabschnitt des Bildes an. Die Kante entspricht dem Ort, an dem das Verdecken oder das Auftreten des Bildes geschieht, wie es in dem vorstehend beschriebenen ersten Ausführungsbeispiel angeführt ist.
• In der Laplace-Operationsschaltung 122 wird die Laplace- Operation eines Bildes berechnet. In der Zielbereichentscheidungsschaltung 123 werden Nullstellen enthaltende Blöcke aus dem Ergebnis des Ausgangssignals der Laplace- Operationsschaltung 122 und den durch die Bewegungsvektorerfassungsschaltung 120 erfaßten Bewegungsvektoren gefunden, und als Nicht-Zielbereich eingestellt. Die anderen Bereiche werden als Zielbereich bestimmt. In der Vibrationsausmaßerfassungsschaltung 124 werden die Bewegungsvektoren in dem durch die Zielbereichentscheidungsschaltung 123 bestimmten bzw. entschiedenen Bereich wie bei dem ersten Ausführungsbeispiel berechnet. Das heißt, unter den durch die Bewegungsvektorerfassungsschaltung 120 erfaßten Bewegungsvektoren kann auch der Durchschnitt der Bewegungsvektoren, die aus den Blöcken ausgegeben werden, die dem Zielbereich entsprechen, erhalten werden, oder die Bewegungsvektoren können auch neu genau in dem Zielbereich erfaßt werden. Das durch die Vibrationsausmaßerfassungsschaltung 124 erfaßte Vibrationsausmaß, d. h. das Bildebenenvibrationsausmaß wird der Ansteuerschaltung 125 zugeführt. Das Stellglied 126 wird durch die Ansteuerschaltung 125 angesteuert. Das Prisma 111 wird mit einem geeigneten Abweichungswinkel beaufschlagt, und das Vibrationsausmaß wird optisch korrigiert.
• Gemäß dem vorstehend beschriebenen vierten und fünften Ausführungsbeispiel kann die Grenze des Zielbereichs, die aus der Verteilung der Additionswerte der Bewegungsvektoren oder der Verteilung der Additionswerte des Bildsignals geschlossen wird, durch eine einfache arithmetische Addition klargestellt werden. Somit kann die Vibrationskorrektur für den Hintergrundabschnitt ohne Einfluß von dem sich bewegenden Objekt oder Bewegungsobjekt durchgeführt werden. Dagegen kann die Vibrationskorrektur eines zu verfolgenden Objekts gleichermaßen stabil durchgeführt werden. Das vorstehend beschriebene Verfahren zur Bestimmung des Zielbereichs kann weitgehend und nicht nur bei der TV-Kamera zum Fotografieren, sondern auch bei einer industriellen TV-Kamera, Überwachungskamera oder dergleichen angewendet werden. Es ergibt sich praktisch ein bemerkenswerter Vorteil.
(Sechstes Ausführungsbeispiel)
• Fig. 19 zeigt ein Blockschaltbild einer Videokamera mit einer Vibrationskorrekturvorrichtung gemäß dem sechsten Ausführungsbeispiel. In Fig. 19 sind die gleichen Abschnitte wie in Fig. 11 mit den gleichen Bezugszeichen bezeichnet.
• In Fig. 19 bezeichnen die Bezugszeichen 201 und 202 Speicher. Geeignete Gewichte werden bei den Bewegungsvektoren in jedem Abschnitt der Bildebene angewendet, die durch die Bewegungsvektorerfassungsschaltung 120 erfaßt werden, und die resultierenden gewichteten Werte werden akkumuliert und in diesen Speichern gespeichert. Das Bezugszeichen 203 bezeichnet eine Vergleichs- und Integrationsverarbeitungsschaltung zum Vergleich und zur Integration verschiedener Gewichtadditionswerte der Bewegungsvektoren. Das Bezugszeichen 204 bezeichnet eine Zielbereichentscheidungsschaltung zur Bestimmung des Zielbereichs aus einem Ausgangssignal der Vergleichs- und Integrationsverarbeitungsschaltung 138 und einem Ausgangssignal der Bewegungsvektorerfassungsschaltung 120.
• Nachstehend wird die Arbeitsweise der vorstehend angeführten Anordnung beschrieben.
• Das Objektbild, das durch das Prisma und die Linse 112 fällt, trifft auf das Bildaufnahmeelement 113, wodurch es fotoelektrisch in das elektrische Bildsignal gewandelt wird. Das Bildsignal wird der Signalverarbeitungsschaltung 114 zugeführt und Verarbeitungen, wie einer Gamma-Korrektur, einem Austastvorgang, einem Additionsvorgang eines Synchronisationssignals und dergleichen unterzogen.
• Das Luminanzsignal Y, das aus der Signalverarbeitungsschaltung 114 ausgegeben wird, wird der Einteilungsschaltung 119 direkt zugeführt. Das Luminanzsignal wird auch durch die Verzögerungsschaltung 116 um die Zeit einer Teilbildperiode (um ungefähr 16,7 ms) verzögert, und das verzögerte Signal wird der Einteilungsschaltung 118 zugeführt. Die Einteilungsschaltungen 118 und 119 teilen die vorhergehende Bildebene in M · N Blöcke entsprechend den Ausgangsimpulsen aus der Blockeinteilungs-Impulserzeugungsschaltung 117 ein. Die Bewegungsvektorerfassungsschaltung 120 kann durch die Schaltung beruhend auf dem Zeitbereich-Gradientenverfahren oder die Schaltung beruhend auf der arithmetischen Übereinstimmungsoperation aufgebaut sein. Allerdings ist die Verwendung eines Schaltungsaufbaus erforderlich, der die Verarbeitungen bei dem Ausführungsbeispiel in Echtzeit ausführen kann.
• Die Arbeitsweise der Bewegungsvektorerfassungsschaltung 120 und der Zielbereichentscheidungsschaltung 123 werden nachstehend unter Bezugnahme auf die Fig. 12 bis 14 beschrieben.
• Fig. 12 zeigt eine Darstellung eines Beispiels von Teilbild- Bildebenen, die zeitsequentiell stetig sind, wenn sie im Nachführungsmodus fotografiert wurden. Fig. 13 zeigt ein Beispiel eines optischen Flusses, der als Ergebnis der arithmetischen Operation zwischen den zwei Bildebenen erhalten wird, die zeitsequentiell stetig sind. Die Bewegungsvektoren, die die während des Nachführungsfotografievorgangs auftretende Vibration anzeigen, können aus der Region (1) in dem mittleren Abschnitt der Bildebene beobachtet werden, wo das Objekt (Auto) vorhanden ist. Andererseits werden die Bewegungsvektoren im Hintergrundabschnitt (2) durch Synthetisierung der den Fluß des Bildes in Verbindung mit dem Nachführungsfotografievorgang anzeigenden Bewegungsvektoren und der Bewegungsvektoren aufgrund der Vibration erhalten.
• Nur unter Berücksichtigung von Fig. 13 ist es unmöglich, korrekt zu entscheiden, welche Region ein Zielbereich ist. Die Bewegungsvektoren in dem unteren Kantenabschnitt (3) in Fig. 13 sind vektoren, die aus dem Bereich ausgegeben werden, in dem unzureichende Bildinformationen in dem Eingangsbild vorhanden sind, und die Zuverlässigkeit der Informationen extrem niedrig ist, so daß diese Bewegungsvektoren als Rauschen betrachtet werden können. Vor der praktischen Verwendung der Erfindung müssen die Bereichsbildinformationen beseitigt werden.
• Fig. 14 zeigt eine Darstellung eines Beispiels des Ergebnisses der Akkumulation des in Fig. 13 gezeigten optischen Flusses eine vorbestimmte Zeit lang (hier 1,3 Sekunden).
• In Fig. 14 kann der Bereich des Objekts (Autos) mit einem kleinen akkumulierten Wert im mittleren Abschnitt der Bildebene beobachtet werden. In dem Beispiel versucht der Fotograf das zu fotografierende Objekt im mittleren Abschnitt der Bildebene anzuordnen. Durch Akkumulation des optischen Flusses eine vorbestimmte Zeit lang ist es möglich, ein Ziel zu beurteilen, das der Fotograf gegenwärtig zu fotografieren versucht.
• Ein derartiges Verfahren beruht auf der Idee, daß, "da der Fotograf das Bild im Zielbereich zu halten versucht, das Bild im Zielbereich zufällig um die Position schwingt, an der der Fotograf das Bild zentralisieren möchte".
• Das Ergebnis der Akkumulation der im Zielbereich erfaßten Bewegungsvektoren konvergiert aufgrund der Zufallseigenschaften der Bewegungsvektoren auf einen kleinen Wert. Andererseits tritt eine derartige Konvergenz im Nicht-Zielbereich nicht auf. Somit können der Zielbereich und der Nicht-Zielbereich aus der Größe der Akkumulation der Bewegungsvektoren unterschieden werden.
• Die durch die Bewegungsvektorerfassungsschaltung 120 erfaßten Bewegungsvektoren werden in den Speichern 201 und 202 für eine vorbestimmte Zeit akkumuliert. Danach werden sie der Vergleichs- und Integrationsverarbeitungsschaltung 203 zugeführt.
• Die Arbeitsweise der Speicher 201 und 202 wird nachstehend unter Bezugnahme auf die Fig. 20 und 21 beschrieben.
• Fig. 20 zeigt das Akkumulationsergebnis, wenn ein Vibrationszustand durch eine Cosinus-Kurve mit einer Amplitude "1" modelliert wird und die modellierten Werte für eine vorbestimmte Zeit (T) hinzugefügt wurden, d. h. eine Größe der verbleibenden Komponente. Die Ordinate zeigt das verbleibende Komponentenausmaß an, das für die Akkumulationszeit T normiert wurde. Die Abszisse zeigt die Vibrationsfrequenz an.
• In Fig. 20 zeigt eine durchgezogene Linie 1 eine verbleibende Komponente, wenn den Bewegungsvektoren für eine vorbestimmte Zeit ein gleichmäßiges Gewicht hinzugefügt wurde. Eine gestrichelte Linie 2 zeigt eine verbleibende Komponente an, wenn eine in der Aufwärtsrichtung konvexe Gewichtsfunktion, deren Gewicht groß ist, wenn der Zeitpunkt nahe der aktuellen Zeit ist, mit den Bewegungsvektoren multipliziert wurde und die resultierenden Bewegungsvektoren addiert wurden. Eine kurz unterbrochene Linie 3 zeigt eine verbleibende Komponente an, wenn die Bewegungsvektoren unter Verwendung einer Gewichtsfunktion addiert wurden, deren Gewicht sich in regelmäßigen Intervallen erhöht, wenn der Zeitpunkt nahe der aktuellen Zeit ist. Eine lang unterbrochene Linie 4 zeigt eine verbleibende Komponente an, wenn die Bewegungsvektoren unter Verwendung einer Gewichtsfunktion addiert wurden, die in der Aufwärtsrichtung konvex ist, und deren Gewicht zu einem Zeitpunkt nahe der aktuellen Zeit groß ist.
• Fig. 21 zeigt die Größe einer verbleibenden Komponente an, wenn ein Vibrationszustand durch eine Sinuskurve der Amplitude "1" modelliert wurde, und die modellierten Werte für eine vorbestimmte Zeit (T) hinzugefügt wurden. Der Inhalt von Fig. 21 ist gleichermaßen wie in Fig. 20 zu verstehen.
• Fig. 20 zeigt den Fall, daß die DC-Komponente vorhanden ist und dem Schwenkvorgang oder dem Betrieb im Nachführungsfotografiemodus entspricht. Andererseits zeigt Fig. 21 den Fall, daß keine DC-Komponente vorhanden ist und entspricht dem Betrieb im Stehbild-Fotografiemodus (Zustand, in dem der Fotografden Kamerahauptkörper in einen Stehbildzustand versetzt und zu fotografieren versucht). Aus den Fig. 20 und 21 ist ersichtlich, daß in einer Region mit hoher Vibrationsfrequenz kein so großer Unterschied zwischen den Verfahren zur Anwendung von Gewichten besteht, und daß dagegen in einer Region niedriger Vibrationsfrequenz ein großer Unterschied im Auftreten der verbleibenden Komponente in Abhängigkeit vom Verfahren zur Anwendung des Gewichts auftritt.
• Die Speicher 201 und 202 sind Speicher beispielsweise zur Realisierung von vier Arten von Gewichtsadditionsverfahren, wie sie in den Fig. 20 und 21 gezeigt sind, die für verschiedene Fotografiemodi geeignet sind. Das heißt, in den Darstellungen besteht im Fall der Addition mit einer gleichmäßigen Last (Gewicht), wie es durch die durchgezogene Linie 1 dargestellt ist, ein großer Unterschied zwischen dem Zeitadditionswert der Bewegungsvektoren aufgrund der Vibration einer niedrigen Frequenz und dem Zeitadditionswert der Bewegungsvektoren durch die Vibration einer hohen Frequenz, so daß die Bereichseinteilung für eine Fotografiesituation geeignet ist, bei der die DC-Komponente vorhanden ist. Dagegen ist im Fall der Addition unter Verwendung der Last, die in einer Exponentialfunktion gekennzeichnet ist, wenn die Daten nahe den letzten Daten sind, wie es durch die lang unterbro chene Linie 4 gezeigt ist, der Zeitadditionswert der Bewegungsvektoren durch Vibrationen nahezu aller Frequenzen auf einen kleinen Wert eingestellt und eignet sich für eine Stehbildfotografiesituation ohne die DC-Komponente.
• Da der Fotografiezustand aber nicht vorab bekannt ist, werden in der Vergleichs- und Integrationsverarbeitungsschaltung 203 die Zeitadditionswerte (d. h. die verbleibenden Komponenten) der aus den Speichern 201 und 202 zur Akkumulation der Bewegungsvektoren mit unterschiedlichen Gewichten ausgegebenen Bewegungsvektoren verglichen und integriert, wodurch zuerst die aktuelle Fotografiesituation angenommen wird. Danach wird beispielsweise in dem Fall, daß angenommen wird, daß die aktuelle Fotografiesituation einen Nachfolgefotografiezustand darstellt, dem durch die durchgezogene Linie 1 in den Fig. 20 und 21 dargestellten Gewichtsadditionsergebnis mehr Beachtung geschenkt und das Additionsergebnis wird ausgegeben. Dagegen wird in dem Fall, daß angenommen wird, daß der aktuelle Zustand der Stehbildfotografiezustand ist, dem durch die lange unterbrochene Linie 4 in den Fig. 20 und 21 gezeigten Gewichtsadditionsergebnis mehr Beachtung geschenkt, und das Additionsergebnis wird ausgegeben. Oder der Speicher, der gemäß der Fotografiesituation eine adaptive Ausgabe ausführt, kann umgeschaltet werden. In dem Fall, daß der Fotografiezustand nicht als eine dieser Situationen klassifiziert werden kann, kann auch der Durchschnitt zwischen den durch die durchgezogene Linie 1 und die lange unterbroche Linie 4 in den Fig. 20 und 21 gezeigten Zuständen eingestellt werden. Die Zwischen-Gewichtsaddition, wie sie durch die gestrichelte Linie 2 und die kurze unterbrochen Linie 3 in den Fig. 20 und 21 gezeigt ist, kann auch durchgeführt werden.
• In der Zielbereichsentscheidungsschaltung 204 wird der Zielbereich aus den relativen Größen der akkumulierten Werte der Bewegungsvektoren akkurat entschieden, die aus der Vergleichs- und Integrationsverarbeitungsschaltung 203 ausgegeben werden. In der Vibrationsausmaßerfassungsschaltung 124 werden die Bewegungsvektoren in dem durch die Zielbereichentscheidungsschaltung 204 bestimmten Bereich arithmetisch verarbeitet. Das heißt, unter den durch die Bewegungsvektorerfassungsschaltung 120 erfaßten Bewegungsvektoren kann auch der Durchschnitt der Bewegungsvektoren verwendet werden, die aus den dem Zielbereich entsprechenden Blöcken ausgegeben werden. Oder die Bewegungsvektoren können auch neu genau in dem Zielbereich erfaßt werden. Das durch die Vibrationsausmaßerfassungsschaltung 124 erfaßte Vibrationsausmaß, d. h., das Bildebenenvibrationsausmaß, wird der Ansteuerschaltung 125 gleichermaßen wie vorstehend beschrieben zugeführt. Das Stellglied 126 wird durch die Ansteuerschaltung 125 angesteuert. Das Prisma 111 wird mit einem geeigneten Abweichungswinkel beaufschlagt, und das Vibrationsausmaß wird optisch korrigiert.
• Gemäß dem sechsten Ausführungsbeispiel kann der Zielbereich durch die Bereitstellung einer Vielzahl von Speichern zur Beaufschlagung der Bewegungsvektoren mit verschiedenen Gewichten und zur Akkumulation und Addition der gewichteten Bewegungsvektoren in jeder Fotografiesituation genau bestimmt werden. Gemäß dem Ausführungsbeispiel kann das Zielbereichsbestimmungsverfahren auf breitem Gebiet nicht nur bei der fotografierenden TV-Kamera, sondern auch bei einer industriellen TV-Kamera, Überwachungskamera oder dergleichen angewendet werden. In der praktischen Verwendung besteht ein bemerkenswerter Vorteil.
• Wie es vorstehend beschrieben ist, umfaßt das Gerät gemäß jedem vorstehend beschriebenen Ausführungsbeispiel die Grenzerfassungseinrichtung zur Erfassung einer Grenze in einem Bild und die Zielbereichentscheidungseinrichtung zur Entscheidung des der Vibrationskorrektur zu unterziehenden Bereichs auf der Grundlage der Grenzinformationen von der Grenzerfassungseinrichtung und der Informationen von der Bewegungsvektorerfassungseinrichtung und zur Übermittlung von den Zielbereich definierenden Daten zu der Vibrationsausmaßerfassungseinrichtung, wobei die Grenze in der Bildebene durch die Bewegungsvektorverteilung oder die arithmetische Laplace-Operation des Eingangsbildes erfaßt wird. Der der Vibrationskorrektur zu unterziehende Bereich wird durch die erfaßte Grenze und die Bewegungsvektorverteilung bestimmt.
• Daher kann die Vibrationskorrektur des zu verfolgenden Objekts, und weiter die Vibrationskorrektur des Hintergrunds ohne Beeinflussung durch das sich bewegende Objekt genau durchgeführt werden.
• Andererseits weist das Gerät eine Zielbereichsentscheidungseinrichtung zur Beaufschlagung der Informationen von der Bewegungsvektorerfassungseinrichtung mit verschiedenen Gewichten auf, um die gewichteten Informationen für eine vorbestimmte Zeit zu addieren, den der Vibrationskorrektur zu unterziehenden Bereich auf der Grundlage der akkumulierten Werte zu bestimmen, und den Zielbereich definierende Daten zu der Vibrationsausmaßerfassungseinrichtung zu übermitteln. Der Zielbereich wird aus den Größen der akkumulierten Werte bestimmt, die durch die Multiplikation verschiedener Gewichte mit den Bewegungsvektorinformationen erhalten werden. Demzu folge kann eine genaue Vibrationskorrektur in jeder Fotografiesituation ausgeführt werden.

Claims (17)

1. Vorrichtung zur Berechnung von Bewegungsvektoren zur Verwendung bei der Korrektur einer Bewegung in einem Bild aufgrund einer Kameravibration mit

a) einer Bewegungsvektor-Erfassungseinrichtung (130), die zur Einteilung eines Eingangsbildes in eine Vielzahl von Blöcken und zur Erfassung jeweiliger eine Bildbewegung in jedem der Blöcke definierender Bewegungsvektoren betreibbar ist, und

b) einer Bewegungsvektor-Berechnungseinrichtung (140), die zur Bestimmung eines Bewegungserfassungsbereichs zur Bildbewegungserfassung, der aus einer Gruppe der Blöcke besteht, in denen auf der Grundlage der Bewegungsvektoren eine korrelierte Bildbewegung als vorhanden bestimmt ist, und zur Berechnung eines eine Durchschnitts-Bildbewegung in dem Bewegungserfassungsbereich definierenden Durchschnitts- Bewegungsvektors auf der Grundlage der Bewegungsvektoren der den Bewegungserfassungsbereich bildenden Blöcke betreibbar ist,

dadurch gekennzeichnet, daß

die Bewegungsvektor-Berechnungseinrichtung eine Bewegungsvektor-Auswertungseinrichtung (140) aufweist, die zur Auswertung der Zuverlässigkeit des jeweiligen Bewegungsvektors für jeden in dem Bewegungserfassungsbereich positionierten Block und zur Bestimmung eines jeweiligen Gewichtskoeffizienten daraus betreibbar ist, wobei die Bewegungsvektor- Berechnungseinrichtung ferner zur Berechnung des Durchschnitts-Bewegungsvektors durch Ausführung eines Gewichts- Durchschnittsbildungsvorgangs betreibbar ist, in dem der Bei trag jedes Bewegungsvektors entsprechend seinem jeweiligen Gewichtskoeffizienten gewichtet wird.

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Bewegungsvektor-Auswertungseinrichtung zur Bestimmung des Gewichtskoeffizienten jedes Blocks der Gruppe entsprechend einem Grad betreibbar ist, mit dem der Block von anderen Blöcken der den Bewegungserfassungsbereich bildenden Gruppe umgeben ist.

3. Vorrichtung nach Anspruch 2, dadurch gekennzeichnet, daß der Gewichtskoeffizient jedes Blocks der Gruppe als Akkumulation von Gewichtseinheiten bestimmt wird, die jedem anderen Block der Gruppe, der in der lateralen oder vertikalen Richtung angrenzt, auf der Grundlage einer Einheit zugeordnet sind, und die jedem anderen Block der Gruppe, der in einer schrägen Richtung angrenzt, auf der Grundlage von 0,5 Einheiten zugeordnet sind.

4. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Bewegungsvektor-Auswertungseinrichtung zur Auswertung der Zuverlässigkeit des Bewegungsvektors jedes Blocks der Gruppe durch Berechnung einer Korrelation zwischen zu verschiedenen Zeiten abgetasteten Bilddaten und zur Bestimmung des Gewichtskoeffizienten jedes Blocks entsprechend des Ausmaßes der Korrelation betreibbar ist.

5. Vorrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Durchschnitts-Bewegungsvektor-Auswertungseinrichtung (140), die zur Auswertung der Zuverlässigkeit des Durchschnitts-Ziel-Bewegungsvektors auf der Grundlage eines Gesamtwerts der während des Gewichts- Durchschnittsbildungsvorgangs akkumulierten Gewichtskoeffizienten betreibbar ist.

6. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Durchschnitts-Bewegungsvektor-Auswertungseinrichtung entsprechend einer derart definierten vorbestimmten Auswertungsfunktion betreibbar ist, daß, wenn der Gesamtwert der Gewichtskoeffizienten klein ist, was zu einer möglichen falschen Erfassung führt, der Durchschnitts-Bewegungsvektor mit einem Multiplikator kleiner 1 multipliziert wird, um dadurch seinen Einfluß zu verringern.

7. Vorrichtung nach Anspruch 6, dadurch gekennzeichnet, daß unter der Annahme, daß die Anzahl von Blöcken in der Bildebene auf MxN gesetzt ist, die Verteilung der Gewichtskoeffizienten derart aussieht, daß gilt

0 ≤ Gesamtwert der Gewichtskoeffizienten ≤ 7MN - 4M - 4N + 2.

8. Vorrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Bildaufnahmeeinrichtung (30), die zur photoelektrischen Umwandlung eines auf einer Bildaufnahmefläche ausgebildeten Gegenstandsbildes und zur Ausgabe eines Bildaufnahmesignals betreibbar ist, wobei das Eingangsbild ein auf der Bildaufnahmefläche der Bildaufnahmeeinrichtung ausgebildetes Bild ist, und die Bewegungsvektor-Erfassungseinrichtung die Bewegungsvektoren aus dem Bildaufnahmesignal erfaßt.

9. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Bewegungsvektor-Erfassungseinrichtung die Bewegungsvektoren aus einem Luminanzsignal erhält, das durch Beseitigung einer Farbsignalkomponente aus dem Bildaufnahmesignal erhalten wird.

10. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Bewegungsvektor-Erfassungseinrichtung eine Verteilung (optischer Fluß) der Bewegungsvektoren auf der Bildebene erzeugt.

11. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Bewegungsvektor-Berechnungseinrichtung zur Bestimmung der den Bewegungserfassungsbereich definierenden Blöcke aus dem optischen Fluß und zur Berechnung eines Bewegungsausmaßes des Bildes in diesem Moment in Echtzeit betreibbar ist.

12. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, daß die Bewegungsvektor-Berechnungseinrichtung zur Ausführung einer Faltungsmasken-Arithmetikoperation bei Ausgangssignalen der den Bewegungserfassungsbereich bildenden Blöcke betreibbar ist, wodurch die Signale mit den Gewichten beaufschlagt werden.

13. Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Bewegungsvektor-Berechnungseinrichtung von einem Mikrocomputer (140) gebildet wird.

14. Vorrichtung nach einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Korrektureinrichtung (111) zur Korrektur einer Bildbewegung aufgrund einer Kameravibration auf der Grundlage eines Ausgangssignals der Bewegungsvektor-Berechnungseinrichtung (120).

15. Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, daß die Korrektureinrichtung zur variablen Änderung einer Ausleseposition betreibbar ist, wenn Bildinformationen aus dem Bildspeicher auf der Grundlage eines Ausgangssignals der Bewegungsvektor-Berechnungseinrichtung ausgelesen werden, wodurch die Bewegung des Bildes versetzt wird.

16. Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, daß die Korrektureinrichtung ein verstellbares Winkelprisma (111) der Kamera ist.

17. Verfahren zur Korrektur einer Bewegung in einem Bild aufgrund einer Kameravibration mit den Schritten

a) Einteilen eines Eingangsbildes in eine Vielzahl von Blöcken durch den Betrieb einer Bewegungsvektor- Erfassungseinrichtung (130) und Erfassen jeweiliger eine Bildbewegung in jedem der Blöcke definierender Bewegungsvektoren und

b) Bestimmen eines Bewegungserfassungsbereichs durch den Betrieb einer Bewegungsvektor-Berechnungseinrichtung (140), der aus einer Gruppe der Blöcke besteht, in denen auf der Grundlage der Bewegungsvektoren eine korrelierte Bildbewegung als vorhanden bestimmt wird, und Berechnen eines eine Durchschnitts-Bildbewegung in dem Bewegungserfassungsbereich definierenden Durchschnitts-Bewegungsvektors auf der Grundlage der Bewegungsvektoren der den Bewegungserfassungsbereich bildenden Blöcke,

dadurch gekennzeichnet, daß

die Bewegungsvektor-Berechnungseinrichtung eine Bewegungsvektor-Auswertungseinrichtung aufweist, die zur Auswertung der Zuverlässigkeit des jeweiligen Bewegungsvektors für jeden in dem Bewegungserfassungsbereich positionierten Block und zur Bestimmung eines jeweiligen Gewichtskoeffizienten daraus betreibbar ist, wobei die Bewegungsvektor- Berechnungseinrichtung ferner den Durchschnitts- Bewegungsvektor durch Ausführung eines Gewichts- Durchschnittsbildungsvorgangs berechnet, in dem der Beitrag jedes Bewegungsvektors entsprechend seinem jeweiligen Gewichtskoeffizienten gewichtet wird.