DE60224866T2 - Steuern einer Videokamera - Google Patents

Steuern einer Videokamera Download PDF

Info

Publication number
DE60224866T2
DE60224866T2 DE60224866T DE60224866T DE60224866T2 DE 60224866 T2 DE60224866 T2 DE 60224866T2 DE 60224866 T DE60224866 T DE 60224866T DE 60224866 T DE60224866 T DE 60224866T DE 60224866 T2 DE60224866 T2 DE 60224866T2
Authority
DE
Germany
Prior art keywords
moving object
camera
region
video
square
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE60224866T
Other languages
English (en)
Other versions
DE60224866D1 (de
Inventor
Jae-soo Paldal-gu Suwon City Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Application granted granted Critical
Publication of DE60224866D1 publication Critical patent/DE60224866D1/de
Publication of DE60224866T2 publication Critical patent/DE60224866T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • G01S3/7865—T.V. type tracking systems using correlation of the live video image with a stored image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19689—Remote control of cameras, e.g. remote orientation or image zooming control for a PTZ camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Steuerung einer Videokamera, wobei das Verfahren das Verarbeiten eines Videosignals von einer Videokamera, um ein sich bewegendes Objekt im Sichtfeld der Kamera zu identifizieren, und das Steuern der Videokamera, um das identifizierte, sich bewegende Objekt im Sichtfeld der Kamera zu halten, umfasst.
  • Ein derartiges Verfahren ist aus EP-A-0689357 bekannt.
  • Im Allgemeinen benutzen digitale Fotosysteme Datenkomprimierungstechniken, um Bilddaten zu komprimieren, um eine größere Anzahl an Bildern im verfügbaren Speicher aufzuzeichnen und die Übertragung der Bilder an einen entfernt gelegenen Ort zu erleichtern. Zum Beispiel komprimiert ein digitales Fernsehübertragungssystem die Bilddaten, die von der Kamera erhalten werden, und überträgt die komprimierten Bildsignale als Rundfunksignale.
  • 1 ist ein Flussdiagramm, das ein herkömmliches Verfahren zur Komprimierung von Bildern eines Bildkomprimierungs- und -dekomprimierungsystems zeigt.
  • Unter Bezugnahme auf 1, führt das Bildkomprimierungs- und -dekomprimierungsystem das Verarbeiten des Eingabebildes (Schritt S12) durch, wenn die Bilddaten für eine Szene von einer Kamera festgehalten werden und eingegeben werden (Schritt S11). Das heißt, die Signalverarbeitung wird an der unverarbeiteten Kameraausgabe durchgeführt, um Geräusch aus dem Eingabebild zu entfernen. Dann wird durch den Vergleich derartiger verarbeiteter Bilder mit den vorhergehenden Frames ein Bewegungsvektor eines Makroblocks berechnet (Schritt S13). Als Nächstes wird die Nachbearbeitung durchgeführt, um die Eingabebilder zu komprimieren (Schritt S14). Digitale Codierung wird durchgeführt (Schritt S15) und schließlich werden die Bilddaten komprimiert (Schritt S16).
  • Der ,Bewegungsvektor' des Makroblocks, der benutzt wird, um die Bilddaten zu komprimieren, gibt die Richtung der Bewegung eines Objekts in einem Bild zwischen zwei aufeinanderfolgenden Frames an. Der Bewegungsvektor ist in zwei Dimensionen dargestellt, d.h. in der horizontalen und der vertikalen Richtung. Zum Beispiel bedeutet, wenn der Bewegungsvektor eines bestimmten Makroblocks die Werte (2, –3) aufweist, dass der bestimmte Makroblock sich um zwei Pixel in der horizontalen Richtung bewegt hat und um –3 Pixel in der vertikalen Richtung.
  • Durch die oben beschriebenen Komprimierung von Daten können Bilddaten gespeichert und an entfernt gelegene Orte in größerem Volumen und bei höherer Geschwindigkeit übertragen werden.
  • Bei gewissen Anwendungen sind automatische Verfolgungssysteme vorteilhaft. Automatische Verfolgungssysteme können eine Kamera steuern, sodass sie ein sich bewegendes Objekt durch die Signalverarbeitung der Eingabebilder verfolgt.
  • 2 ist ein Flussdiagramm, das einen herkömmlichen Kamerasteuerungsvorgang darstellt. Wenn ein Bild eingegeben wird (Schritt S21), wird das Eingabebild vom System vorverarbeitet (Schritt S22). Als nächstes wird das Eingabebild in mehrere Bereiche unterteilt (Schritt S23). Diese Bereiche sind in eine Hintergrundregion und eine Bewegungsregion kategorisiert, um ein sich bewegendes Objekt zu extrahieren (Schritt S24). Dann werden die Größen- und Bewegungsinformationen für das extrahierte, sich bewegende Objekt erhalten (Schritt S25). Das Schwenken, Kippen und Fokussieren der Kamera werden auf der Basis der Größen- und Bewegungsinformationen für das extrahierte, sich bewegende Objekt gesteuert (Schritt S26). Durch den oben be schriebenen Vorgang wird das sich bewegende Objekt automatisch verfolgt.
  • Typischerweise benutzen automatische Verfolgungssysteme Bildkomprimierungsalgorithmen, wie etwa die oben beschriebenen, um die Speicher- und Übertragungserfordernisse zu reduzieren. Derzeit wird Forschung betrieben, um einen Bildkomprimierungsalgorithmus zu entwickeln, der die Übertragung des sich bewegenden Bilds, das verfolgt wird, unter Benutzung von Internet oder einem drahtlosen Kommunikationsnetz an einen entfernt gelegenen Ort zu ermöglichen.
  • In herkömmlichen automatischen Systemen zur Verfolgung von sich bewegenden Objekten, wie oben beschrieben, werden jedoch der Vorgang zum Komprimieren des Eingabebildes und der Vorgang zum Verfolgen des sich bewegenden Objekts unabhängig voneinander durchgeführt. Weil der Vorgang zum Komprimieren des Eingabebildes und der Vorgang zur Verarbeitung des Eingabebildes für die Kamerasteuerung gegenwärtig getrennt durchgeführt werden, werden die Steuereinheiten bedeutender Überlastung und unnötigem Stromverbrauch ausgesetzt.
  • Ein Verfahren zum Steuern einer Videokamera nach der vorliegenden Erfindung ist wie in Anspruch 1 dargelegt, charakterisiert.
  • Vorzugsweise wird das Videosignal von der Kamera unter Benutzung der Bewegungsvektoren und Ausgabe komprimiert.
  • Vorzugsweise umfasst das Identifizieren eines sich bewegenden Objekts das Bestimmen, ob jeder der Bewegungsvektoren einem Bewegungskriterium entspricht, und das Bestimmen einer Grenze, die eine Sammlung an Makroblöcken abgrenzt, deren Bewegungsvektoren dem Bewegungskriterium entsprechen. Besser entspricht diese Grenze der Grenze des kleinsten Quadrats und grenzt dann die Sammlung ab und/oder der Schwenk und/oder die Neigung der Kamera werden in Abhängigkeit der Position des Zentrums der Region gesteuert, welche von der Grenze definiert ist und/oder die Fokussierung der Kamera wird in Abhängigkeit der Größe der Region gesteuert, welche von der Grenze definiert ist.
  • Das Kriterium kann umfassen, dass Folgendem entsprochen wird: t < max(|Vx|,|V|y)wobei Vx und Vy horizontale und vertikale Bestandteile eines Bewegungsvektors V sind und t ein Grenzwert, vorzugsweise 2 ist, oder
    Figure 00040001
    wobei Vx und Vy horizontale und vertikale Bestandteile eines Bewegungsvektors V sind und t ein Grenzwert, vorzugsweise 2 ist.
  • Nach der vorliegenden Erfindung wird ein Videosystem bereitgestellt, das eine Videokamera und ein Verarbeitungsgerät, das angeschlossen ist, um ein Videosignal von der Videokamera zu erhalten und Steuersignale an die Videokamera abzugeben, umfasst, wobei das Verarbeitungsgerät derart konfiguriert ist, um ein Verfahren nach der vorliegenden Erfindung durchzuführen.
  • Nach der vorliegenden Erfindung sind auch Signal darstellende Steuercodes bereitgestellt, wie in Anspruch 18 dargelegt.
  • Nach der vorliegenden Erfindung wird ferner ein Datenträger bereitgestellt, in/auf dem eine Darstellung eines Signals nach der vorliegenden Erfindung aufgezeichnet ist.
  • Weitere bevorzugte und Wahlmerkmale der vorliegenden Erfindung sind in den abhängigen Ansprüchen dargelegt.
  • Nun wird beispielhaft unter Bezugnahme auf 3 bis 10 der beiliegenden Zeichnungen eine Ausführungsform der vorliegenden Erfindung beschrieben, wobei:
  • 1 ein Flussdiagramm ist, das ein herkömmliches Bildverarbeitungsverfahren darstellt;
  • 2 ein Flussdiagramm ist, das ein herkömmliches Verfahren zur automatischen Verfolgung eines sich bewegenden Objekts unter Benutzung eines Bildsignals darstellt;
  • 3 ein Blockdiagramm eines automatischen Systems zur Verfolgung sich bewegender Objekte nach der vorliegenden Erfindung ist;
  • 4 ein Flussdiagramm ist, das die Funktion des automatischen Verfolgungssystems aus 3 darstellt;
  • 5 den Vorgang des Bestimmens einer Bewegungsregion und einer unbewegten Region von den Bewegungsvektoren von Makroblöcken darstellt;
  • 6 den Vorgang des Einschätzens von Größe und Mittelwert eines sich bewegenden Objekts darstellt;
  • 7 eine Schwenk-/Neigungs-Steuerregion einer Kamera darstellt;
  • 8 eine Fokussier-Steuerregion einer Kamera darstellt; und
  • 9 und 10 Zeitdiagramme sind, welche die Kamerasteuerungszeit bzw. die Informationsverfolgungszeit zeigen.
  • Unter Bezugnahme auf 3 weist ein System zur Verfolgung eines sich bewegenden Objekts eine Bildgebungseinheit 100, eine Bildkomprimierungs-Verarbeitungseinheit 200, eine Antriebseinheit 300 und eine Bildgebungssteuereinheit 400 auf.
  • Die Bildgebungseinheit 100 weist eine Linse (nicht gezeigt) und eine ladungsgekoppelte Vorrichtung (nicht gezeigt) auf und bildet einen überwachten Bereich ab, um Bildsignale zu erzeugen.
  • Die Bildkomprimierungs-Verarbeitungseinheit 200 führt Datenkomprimierung durch, um das Volumen an von der Bildgebungseinheit 100 übertragenen Daten zu reduzieren und gibt die komprimierten Daten an die Speichervorrichtung (nicht gezeigt) oder an eine Netzwerk übertragende Vorrichtung (nicht gezeigt) ab. Zu diesem Zweck weist die Bildkomprimierungs-Verarbeitungseinheit 200 eine Bildeingabeeinheit 110 zum Erhalten der Bilddaten von der Bildgebungseinheit 100, eine Vorverarbeitungseinheit 120 zum Vorverarbeiten der Eingabebilddaten, eine Bewegungsvektor berechnende Einheit 130 zum Berechnen von Bewegungsvektoren auf der Basis der Unterschiede zwischen den vorverarbeiteten Eingabebilddaten, eine Nachbearbeitungseinheit 140 zur Nachbearbeitung der Bilddaten, für welche die Bewegungsvektoren berechnet wurden, und eine codierende Einheit 150 zur Erzeugung komprimierter Daten nach den Charakteristiken der nachbearbeiteten Bilddaten auf.
  • Die Antriebseinheit 300 treibt die Bildgebungseinheit 100 als Reaktion auf die Steuersignale, die von der Bildgebungssteuereinheit 400 ausgegeben wurden, an. Demgemäß weist die Antriebseinheit 300 eine Linsenantriebseinheit 220 zur Einstellung der Linse auf Schwenk und Neigung und Fokussierung und eine Kameraantriebseinheit 210 zur Bewegung der Bildgebungseinheit 100 zur Verfolgung und Bildgebung eines sich bewegenden Objekts auf.
  • Die Bildgebungssteuereinheit 400 schätzt die Größe B und einen Mittelwert C eines sich bewegenden Objekts von den Makroblock-Bewegungsvektoren ein, welche von der Bewegungsvektor berechnenden Einheit 130 der Bildkomprimierungs-Verarbeitungseinheit 200 berechnet wurde, und steuert die Bildgebungseinheit 100 durch die Antriebseinheit 300.
  • Unter Bezugnahme auf 4, werden zunächst von der Vorverarbeitungseinheit 120 die Eingabebilder von der Bildeingabeeinheit 200 (Schritt S320) vorverarbeitet, wenn ein Objekt von der Bildgebungseinheit 100 abgebildet wird (Schritt S310). Nach der Vorverarbeitung wird der gegenwärtige Bildframe mit dem vorhergehenden Frame verglichen und somit werden Makroblock-Bewegungsvektoren von der Bewegungsvektor berechnenden Einheit 130 berechnet (Schritt S330)
  • Es werden komprimierte Bilddaten für die Eingabebilder, für welche die Bewegungsvektoren berechnet wurden, auf der Basis von binären Datenanordnungscharakteristiken der Eingabebilder erzeugt (Schritt S340). Mit anderen Worten werden nach der mit der Komprimierung verbundenen Nachbearbeitung durch die Nachbearbeitungseinheit 140 (Schritt S342) die nachbearbeiteten Eingabebilder in der codierenden Einheit 150 codiert und infolgedessen werden die komprimierten Daten erzeugt (Schritt S346).
  • Die Bildgebungssteuereinheit 400 steuert die Bildgebungseinheit 100 durch das Erhalten der Information über das sich bewegende Objekt auf der Basis der Bewegungsvektoren, die von der Bewegungsvektor berechnenden Einheit 130 berechnet wurden, und durch das Ausgeben eines Steuersignals auf der Basis der erhaltenen Information (Schritt S350).
  • Der Vorgang zur Steuerung der Bildgebungseinheit 100 unter Benutzung der berechneten Bewegungsvektoren wird nun in Einzelheiten beschrieben.
  • Als Erstes erhält die Bildgebungssteuereinheit 400 die Bewegungsvektoren, welche von der Bewegungsvektor berechnenden Einheit 130 berechnet wurden, und identifiziert eine sich bewegende Region und eine statische Region des Eingabebildes (Schritt S352). Zur Bestimmung der sich bewegenden Region berechnet die Bildgebungssteuereinheit 400 eine Bewegungsentfernung für das sich bewegende Objekt von den Makroblock-Bewegungsvektoren (5) und vergleicht die berechnete Bewegungsentfernung mit einem Grenzwert.
  • Die Bewegungsentfernung eines Makroblocks wird durch die folgende Gleichung erhalten: BEWEGUNGSENTFERNUNG = MAX(A, B) Gl.(1)wobei A der horizontale Bestandteil eines Bewegungsvektors ist und B der vertikale Bestandteil des Bewegungsvektors ist.
  • Unter Bezugnahme auf 5, wird, wenn die Makroblock-Bewegungsentfernung größer als der Grenzwert ,2' ist, der Makroblock als ein sich bewegender Makroblock bestimmt. Wenn jedoch die Bewegungsentfernung des Makroblocks weniger als der Grenzwert 2 beträgt, wird der Makroblock als ein statischer Makroblock bestimmt. Die rechte Seite von 5 zeigt die sich bewegende Region A, welche durch den Vergleich des Grenzwertes mit der Bewegungsentfernung der Makroblöcke des Bildes bestimmt wird.
  • Die Bewegungsentfernung des Makroblocks kann in vielen Formen ausgedrückt werden, wie etwa beispielsweise mittels der folgenden Gleichung.
  • Figure 00090001
  • Wenn die sich bewegende und die statische Region des Eingabebildes bestimmt worden sind, schätzt die Bildgebungssteuereinheit 400 die Größe B und den Mittelwert C des sich bewegenden Objekts von der sich bewegenden Region A ein. Wie in 6 gezeigt, wird die Größe B des sich bewegenden Objekts durch das Bestimmen des kleinsten Quadrats, das die sich bewegende Region abgrenzen kann, bestimmt. Der Mittelwert C des sich bewegenden Objekts wird durch das Bestimmen der Mitte des Quadrats, welches die sich bewegende Region abgrenzt, bestimmt.
  • Wiederum unter Bezugnahme auf 4, steuert die Bildgebungssteuereinheit 400 die Bildgebungseinheit 100 durch das Ausgeben eines Bildgebungssteuersignals an die Antriebseinheit 300 in Abhängigkeit der Größe B und des Mittelwertes C des sich bewegenden Objekts (Schritt S356). Um eine konstante Belegungsrate für das sich bewegende Objekt auf der Bildebene aufrecht zu erhalten, wird nach der Größe B des sich bewegenden Objekts ein Fokussiersteuersignal an die Linsenantriebseinheit 220 ausgegeben, um die Fokussierung der Bildgebungseinheit 100 zu steuern. Ferner wird zur Ausrichtung der Mitte des sich bewegenden Objekts nach der Mitte der Bildebene gemäß dem Mittelwert B des sich bewegenden Objekts ein Schwenk-/Neigungssignal an die Linsenantriebseinheit 220 ausgegeben, um den Schwenk und die Neigung der Bildgebungseinheit 100 zu steuern. Um zu verhindern, dass aufgrund von übermäßiger Steuerung eine schwankende Bewegung auf dem Bildschirm vorkommt, wird außerdem die Schwenk-/Neigungssteuerung der Bildgebungseinheit 100 nur durchgeführt, wenn der Mittelwert C des sich bewegenden Objektes in einem entfernten Bereich E außerhalb eines vorbestimmten Mittelbereichs D liegt (7). Die Fokussiersteuerung der Bildgebungseinheit 100 wird auch auf eine Art und Weise durchgeführt, dass das Heranzoomen durchgeführt wird, wenn der Mittelwert C des sich bewegenden Objekts sich in einem Mittelbereich F befindet, während das Herauszoomen durchgeführt wird, wenn der Mittelwert C des sich bewegenden Objekts sich in einer peripheren Region H befindet. Es wird kein Fokussieren durchgeführt, wenn der Mittelwert C des sich bewegenden Objekts sich in einem Zwischenbereich G zwischen dem mittleren und dem peripheren Bereich F, H befindet.
  • Die Bildgebungssteuereinheit 400 kann den Bereich innerhalb des Quadrates als ein Verfolgungsfenster zum Verfolgen der Bewegung des sich bewegenden Objekts einstellen und das sich bewegende Objekt durch das Bewegen des Verfolgungsfensters zu einem Ort des sich bewegenden Objekts verfolgen. Der Ort des sich bewegenden Objekts wird eingeschätzt auf der Basis der vorhergehenden Frames innerhalb des Quadrates. Wenn der Mittelwert des Verfolgungsfensters sich außerhalb des Eingabebildes oder eines Mittelteils dieses bewegt, wird die Aufnahmerichtung der Bildgebungseinheit 100 nach der eingeschätzten Information des Verfolgungsfensters durch ein Steuersignal, das an die Kameraantriebseinheit 31 ausgegeben wird, um die Richtung der Kamera zu wechseln, gesteuert.
  • Während der Steuerung der Kamera sind Bewegungsvektoren des Eingabebildes vorhanden, die durch die Bewegung der Kamera erzeugt werden und nicht durch die eigentliche Bewegung des Objekts. Derartige falsche Bewegungsvektoren werden vorzugsweise nicht benutzt. Demgemäß wird ein Zeitmultiplex benutzt, sodass die Kamera steuernde Zeit a' and die geschätzte Zeit a für die Größe und den Mittelwert des sich bewegenden Objekts wie in der Zeitansicht aus 9 gezeigt, durchgeführt werden.
  • 10 ist eine Zeitansicht, die eine alternative Verteilung der Zeit für die Informationsverarbeitung b des sich bewegenden Objekts und die Kamerasteuerung b' zeigt.
  • Wie oben beschrieben, werden mit einem Kamera steuernden Verfahren unter Benutzung der mit der Kompression verbundenen Informationen nach der vorliegenden Erfindung bedeutende Vorteile verwirklicht. Da die grundlegende Information zur Objektverfolgung von dem Bildkomprimierungssystem erhalten wird, wird die Last zur Zentraleinheit bedeutend reduziert im Vergleich zu derjenigen des herkömmlichen Systems zur Verfolgung sich bewegender Objekte. Außerdem wird dadurch, dass die Bildkomprimierungsfunktion und die Fotografiersteuerfunktion miteinander kombiniert werden eine Kostenwirksamkeit erzielt.
  • Natürlich ist für den Fachmann offensichtlich, dass die oben beschriebenen Konzepte in einer Softwareausführungsform eingesetzt werden können. Eine derartige Ausführungsform umfasst ein computerlesbares Medium aus Anweisungen zur Steuerung einer Kamera, um ein sich bewegendes Objekt auf der Basis der Information, die im Vorgang der Eingabebildkomprimierung erzeugt wurde, wie oben beschrieben, zu verfolgen und zu fotografieren.

Claims (19)

  1. Verfahren zur Steuerung einer Videokamera, wobei das Verfahren umfasst: Verarbeiten eines Videosignals von einer Videokamera (100), um ein sich bewegendes Bild im Sichtfeld der Kamera (100) zu identifizieren; und Steuern der Videokamera (100), um das identifizierte sich bewegende Objekt im Sichtfeld der Kamera zu behalten, wobei das Verarbeiten eines Videosignals zur Identifizierung eines sich bewegenden Objekts umfasst: Erzeugen eines Bewegungsvektors für Makroblöcke eines Videoframes von der Kamera (100); und Identifizieren eines sich bewegenden Objekts auf der Basis des Bewegungsvektors; und wobei das Verfahren umfasst: Bestimmen einer Bewegungsregion und einer unbewegten Region eines Eingabebildes, das von der Kamera auf der Basis eines Bewegungsvektors eines Makroblocks fotografiert wurde; Einschätzen eines Mittelwertes und der Größe des sich bewegenden Objektes von der Bewegungsregion; und Steuern der Kamera, sodass die Kamera auf der Basis des geschätzten Mittelwertes und der Größe das sich bewegende Objekt verfolgt und fotografiert, wobei der Kamerasteuerungsschritt einen Schwenk/eine Neigung der Kamera nach dem geschätzten Mittelwert des sich bewegenden Objekts steuert, und wobei der Schwenk/die Neigung der Kamera nur dann durchgeführt wird, wenn der Mittelwert des sich bewegenden Objekts außerhalb eines vorher festgelegten Bereichs des Eingabebildes vorhanden ist.
  2. Verfahren nach Anspruch 1, umfassend das Komprimieren des Videosignals von der Kamera (100) unter Benutzung der Bewegungsvektoren und Ausgeben des anfallenden komprimierten Videosignals.
  3. Verfahren nach Anspruch 1 oder 2, wobei das Identifizieren eines sich bewegenden Objekts das Bestimmen, ob jeder der Bewegungsvektoren einem Bewegungskriterium entspricht, und das Bestimmen einer Grenze, die eine Sammlung von Makroblöcken, deren Bewegungsvektoren dem Bewegungskriterium entsprechen, abgrenzen, umfasst.
  4. Verfahren nach Anspruch 4, wobei die Grenze der Grenze des kleinsten Quadrats entspricht und dann diese Sammlung abgrenzt.
  5. Verfahren nach Anspruch 3 oder Anspruch 4, umfassend das Steuern der Fokussierung der Kamera in Abhängigkeit der Größe der Region, die durch die Grenze definiert ist.
  6. Verfahren nach einem der Ansprüche 3 bis 5, wobei das Kriterium umfasst, dass Folgendem entsprochen wird: t < max(|Vx|,|V|y)wobei Vx und Vy horizontale und vertikale Bestandteile eines Bewegungsvektors V sind und t ein Grenzwert, vorzugsweise 2 ist.
  7. Verfahren nach einem der Ansprüche 3 bis 5, wobei das Kriterium umfasst, dass Folgendem entsprochen wird:
    Figure 00140001
    wobei Vx und Vy horizontale und vertikale Bestandteile eines Bewegungsvektors V sind und t ein Grenzwert, vorzugsweise 2 ist.
  8. Verfahren nach Anspruch 1, wobei das Identifizieren eines sich bewegenden Objekts auf der Basis des Bewegungsvektors die Schritte umfasst: Berechnen der Bewegungsentfernungen der Makroblöcke; und Bestimmen der Bewegungsregion und der unbewegten Region nach Vergleichen zwischen den berechneten Bewegungsentfernungen der Makroblöcke und einem Grenzwert.
  9. Verfahren nach Anspruch 8, umfassend das Berechnen der Bewegungsentfernung als die größere der absoluten Änderung in eine erste Richtung der absoluten Änderung in eine zweite Richtung.
  10. Verfahren nach Anspruch 8, umfassend das Berechnen der Bewegungsentfernung als Quadratwurzel der Summe des Quadrats der Änderung in eine erste Richtung und des Quadrats der Änderung in eine zweite Richtung.
  11. Verfahren nach Anspruch 9 oder 10, wobei die erste Richtung horizontal ist und die zweite Richtung vertikal ist.
  12. Verfahren nach Anspruch 8, umfassend das Bestimmen der Größe des sich bewegenden Objekts als der Bereich eines Quadrates, das die Grenze der Bewegungsregion umgibt.
  13. Verfahren nach Anspruch 1, ferner umfassend die Schritte: Einstellen des Bereichs innerhalb des Quadrats als ein Verfolgungsfenster zum Verfolgen des sich bewegenden Objekts, Einschätzen einer Stelle, zu der bewegt wurde, für das sich bewegende Objekt auf der Basis von vorhergehenden Frames innerhalb des Quadrats, und Bewegen des Verfolgungsfensters nach der Stelle, zu der bewegt wurde.
  14. Verfahren nach einem der Ansprüche 1 bis 4, wobei der Kamerasteuerungsschritt das Fokussieren der Kamera nach der geschätzten Größe des sich bewegenden Objekts steuert.
  15. Verfahren nach Anspruch 14, wobei der Steuerschritt derart durchgeführt wird, dass das Heranzoomen durchgeführt wird, wenn sich das sich bewegende Objekt innerhalb des vorher festgelegten Bereichs befindet, während das Herauszoomen durchgeführt wird, wenn sich das sich bewegende Objekt außerhalb des vorher festgelegten Bereichs des Eingabebilds befindet.
  16. Verfahren nach einem der vorhergehenden Ansprüche, wobei der Steuerschritt derart durchgeführt wird, dass die Einschätzung des Mittelwertes des sich bewegenden Objekts und die Einschätzung der Größe des sich bewegenden Objekts auf einer Zeitmultiplexbasis durchge führt werden.
  17. Videosystem, umfassend eine Videokamera (100) und ein Verarbeitungsgerät (200), die verbunden sind, um ein Videosignal von der Videokamera (100) zu erhalten und Steuersignale an die Videokamera (100) auszugeben, wobei das Verarbeitungsgerät (200) derart konfiguriert ist, dass es ein Verfahren nach einem der vorhergehenden Ansprüche durchführen kann.
  18. Signal, das Steuercodes darstellt, die bei der Ausführung durch das Computergerät dieses steuern, um das Verfahren nach einem der Ansprüche 1 bis 16 durchzuführen.
  19. Datenträger, in/auf dem eine Darstellung eines Signals nach Anspruch 18 aufgezeichnet ist.
DE60224866T 2001-10-29 2002-10-08 Steuern einer Videokamera Expired - Fee Related DE60224866T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR2001066851 2001-10-29
KR10-2001-0066851A KR100426174B1 (ko) 2001-10-29 2001-10-29 영상압축 알고리즘을 이용한 카메라 제어방법

Publications (2)

Publication Number Publication Date
DE60224866D1 DE60224866D1 (de) 2008-03-20
DE60224866T2 true DE60224866T2 (de) 2008-05-21

Family

ID=19715482

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60224866T Expired - Fee Related DE60224866T2 (de) 2001-10-29 2002-10-08 Steuern einer Videokamera

Country Status (6)

Country Link
US (1) US7248286B2 (de)
EP (1) EP1311123B1 (de)
JP (1) JP2003189290A (de)
KR (1) KR100426174B1 (de)
CN (1) CN1236599C (de)
DE (1) DE60224866T2 (de)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4491295B2 (ja) * 2004-07-22 2010-06-30 キヤノン株式会社 画像再生方法及び画像再生装置
JP2006129152A (ja) * 2004-10-29 2006-05-18 Konica Minolta Holdings Inc 撮像装置および画像配信システム
US20060126737A1 (en) * 2004-12-15 2006-06-15 International Business Machines Corporation Method, system and program product for a camera to track an object using motion vector data
US20060126738A1 (en) * 2004-12-15 2006-06-15 International Business Machines Corporation Method, system and program product for a plurality of cameras to track an object using motion vector data
JP4533284B2 (ja) * 2005-08-30 2010-09-01 キヤノン株式会社 追尾撮像装置及びその追尾制御方法、並びに制御プログラム
US20080232477A1 (en) * 2005-09-01 2008-09-25 Koninklijke Philips Electronics, N.V. Method and Device For Coding and Decoding of Video Error Resilience
JP4413235B2 (ja) * 2006-02-22 2010-02-10 三洋電機株式会社 電子カメラ
JP4318724B2 (ja) 2007-02-14 2009-08-26 パナソニック株式会社 監視カメラ及び監視カメラ制御方法
KR101403223B1 (ko) * 2007-09-28 2014-06-03 삼성전자주식회사 무선 센서 네트워크를 통한 카메라 제어 방법 및 이를 위한시스템
US8050459B2 (en) * 2008-07-25 2011-11-01 GM Global Technology Operations LLC System and method for detecting pedestrians
JP2010147925A (ja) * 2008-12-19 2010-07-01 Sanyo Electric Co Ltd 撮像装置
US8458105B2 (en) * 2009-02-12 2013-06-04 Decisive Analytics Corporation Method and apparatus for analyzing and interrelating data
US20100235314A1 (en) * 2009-02-12 2010-09-16 Decisive Analytics Corporation Method and apparatus for analyzing and interrelating video data
JP5446546B2 (ja) * 2009-07-28 2014-03-19 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム、撮像システム
US8772975B2 (en) 2009-12-07 2014-07-08 Qualcomm Incorporated Apparatus and method for implementing a differential drive amplifier and a coil arrangement
JP5589527B2 (ja) * 2010-04-23 2014-09-17 株式会社リコー 撮像装置および追尾被写体検出方法
US20110280438A1 (en) * 2010-05-14 2011-11-17 Yong Zhang Image processing method, integrated circuit for image processing and image processing system
US9661232B2 (en) 2010-08-12 2017-05-23 John G. Posa Apparatus and method providing auto zoom in response to relative movement of target subject matter
KR101666397B1 (ko) * 2010-12-21 2016-10-14 한국전자통신연구원 객체 영상 획득 장치 및 방법
JP5507014B2 (ja) * 2011-08-10 2014-05-28 富士フイルム株式会社 動体検出装置及び方法
US9686463B2 (en) * 2015-03-10 2017-06-20 Qualcomm Incorporated Systems and methods for continuous auto focus (CAF)
KR101935414B1 (ko) * 2016-10-27 2019-04-08 동명대학교산학협력단 부유물 수거용 자율 수상로봇
KR101977635B1 (ko) * 2017-11-20 2019-05-13 한국항공대학교산학협력단 다중 카메라 기반 시설물 주변 항공뷰 형태의 전방위 비디오 합성 및 이동체 검출 방법 및 장치
JP2019114902A (ja) * 2017-12-22 2019-07-11 ルネサスエレクトロニクス株式会社 半導体装置、撮像システム、及びプログラム
CN108230366B (zh) * 2017-12-28 2021-09-07 厦门市美亚柏科信息股份有限公司 一种目标物的追踪方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5237405A (en) * 1990-05-21 1993-08-17 Matsushita Electric Industrial Co., Ltd. Image motion vector detecting device and swing correcting device
KR940007163B1 (ko) * 1991-07-09 1994-08-06 삼성전자 주식회사 캠코더의 피사체 자동추적장치
JP3114888B2 (ja) * 1991-09-17 2000-12-04 ソニー株式会社 カメラ制御装置
KR0138137B1 (ko) * 1992-02-28 1998-05-15 강진구 감시용 카메라 시스템
JP3487436B2 (ja) * 1992-09-28 2004-01-19 ソニー株式会社 ビデオカメラシステム
FR2703802A1 (fr) 1993-04-07 1994-10-14 Philips Electronique Lab Dispositif d'estimation de mouvement entre des images successives d'une séquence d'images animées subdivisées en blocs bidimensionnels d'éléments d'image.
JPH06339056A (ja) * 1993-05-31 1994-12-06 Oki Electric Ind Co Ltd ビデオカメラ駆動装置
JPH0767015A (ja) * 1993-08-24 1995-03-10 Canon Inc 画像記録装置
US5521634A (en) 1994-06-17 1996-05-28 Harris Corporation Automatic detection and prioritized image transmission system and method
JPH0869597A (ja) 1994-08-30 1996-03-12 Matsushita Electric Ind Co Ltd 動きベクトル検出手段を用いた監視装置
KR100235343B1 (ko) * 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
US5790686A (en) * 1995-09-19 1998-08-04 University Of Maryland At College Park DCT-based motion estimation method
JPH09153138A (ja) 1995-12-01 1997-06-10 Fujitsu Ltd カメラ制御装置
JPH09182078A (ja) * 1995-12-25 1997-07-11 Casio Comput Co Ltd 動きベクトル検出装置及び動きベクトル検出方法
JP3658617B2 (ja) * 1996-01-16 2005-06-08 いすゞ自動車株式会社 自動車のステアリングホイールにおけるコンビネーションスイッチ及びエアーバッグ用ロータリーコイルの取付機構
JP2940469B2 (ja) 1996-04-30 1999-08-25 日本電気株式会社 動画像解析装置及び動画像解析方法
FR2773937B1 (fr) 1998-01-22 2000-02-18 Commissariat Energie Atomique Procede et dispositif de poursuite automatique d'une cible
CN1178467C (zh) * 1998-04-16 2004-12-01 三星电子株式会社 自动跟踪运动目标的方法和装置
JP2000032435A (ja) 1998-07-10 2000-01-28 Mega Chips Corp 監視システム
US6501515B1 (en) * 1998-10-13 2002-12-31 Sony Corporation Remote control system
JP4280353B2 (ja) * 1999-03-19 2009-06-17 キヤノン株式会社 符号化装置、画像処理装置、符号化方法、及び記録媒体
JP2001145109A (ja) * 1999-11-11 2001-05-25 Nec Corp 動きベクトル検出装置
US6707486B1 (en) * 1999-12-15 2004-03-16 Advanced Technology Video, Inc. Directional motion estimator
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법

Also Published As

Publication number Publication date
US20030081130A1 (en) 2003-05-01
US7248286B2 (en) 2007-07-24
KR20030034995A (ko) 2003-05-09
DE60224866D1 (de) 2008-03-20
EP1311123A1 (de) 2003-05-14
JP2003189290A (ja) 2003-07-04
EP1311123B1 (de) 2008-01-30
CN1236599C (zh) 2006-01-11
CN1466373A (zh) 2004-01-07
KR100426174B1 (ko) 2004-04-06

Similar Documents

Publication Publication Date Title
DE60224866T2 (de) Steuern einer Videokamera
DE69130076T2 (de) Videosignalübertragungssystem und -verfahren zur Kodierung von Videosignalen
DE69225941T2 (de) Bildkodierung und/oder -dekodierung
DE69127850T2 (de) Vorrichtung zum Erfassen von Bewegungen und Fokusdetektor, der eine solche Vorrichtung benutzt
DE69330620T2 (de) Verfahren und Einrichtung zur Bildkodierung
DE69424591T2 (de) Verfahren zur Kontrolle der Datenmenge und Kodierer zur Durchführung desselben.
DE19730360B4 (de) Bilddatenfilterungsvorrichtung und Verfahren zur Verminderung von Bilddatencodierfehlern
DE19983806B4 (de) Ein die diskrete Wavelet-Transformation verwendender Autofokus-Algorithmus
EP0259562B1 (de) Verfahren zur bewegungskompensierten Bild-zu-Bild-Prädiktionscodierung
DE3856461T2 (de) System zur Bildcodierung und -decodierung
DE69615948T2 (de) Hierarchischer Bildkodierer und -dekodierer
DE69123043T2 (de) Bildkodiervorrichtung
DE69525525T2 (de) Bildverarbeitungssystem unter Verwendung von Pixel-zu-Pixel Bewegungsschätzung und Bilddezimation
DE69435031T2 (de) Bewegungskompensation für ein reproduziertes Bildsignal
DE69417480T2 (de) Bestimmung von Bewegungsvektoren in einem Videokodierer mit Bilddezimation
DE69624639T2 (de) Kodierung von digitalen Videosignalen
DE69426584T2 (de) Einrichtung zur Umsetzung der Vollbildfrequenz
DE69312132T2 (de) Bildkompressionsgerät
DE69226559T2 (de) Bildverarbeitung
DE69111264T2 (de) Verbesserungen von Systemen zur Hybrid-Kodierung eines Videosignals.
DE69225273T2 (de) Mit der Korrektur von Kamerazittern verbundene Bildkompression
DE19744898A1 (de) Signaladaptives Filterverfahren und signaladaptives Filter
DE4134999A1 (de) Bewegungsbild-kodiergeraet
DE102011056975A1 (de) Digitale Bildstabilisierung
DE102018101034A1 (de) Bildverarbeitungsvorrichtung und Bildverarbeitungsverfahren

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee