DE60219141T2 - Bildverarbeitungsgerät - Google Patents

Bildverarbeitungsgerät Download PDF

Info

Publication number
DE60219141T2
DE60219141T2 DE60219141T DE60219141T DE60219141T2 DE 60219141 T2 DE60219141 T2 DE 60219141T2 DE 60219141 T DE60219141 T DE 60219141T DE 60219141 T DE60219141 T DE 60219141T DE 60219141 T2 DE60219141 T2 DE 60219141T2
Authority
DE
Germany
Prior art keywords
pixel
area
foreground
frame
background
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60219141T
Other languages
English (en)
Other versions
DE60219141D1 (de
Inventor
Tetsujiro Kondo
Naoki Fujiwara
Junichi Ishibashi
Takashi Sawao
Takahiro Nagano
Toru Miyake
Seiji Wada
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Application granted granted Critical
Publication of DE60219141D1 publication Critical patent/DE60219141D1/de
Publication of DE60219141T2 publication Critical patent/DE60219141T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

  • Die Erfindung betrifft Bildverarbeitungsgeräte und speziell ein Bildverarbeitungsgerät, bei dem die Differenz zwischen einem von einem Sensor detektierten Signal und der realen Welt berücksichtigt wird.
  • Verfahren zum Detektieren von in der realen Welt stattfindenden Ereignissen mit Hilfe eines Sensors und zum Verarbeiten der von dem Bildsensor ausgegebenen abgetasteten Daten sind weithin in Benutzung.
  • So tritt z.B. in einem Bild, das gewonnen wird, wenn ein Objekt, das sich vor einem bestimmten stationären Hintergrund bewegt, mit einer Videokamera aufgenommen wird, Bewegungsunschärfe auf, falls die Bewegungsgeschwindigkeit relativ hoch ist.
  • Um eine solche Bewegungsunschärfe zu verhindern, hat man bisher z.B. die Geschwindigkeit eines elektronischen Verschlusses erhöht, um die Belichtungszeit zu verringern.
  • Bei dem Verfahren, bei dem die Verschlußgeschwindigkeit erhöht wird, muß jedoch die Verschlußgeschwindigkeit einer Videokamera eingestellt werden, bevor ein Bild aufgenommen wird. Damit tritt das Problem auf, unscharfe Bilder nicht korrigieren zu können, um scharfe Bilder zu erhalten.
  • Die vorliegende Erfindung entstand vor dem oben beschriebenen Hintergrund. Es ist dementsprechend ein Ziel der vorliegenden Erfindung, die Möglichkeit zu eröffnen, die Größe der Bewegungsunschärfe zu justieren, die in einem Detektorsignal z.B. eines unscharfen Bilds enthalten ist.
  • Die europäische Patentanmeldung EP-A-0 933 727 offenbart allgemein ein Bildverarbeitungsgerät entsprechend dem Oberbegriff von Anspruch 1.
  • Die internationale (PCT)-Patentanmeldung WO-A-92/05662 offenbart ein Bildverarbeitungsverfahren, bei dem auf jede Region eines Videobilds ein geeigneter Bewegungsvektor aus einer Liste von möglichen Bewegungsvektoren angewendet wird. Für diese Region wird in jedem von vier aufeinanderfolgenden Halbbildern für jeden der möglichen Bewegungsvektoren ein Bildwert bestimmt. Die Werte für die vier Halbbilder werden miteinander verglichen, und wenn die Werte für einen gegebenen Vektor im wesentlichen gleich sind, wird davon ausgegangen, daß der Vektor für diese Region passend ist. Die für Regionen mit verdecktem oder offen liegendem Hintergrund passenden Vektoren können ebenfalls zugeteilt werden, indem Differenzen zwischen Halbbildern verglichen und Regionen festgelegt werden, in denen die Zwischenhalbbilddifferenzen für das zentrale Paar und ein äußeres Paar von Halbbildern groß und für das andere äußere Paar von Halbbildern klein ist. Um Regionen zu generieren, die einem verdeckten Hintergrund entsprechen, wird nur die Information aus den früheren Halbbildern benutzt, und um Regionen zu generieren, die einem offen liegenden Hintergrund entsprechen, wird nur die Information aus den letzten Halbbildern benutzt.
  • Die vorliegende Erfindung sieht ein Bildverarbeitungsgerät nach Anspruch 1 vor, ferner ein Bildverarbeitungsverfahren nach Anspruch 5 und ein Aufzeichnungsmedium nach Anspruch 8.
  • Durch die Benutzung einer Charakteristik, in der die Vordergrundobjektkomponenten, die in dem von einem Ende des gemischten Bereichs aus ersten Pixel enthalten sind, von den Vordergrundobjektkomponenten subtrahiert werden, die in dem zweiten Pixel enthalten sind, das vom Ende des gemischten Bereichs aus auf der geraden Linie dem ersten Pixel benachbart ist, so daß die einzelne Vordergrundobjektkomponente, die dem zweiten Pixel entspricht, berechnet wird, kann die Recheneinrichtung die Simultangleichungen sequentiell aus den relationalen Ausdrücken lösen, die dem Pixel an dem Ende entsprechen, und dadurch die Vordergrundobjektkomponenten berechnen, in denen die Größe der Bewegungsunschärfe justiert wird.
  • Die Simultangleichungsgenerierungseinrichtung kann die Simultangleichungen auf der Basis der Zahl der Teilabschnitte entsprechend der Bewegungsgröße des Vordergrundobjekts generieren.
  • Im folgenden wird die Erfindung beispielhaft unter Bezugnahme auf die anliegenden Zeichnungen näher erläutert.
  • 1 zeigt das Prinzip der vorliegenden Erfindung,
  • 2 zeigt ein Blockdiagramm eines Beispiels für die Konfiguration, auf die die vorliegende Erfindung angewendet wird,
  • 3 zeigt ein Blockdiagramm eines Konfigurationsbeispiels des in 2 dargestellten Signalprozessors 12,
  • 4 zeigt ein Blockdiagramm des Signalprozessors 12,
  • 5 zeigt die von einem Sensor durchgeführte Bildaufnahme,
  • 6 zeigt die Pixelanordnung,
  • 7 zeigt die Arbeitsweisen einer Detektoreinrichtung,
  • 8A zeigt ein Objekt, das durch die Bildaufnahme eines Objekts gewonnen wird, das einem bewegten Vordergrund entspricht und eines Objekts, das einem stationären Hintergrund entspricht,
  • 8B zeigt ein Modell eines Bilds, das durch die Bildaufnahme eines Objekts gewonnen wird, das einem bewegten Vordergrund entspricht, und eines Objekts, das einem stationären Hintergrund entspricht,
  • 9 zeigt einen Hintergrundbereich, einen Vordergrundbereich, einen gemischten Bereich, einen verdeckten Hintergrundbereich und einen nicht verdeckten Hintergrundbereich,
  • 10 zeigt ein Modell, das gewonnen wird, indem die Pixelwerte von seitlich nebeneinander ausgerichteten Pixeln in einem durch die Aufnahme eines einem stationären Vordergrund entsprechenden Objekts und eines einem stationären Hintergrund entsprechenden Objekts gewonnenen Bild in zeitlicher Richtung expandiert werden,
  • 11 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 12 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 13 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 14 zeigt ein Beispiel, in dem Pixel in einem Vordergrundbereich, einem Hintergrundbereich und einem gemischten Bereich extrahiert werden,
  • 15 zeigt die Beziehungen zwischen Pixeln und einem Modell, das durch Expandieren der Pixelwerte in zeitlicher Richtung gewonnen wird,
  • 16 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 17 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 18 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 19 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 20 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 21 zeigt ein Flußdiagramm, das die Prozedur zur Justierung der Größe der Bewegungsunschärfe veranschaulicht,
  • 22 ist ein Blockdiagramm eines Beispiels für die Konfiguration einer Bereichsspezifizierungseinheit 103,
  • 23 zeigt ein Bild, wenn sich ein einem Vordergrund entsprechendes Objekt bewegt,
  • 24 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 25 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 26 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 27 zeigt die Bedingungen zum Bestimmen des Bereichs,
  • 28A zeigt ein Beispiel für das Ergebnis, das durch Spezifizieren des Bereichs mit Hilfe der Bereichsspezifizierungseinheit 103 gewonnen wird,
  • 28B zeigt ein Beispiel für das Ergebnis, das durch Spezifizieren des Bereichs mit Hilfe der Bereichsspezifizierungseinheit 103 gewonnen wird,
  • 28C zeigt ein Beispiel für das Ergebnis, das durch Spezifizieren des Bereichs mit Hilfe der Bereichsspezifizierungseinheit 103 gewonnen wird,
  • 28D zeigt ein Beispiel für das Ergebnis, das durch Spezifizieren des Bereichs mit Hilfe der Bereichsspezifizierungseinheit 103 gewonnen wird,
  • 29 zeigt ein Beispiel für das Ergebnis, das durch Spezifizieren des Bereichs mit Hilfe der Bereichsspezifizierungseinheit 103 gewonnen wird,
  • 30 zeigt ein Flußdiagramm, das die Prozedur zur Bereichsspezifizierung illustriert,
  • 31 zeigt ein Blockdiagramm eines Beispiels einer anderen Konfiguration der Bereichsspezifizierungseinheit 103,
  • 32 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 33 zeigt ein Beispiel für ein Hintergrundbild,
  • 34 zeigt ein Blockdiagramm der Konfiguration einer binären Objektbild-Extrahierstufe 302,
  • 35A zeigt die Berechnung eines Korrelationswerts,
  • 35B zeigt die Berechnung eines Korrelationswerts,
  • 36A zeigt die Berechnung eines Korrelationswerts,
  • 36B zeigt die Berechnung eines Korrelationswerts,
  • 37 zeigt ein Beispiel für das binäre Objektbild,
  • 38 zeigt ein Blockdiagramm der Konfiguration eines Zeitänderungsdetektors 303,
  • 39 zeigt Festlegungen, die von einer Bereichsfestlegungsstufe 342 vorgenommen werden,
  • 40 zeigt ein Beispiel für Festlegungen, die von dem Zeitänderungsdetektor 303 vorgenommen werden,
  • 41 zeigt ein Flußdiagramm, das die Prozedur zur Bereichsspezifizierung illustriert, die von der Bereichsspezifizierungseinheit 103 vorgenommen wird,
  • 42 zeigt ein Flußdiagramm, das Details der Prozedur zur Bereichsspezifizierung illustriert,
  • 43 zeigt ein Blockdiagramm einer anderen Konfiguration der Bereichsspezifizierungseinheit 103,
  • 44 zeigt ein Blockdiagramm der Konfiguration einer Stufe 361 zur robusten Verarbeitung,
  • 45 zeigt eine von einem Bewegungskompensator 381 durchgeführte Bewegungskompensation,
  • 46 zeigt eine von dem Bewegungskompensator 381 durchgeführte Bewegungskompensation,
  • 47 zeigt ein Flußdiagramm, das die Prozedur zur Bereichsspezifizierung illustriert,
  • 48 zeigt ein Flußdiagramm, das Details der robusten Verarbeitung illustriert,
  • 49 zeigt ein Blockdiagramm eines Beispiels für die Konfiguration eines Mischungsverhältnis-Rechners 104,
  • 50 zeigt ein Beispiel für das ideale Mischungsverhältnis α,
  • 51 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 52 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 53 zeigt die Approximierung, bei der die Korrelation von Vordergrundkomponenten benutzt wird,
  • 54 zeigt die Beziehung zwischen C, N und P,
  • 55 zeigt ein Blockdiagramm der Konfiguration eines Mischungsverhältnis-Schätzwert-Prozessors 401,
  • 56 zeigt ein Beispiel für den Mischungsverhältnis-Schätzwert,
  • 57 zeigt ein Blockdiagramm einer anderen Konfiguration des Mischungsverhältnis-Rechners 104,
  • 58 zeigt ein Flußdiagramm, das die Verarbeitung für die Berechnung des Mischungsverhältnisses illustriert,
  • 59 zeigt ein Flußdiagramm, das die Verarbeitung für die Berechnung des Mischungsverhältnis-Schätzwerts illustriert,
  • 60 zeigt eine gerade Linie zur Approximierung des Mischungsverhältnisses α,
  • 61 zeigt eine Ebene zur Approximierung des Mischungsverhältnisses α,
  • 62 zeigt die Beziehungen der Pixel in mehreren Vollbildern bei der Berechnung des Mischungsverhältnisses α,
  • 63 zeigt ein Blockdiagramm einer weiteren Konfiguration des Mischungsverhältnis-Schätzwert-Prozessors 401,
  • 64 zeigt ein Beispiel für den Mischungsverhältnis-Schätzwert,
  • 65 zeigt ein Flußdiagramm, das die Prozedur zur Berechnung des Mischungsverhältnisses illustriert,
  • 66 zeigt ein Flußdiagramm, das die Prozedur zum Schätzen des Mischungsverhältnisses illustriert, wobei ein Modell benutzt wird, das einem verdeckten Hintergrundbereich entspricht,
  • 67 zeigt ein Blockdiagramm eines Beispiels für die Konfiguration eines Vordergrund-/Hintergrund-Separators 105,
  • 68A zeigt ein Eingangsbild, eine Vordergrundbildkomponente und eine Hintergrundbildkomponente,
  • 68B zeigt ein Modell eines Eingangsbilds, einer Vordergrundbildkomponente und einer Hintergrundbildkomponente,
  • 69 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 70 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 71 zeigt ein Modell, in dem Pixelwerte in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 72 zeigt ein Blockdiagramm eines Beispiels für die Konfiguration einer Trennstufe 601,
  • 73A zeigt ein Beispiel für eine abgetrennte Vordergrundbildkomponente,
  • 73B zeigt ein Beispiel für eine abgetrennte Hintergrundbildkomponente,
  • 74 zeigt ein Flußdiagramm, das die Prozedur zum Trennen eines Vordergrunds und eines Hintergrunds illustriert,
  • 75 zeigt ein Blockdiagramm eines Beispiels für die Konfiguration einer Bewegungsunschärfe-Justiereinheit 106,
  • 76 zeigt die Verarbeitungseinheit,
  • 77 zeigt ein Modell, das die Beziehung zwischen Pixelwerten und Vordergrundkomponenten zeigt,
  • 78 zeigt die Berechnung von Vordergrundkomponenten,
  • 79 zeigt die Berechnung von Vordergrundkomponenten,
  • 80 zeigt ein Modell, in dem die Pixelwerte einer Vordergrundbildkomponente in zeitlicher Richtung expandiert werden und die der Verschlußzeit entsprechende Periode unterteilt wird,
  • 81 zeigt ein Flußdiagramm, das die Prozedur zur Justierung der in einem Vordergrund enthaltenen Bewegungsunschärfe illustriert,
  • 82 zeigt ein Blockdiagramm einer weiteren Konfiguration der Funktion des Signalprozessors 12,
  • 83 zeigt die Konfiguration eines Synthetisierers 1001,
  • 84 zeigt ein Blockdiagramm einer weiteren Konfiguration der Funktion des Signalprozessors 12,
  • 85 zeigt ein Blockdiagramm der Konfiguration eines Mischungsverhältnis-Rechners 1101,
  • 86 zeigt ein Blockdiagramm der Konfiguration eines Vordergrund-/Hintergrund-Separators 1102.
  • 1 zeigt das Prinzip der vorlegenden Erfindung. Wie in 1 dargestellt ist, wird ein erstes Signal, das eine Information einer realen Sozietät 1 ist, die eine Raum- und eine Zeitachse besitzt, mittels eines Sensors 2 aufgenommen und in Daten umgewandelt. Daten 3, die das von dem Sensor 2 gewonnene Detektorsignal darstellen, bilden eine Information, die durch das Projizieren der Information der realen Sozietät 1 auf einen Zeit-Raum gewonnen wird, der eine Dimension weniger hat als die reale Sozietät. Deshalb weist die projizierte Information eine durch die Projektion verursachte Verzerrung auf. Mit anderen Worten, die von dem Sensor 2 ausgegebenen Daten 3 sind gegenüber der Information der realen Sozietät 1 verzerrt. Obwohl die Daten 3 eine durch die Projektion verursachte Verzerrung aufweisen, enthalten sie eine signifikante Information zur Korrektur der Verzerrung.
  • Deshalb kann bei der vorliegenden Erfindung die Verzerrung beseitigt, reduziert oder justiert werden, indem mittels eines Signalprozessors 4 eine Signalverarbeitung an den von dem Sensor 2 ausgegebenen Daten vorgenommen wird. Darüber hinaus kann bei der vorliegenden Erfindung durch die Durchführung der Datenverarbeitung an den von dem Sensor 2 ausgegebenen Daten mittels des Signalprozessors 4 eine signifikante Information extrahiert werden.
  • 2 zeigt ein Beispiel für die Konfiguration einer Signalverarbeitungsvorrichtung, auf die die vorliegende Erfindung angewendet wird. Ein Sensor 11, der z.B. von einer Videokamera gebildet wird, nimmt ein Bild der realen Sozietät auf und gibt die gewonnenen Bilddaten an einen Signalprozessor 12 aus. Der Signalprozessor 12, der z.B. ein Personalcomputer ist, verarbeitet die von dem Sensor 11 zugeführten Daten, justiert die Größe der durch die Projektion verursachten Verzerrung, spezifiziert den Bereich, in dem die signifikante Information durch die Projektion eingebettet ist, extrahiert die signifikante Information aus dem spezifizierten Bereich oder verarbeitet die Eingangsdaten auf der Basis der extrahierten signifikanten Information.
  • Die oben beschriebene signifikante Information ist z.B. das weiter unten erläuterte Mischungsverhältnis.
  • Es kann berücksichtigt werden, daß die Information, die den Bereich angibt, in dem die durch die Projektion eingebettete signifikante Information enthalten ist, ebenfalls signifikante Information ist. Die weiter unten beschriebene Bereichsinformation entspricht der signifikanten Information.
  • Der Bereich, in dem die signifikante Information enthalten ist, ist z.B. ein gemischter Bereich, der weiter unten erläutert wird.
  • Der Signalprozessor 12 hat z.B. die in 3 dargestellte Konfiguration. Eine CPU (zentrale Verarbeitungseinheit) 21 führt nach Maßgabe von Programmen, die in einem ROM (Nurlesespeicher) 22 oder in einer Speichereinheit 28 gespeichert sind, verschiedene Arten von Verarbeitungen durch. Von der CPU 21 ausgeführte Programme und Daten werden nach Bedarf in einem Speicher mit wahlfreiem Zugriff (RAM) 23 gespeichert. Die CPU 21, das ROM 22 und das RAM 23 sind über einen Bus 24 miteinander verbunden.
  • Ein Eingabe-/Ausgabe-Interface 25 ist über den Bus 24 ebenfalls mit der CPU 21 verbunden. Eine Eingabeeinheit 26, die von einer Tastatur, einer Maus, einem Mikrofon usw. gebildet wird, und eine Ausgabeeinheit 27, die von einem Display, einem Lautsprecher usw. gebildet wird, sind mit dem Eingabe-/Ausgabe-Interface 25 verbunden. Die CPU 21 führt als Reaktion auf einen von der Eingabeeinheit 26 eingegebenen Befehl verschiedene Typen von Verarbeitung aus. Die CPU 21 gibt dann an die Ausgabeeinheit 27 ein Bild oder einen Ton aus, die als Ergebnis der Verarbeitung gewonnen werden.
  • Die mit dem Eingabe-/Ausgabe-Interface 25 verbundene Speichereinheit 28 ist z.B. eine Festplatte und speichert Programme, die von der CPU 21 ausgeführt werden, sowie verschiedene Arten von Daten. Eine Kommunikationseinheit 29 kommuniziert über das Internet oder ein anderes Netz mit einem externen Gerät. Im vorliegenden Beispiel dient die Kommunikationseinheit 29 als Beschaffungseinheit zur Gewinnung eines Sensorausgangssignals.
  • Alternativ kann ein Programm über die Kommunikationseinheit 29 beschafft und in der Speichereinheit 28 gespeichert werden.
  • Ein mit dem Eingabe-/Ausgabe-Interface 25 verbundenes Laufwerk 30 treibt eine Magnetplatte 51, eine optische Platte 52, eine magneto-optische Platte 53, einen Halbleiterspeicher 54 oder dgl. an, wenn ein solches Aufzeichnungsmedium in das Laufwerk 30 geladen ist, und beschafft ein Programm oder Daten, die in dem entsprechenden Medium gespeichert sind. Das beschaffte Programm oder die Daten werden zu der Speichereinheit 28 übertragen und dort gespeichert, falls dies notwendig ist.
  • Um ein spezifischeres Beispiel heranzuziehen, wird nun ein Signalverarbeitungsgerät beschrieben, das eine Verarbeitung vornimmt, z.B. eine Spezifizierung eines Bereichs, in dem eine signifikante Information eingebettet ist, oder das Extrahieren der darin eingebetteten signifikanten Information aus Daten, die durch einen Sensor beschafft werden. In dem nachfolgenden Beispiel entspricht dem Sensor ein CCD-Zeilensensor oder ein CCD-Flächensensor, die Bereichsinformation oder das Mischungsverhältnis entspricht der signifikanten Information und der Mischzustand eines Vordergrunds und eines Hintergrunds oder die Bewegungsunschärfe in einem gemischten Bereich entsprechen der Verzerrung.
  • 4 zeigt ein Blockdiagramm des Signalprozessors 12.
  • Es ist unerheblich, ob die individuellen Funktionen des Signalprozessors 12 durch Hardware oder durch Software implementiert werden. Das heißt, die Blockdiagramme in der vorliegenden Beschreibung können Hardware-Blockdiagramme oder funktionale Software-Blockdiagramme sein.
  • Bewegungsunschärfe ist eine Verzerrung, die in einem Bild enthalten ist, das einem bewegten Objekt entspricht und durch die Bewegung eines in der realen Welt aufzunehmenden Objekts und die Bildaufnahmeeigenschaften des Sensors 12 verursacht wird.
  • In der vorliegenden Beschreibung wird ein aufzunehmendes Bild, das einem Bild in der realen Welt entspricht, als Bildobjekt bezeichnet.
  • Ein dem Signalprozessor 12 zugeführtes Eingangsbild wird einer Objektextrahiereinheit 101, einer Bereichsspezifizierungseinheit 103, einem Mischungsverhältnis-Rechner 104 und einem Vordergrund/Hintergrund-Separator 105 zugeführt.
  • Die Objektextrahiereinheit 101 extrahiert ein Rohbildobjekt, das einem in dem Eingangsbild enthaltenen Vordergrundobjekt entspricht, und liefert das extrahierte Bildobjekt an einen Bewegungsdetektor 102. Die Objektextrahiereinheit 101 detektiert z.B. eine in dem Eingangsbild enthaltene Kontur des Vordergrundbildobjekts, um ein dem Vordergrundobjekt entsprechendes Rohbildobjekt zu extrahieren.
  • Die Objektextrahiereinheit 101 extrahiert ein Rohbildobjekt, das einem in dem Eingangsbild enthaltenen Hintergrundobjekt entspricht, und liefert das extrahierte Bildobjekt an den Bewegungsdetektor 102. Die Objektextrahiereinheit 101 extrahiert das dem Hintergrundobjekt entsprechende Rohbildobjekt z.B. aus der Differenz zwischen dem Eingangsbild und dem dem Vordergrundobjekt entsprechenden extrahierten Bildobjekt.
  • Alternativ kann die Objektextrahiereinheit 101 das dem Vordergrundobjekt entsprechende Rohbildobjekt und das dem Hintergrundobjekt entsprechende Rohbildobjekt z.B. aus der Differenz zwischen dem in einem eingebauten Hintergrundspeicher gespeicherten Hintergrundbild und dem Eingangsbild extrahieren.
  • Der Bewegungsdetektor 102 berechnet einen Bewegungsvektor des dem Vordergrundobjekt entsprechenden extrahierten Rohbildobjekt nach einem Verfahren, z.B. einem Block-Matching-, Gradienten-, Phasenkorrelations- oder pel-rekursive Verfahren, und liefert den berechneten Bewegungsvektor und die Bewegungsvektor-Positionsinformation (die eine Information zur Spezifizierung der Positionen der dem Bewegungsvektor entsprechenden Pixel ist) an die Bereichsspezifizierungseinheit 103, den Mischungsverhältnis-Rechner 104 und eine Bewegungsunschärfe-Extrahiereinheit 106.
  • Der von dem Bewegungsdetektor 102 ausgegebene Bewegungsvektor enthält eine Information, die der Bewegungsgröße v entspricht.
  • Der Bewegungsdetektor 102 kann den Bewegungsvektor jedes Bildobjekts zusammen mit der Pixelpositionsinformation zur Spezifizierung der Pixel des Bildobjekts an die Bewegungsunschärfe-Justiereinheit 106 ausgeben.
  • Die Bewegungsgröße v ist ein Wert, der eine Positionsänderung eines bewegten Objekts in Einheiten des Pixelabstands angibt. Wenn z.B. ein Objektbild, das einem Vordergrund entspricht, sich so bewegt, daß es in dem nächsten Vollbild in einer Position in einem Abstand von vier Pixeln gegenüber einem Referenzvollbild angezeigt wird, ist die Bewegungsgröße v des dem Vordergrund entsprechenden Objektbilds gleich 4.
  • Die Objektextrahiereinheit 101 und der Bewegungsdetektor 102 werden benötigt, wenn die Größe der Bewegungsunschärfe, die einem bewegten Objekt entspricht, justiert wird.
  • Die Bereichsspezifizierungseinheit 103 bestimmt, ob die einzelnen Pixel des Eingangsbilds zu einem Vordergrundbereich, einem Hintergrundbereich oder einem gemischten Bereich gehören, und liefert die Information, zu welchem Bereich jedes Pixel gehört (im folgenden als "Bereichsinformation" bezeichnet, an den Mischungsverhältnis-Rechner 104, den Vordergrund-/Hintergrund-Separator 105 und die Bewegungsunschärfe-Justiereinheit 106.
  • Der Mischungsverhältnis-Rechner 104 berechnet das Mischungsverhältnis, das den in einem gemischten Bereich 63 enthaltenen Pixeln entspricht (im folgenden als "Mischungsverhältnis α" bezeichnet) auf der Basis des Eingangsbilds und der von der Bereichsspezifizierungseinheit 103 gelieferten Bereichsinformation und liefert das Mischungsverhältnis α an den Vordergrund-/Hintergrund-Separator 105.
  • Das Mischungsverhältnis α ist ein Wert, der das Verhältnis zwischen den (im folgenden auch als "Hintergrundkomponenten" bezeichneten) Bildkomponenten, die dem Hintergrundobjekt entsprechen, und dem Pixelwert angibt, wie er durch die weiter unten dargestellte Gleichung (3) angegeben wird.
  • Der Vordergrund-/Hintergrund-Separator 105 trennt das Eingangsbild auf der Basis der aus der Bereichsspezifizierungseinheit 103 zugeführten Bereichsinformation und des von dem Mischungsverhältnis-Rechner 103 zugeführten Mischungsverhältnisses α in ein Vordergrundkomponentenbild, das nur aus dem (im folgenden auch als "Vordergrundkomponenten" bezeichneten) Bildkomponenten gebildet ist, die dem Vordergrundobjekt entsprechen, und ein Hintergrundkomponentenbild, das nur aus dem Hintergrundkomponenten gebildet ist, und liefert das Vordergrundkomponentenbild an die Bewegungsunschärfe-Justiereinheit 106 und an einen Wähler 107. Das abgetrennte Vordergrundkomponentenbild kann als endgültiges Ausgangssignal gesetzt werden. Im Vergleich zu einem bekannten Verfahren, bei dem nur ein Vordergrund und ein Hintergrund ohne Berücksichtigung des gemischten Bereichs spezifiziert werden, kann ein präziserer Vordergrund und Hintergrund erreicht werden.
  • Die Bewegungsunschärfe-Justiereinheit 106 ermittelt die Verarbeitungseinheit, die wenigstens ein in dem Vordergrundkomponentenbild enthaltenes Pixel anzeigt, auf der Basis der Bewegungsgröße v aus dem Bewegungsvektor und auf der Basis der Bereichsinformation. Die Verarbeitungseinheit stellt Daten dar, die eine Pixelgruppe spezifizieren, die der Bewegungsunschärfe-Justierung unterzogen werden soll.
  • Auf der Basis des Betrags, um den die Bewegungsunschärfe justiert werden soll und der dem Signalprozessor 12 zugeführt wird, ferner des von dem Vordergrund-/Hintergrund-Separator 105 gelieferten Vordergrundkomponentenbilds, des Bewegungsvektors und dessen Positionsinformation, die von dem Bewegungsdetektor 102 geliefert werden, und der Verarbeitungseinheit justiert die Bewegungsunschärfe-Justiereinheit 106 die Größe der in dem Vordergrundkomponentenbild enthaltenen Bewegungsunschärfe, indem sie die in dem Vordergrundkomponentenbild enthaltene Bewegungsunschärfe entfernt, verringert oder vergrößert. Die Bewegungsunschärfe-Justiereinheit 106 gibt dann das Vordergrundkomponentenbild, in dem die Größe der Bewegungsunschärfe justiert ist, an den Wähler 107 aus. Es ist nicht wesentlich, daß der Bewegungsvektor und dessen Positionsinformation benutzt werden.
  • Der Wähler 107 wählt auf der Basis z.B. eines Auswahlsignals, das der Auswahl des Benutzers entspricht, entweder das von dem Vordergrund-/Hintergrund-Separator 105 gelieferte Vordergrundkom ponentenbild oder das von der Bewegungsunschärfe-Justiereinheit 106 gelieferte Vordergrundkomponentenbild, in dem die Größe der Bewegungsunschärfe justiert ist, aus und gibt das ausgewählte Vordergrundkomponentenbild aus.
  • Im folgenden wird anhand von 5 bis 20 ein dem Signalprozessor 12 zugeführtes Eingangsbild erläutert.
  • 5 zeigt eine von einem Sensor durchgeführte Bilderfassung. Der Sensor 11 ist z.B. eine CCD(Charge-Coupled Device)-Videokamera mit einem CCD-Flächensensor, der eine Festkörper-Bilderfassungsvorrichtung bildet. Ein Objekt 111, das einem Vordergrund in der realen Welt entspricht, bewegt sich z.B. horizontal von links nach rechts zwischen einem Objekt 112, das einem Hintergrund entspricht, und dem Sensor.
  • Der Sensor 11 erfaßt das Bild des Objekts 111, das dem Vordergrund entspricht, zusammen mit dem Bild des Objekts 112, das dem Hintergrund entspricht. Der Sensor 11 gibt das erfaßte Bild in Vollbildeinheiten aus. Der Sensor 11 gibt z.B. ein Bild mit 30 Vollbildern pro Sekunde aus. Die Belichtungszeit des Sensors 11 kann 1/30 Sekunden betragen. Die Belichtungszeit ist die Periode von dem Zeitpunkt, in dem der Sensor 11 die Umwandlung des einfallenden Lichts in eine elektrische Ladung beginnt, bis zu dem Zeitpunkt, in dem die Umwandlung aus dem einfallenden Licht in die elektrische Ladung beendet ist. Diese Belichtungszeit wird auch als "Verschlußzeit" bezeichnet.
  • 6 zeigt die Pixelanordnung. Die einzelnen Pixel sind in 6 mit Buchstaben A bis I bezeichnet. Die Pixel sind in einer Ebene eines entsprechenden Bilds angeordnet. Der Sensor 11 weist für jedes Pixel eine entsprechende Detektorvorrichtung auf. Wenn der Sensor 11 eine Bilderfassung durchführt, gibt jede dieser Detektorvorrichtungen einen Pixelwert des entsprechenden Pixels aus, der das Bild bildet. Die Position der Detektorvorrichtung in der X-Richtung entspricht z.B. der horizontalen Richtung in dem Bild, während die Position der Detektorvorrichtung in der Y-Richtung der vertikalen Richtung in dem Bild entspricht.
  • Wie 7 zeigt, wandelt die Detektorvorrichtung, die z.B. eine CCD ist, während der der Verschlußzeit entsprechenden Periode das einfallende Licht in eine elektrische Ladung um und speichert die umgewandelte elektrische Ladung. Die Ladungsmenge ist in der Regel proportional zur Intensität des einfallenden Lichts und zu der Periode, in der das Licht einfällt. Die Detektorvorrichtung addiert die elektrische Ladung, in die das während der der Verschlußzeit entsprechenden Periode einfallende Licht ungewandelt wird, zu der gespeicherten elektrischen Ladung. Das heißt, die Detektorvorrichtung integriert während der der Verschlußzeit entsprechenden Periode das einfallende Licht und speichert die der Menge des integrierten Lichts entsprechende elektrische Ladung. Man kann es so betrachten, daß die Detektorvorrichtung eine zeitlich integrierende Funktion hat.
  • Die in der Detektorvorrichtung gespeicherte elektrische Ladung wird von einer (nicht dargestellten) Schaltung in einen Spannungswert umgewandelt, und der Spannungswert wird weiter in einen Pixelwert, z.B. in digitale Daten, umgewandelt und ausgegeben. Deshalb ist jeder von dem Sensor 11 ausgegebene Pixelwert ein auf einen linearen Raum projizierter Wert, der das Ergebnis der Integration eines bestimmten dreidimensionalen Anteils des dem Vordergrund oder dem Hintergrund entsprechenden Objekts über die Verschlußzeit ist.
  • Der Signalprozessor 12 extrahiert eine in das Ausgangssignal eingebettete signifikante Information, z.B. das Mischungsverhältnis α, durch die Speicheroperation des Sensors 11. Der Signalprozessor 12 justiert den Verzerrungsbetrag, z.B. die Größe der durch die Mischung des Vordergrundobjekts selbst verursachten Bewegungsunschärfe. Der Signalprozessor 12 justiert auch die Größe der durch die Mischung des Vordergrundbildobjekts und des Hintergrundbildobjekts verursachten Verzerrung.
  • 8A zeigt ein Bild, das durch Erfassen eines einem Vordergrund entsprechenden bewegten Objekts und eines einem Hintergrund entsprechenden stationären Objekts gewonnen wird. Bei dem in 8A dargestellten Beispiel bewegt sich das dem Vordergrund entsprechende Objekt horizontal relativ zu dem Bildschirm von links nach rechts.
  • 8B zeigt cm Modell, das durch Expandieren der einer Zeile des in 8A dargestellten Bilds entsprechenden Pixelwerte in zeitlicher Richtung gewonnen wird. Die horizontale Richtung in 8B entspricht der räumlichen Richtung X in 8A.
  • Die Werte der Pixel in dem Hintergrundbereich werden ausschließlich aus den Hintergrundkomponenten, d.h. den dem Hintergrundobjekt entsprechenden Bildkomponenten, gebildet. Die Werte der Pixel in dem Vordergrundbereich werden ausschließlich aus den Vordergrundkomponenten, d.h. den dem Vordergrundobjekt entsprechenden Bildkomponenten, gebildet.
  • Die Werte der Pixel des gemischten Bereichs werden aus Hintergrundkomponenten und Vordergrundkomponenten gebildet. Da die Werte der Pixel in dem gemischten Bereich aus Hintergrundkomponenten und Vordergrundkomponenten gebildet werden, kann er als "Verzerrungsbereich" bezeichnet werden. Außerdem wird der gemischte Bereich in einen verdeckten Hintergrundbereich und einen nicht verdeckten Hintergrundbereich klassifiziert.
  • Der verdeckte Hintergrundbereich ist ein gemischter Bereich in einer Position, die dem vorderen Ende in der Richtung entspricht, in der sich das Vordergrundobjekt bewegt, wo die Hintergrundkomponenten im Lauf der Zeit von dem Vordergrund verdeckt werden.
  • Ein nicht verdeckter Hintergrundbereich ist hingegen ein gemischter Bereich, der dem hinteren Ende in der Richtung entspricht, in der sich das Vordergrundobjekt bewegt, wo die Hintergrundkomponenten im Lauf der Zeit nach und nach erscheinen.
  • Wie oben erläutert wurde, wird das Bild, das den Vordergrundbereich, den Hintergrundbereich oder den verdeckten Hintergrundbereich oder den nicht verdeckten Hintergrundbereich enthält, der Bereichsspezifizierungseinheit 103, dem Mischungsverhältnis-Rechner 104 und dem Vordergrund/Hintergrund-Separator 105 als Eingangsbild zugeführt.
  • 9 zeigt den Hintergrundbereich, den Vordergrundbereich, den gemischten Bereich, den verdeckten Hintergrundbereich und den nicht verdeckten Hintergrundbereich, die oben erläutert wurden. In den dem Bild von 8B entsprechenden Bereichen ist der Hintergrundbereich ein stationärer Bereich, der Vordergrundbereich ist ein bewegter Teil, der verdeckte Hintergrundbereich des gemischten Bereichs ist ein Teil, der sich vom Hintergrund zum Vordergrund ändert, und der nicht verdeckte Hintergrundbereich des gemischten Bereichs ist ein Teil, der sich von dem Vordergrund zum Hintergrund ändert.
  • 10 zeigt ein Modell, das gewonnen wird, indem die Pixelwerte von seitlich nebeneinander ausgerichteten Pixeln in einem durch die Aufnahme eines einem stationären Vordergrund entsprechenden Objekts und eines einem stationären Hintergrund entsprechenden Objekts gewonnenen Bild in zeitlicher Richtung expandiert werden. Als seitlich nebeneinander ausgerichtete Pixel können z.B. Pixel gewählt werden, die auf dem Bildschirm in einer Zeile angeordnet sind.
  • Die in der Darstellung von 10 mit F01 bis F04 bezeichneten Pixelwerte sind Werte der dem Objekt des stationären Vordergrunds entsprechenden Pixel. Die in 10 mit B01 bis B04 bezeichneten Pixelwerte sind Werte der dem Objekt des stationären Hintergrunds entsprechenden Pixel.
  • In der Darstellung von 10 verläuft die Zeit in vertikaler Richtung von oben nach unten. Die Position an der oberen Seite des Rechtecks in 10 entspricht der Zeit, in der der Sensor 11 mit der Umwandlung des einfallenden Lichts in elektrische Ladung startet, und die Position an der unteren Seite des Rechtecks in 10 entspricht der Zeit, in der die Umwandlung aus dem einfallenden Licht in die elektrische Ladung beendet ist. Das heißt, der Abstand von der oberen Seite zur unteren Seite des Rechtecks in 10 entspricht der Verschlußzeit.
  • Die in 10 dargestellten Pixel werden im folgenden unter der Annahme beschrieben, daß die Verschlußzeit z.B. gleich der Vollbildgröße ist.
  • Die horizontale Richtung in 10 entspricht der räumlichen Richtung X in 8A. Bei dem in 10 dargestellten Beispiel ist der Abstand von der linken Seite des mit "F01" bezeichneten Rechtecks zur rechten Seite des mit "B04" bezeichneten Rechtecks gleich dem achtfachen des Pixelabstands, d.h. er entspricht acht aufeinanderfolgenden Pixeln.
  • Wenn das Vordergrundobjekt und das Hintergrundobjekt stationär sind, ändert sich der Lichteintritt in den Sensor 11 während der der Verschlußzeit entsprechenden Periode nicht.
  • Die der Verschlußzeit entsprechende Periode wird in zwei oder mehr Abschnitte gleicher Länge unterteilt. Wenn die Zahl der virtuellen Teilabschnitte z.B. gleich 4 ist, kann das in 10 dargestellte Modell durch das in 11 dargestellte Modell repräsentiert werden. Die Zahl der virtuellen Teilabschnitte kann nach Maßgabe der Bewegungsgröße v des dem Vordergrund entsprechenden Objekts innerhalb der Verschlußzeit gesetzt werden. So wird die Zahl der virtuellen Teilabschnitte z.B. auf 4 gesetzt, wenn die Bewegungsgröße v gleich 4 ist, und die der Verschlußzeit entsprechende Periode wird in vier Abschnitte unterteilt.
  • Die oberste Linie in 11 entspricht der ersten Teilperiode nach dem Öffnen des Verschlusses. Die zweite Zeile in 11 entspricht der zweiten Teilperiode nach dem Öffnen des Verschlusses. Die dritte Zeile in 11 entspricht der dritten Teilperiode nach dem Öffnen des Verschlusses. Die vierte Zeile in 11 entspricht der vierten Teilperiode nach dem Öffnen des Verschlusses.
  • Die nach Maßgabe der Bewegungsgröße v unterteilte Verschlußzeit wird im folgenden auch als "Verschlußzeit/v" bezeichnet.
  • Wenn das dem Vordergrund entsprechende Objekt stationär ist, ändert sich der Lichteintritt in den Sensor 11 nicht, und somit ist die Vordergrundkomponente F01/v gleich dem Wert, der durch Dividieren des Pixelwerts F01 durch die Zahl der virtuellen Teilabschnitte gewonnen wird. Ähnlich ist auch die Vordergrundkomponente F02/v gleich dem Wert, der durch Unterteilen des Pixelwerts F02 durch die Zahl der virtuellen Teilabschnitte gewonnen wird, wenn das dem Vordergrund entsprechende Objekt stationär ist. Die Vordergrundkomponente F03/v ist gleich dem Wert, der durch Dividieren des Pixelwerts F03 durch die Zahl der virtuellen Teilabschnitte gewonnen wird, und die Vordergrundkomponente F04/v ist gleich dem Wert, der durch Dividieren des Pixelwerts F04 durch die Zahl der virtuellen Teilabschnitte gewonnen wird.
  • Wenn das dem Hintergrund entsprechende Objekt stationär ist, ändert sich der Lichteintritt in den Sensor 11 nicht, und somit ist die Hintergrundkomponente B01/v gleich dem Wert, der durch Dividieren des Pixelwerts B01 durch die Zahl der virtuellen Teilabschnitte gewonnen wird. Ähnlich ist auch die Hintergrundkomponente B02/v gleich dem Wert, der durch Unterteilen des Pixelwerts B02 durch die Zahl der virtuellen Teilabschnitte gewonnen wird, das dem Hintergrund entsprechende Objekt stationär ist, und die Hintergrundkomponente B03/v ist gleich dem Wert, der durch Dividieren des Pixelwerts B03 durch die Zahl der virtuellen Teilabschnitte gewonnen wird, und die Vordergrundkomponente B04/v ist gleich dem Wert, der durch Dividieren des Pixelwerts B04 durch die Zahl der virtuellen Teilabschnitte gewonnen wird.
  • Wenn das dem Vordergrund entsprechende Objekt stationär ist, ändert sich das dem Vordergrundobjekt entsprechende Licht, das auf den Sensor 11 auftrifft, während der der Verschlußzeit entsprechenden Periode nicht. Die Vordergrundkomponente F01/v, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, die Vordergrundkomponente F01/v, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, die Vordergrundkomponente F01/v, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht und die Vordergrundkomponente F01/v, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, haben den gleichen Wert. Für F02/v bis F04/v gilt das Gleiche wie für F01/v.
  • Wenn das dem Hintergrund entsprechende Objekt stationär ist, ändert sich das dem Hintergrundobjekt entsprechende Licht, das auf den Sensor 11 auftrifft, während der der Verschlußzeit entsprechenden Periode nicht. Deshalb sind die Hintergrundkomponente B01/v, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, die Hintergrundkomponente B01/v, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, die Hintergrundkomponente B01/v, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, und die Hintergrundkomponente B01/v, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, einander gleich. Das Gleiche gilt für B02/v bis B04/v.
  • Im folgenden wird der Fall beschrieben, daß sich das dem Vordergrund entsprechende Objekt bewegt und das dem Hintergrund entsprechende Objekt stationär ist.
  • 12 zeigt ein Modell, das gewonnen wird, indem die Pixelwerte der Pixel in einer Zeile, die einen verdeckten Hintergrundbereich enthalten, in zeitlicher Richtung expandiert werden, wenn das dem Vordergrund entsprechende Objekt sich in 12 nach rechts bewegt. In 12 ist die Bewegungsgröße v gleich 4. Da ein Vollbild eine kurze Periode darstellt, kann davon ausgegangen werden, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt. In 12 bewegt sich das dem Vordergrund entsprechende Objektbild so, daß es, bezogen auf ein Referenzvollbild, vier Pixel weiter rechts positioniert ist, wenn es in dem nächsten Vollbild dargestellt wird.
  • In 12 gehören die Pixel von dem Pixel von ganz links bis zu dem vierten Pixel zu dem Vordergrundbereich. In 12 gehören die Pixel von dem fünften Pixel bis zu dem siebten Pixel von links zu dem gemischten Bereich, der der verdeckte Hintergrundbereich ist. In 12 gehört das Pixel ganz rechts zu dem Hintergrundbereich.
  • Das dem Vordergrund entsprechende Objekt bewegt sich so, daß es im Laufe der Zeit das dem Hintergrund entsprechende Objekt nach und nach verdeckt. Deshalb ändern sich die Komponenten, die in den Pixelwerten der zu dem verdeckten Hintergrundbereich gehörenden Pixel enthalten sind, zu einer bestimmten Zeit während der der Verschlußzeit entsprechenden Periode aus den Hintergrundkomponenten in die Vordergrundkomponenten.
  • Der Pixelwert M z.B., der in 12 von dem dicken Rahmen umgeben ist, wird durch die folgende Gleichung (1) ausgedrückt. M = B02/v + B02/v + F07/v + F06/v (1)
  • Das fünfte Pixel von links z.B. enthält eine Hintergrundkomponente, die einem Teilabschnitt der Verschlußzeit/v entspricht, sowie Vordergrundkomponenten, die drei Teilabschnitten der Verschlußzeit/v entsprechen, und somit ist das Mischungsverhältnis α des fünften Pixels von links gleich 1/4. Das sechste Pixel von links enthält Hintergrundkomponenten, die zwei Teilabschnitten der Verschlußzeit/v entsprechen, und Vordergrundkomponenten, die zwei Teilabschnitten der Verschlußzeit/v entsprechen, und somit ist das Mischungsverhältnis α des sechsten Pixels von links gleich 1/2. Das siebte Pixel von links enthält Hintergrundkomponenten, die drei Teilabschnitten der Verschlußzeit/v entsprechen, und eine Vordergrundkomponente, die einem Teilabschnitt der Verschlußzeit/v entspricht, und somit ist das Mischungsverhältnis α des fünften Pixels von links gleich 3/4.
  • Es kann davon ausgegangen werden, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist und daß das Vordergrundobjekt sich mit konstanter Geschwindigkeit bewegt, so daß es in dem nächsten Vollbild vier Pixel weiter rechts dargestellt wird. Deshalb ist z.B. die Vordergrundkomponente F07/v des vierten Pixels von links in 12, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, gleich der Vordergrundkomponente des fünften Pixels von links in 12, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht. Ähnlich ist die Vordergrundkomponente F07/v gleich der Vordergrundkomponente des sechsten Pixels von links in 12, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, und gleich der Vordergrundkomponente des siebten Pixels von links in 12, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht.
  • Es kann davon ausgegangen werden, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist und daß das Vordergrundobjekt sich mit konstanter Geschwindigkeit bewegt, so daß es in dem nächsten Vollbild vier Pixel weiter rechts dargestellt wird. Deshalb ist z.B. die Vordergrundkomponente F06/v des dritten Pixels von links in 12, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, gleich der Vordergrundkomponente des vierten Pixels von links in 12, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht. Ähnlich ist die Vordergrundkomponente F06/v gleich der Vordergrundkomponente des fünften Pixels von links in 12, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, und der Vordergrundkomponente des sechsten Pixels von links in 12, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht.
  • Es kann davon ausgegangen werden, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist und daß das Vordergrundobjekt sich mit konstanter Geschwindigkeit bewegt, so daß es in dem nächsten Vollbild vier Pixel weiter rechts dargestellt wird. Deshalb ist z.B. die Vordergrundkomponente F05/v des zweiten Pixels von links in 12, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, gleich der Vordergrundkomponente des dritten Pixels von links in 12, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht. Ähnlich ist die Vordergrundkomponente F05/v gleich der Vordergrundkomponente des vierten Pixels von links in 12, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, und der Vordergrundkomponente des fünften Pixels von links in 12, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht.
  • Es kann davon ausgegangen werden, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist, und daß das Vordergrundobjekt sich mit konstanter Geschwindigkeit bewegt, so daß es in dem nächsten Vollbild vier Pixel weiter rechts dargestellt wird. Deshalb ist z.B. die Vordergrundkomponente F04/v des Pixels ganz links in 12, das dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, gleich der Vordergrundkomponente des zweiten Pixels von links in 12, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht. Ähnlich ist die Vordergrundkomponente F04/v gleich der Vordergrundkomponente des dritten Pixels von links in 12, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, und gleich der Vordergrundkomponente des vierten Pixels von links in 12, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht.
  • Da der Vordergrundbereich, der dem bewegten Objekt entspricht, Bewegungsunschärfe enthält, wie dies oben erläutert wurde, kann dieser auch als "Verzerrungsbereich" bezeichnet werden.
  • 13 zeigt ein Modell, das gewonnen wird, indem die Pixelwerte der Pixel in einer Zeile, die einen nicht verdeckten Hintergrundbereich enthält, in zeitlicher Richtung expandiert werden, wenn das dem Vordergrund entsprechende Objekt sich in 13 nach rechts bewegt. In 13 ist die Bewegungsgröße v gleich 4. Da ein Vollbild eine kurze Periode darstellt, kann davon ausgegangen werden, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt. In 13 bewegt sich das dem Vordergrund entsprechende Objektbild nach rechts, so daß es relativ zu einem Referenzvollbild vier Pixel weiter rechts liegt, wenn es in dem nächsten Vollbild angezeigt wird.
  • In 13 gehören die Pixel von dem Pixel ganz links bis zu dem vierten Pixel zu dem Hintergrundbereich. Die Pixel von dem fünften Pixel bis zu dem siebten Pixel von links in 13 gehören zu dem gemischten Bereich, der ein nicht verdeckter Hintergrundbereich ist. Das rechte Pixel in 13 gehört zu dem Vordergrundbereich.
  • Das dem Vordergrund entsprechende Objekt, das das dem Hintergrund entsprechende Objekt verdeckt, bewegt sich so, daß es sich von dem dem Hintergrund entsprechenden Objekt im Laufe der Zeit allmählich entfernt. Deshalb ändern sich die Komponenten, die in den Pixelwerten der Pixel enthalten sind, die zu dem nicht verdeckten Hintergrundbereich gehören, zu einer bestimmten Zeit der der Verschlußzeit entsprechenden Periode von Vordergrundkomponenten zu Hintergrundkomponenten.
  • Der Pixelwert M', der in 13 von dem dicken Rahmen umgeben ist, wird z.B. durch die Gleichung (2) ausgedrückt: M' = F02/v + F01/v + B26/v + B26/v (2)
  • Das fünfte Pixel von links z.B. enthält Hintergrundkomponenten, die drei Teilabschnitten der Verschlußzeit/v entsprechen, sowie eine Vordergrundkomponente, die einem Teilabschnitt der Verschlußzeit/v entspricht, so daß das Mischungsverhältnis α des fünften Pixels von links gleich 3/4 ist. Das sechste Pixel von links enthält Hintergrundkomponenten, die zwei Teilabschnitten der Verschlußzeit/v entsprechen, und Vordergrundkomponenten, die zwei Teilabschnitten der Verschlußzeit/v entsprechen, so daß das Mischungsverhältnis α des sechsten Pixels von links gleich 1/2 ist. Das siebte Pixel von links enthält eine Hintergrundkomponente, die einem Teilabschnitt der Verschlußzeit/v entspricht, und Vordergrundkomponenten, die drei Teilabschnitten der Verschlußzeit/v entsprechen, so daß ist das Mischungsverhältnis α des siebten Pixels von links gleich 1/4 ist.
  • Wenn die Gleichungen (1) und (2) verallgemeinert werden, kann der Pixelwert M durch die Gleichung (3) ausgedrückt werden:
    Figure 00200001
    worin α das Mischungsverhältnis, B einen Pixelwert des Hintergrunds und Fi/v eine Vordergrundkomponente bezeichnen.
  • Es kann davon ausgegangen werden, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und daß die Bewegungsgröße gleich 4 ist. Deshalb ist z.B. die Vordergrundkomponente F01/v des fünften Pixels von links in 13, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, gleich der Vordergrundkomponente des sechsten Pixels von links in 13, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht. Ähnlich ist die Vordergrundkomponente F01/v gleich der Vordergrundkomponente des siebten Pixels von links in 13, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, und gleich der Vordergrundkomponente des achten Pixels von links in 13, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht.
  • Es kann davon ausgegangen werden, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und daß die Bewegungsgröße v gleich 4 ist. Deshalb ist z.B. die Vordergrundkomponente F02/v des sechsten Pixels von links in 13, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, gleich der Vordergrundkomponente des siebten Pixels von links in 13, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht. In ähnlicher Weise ist die Vordergrundkomponente F02/v gleich der Vordergrundkomponente des achten Pixels von links in 13, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht.
  • Es kann davon ausgegangen werden, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und daß die Bewegungsgröße v gleich 4 ist. Deshalb ist z.B. die Vordergrundkomponente F03/v des siebten Pixels von links in 13, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, gleich der Vordergrundkomponente des achten Pixels von links in 13, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht.
  • Anhand von 11 bis 13 wurde beschrieben, daß die Zahl der virtuellen Teilabschnitte gleich 4 ist. Die Zahl der virtuellen Teilabschnitte entspricht der Bewegungsgröße v. Im allgemeinen entspricht die Bewegungsgröße v der Bewegungsgeschwindigkeit des dem Vordergrund entsprechenden Objekts. Wenn das dem Vordergrund entsprechende Objekt sich z.B. so bewegt, daß es relativ zu einem bestimmten Vollbild vier Pixel weiter rechts dargestellt wird, wenn es in dem nächsten Vollbild dargestellt wird, wird die Bewegungsgröße v auf 4 gesetzt. Die Zahl der virtuellen Teilabschnitte wird der Bewegungsgröße v entsprechend auf 4 gesetzt. Wenn das dem Vordergrund entsprechende Objekt sich so bewegt, daß es relativ zu einem bestimmten Vollbild sechs Pixel weiter links angezeigt wird, wenn es in dem nachfolgenden Vollbild dargestellt wird, wird in die Bewegungsgröße v entsprechend auf 6 gesetzt, und die Zahl der virtuellen Teilabschnitte wird auf 6 gesetzt.
  • 14 und 15 veranschaulichen die Beziehung des Vordergrundbereichs, des Hintergrundbereichs und des gemischten Bereichs, der aus einem verdeckten Hintergrund oder einem nicht verdeckten Hintergrund besteht, wie sie oben erläutert wurden, zu den Vordergrundkomponenten und den Hintergrundkomponenten, die den Teilperioden der Verschlußzeit entsprechen.
  • 14 zeigt ein Beispiel, in dem Pixel in dem Vordergrundbereich, dem Hintergrundbereich und dem gemischten Bereich aus einem Bild extrahiert werden, das einen Vordergrund aufweist, der einem Objekt entspricht, das sich vor einem stationären Hintergrund bewegt. Bei dem in 14 dargestellten Beispiel bewegt sich das dem Vordergrund entsprechende Objekt relativ zu dem Bildschirm in horizontaler Richtung.
  • Das Vollbild #n + 1 ist das auf das Vollbild #n folgende Vollbild, und das Vollbild #n + 2 ist das auf das Vollbild #n + 1 folgende Vollbild.
  • Aus einem der Vollbilder #n bis #n + 2 werden Pixel in dem Vordergrundbereich, in dem Hintergrundbereich und in dem gemischten Bereich extrahiert, und die Bewegungsgröße v wird auf 4 gesetzt. 15 zeigt ein Modell, das durch Expandieren der Pixelwerte der extrahierten Pixel in Richtung der Zeit gewonnen wird.
  • Da sich das dem Vordergrund entsprechende Objekt bewegt, werden die Pixelwerte in dem Vordergrundbereich von vier verschiedenen Vordergrundkomponenten gebildet, die der Verschlußzeit/v entsprechen. Von den Pixeln in dem Vordergrundbereich von 15 besteht z.B. das Pixel ganz links aus F01/v, F02/v, F03/v und F04/v. Das heißt, die Pixel in dem Vordergrund enthalten Bewegungsunschärfe.
  • Da das dem Hintergrund entsprechende Objekt stationär ist, ändert sich der dem Hintergrund entsprechende Lichteintritt in den Sensor 11 während der Verschlußzeit nicht. In diesem Fall enthalten die Pixelwert in dem Hintergrundbereich keine Bewegungsunschärfe.
  • Die Pixelwerte in dem gemischten Bereich, der aus einem verdeckten Hintergrundbereich oder einem nicht verdeckten Hintergrundbereich besteht, sind aus Vordergrundkomponenten und Hintergrundkomponenten gebildet.
  • Im folgenden wird ein Modell beschrieben, das gewonnen wird, indem die Pixelwerte der Pixel in zeitlicher Richtung expandiert werden, die in mehreren Vollbildern seitlich nebeneinander ausgerichtet sind und die sich an den gleichen Positionen befinden, wenn die Vollbilder überlagert werden, wenn das dem Objekt entsprechende Bild sich bewegt. Wenn z.B. das dem Objekt entsprechende Bild sich relativ zu dem Bildschirm horizontal bewegt, können Pixel, die auf dem Bildschirm fluchten, als die seitlich nebeneinander ausgerichteten Pixel ausgewählt werden.
  • 16 zeigt ein Modell, das gewonnen wird, indem die Pixel in zeitlicher Richtung expandiert werden, die in drei Vollbildern eines Bilds seitlich nebeneinander ausgerichtet sind, das durch das Erfassen eines einem stationären Hintergrund entsprechenden Objekts gewonnen wird, und die in den gleichen Positionen angeordnet sind, wenn die Vollbilder überlagert werden. Das Vollbild #n ist das auf das Vollbild #n – 1 folgende Vollbild, und das Vollbild #n + 1 ist das auf das Vollbild #n folgende Vollbild. Das Gleiche gilt für die anderen Vollbilder.
  • Die Pixelwerte B01 bis B12 in 16 sind Pixelwerte, die dem stationären Hintergrundobjekt entsprechen. Da das dem Hintergrund entsprechende Objekt stationär ist, ändern sich die Pixelwerte der entsprechenden Pixel in dem Vollbild #n – 1 bis zu dem Vollbild #n + 1 nicht. Das Pixel in dem Vollbild #n und das Pixel in dem Vollbild #n + 1, das an der entsprechenden Position des Pixels mit dem Pixelwert B05 in dem Vollbild #n – 1 liegt, haben den Pixelwert B05.
  • 17 zeigt ein Modell, das gewonnen wird, indem die Pixel in zeitlicher Richtung expandiert werden, die in drei Vollbildern eines Bilds seitlich nebeneinander ausgerichtet sind, das durch Erfassen eines einem Vordergrund entsprechenden Objekts gewonnen wird, das sich in 17 nach rechts bewegt, zusammen mit einem einem stationären Hintergrund entsprechenden Objekt, und die an den gleichen Positionen liegen, wenn die Vollbilder überlagert werden. Das in 17 dargestellte Modell enthält einen verdeckten Hintergrundbereich.
  • In 17 kann davon ausgegangen werden, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und daß er sich so bewegt, daß er in dem nächsten Vollbild vier Pixel weiter rechts dargestellt wird. Deshalb ist die Bewegungsgröße v gleich 4, und die Zahl der virtuellen Teilabschnitte ist gleich 4.
  • Die Vordergrundkomponente des Pixels ganz links in dem Vollbild #n – 1 in 17 beispielsweise, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F12/v, und die Vordergrundkomponente des zweiten Pixels von links in 17, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist ebenfalls gleich F12/v. Die Vordergrundkomponente des dritten Pixels von links in 17, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, und die Vordergrundkomponente des vierten Pixels von links in 17, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, sind gleich F12/v.
  • Die Vordergrundkomponente des Pixels ganz links in dem Vollbild #n – 1 in 17, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F11/v. Die Vordergrundkomponente des zweiten Pixels von links in 17, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist ebenfalls gleich F11/v. Die Vordergrundkomponente des dritten Pixels von links in 17, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F11/v.
  • Die Vordergrundkomponente des Pixels ganz links in dem Vollbild #n – 1 in 17, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F10/v. Die Vordergrundkomponente des zweiten Pixels von links in 17, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist ebenfalls gleich F10/v. Die Vordergrundkomponente des Pixels ganz links in dem Vollbild #n – 1 in 17, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F09/v.
  • Da das dem Hintergrund entsprechende Objekt stationär ist, ist die Hintergrundkomponente des zweiten Pixels von links in dem Vollbild #n – 1 in 17, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, gleich B01/v. Die Hintergrundkomponenten des dritten Pixels von links in dem Vollbild #n – 1 in 17, die dem ersten und zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entsprechen, sind gleich B02/v. Die Hintergrundkomponenten des vierten Pixels von links in dem Vollbild #n – 1 in 17, die dem ersten bis dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entsprechen, sind gleich B03/v.
  • In dem Vollbild #n – 1 in 17 gehört das Pixel ganz links zu dem Vordergrundbereich und das zweite bis vierte Pixel von links gehören zu dem gemischten Bereich, der ein verdeckter Hintergrundbereich ist.
  • Das fünfte bis zwölfte Pixel von links in dem Vollbild #n – 1 in 17 gehören zu dem Hintergrundbereich, und ihre Pixelwerte sind B04 bis B11.
  • Das erste bis fünfte Pixel von links in dem Vollbild #n in 17 gehörten zu dem Vordergrundbereich. Die Vordergrundkomponente in der Verschlußzeit/v in dem Vordergrundbereich des Vollbilds #n ist eine der Komponenten F05/v bis F12/v.
  • Es kann davon ausgegangen werden, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und daß er sich so bewegt, daß das Vordergrundbild in dem nächsten Vollbild vier Pixel weiter rechts dargestellt wird. Deshalb ist die Vordergrundkomponente des fünften Pixels von links in dem Vollbild #n in 17, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, gleich F12/v, und die Vordergrundkomponente des sechsten Pixels von links in 17, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist ebenfalls gleich F12/v. Die Vordergrundkomponente des siebten Pixels von links in 17, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, und die Vordergrundkomponente des achten Pixels von links in 17, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, sind gleich F12/v.
  • Die Vordergrundkomponente des fünften Pixels von links in dem Vollbild #n in 17, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F11/v. Die Vordergrundkomponente des sechsten Pixels von links in 17, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist ebenfalls gleich F11/v. Die Vordergrundkomponente des siebten Pixels von links in 17, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F11/v.
  • Die Vordergrundkomponente des fünften Pixels von links in dem Vollbild #n in 17, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F10/v. Die Vordergrundkomponente des sechsten Pixels von links in 17, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist ebenfalls gleich F10/v. Die Vordergrundkomponente des fünften Pixels von links in dem Vollbild #n in 17, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F09/v.
  • Da das dem Hintergrund entsprechende Objekt stationär ist, ist die Hintergrundkomponente des sechsten Pixels von links in dem Vollbild #n in 17, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, gleich B05/v. Die Hintergrundkomponenten des siebten Pixels von links in dem Vollbild #n in 17, die dem ersten und zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entsprechen, sind gleich B06/v. Die Hintergrundkomponenten des achten Pixels von links in dem Vollbild #n in 17, die dem ersten bis dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entsprechen, sind gleich B07/v.
  • In dem Vollbild #n in 17 gehören das sechste bis achte Pixel von links zu dem gemischten Bereich, der ein verdeckter Hintergrundbereich ist.
  • Das neunte bis elfte Pixel von links in dem Vollbild #n in 17 gehören zu dem Hintergrundbereich und haben die Pixelwerte B08 bis B011.
  • Das erste bis neunte Pixel von links in dem Vollbild #n + 1 in 17 gehören zu dem Vordergrundbereich. Die Vordergrundkomponente in der Verschlußzeit/v in dem Vordergrundbereich des Vollbilds #n + 1 ist eine der Komponenten F01/v bis F12/v.
  • Es kann davon ausgegangen werden, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und daß er sich so bewegt, daß das Vordergrundbild in dem nächsten Vollbild vier Pixel weiter rechts dargestellt wird. Deshalb ist die Vordergrundkomponente des neunten Pixels von links in dem Vollbild #n + 1 in 17, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, gleich F12/v, und die Vordergrundkomponente des zehnten Pixels von links in 17, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist ebenfalls gleich F12/v. Die Vordergrundkomponente des elften Pixels von links in 17, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, und die Vordergrundkomponente des zwölften Pixels von links in 17, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, sind gleich F12/v.
  • Die Vordergrundkomponente des neunten Pixels von links in dem Vollbild #n + 1 in 17, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F11/v. Die Vordergrundkomponente des zehnten Pixels von links in 17, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist ebenfalls gleich F11/v. Die Vordergrundkomponente des elften Pixels von links in 17, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F11/v.
  • Die Vordergrundkomponente des neunten Pixels von links in dem Vollbild #n + 1 in 17, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F10/v. Die Vordergrundkomponente des zehnten Pixels von links in 17, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist ebenfalls gleich F10/v. Die Vordergrundkomponente des neunten Pixels von links in dem Vollbild #n + 1 in 17, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F09/v.
  • Da das dem Hintergrund entsprechende Objekt stationär ist, ist die Hintergrundkomponente des zehnten Pixels von links in dem Vollbild #n + 1 in 17, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, gleich B09/v. Die Hintergrundkomponenten des elften Pixels von links in dem Vollbild #n + 1 in 17, die dem ersten und zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entsprechen, sind gleich B10/v. Die Hintergrundkomponenten des zwölften Pixels von links in dem Vollbild #n + 1 in 17, die dem ersten bis dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entsprechen, sind gleich B11/v.
  • In dem Vollbild #n + 1 in 17 gehören das zehnte bis zwölfte Pixel von links zu dem gemischten Bereich, der ein verdeckter Hintergrundbereich ist.
  • 18 ist ein Modell, das gewonnen wird, indem die Vordergrundkomponenten aus den in 17 dargestellten Pixelwerten extrahiert werden.
  • 19 zeigt ein Modell, das gewonnen wird, indem die Pixel in zeitlicher Richtung expandiert werden, die in drei Vollbildern eines Bilds seitlich nebeneinander ausgerichtet sind, das durch Erfassen eines einem Vordergrund entsprechenden Objekts gewonnen wird, das sich in 19 nach rechts bewegt, zusammen mit einem Objekt, das einem stationären Hintergrund entspricht, und die an den gleichen Positionen liegen, wenn die Vollbilder überlagert werden. Das in 19 dargestellte Modell enthält einen nicht verdeckten Hintergrundbereich.
  • In 19 kann davon ausgegangen werden, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und daß er sich so bewegt, daß er in dem nächsten Vollbild vier Pixel weiter rechts dargestellt wird. Die Bewegungsgröße v ist dementsprechend gleich 4.
  • Die Vordergrundkomponente des Pixels ganz links in dem Vollbild #n – 1 in 19, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist z.B. F13/v, und die Vordergrundkomponente des zweiten Pixels von links in 19, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist ebenfalls gleich F13/v. Die Vordergrundkomponente des dritten Pixels von links in 19, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, und die Vordergrundkomponente des vierten Pixels von links in 19, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, sind gleich F13/v.
  • Die Vordergrundkomponente des zweiten Pixels von links in dem Vollbild #n – 1 in 19, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F14/v. Die Vordergrundkomponente des dritten Pixels von links in 19, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist ebenfalls gleich F14/v. Die Vordergrundkomponente des dritten Pixels von links in 19, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F15/v.
  • Da das dem Hintergrund entsprechende Objekt stationär ist, sind die Hintergrundkomponenten des Pixels ganz links in dem Vollbild #n – 1 in 19, die dem zweiten bis vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entsprechen, gleich B25/v. Die Hintergrundkomponenten des zweiten Pixels von links in dem Vollbild #n – 1 in 19, die dem dritten und vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entsprechen, sind gleich B26/v. Die Hintergrundkomponente des dritten Pixels von links in dem Vollbild #n – 1 in 19, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich B27/v.
  • In dem Vollbild #n – 1 in 19 gehören die Pixel von dem Pixel ganz links bis zu dem dritten Pixel zu dem gemischten Bereich, der ein nicht verdeckter Hintergrundbereich ist.
  • Das vierte bis zwölfte Pixel von links in dem Vollbild #n – 1 in 19 gehören zu dem Vordergrundbereich. Die Vordergrundkomponente des Vollbilds ist eine der Komponenten F13/v bis F24/v.
  • In dem Vollbild #n in 19 gehören die Pixel von dem Pixel ganz links bis zu dem vierten Pixel von links zu dem Hintergrundbereich, und ihre Pixelwerte sind B25 bis B28.
  • Es kann davon ausgegangen werden, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und daß er sich so bewegt, daß er in dem nächsten Vollbild vier Pixel weiter rechts dargestellt wird. Deshalb ist die Vordergrundkomponente des fünften Pixels von links in dem Vollbild #n in 19, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, gleich F13/v, und die Vordergrundkomponente des sechsten Pixels von links in 19, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist ebenfalls gleich F13/v. Die Vordergrundkomponente des siebten Pixels von links in 19, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, und die Vordergrundkomponente des achten Pixels von links in 19, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, sind gleich F13/v.
  • Die Vordergrundkomponente des sechsten Pixels von links in dem Vollbild #n in 19, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F14/v. Die Vordergrundkomponente des siebten Pixels von links in 19, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist ebenfalls gleich F14/v. Die Vordergrundkomponente des achten Pixels von links in 19, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F15/v.
  • Da das dem Hintergrund entsprechende Objekt stationär ist, sind die Hintergrundkomponenten des fünften Pixels von links in dem Vollbild #n in 19, die dem zweiten bis vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entsprechen, gleich B29/v. Die Hintergrundkomponenten des sechsten Pixels von links in dem Vollbild #n in 19, die dem dritten und vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entsprechen, sind gleich B30/v. Die Hintergrundkomponente des siebten Pixels von links in dem Vollbild #n in 19, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich B31/v.
  • In dem Vollbild #n in 19, gehören das fünfte bis siebte Pixel von links zu dem gemischten Bereich, der ein nicht verdeckter Hintergrundbereich ist.
  • Das achte bis zwölfte Pixel von links in dem Vollbild #n in 19 gehören zu dem Vordergrundbereich. Der Wert in dem Vordergrundbereich des Vollbilds #n, der der Periode der Verschlußzeit/v entspricht, ist einer der Werte F13/v bis F20/v.
  • Die Pixel von dem Pixel ganz links bis zum achten Pixel von links in dem Vollbild #n + 1 in 19 gehören zu dem Hintergrundbereich, und ihre Pixelwerte sind B25 bis B32.
  • Es kann davon ausgegangen werden, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und daß er sich so bewegt, daß er in dem nächsten Vollbild vier Pixel weiter rechts dargestellt wird. Deshalb ist die Vordergrundkomponente des neunten Pixels von links in dem Vollbild #n + 1 in 19, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, gleich F13/v, und die Vordergrundkomponente des zehnten Pixels von links in 19, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist ebenfalls gleich F13/v. Die Vordergrundkomponente des elften Pixels von links in 19, die dem dritten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, und die Vordergrundkomponente des zwölften Pixels von links in 19, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, sind gleich F13/v.
  • Die Vordergrundkomponente des zehnten Pixels von links in dem Vollbild #n + 1 in 17, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F14/v. Die Vordergrundkomponente des elften Pixels von links in 19, die dem zweiten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist ebenfalls gleich F14/v. Die Vordergrundkomponente des zwölften Pixels von links in 19, die dem ersten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich F15/v.
  • Da das dem Hintergrund entsprechende Objekt stationär ist, sind die Hintergrundkomponenten des neunten Pixels von links in dem Vollbild #n + 1 in 19, die dem zweiten bis vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entsprechen, gleich B33/v. Die Hintergrundkomponenten des zehnten Pixels von links in dem Vollbild #n + 1 in 19, die dem dritten und vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entsprechen, sind gleich B34/v. Die Hintergrundkomponente des elften Pixels von links in dem Vollbild #n + 1 in 19, die dem vierten Teilabschnitt der Verschlußzeit/v nach dem Öffnen des Verschlusses entspricht, ist gleich B35/v.
  • In dem Vollbild #n + 1 in 19 gehören das neunte bis elfte Pixel von links in 19 zu dem gemischten Bereich, der ein nicht verdeckter Hintergrundbereich ist.
  • Das zwölfte Pixel von links in dem Vollbild #n + 1 in 19 gehört zu dem Vordergrundbereich. Die Vordergrundkomponente in der Verschlußzeit/v in dem Vordergrundbereich des Vollbilds #n + 1 ist eine der Komponenten F13 bis F16.
  • 20 zeigt ein Modell eines Bilds, das gewonnen wird, indem die Vordergrundkomponenten aus den in 19 dargestellten Pixelwerten extrahiert werden.
  • Es sei noch einmal auf 4 Bezug genommen. Die Bereichsspezifizierungseinheit 103 spezifiziert unter Verwendung der Pixelwerte mehrerer Vollbilder Flags, die anzeigen, ob die individuellen Pixel des Eingangsbilds zu einem Vordergrundbereich, einem Hintergrundbereich, einem verdeckten Hintergrundbereich oder einem nicht verdeckten Hintergrundbereich gehören, und liefert diese Flags als Bereichsinformation an den Mischungsverhältnis-Rechner 104 und an die Bewegungsunschärfe-Justiereinheit 106.
  • Der Mischungsverhältnis-Rechner 104 berechnet das Mischungsverhältnis α für jedes in dem gemischten Bereich enthaltene Pixel auf der Basis der Pixelwerte mehrerer Vollbilder und der Bereichsinformation und liefert das berechnete Mischungsverhältnis α an den Vordergrund-/Hintergrund-Separator 105.
  • Der Vordergrund-/Hintergrund-Separator 105 extrahiert das Vordergrundkomponentenbild, das nur aus den Vordergrundkomponenten besteht, auf der Basis der Pixelwerte mehrerer Vollbilder, der Bereichsinformation und des Mischungsverhältnisses α und führt das Vordergrundkomponentenbild der Bewegungsunschärfe-Justiereinheit 106 zu.
  • Die Bewegungsunschärfe-Justiereinheit 106 justiert die Größe der in dem Vordergrundkomponentenbild enthaltenen Bewegungsunschärfe auf der Basis des von dem Vordergrund-/Hintergrund-Separator 105 gelieferten Vordergrundkomponentenbilds, des von dem Bewegungsdetektor 102 gelieferten Bewegungsvektors und der von der Bereichsspezifizierungseinheit 103 gelieferten Bereichsinformation und gibt dann das Vordergrundkomponentenbild aus, in dem die Bewegungsunschärfe justiert ist.
  • Anhand des Flußdiagramms von 21 wird im folgenden die Prozedur zur Justierung der Größe der Bewegungsunschärfe erläutert, die von dem Signalprozessor 12 durchgeführt wird. In dem Schritt S101 führt die Bereichsspezifizierungseinheit 103 die Prozedur zur Bereichsspezifizierung auf der Basis eines Eingangsbilds durch, um die Bereichsinformation zu erzeugen, die anzeigt, ob die einzelnen Pixels des Eingangsbilds zu einem Vordergrundbereich, zu einem Hintergrundbereich, zu einem verdeckten Hintergrundbereich oder zu einem nicht verdeckten Hintergrundbereich gehören. Einzelheiten dieser Prozedur zur Bereichsspezifizierung werden weiter unten erläutert. Die Bereichsspezifizierungseinheit 103 liefert die erzeugte Bereichsinformation an den Mischungsverhältnis-Rechner 104.
  • In dem Schritt S101 kann die Bereichsspezifizierungseinheit 103 auf der Basis des Eingangsbilds eine Bereichsinformation erzeugen, die anzeigt, ob die einzelnen Pixel des Eingangsbilds zu dem Vordergrundbereich, dem Hintergrundbereich oder zu dem gemischten Bereich gehören (unabhängig davon, ob die einzelnen Pixel zu einem verdeckten Hintergrundbereich oder einem nicht verdeckten Hintergrundbereich gehören). In diesem Fall prüfen der Vordergrund-/Hintergrund-Separator 105 und die Bewegungsunschärfe-Justiereinheit 106 auf der Basis der Richtung des Bewegungsvektors, ob der gemischte Bereich ein verdeckter Hintergrundbereich oder ein nicht verdeckter Hintergrundbereich ist. Falls das Eingangsbild z.B. in der Reihenfolge Vordergrundbereich, gemischter Bereich und Hintergrundbereich in Richtung des Bewegungsvektors angeordnet ist, wird entschieden, daß der gemischte Bereich ein verdeckter Hintergrundbereich ist. Falls das Eingangsbild in der Reihenfolge Hintergrundbereich, gemischter Bereich und Vordergrundbereich in Richtung des Bewegungsvektors angeordnet ist, wird entschieden, daß der gemischte Bereich ein nicht verdeckter Hintergrundbereich ist.
  • In dem Schritt S102 berechnet der Mischungsverhältnis-Rechner 104 auf der Basis des Eingangsbilds und der Bereichsinformation das Mischungsverhältnis α für jedes in dem gemischten Bereich enthaltene Pixel. Einzelheiten der Berechnung des Mischungsverhältnisses werden weiter unten erläutert. Der Mischungsverhältnis-Rechner 104 liefert das berechnete Mischungsverhältnis α an den Vordergrund-/Hintergrund-Separator 105.
  • In dem Schritt S103 extrahiert der Vordergrund-/Hintergrund-Separator 105 die Vordergrundkomponenten aus dem Eingangsbild auf der Basis der Bereichsinformation und des Mischungsverhältnisses α und liefert die Vordergrundkomponenten als das Vordergrundkomponentenbild an die Bewegungsunschärfe-Justiereinheit 106.
  • In dem Schritt 104 erzeugt die Bewegungsunschärfe-Justiereinheit 106 auf der Basis des Bewegungsvektors und der Bereichsinformation die Verarbeitungseinheit, die die Positionen von aufeinanderfolgenden Pixeln anzeigt, die in Bewegungsrichtung angeordnet sind und zu dem nicht verdeckten Hin tergrundbereich, dem Vordergrundbereich oder dem verdeckten Hintergrundbereich gehören, und justiert die Größe der Bewegungsunschärfe in den Vordergrundkomponenten, die der Verarbeitungseinheit entsprechen. Einzelheiten dieser Prozedur zum Justieren der Größe der Bewegungsunschärfe werden weiter unten erläutert.
  • In dem Schritt S105 prüft der Signalprozessor 12, ob die Verarbeitung für den ganzen Bildschirm abgeschlossen ist. Wenn festgestellt wird, daß die Verarbeitung noch nicht für den ganzen Bildschirm abgeschlossen ist, geht die Verarbeitung zurück zu dem Schritt S104, und die Prozedur zum Justieren der Größe der Bewegungsunschärfe für die Vordergrundkomponenten, die der Verarbeitungseinheit entsprechen, wird wiederholt.
  • Wenn in dem Schritt S105 festgestellt wird, daß die Verarbeitung für den ganzen Bildschirm abgeschlossen ist, wird der Prozeß beendet.
  • Auf diese Weise kann der Signalprozessor 12 die Größe der Bewegungsunschärfe in dem Vordergrund justieren, indem er Vordergrund und Hintergrund trennt. Das heißt, der Signalprozessor 12 ist in der Lage, die Größe der Bewegungsunschärfe zu justieren, die in den abgetasteten Daten enthalten ist, die die Pixelwerte der Vordergrundpixel angeben.
  • Im folgenden werden die Konfigurationen der Bereichsspezifizierungseinheit 103, des Mischungsverhältnis-Rechners 104, des Vordergrund-/Hintergrund-Separators 105 und der Bewegungsunschärfe-Justiereinheit 106 beschrieben.
  • 22 zeigt ein Blockdiagramm eines Beispiels für die Konfiguration der Bereichsspezifizierungseinheit 103. Die in 22 dargestellte Bereichsspezifizierungseinheit 103 benutzt keinen Bewegungsvektor. Ein Vollbildspeicher 201 speichert ein Eingangsbild in Vollbildeinheiten. Wenn das zu verarbeitende Bild das Vollbild #n ist, speichert der Vollbildspeicher 201 das Vollbild #n – 2, das zwei Vollbilder vor dem Vollbild #n liegt, ferner das Vollbild #n – 1, das ein Vollbild vor dem Vollbild #n liegt, das Vollbild #n, das Vollbild #n + 1, das ein Vollbild hinter dem Vollbild #n liegt, und das Vollbild #n + 2, das zwei Vollbilder hinter dem Vollbild #n liegt.
  • Eine Stationär-/Bewegt-Prüfstufe 202-1 liest den Pixelwert des Pixels in dem Vollbild #n + 2 aus, das an der gleichen Position liegt wie ein spezifisches Pixel in dem Vollbild #n, in welchem der Bereich bestimmt wird, zu dem das Pixel gehört, und liest aus dem Vollbildspeicher 201 den Pixelwert des Pixels in dem Vollbild #n + 1 aus, das an der gleichen Position liegt wie das spezifische Pixel des Vollbilds #n, und berechnet den Absolutwert der Differenz zwischen den ausgelesenen Pixelwerten. Die Stationär-/Bewegt-Prüfstufe 202-1 prüft, ob der Absolutwert der Differenz zwischen dem Pixelwert in dem Vollbild #n + 2 und dem Pixelwert in dem Vollbild #n + 1 größer ist als ein vorgegebener Schwellwert Th. Wenn festgestellt wird, daß die Differenz größer ist als der Schwellwert Th, wird einer Bereichsfestlegungsstufe 203-1 eine Stationär-/Bewegt-Entscheidung zugeführt, die "bewegt" bedeutet. Falls festgestellt wird, daß der Absolutwert der Differenz zwischen dem Pixelwert des Pixels des Vollbilds #n + 2 und der Pixelwert des Pixels des Vollbilds #n + 1 kleiner oder gleich dem Schwellwert Th ist, liefert die Stationär-Bewegt-Prüfstufe 202-1 an die Bereichs-Entscheidungsstufe 203-1 eine Stationär-/Bewegt-Entscheidung, die "stationär" bedeutet.
  • Eine Stationär-/Bewegt-Prüfstufe 202-2 liest aus dem Vollbildspeicher 201 den Pixelwert eines spezifischen Pixels des Vollbilds #n aus, in welchem der Bereich festgelegt ist, zu dem das Pixel gehört, und liest den Pixelwert des Pixels des Vollbilds #n + 1 aus, das an der gleichen Position liegt wie das spezifische Pixel des Vollbilds #n, und berechnet den Absolutwert der Differenz zwischen den Pixelwerten. Die Stationär-/Bewegt-Prüfstufe 202-2 prüft, ob der Absolutwert der Differenz zwischen dem Pixelwert des Vollbilds #n + 1 und dem Pixelwert des Vollbilds #n größer ist als ein vorgegebener Schwellwert Th. Wenn festgestellt wird, daß der Absolutwert der Differenz zwischen den Pixelwerten größer ist als der Schwellwert Th, wird der Bereichs-Entscheidungsstufe 203-1 und einer Bereichs-Entscheidungsstufe 203-2 eine Stationär-/Bewegt-Entscheidung zugeführt, die "bewegt" bedeutet. Wenn festgestellt wird, daß der Absolutwert der Differenz zwischen dem Pixelwert des Pixels des Vollbilds #n + 1 und dem Pixelwert des Pixels des Vollbilds #n kleiner oder gleich dem Schwellwert Th ist, liefert die Stationär-/Bewegt-Prüfstufe 202-2 an die Bereichs-Entscheidungsstufe 203-1 und an die Bereichs-Entscheidungsstufe 203-2 eine Stationär-/Bewegt-Entscheidung, die "stationär" bedeutet.
  • Eine Stationär-/Bewegt-Prüfstufe 202-3 liest aus dem Vollbildspeicher 201 den Pixelwert eines spezifischen Pixels des Vollbilds #n aus, in welchem der Bereich festgelegt ist, zu dem das Pixel gehört, und liest den Pixelwert des Pixels des Vollbilds #n – 1 aus, das an der gleichen Position liegt wie das spezifische Pixel des Vollbilds #n, und berechnet den Absolutwert der Differenz zwischen den Pixelwerten. Die Stationär-/Bewegt-Prüfstufe 202-3 prüft, ob der Absolutwert der Differenz zwischen dem Pixelwert des Vollbilds #n und dem Pixelwert des Vollbilds #n – 1 größer ist als ein vorgegebener Schwellwert Th. Wenn festgestellt wird, daß der Absolutwert der Differenz zwischen den Pixelwerten größer ist als der Schwellwert Th, wird der Bereichs-Entscheidungsstufe 203-2 und einer Bereichs-Entscheidungsstufe 203-3 eine Stationär-/Bewegt-Entscheidung zugeführt, die "bewegt" bedeutet. Wenn festgestellt wird, daß der Absolutwert der Differenz zwischen dem Pixelwert des Pixels des Vollbilds #n und dem Pixelwert des Pixels des Vollbilds #n – 1 kleiner oder gleich dem Schwellwert Th ist, liefert die Stationär-/Bewegt-Prüfstufe 203-3 an die Bereichs-Entscheidungsstufe 203-2 und die Bereichs-Entscheidungsstufe 203-3 eine Stationär-/Bewegt-Entscheidung, die "stationär" bedeutet.
  • Eine Stationär-/Bewegt-Prüfstufe 202-4 liest aus dem Vollbildspeicher 201 den Pixelwert des Pixels des Vollbilds #n – 1 aus, das an der gleichen Position liegt wie ein spezifisches Pixel des Vollbilds #n, in welchem der Bereich festgelegt ist, zu dem das Pixel gehört, und liest den Pixelwert des Pixels des Vollbilds #n – 2 aus, das an der gleichen Position liegt wie das spezifische Pixel des Vollbilds #n, und berechnet den Absolutwert der Differenz zwischen den Pixelwerten. Die Stationär-/Bewegt-Prüfstufe 202-4 prüft, ob der Absolutwert der Differenz zwischen dem Pixelwert des Vollbilds #n – 1 und dem Pixelwert des Vollbilds #n – 2 größer ist als ein vorgegebener Schwellwert Th. Wenn festgestellt wird, daß der Absolutwert der Differenz zwischen den Pixelwerten größer ist als der Schwellwert Th, wird der Bereichs-Entscheidungsstufe 203-3 eine Stationär-/Bewegt-Entscheidung zugeführt, die "bewegt" bedeutet. Wenn festgestellt wird, daß der Absolutwert der Differenz zwischen dem Pixelwert des Pixels des Vollbilds #n – 1 und dem Pixelwert des Pixels des Vollbilds #n – 2 kleiner oder gleich dem Schwellwert Th ist, liefert die Stationär-/Bewegt-Prüfstufe 202-4 an die Bereichs-Entscheidungsstufe 203-3 eine Stationär-/Bewegt-Entscheidung, die "stationär" bedeutet.
  • Wenn die von der Stationär-/Bewegt-Prüfstufe 202-1 gelieferte Stationär-/Bewegt-Entscheidung "stationär" bedeutet, und wenn die von der Stationär-/Bewegt-Prüfstufe 202-2 gelieferte Stationär-/Bewegt-Entscheidung "bewegt" bedeutet, entscheidet die Bereichs-Entscheidungsstufe 203-1, daß das spezifische Pixel des Vollbilds #n zu einem nicht verdeckten Hintergrundbereich gehört, und setzt in einem dem spezifischen Pixel zugeordneten Entscheidungs-Flag für nicht verdeckten Hintergrundbereich eine "1", die anzeigt, daß das spezifische Pixel zu einem nicht verdeckten Hintergrundbereich gehört.
  • Wenn die von der Stationär-/Bewegt-Prüfstufe 202-1 gelieferte Stationär-Bewegt-Entscheidung "bewegt" bedeutet, oder wenn die von der Stationär-/Bewegt-Prüfstufe 202-2 gelieferte Stationär/Bewegt-Entscheidung "stationär" bedeutet, entscheidet die Bereichsspezifizierungseinheit 203-1, daß das spezifische Pixel des Vollbilds #n nicht zu einem nicht verdeckten Hintergrundbereich gehört, und setzt in dem dem spezifischen Pixel zugeordneten Entscheidungs-Flag für nicht verdeckten Hintergrundbereich eine "0", die anzeigt, daß das spezifische Pixel nicht zu einem nicht verdeckten Hintergrundbereich gehört.
  • Die Bereichs-Entscheidungsstufe 203-1 liefert das Entscheidungs-Flag für nicht verdeckten Hintergrundbereich, in welchem, wie angedeutet, eine "1" oder eine "0" gesetzt ist, an einen Vollbildspeicher 204 zur Entscheidungs-Flag-Speicherung.
  • Wenn die von der Stationär-/Bewegt-Prüfstufe 202-2 gelieferte Stationär-/Bewegt-Entscheidung "stationär" bedeutet, und wenn die von der Stationär-/Bewegt-Prüfstufe 202-3 gelieferte Stationär /Bewegt-Entscheidung "stationär" bedeutet, entscheidet die Bereichs-Entscheidungsstufe 203-2, daß das spezifische Pixel des Vollbilds #n zu dem stationären Bereich gehört, und setzt in einem dem spezifischen Pixel zugeordneten Entscheidungs-Flag für stationären Bereich eine "1", die anzeigt, daß das Pixel zu dem stationären Bereich gehört.
  • Wenn die von der Stationär-/Bewegt-Prüfstufe 202-2 gelieferte Stationär-/Bewegt-Entscheidung "bewegt" bedeutet, oder wenn die von der Stationär-/Bewegt-Prüfstufe 202-3 gelieferte Stationär/Bewegt-Entscheidung "bewegt" bedeutet, entscheidet die Bereichs-Entscheidungsstufe 203-2, daß das spezifische Pixel des Vollbilds #n nicht zu dem stationären Bereich gehört, und setzt in dem dem spezifischen Pixel zugeordneten Entscheidungs-Flag für stationären Bereich eine "0", die anzeigt, daß das Pixel nicht zu dem stationären Bereich gehört.
  • Die Bereichs-Entscheidungsstufe 203-2 liefert das Entscheidungs-Flag für stationären Bereich, in dem, wie oben erläutert wurde, eine "1" oder eine "0" gesetzt ist, an den Vollbildspeicher 203 zur Entscheidungs-Flag-Speicherung.
  • Wenn die von der Stationär-/Bewegt-Prüfstufe 202-2 gelieferte Stationär-/Bewegt-Entscheidung "bewegt" bedeutet, und wenn die von der Stationär-/Bewegt-Prüfstufe 202-3 gelieferte Stationär/Bewegt-Entscheidung "bewegt" bedeutet, entscheidet die Bereichs-Entscheidungsstufe 203-2, daß das spezifische Pixel des Vollbilds #n zu dem bewegten Bereich gehört, und setzt in einem dem spezifischen Pixel zugeordneten Entscheidungs-Flag für bewegten Bereich eine "1", die anzeigt, daß das spezifische Pixel zu dem bewegten Bereich gehört.
  • Wenn die von der Stationär-Bewegt-Prüfstufe 202-2 gelieferte Stationär-/Bewegt-Entscheidung "stationär" bedeutet, oder wenn die von der Stationär-/Bewegt-Prüfstufe 202-3 gelieferte Stationär/Bewegt-Entscheidung "stationär" bedeutet, entscheidet die Bereichs-Entscheidungsstufe 203-2, daß das spezifische Pixel des Vollbilds #n nicht zu dem bewegten Bereich gehört, und setzt in dem dem spezifischen Pixel zugeordneten Entscheidungs-Flag für bewegten Bereich eine "0", die anzeigt, daß das Pixel nicht zu dem bewegten Bereich gehört.
  • Die Bereichs-Entscheidungsstufe 203-2 liefert das Entscheidungs-Flag für bewegten Bereich, in dem, wie oben erläutert wurde, eine "1" oder eine "0" gesetzt ist, an den Vollbildspeicher 203 zur Entscheidungs-Flag-Speicherung.
  • Wenn die von der Stationär-/Bewegt-Prüfstufe 202-3 gelieferte Stationär-/Bewegt-Entscheidung "bewegt" bedeutet, und wenn die von der Stationär-/Bewegt-Prüfstufe 202-4 gelieferte Stationär- Bewegt-Entscheidung "stationär" bedeutet, entscheidet die Bereichs-Entscheidungsstufe 203-3, daß das spezifische Pixel des Vollbilds #n zu einem verdeckten Hintergrundbereich gehört, und setzt in einem dem spezifischen Pixel zugeordneten Entscheidungs-Flag für verdeckten Hintergrundbereich eine "1", die anzeigt, daß das spezifische Pixel zu dem verdeckten Hintergrundbereich gehört.
  • Wenn die von der Stationär-Bewegt-Prüfstufe 202-3 gelieferte Stationär-Bewegt-Entscheidung "stationär" bedeutet, oder wenn die von der Stationär-Bewegt-Prüfstufe 202-4 gelieferte Stationär/Bewegt-Entscheidung "bewegt" bedeutet, entscheidet die Bereichs-Entscheidungsstufe 203-3, daß das spezifische Pixel des Vollbilds #n nicht zu einem verdeckten Hintergrundbereich gehört, und setzt in dem dem spezifischen Pixel zugeordneten Entscheidungs-Flag für verdeckten Hintergrundbereich eine "0", die anzeigt, daß das spezifische Pixel nicht zu einem verdeckten Hintergrundbereich gehört.
  • Die Bereichs-Entscheidungsstufe 203-3 liefert das Entscheidungs-Flag für verdeckten Hintergrundbereich, in dem, wie oben erläutert wurde, eine "1" oder eine "0" gesetzt ist, an den Vollbildspeicher 204 zur Entscheidungs-Flag-Speicherung.
  • Auf diese Weise speichert der Vollbildspeicher 204 zur Entscheidungs-Flag-Speicherung das von der Bereichs-Entscheidungsstufe 203-1 gelieferte Entscheidungs-Flag für nicht verdeckten Hintergrundbereich, das von der Bereichs-Entscheidungsstufe 203-2 gelieferte Entscheidungs-Flag für stationären Bereich, das von der Bereichs-Entscheidungsstufe 203-2 gelieferte Entscheidungs-Flag für bewegten Bereich und das von der Bereichs-Entscheidungsstufe 203-3 gelieferte Entscheidungs-Flag für verdeckten Hintergrundbereich.
  • Der Vollbildspeicher 204 zur Entscheidungs-Flag-Speicherung liefert das Entscheidungs-Flag für nicht verdeckten Hintergrundbereich, das Entscheidungs-Flag für stationären Bereich, das Entscheidungs-Flag für bewegten Bereich und das Entscheidungs-Flag für verdeckten Hintergrundbereich, die in ihm gespeichert sind, an einen Synthetisierer 205. Der Synthetisierer 205 erzeugt auf der Basis des Entscheidungs-Flags über den nicht verdeckten Hintergrundbereich, des Entscheidungs-Flags über den stationären Bereich, des Entscheidungs-Flags über den bewegten Bereich und des Entscheidungs-Flags über den verdeckten Hintergrundbereich, die aus dem Vollbildspeicher 204 zur Entscheidungs-Flag-Speicherung zugeführt werden, eine Bereichsinformation, welche anzeigt, ob die einzelnen Pixel zu dem nicht verdeckten Hintergrundbereich, dem stationären Bereich, dem bewegten Bereich oder dem verdeckten Hintergrundbereich gehören, und liefert diese Bereichsinformation an einen Vollbildspeicher 206 zur Entscheidungs-Flag-Speicherung.
  • Der Vollbildspeicher 206 zur Entscheidungs-Flag-Speicherung speichert die von dem Synthetisierer 205 gelieferte Bereichsinformation und gibt die in ihm gespeicherte Bereichsinformation auch aus.
  • Im folgenden wird anhand von 23 bis 27 ein Beispiel für die von der Bereichsspezifizierungseinheit 103 durchgeführte Verarbeitung beschrieben.
  • Wenn das dem Vordergrund entsprechende Objekt sich bewegt, ändert sich in jedem Vollbild die Position des dem Objekt entsprechenden Bilds auf dem Bildschirm. Wie 23 zeigt, befindet sich das dem Objekt entsprechende Bild, das in dem Vollbild #n an der mit Yn(x, y) bezeichneten Position liegt, in dem auf das Vollbild #n folgenden Vollbild #n + 1 in der Position Yn + 1(x, y).
  • 24 zeigt ein Modell, das gewonnen wird, indem die Pixelwerte der Pixel, die in Bewegungsrichtung des dem Vordergrundobjekt entsprechenden Bilds seitlich nebeneinander ausgerichtet sind, in zeitlicher Richtung expandiert werden. Wenn die Bewegungsrichtung des dem Vordergrundobjekt entsprechenden Bilds relativ zu dem Bildschirm z.B. horizontal verläuft, ist das in 24 dargestellte Modell ein Modell, das dadurch gewonnen wird, daß die Pixelwerte der auf einer Zeile seitlich nebeneinander angeordneten Pixel in zeitlicher Richtung expandiert werden.
  • In 24 ist die Zeile in dem Vollbild #n die gleiche wie die Zeile in dem Vollbild #n + 1.
  • Die dem Objekt entsprechenden Vordergrundkomponenten, die in dem zweiten bis dreizehnten Pixel von links in dem Vollbild #n enthalten sind, sind in dem Vollbild #n + 1 in dem sechsten bis siebzehnten Pixel von links enthalten.
  • In dem Vollbild #n sind die Pixel, die zu dem verdeckten Hintergrundbereich gehören, das elfte bis dreizehnte Pixel von links, und die Pixel, die zu dem nicht verdeckten Hintergrundbereich gehören, sind das zweite bis vierte Pixel von links. In dem Vollbild #n + 1 sind die Pixel, die zu dem verdeckten Hintergrundbereich gehören, das fünfzehnte bis siebzehnte Pixel von links, und die Pixel, die zu dem nicht verdeckten Hintergrundbereich gehören, sind das sechste bis achte Pixel von links.
  • Da bei dem in 24 dargestellten Beispiel die in dem Vollbild #n enthaltenen Vordergrundkomponenten in dem Vollbild #n + 1 um vier Pixel verschoben sind, ist die Bewegungsgröße v gleich 4. Die Zahl der virtuellen Teilabschnitte ist gleich 4 entsprechend der Bewegungsgröße v.
  • Im folgenden wird nun eine Änderung in den Pixelwerten der zu dem gemischten Bereich gehörenden Pixel in den Vollbildern vor und hinter einem spezifischen Vollbild beschrieben.
  • In 25 sind die Pixel, die in dem Vollbild #n, in dem der Hintergrund stationär ist und die Bewegungsgröße v in dem Vordergrund gleich 4 ist, zu einem verdeckten Hintergrundbereich gehören, das fünfzehnte bis siebzehnte Pixel von links. Da die Bewegungsgröße v gleich 4 ist, enthalten das fünfzehnte bis siebzehnte Pixel von links in dem vorhergehenden Vollbild #n – 1 nur Hintergrundkomponenten und gehören zu dem Hintergrundbereich. Das fünfzehnte bis siebzehnte Pixel von links in dem Vollbild #n – 2, das ein Vollbild vor dem Vollbild #n – 1 liegt, enthalten nur Hintergrundkomponenten und gehören zu dem Hintergrundbereich.
  • Da das dem Hintergrund entsprechende Objekt stationär ist, ändert sich der Pixelwert des fünfzehnten Pixels von links in dem Vollbild #n – 1 gegenüber dem Pixelwert des fünfzehnten Pixels von links in dem Vollbild #n – 2 nicht. Ähnlich ändert sich auch der Pixelwert des sechzehnten Pixels von links in dem Vollbild #n – 1 gegenüber dem Pixelwert des sechzehnten Pixels von links in dem Vollbild #n – 2 nicht, und auch der Pixelwert des siebzehnten Pixels von links in dem Vollbild #n – 1 ändert sich gegenüber dem Pixelwert des siebzehnten Pixels von links in dem Vollbild #n – 2 nicht.
  • Das heißt, die Pixel in dem Vollbild #n – 1 und in dem Vollbild #n – 2, die den Pixeln entsprechen, die zu dem verdeckten Hintergrundbereich in dem Vollbild #n gehören, bestehen nur aus Hintergrundkomponenten, und ihre Pixelwerte ändern sich nicht. Deshalb ist der Absolutwert der Differenz zwischen den Pixelwerten fast gleich Null. Somit lautet die Stationär-Bewegt-Entscheidung, die von der Stationär/Bewegt-Prüfstufe 202-4 für die Pixel in dem Vollbild #n – 1 und in dem Vollbild #n – 2 durchgeführt wird, die den zu dem gemischten Bereich in dem Vollbild #n gehörenden Pixeln entsprechen, "stationär".
  • Da die zu dem verdeckten Hintergrundbereich in dem Vollbild #n gehörenden Pixel Vordergrundkomponenten enthalten, unterscheiden sich ihre Pixelwerte von denen des Vollbilds #n – 1, die ausschließlich aus Hintergrundkomponenten bestehen. Deshalb lautet die von der Stationär-/Bewegt-Prüfstufe 202-3 durchgeführte Stationär-/Bewegt-Entscheidung für die Pixel, die zu dem gemischten Bereich in dem Vollbild #n gehören, und für die entsprechenden Pixel in dem Vollbild #n – 1, "bewegt".
  • Wenn die Stationär-/Bewegt-Prüfstufe 202-3 das Stationär-/Bewegt-Entscheidungsergebnis liefert, das "bewegt" bedeutet, und wenn die Stationär-Bewegt-Prüfstufe 202-4 das Stationär-/Bewegt-Entscheidungsergebnis liefert, das "stationär" bedeutet, wie dies oben erläutert wurde, entscheidet die Bereichs-Entscheidungsstufe 203-3, daß die entsprechenden Pixel zu einem verdeckten Hintergrundbereich gehören.
  • In 26 sind in dem Vollbild #n, in dem der Hintergrund stationär ist und die Bewegungsgröße v in dem Vordergrund gleich 4 ist, die in einem nicht verdeckten Hintergrundbereich enthaltenen Pixel das zweite bis vierte Pixel von links. Da die Bewegungsgröße v gleich 4 ist, enthalten das zweite bis vierte Pixel von links in dem nächsten Vollbild #n + 1 nur Hintergrundkomponenten und gehören zu dem Hintergrundbereich. In dem Vollbild #n + 2, das auf das Vollbild #n + 1 folgt, enthalten das zweite bis vierte Pixel von links nur Hintergrundkomponenten und gehören zu dem Hintergrundbereich.
  • Da das dem Hintergrund entsprechende Bild stationär ist, ändert sich der Pixelwert des zweiten Pixels von links in dem Vollbild #n + 2 gegenüber dem Pixelwert des zweiten Pixels von links in dem Vollbild #n + 1 nicht. Ähnlich ändert sich auch der Pixelwert des dritten Pixels von links in dem Vollbild #n + 2 gegenüber dem Pixelwert des dritten Pixels von links in dem Vollbild #n + 1 nicht, und der Pixelwert des vierten Pixels von links in dem Vollbild #n + 2 ändert sich gegenüber dem Pixelwert des vierten Pixels von links in dem Vollbild #n + 1 nicht.
  • Das heißt, die Pixel in dem Vollbild #n + 1 und dem Vollbild #n + 2, die den zu dem nicht verdeckten Hintergrundbereich in dem Vollbild #n gehörenden Pixeln entsprechen, bestehen nur aus Hintergrundkomponenten, und ihre Pixelwerte ändern sich nicht. Deshalb ist der Absolutwert der Differenz zwischen den Pixelwerten fast gleich Null. Somit lautet die von der Stationär-Bewegt-Prüfstufe 202-1 durchgeführte Stationär-/Bewegt-Entscheidung für die Pixel in dem Vollbild #n + 1 und dem Vollbild #n + 2, die den zu dem gemischten Bereich in dem Vollbild #n gehörenden Pixeln entsprechen, "stationär".
  • Da die zu dem nicht verdeckten Hintergrundbereich in dem Vollbild #n gehörenden Pixel Vordergrundkomponenten enthalten, unterscheiden sich ihre Pixelwerte von denjenigen des Vollbilds #n + 1, die ausschließlich aus Hintergrundkomponenten bestehen. Deshalb lautet die von der Stationär-/Bewegt-Prüfstufe 202-2 durchgeführte Stationär-/Bewegt-Entscheidung für die zu dem gemischten Bereich in dem Vollbild #n und die entsprechenden Pixel in dem Vollbild #n + 2 "bewegt".
  • Wenn die Stationär-/Bewegt-Prüfstufe 202-2 das Stationär-Bewegt-Entscheidungsergebnis liefert, das "bewegt" bedeutet, und wenn die Stationär-Bewegt-Prüfstufe 202-1 das Stationär-Bewegt-Entscheidungsergebnis liefert, das "stationär" bedeutet, wie dies oben erläutert wurde, entscheidet die Bereichs-Entscheidungsstufe 203-1, daß die entsprechenden Pixel zu einem nicht verdeckten Hintergrundbereich gehören.
  • 27 illustriert die Entscheidungsbedingungen für das Vollbild #n, die von der Bereichsspezifizierungseinheit 103 erzeugt werden. Wenn das Entscheidungsergebnis für die Pixel in dem Vollbild #n – 2, die an der gleichen Bildposition liegen wie ein zu verarbeitendes Pixel in dem Vollbild #n, und für das Pixel in dem Vollbild #n – 1, das an der gleichen Position liegt, wie das Pixel in dem Vollbild #n, "stationär" lautet, und wenn das Entscheidungsergebnis für das Pixel in dem Vollbild #n und das Pixel in dem Vollbild #n – 1, die an der gleichen Bildposition liegen wie das Pixel in dem Vollbild #n, "bewegt" lautet, entscheidet die Bereichsspezifizierungseinheit 103, daß das Pixel in dem Vollbild #n zu einem verdeckten Hintergrundbereich gehört.
  • Wenn das Entscheidungsergebnis für das Pixel in dem Vollbild #n und das Pixel in dem Vollbild #n – 1, die an der gleichen Bildposition liegen wie das Pixel in dem Vollbild #n, "stationär" lautet, und wenn das Entscheidungsergebnis für das Pixel in dem Vollbild #n und das Pixel in dem Vollbild #n + 1, die an der gleichen Bildposition liegen, wie das Pixel in dem Vollbild #n, "stationär" lautet, entscheidet die Bereichsspezifizierungseinheit 103, daß das Pixel in dem Vollbild #n zu dem stationären Bereich gehört.
  • Wenn das Entscheidungsergebnis für das Pixel in dem Vollbild #n und das Pixel in dem Vollbild #n – 1, die an der gleichen Bildposition liegen, wie das Pixel in dem Vollbild #n, "bewegt" lautet, und wenn das Entscheidungsergebnis für das Pixel in dem Vollbild #n und das Pixel in dem Vollbild #n + 1, die an der gleichen Bildposition liegen wie das Pixel in dem Vollbild #n, "bewegt" lautet, entscheidet die Bereichsspezifizierungseinheit 103, daß das Pixel in dem Vollbild #n zu dem bewegten Bereich gehört.
  • Wenn das Entscheidungsergebnis für das Pixel in dem Vollbild #n und das Pixel in dem Vollbild #n + 1, die sich an der gleichen Bildposition befinden wie das Pixel in dem Vollbild #n, "bewegt" lautet, und wenn das Entscheidungsergebnis für das Pixel in dem Vollbild #n + 1, das sich an der gleichen Bildposition befindet wie das Pixel in dem Vollbild #n, und für das Pixel in dem Vollbild #n + 2, das sich an der gleichen Bildposition befindet wie das Pixel in dem Vollbild #n, "stationär" lautet, entscheidet die Bereichsspezifizierungseinheit 103, daß das Pixel in dem Vollbild #n zu einem nicht verdeckten Hintergrundbereich gehört.
  • 28A bis 28D zeigen Beispiele für die BereichsEntscheidungsergebnisse, die von der Bereichsspezifizierungseinheit 103 gewonnen werden. In 28A sind die Pixel in Weiß dargestellt, von denen festgestellt ist, daß sie zu einem verdeckten Hintergrundbereich gehören. In 28B sind die Pixel, von denen festgestellt ist, daß sie zu einem nicht verdeckten Hintergrundbereich gehören, in Weiß dargestellt.
  • In 28C sind die Pixel in Weiß dargestellt, von denen festgestellt wird, daß sie zu einem bewegten Bereich gehören. In 28D sind die Pixel in Weiß dargestellt, von denen festgestellt ist, daß sie zu einem stationären Bereich gehören.
  • 29 zeigt die den gemischten Bereich bezeichnende Bereichsinformation in Form eines Bilds, das aus der Bereichsinformation ausgewählt ist, die von dem Vollbildspeicher 206 zur Entscheidungs-Flag-Speicherung ausgegeben wird. In 29 sind die Pixel in Weiß dargestellt, von denen festgestellt ist, daß sie zu dem verdeckten Hintergrundbereich oder zu dem nicht verdeckten Hintergrundbereich gehören, d.h. die Pixel, von denen festgestellt wird, daß sie zu dem gemischten Bereich gehören. Die von dem Vollbildspeicher 206 für die Entscheidungs-Flag-Speicherung ausgegebene Bereichsinformation, die den gemischten Bereich kennzeichnet, bezeichnet den gemischten Bereich sowie die Teile, die eine Textur haben, die von den Teilen ohne Textur in dem Vordergrundbereich umrandet sind.
  • Im folgenden wird anhand des Flußdiagramms von 30 die Verarbeitung für die Bereichsspezifizierung beschrieben, die von der Bereichsspezifizierungseinheit 103 ausgeführt wird. In dem Schritt S201 erhält der Vollbildspeicher 201 ein Bild von dem Vollbild #n – 2 bis zu dem Vollbild #n + 2, einschließlich des Vollbilds #n.
  • In dem Schritt S202 prüft die Stationär-/Bewegt-Prüfstufe 202-3, ob das Entscheidungsergebnis für das Pixel in dem Vollbild #n – 2 und das Pixel in dem Vollbild #n, die an der gleichen Position liegen, stationär ist. Wenn festgestellt wird, daß das Entscheidungsergebnis stationär ist, geht der Prozeß werter zu dem Schritt S201, in dem die Stationär-Bewegt-Prüfstufe 202-2 prüft, ob das Entscheidungsergebnis für das Pixel in dem Vollbild #n und das an der gleichen Position liegende Pixel in dem Vollbild #n + 1 stationär ist.
  • Wenn in dem Schritt S203 festgestellt wird, daß das Entscheidungsergebnis für das Pixel in dem Vollbild #n und das an der gleichen Position liegende Pixel in dem Vollbild #n + 1 "stationär" lautet, geht der Prozeß weiter zu dem Schritt S204. In dem Schritt S204 setzt die Bereichs-Entscheidungsstufe 203-2 in dem dem zu verarbeitenden Pixel zugeordneten Entscheidungs-Flag für stationären Bereich eine "1", die anzeigt, daß das zu verarbeitende Pixel zu dem stationären Bereich gehört. Die Bereichs-Entscheidungsstufe 203-2 liefert das Entscheidungs-Flag für stationären Bereich an den Vollbildspeicher 204 zur Entscheidungs-Flag-Speicherung, und der Prozeß geht weiter zu dem Schritt S205.
  • Wenn in dem Schritt S202 festgestellt wird, daß das Entscheidungsergebnis für das Pixel in dem Vollbild #n – 1 und das an der gleichen Position liegende Pixel in dem Vollbild #n "bewegt" lautet, oder wenn in dem Schritt S203 festgestellt wird, daß das Entscheidungsergebnis für das Pixel in dem Vollbild #n und das an der gleichen Position liegende Pixel in dem Vollbild #n + 1 "bewegt" lautet, gehört das zu verarbeitende Pixel nicht zu einem stationären Bereich. Deshalb wird die Prozedur von Schritt S204 übersprungen, und der Prozeß geht weiter zu dem Schritt S205.
  • In dem Schritt S205 prüft die Stationär-/Bewegt-Prüfstufe 202-3, ob das Entscheidungsergebnis für das Pixel in dem Vollbild #n – 1 und das an der gleichen Position liegende Pixel in dem Vollbild #n "bewegt" lautet. Wenn festgestellt wird, daß das Entscheidungsergebnis "bewegt" lautet, geht der Prozeß weiter zu dem Schritt S206, in dem die Stationär-/Bewegt-Prüfstufe 202-2 prüft, ob das Entscheidungsergebnis für das Pixel in dem Vollbild #n und das an der gleichen Position liegende Pixel in dem Vollbild #n + 1 "bewegt" lautet.
  • Wenn in dem Schritt S206 festgestellt wird, daß das Entscheidungsergebnis für das Pixel in dem Vollbild #n und das an der gleichen Position liegende Pixel in dem Vollbild #n + 1 "bewegt" lautet, geht der Prozeß weiter zu dem Schritt S207. In dem Schritt S207 setzt die Bereichs-Entscheidungsstufe 203-2 in dem dem zu verarbeitenden Pixel zugeordneten Entscheidungs-Flag für bewegten Bereich eine "1", die anzeigt, daß das zu verarbeitende Pixel zu einem bewegten Bereich gehört. Die Bereichs-Entscheidungsstufe 203-2 liefert das Entscheidungs-Flag für bewegten Bereich an den Vollbildspeicher 204 für die Entscheidungs-Flag-Speicherung, und der Prozeß geht weiter zu dem Schritt S208.
  • Wenn in dem Schritt S205 festgestellt wird, daß das Entscheidungsergebnis für das Pixel in dem Vollbild #n – 1 und das an der gleichen Position liegende Pixel in dem Vollbild #n "stationär" lautet, oder wenn in dem Schritt S206 festgestellt wird, daß das Entscheidungsergebnis für das Pixel in dem Vollbild #n und das an der gleichen Position liegende Pixel in dem Vollbild #n + 1 "stationär" lautet, gehört das Pixel in dem Vollbild #n nicht zu einem bewegten Bereich. Deshalb wird die Prozedur von Schritt S207 übersprungen, und der Prozeß geht weiter zu dem Schritt S208.
  • In dem Schritt S208 prüft die Stationär-/Bewegt-Prüfstufe 202-4, ob das Entscheidungsergebnis für das Pixel in dem Vollbild #n – 2 und das an der gleichen Position liegende Pixel in dem Vollbild #n – 1 "stationär" lautet. Wenn festgestellt wird, daß das Entscheidungsergebnis "stationär" lautet, geht der Prozeß weiter zu dem Schritt S209, in dem die Stationär-/Bewegt-Prüfstufe 202-3 prüft, ob das Entscheidungsergebnis für das Pixel in dem Vollbild #n – 1 und das an der gleichen Position liegende Pixel in dem Vollbild #n "bewegt" lautet.
  • Wenn in dem Schritt S209 festgestellt wird, daß das Entscheidungsergebnis für das Pixel in dem Vollbild #n – 1 und das an der gleichen Position liegende Pixel in dem Vollbild #n "bewegt" lautet, geht der Prozeß weiter zu dem Schritt S210. In dem Schritt S210 setzt die Bereichs-Entscheidungsstufe 203-3 in dem dem zu verarbeitenden Pixel zugeordneten Entscheidungs-Flag für verdeckten Hintergrundbereich eine "1", die anzeigt, daß das zu verarbeitende Pixel zu einem verdeckten Hintergrundbereich gehört. Die Bereichs-Entscheidungsstufe 203-3 liefert das Entscheidungs-Flag für verdeckten Hintergrundbereich an den Vollbildspeicher 204 für die Entscheidungs-Flag-Speicherung, und der Prozeß geht weiter zu dem Schritt S211.
  • Wenn in dem Schritt S208 festgestellt wird, daß das Entscheidungsergebnis für das Pixel in dem Vollbild #n – 2 und das an der gleichen Position liegende Pixel in dem Vollbild #n – 1 "bewegt" lautet, oder wenn in dem Schritt S209 festgestellt wird, daß das Pixel in dem Vollbild #n – 1 und das an der gleichen Position liegende Pixel in dem Vollbild #n "stationär" lautet, gehört das Pixel in dem Vollbild #n nicht zu einem verdeckten Hintergrundbereich. Deshalb wird die Prozedur von Schritt S210 übersprungen, und der Prozeß geht weiter zu dem Schritt S211.
  • In dem Schritt S211 prüft die Stationär-/Bewegt-Prüfstufe 202-2, ob das Entscheidungsergebnis für das Pixel in dem Vollbild #n und das an der gleichen Stelle liegende Pixel in dem Vollbild #n + 1 "bewegt" lautet. Wenn in dem Schritt S211 festgestellt wird, daß das Entscheidungsergebnis "bewegt" lautet, geht der Prozeß weiter zu dem Schritt S212, in dem die Stationär-/Bewegt-Prüfstufe 202-1 prüft, ob das Entscheidungsergebnis für das Pixel in dem Vollbild #n + 1 und das an der gleichen Position liegende Pixel in dem Vollbild #n + 2 "stationär" lautet.
  • Wenn in dem Schritt S212 festgestellt wird, daß das Entscheidungsergebnis für das Pixel in dem Vollbild #n + 1 und das Pixel in dem an der gleichen Position liegende Pixel in dem Vollbild #n + 2 "stationär" lautet, geht der Prozeß weiter zu dem Schritt S213. In dem Schritt S213 setzt die Bereichs-Entscheidungsstufe 203-1 in dem dem zu verarbeitenden Pixel zugeordneten Entscheidungs-Flag für nicht verdeckten Hintergrundbereich eine "1", die anzeigt, daß das zu verarbeitende Pixel zu einem nicht verdeckten Hintergrundbereich gehört. Die Bereichs-Entscheidungsstufe 203-1 liefert das Entscheidungs-Flag für nicht verdeckten Hintergrund an den Vollbildspeicher 204 für die Entscheidungs-Flag-Speicherung, und der Prozeß geht weiter zu dem Schritt S214.
  • Wenn in dem Schritt S211 festgestellt wird, daß das Entscheidungsergebnis für das Pixel in dem Vollbild #n und das an der gleichen Position liegende Pixel in dem Vollbild #n + 1 "stationär" lautet, oder wenn in dem Schritt S212 festgestellt wird, daß das Entscheidungsergebnis für das Pixel in dem Vollbild #n + 1 und das Pixel in dem Vollbild #n + 2 "bewegt" lautet, gehört das Pixel in dem Vollbild #n nicht zu einem nicht verdeckten Hintergrundbereich. Deshalb wird die Prozedur von Schritt S213 übersprungen, und der Prozeß geht weiter zu dem Schritt S214.
  • In dem Schritt S214 prüft die Bereichsspezifizierungseinheit 103, ob die Bereiche aller Pixel in dem Vollbild #n spezifiziert sind. Wenn festgestellt wird, daß noch nicht die Bereiche aller Pixel in dem Vollbild #n spezifiziert sind, geht der Prozeß zurück zu dem Schritt S202, und die Prozedur zur Bereichsspezifizierung wird für die verbleibenden Pixel wiederholt.
  • Wenn in dem Schritt S214 festgestellt wird, daß die Bereiche aller Pixel in dem Vollbild #n spezifiziert sind, geht der Prozeß weiter zu dem Schritt S215. In dem Schritt S215 erzeugt der Synthetisierer 215 die den gemischten Bereich anzeigende Bereichsinformation auf der Basis des Entscheidungs-Flags für nicht verdeckten Hintergrundbereich und des Entscheidungs-Flags für verdeckten Hintergrundbereich, die in dem Vollbildspeicher 204 zur Entscheidungs-Flag-Speicherung gespeichert sind, und erzeugt außerdem eine Bereichsinformation, die anzeigt, ob die einzelnen Pixel zu dem nicht verdeckten Hintergrundbereich, dem stationären Bereich, dem bewegten Bereich oder dem verdeckten Hintergrundbereich gehören, und setzt die erzeugte Bereichsinformation in dem Vollbildspeicher 206 zur Entscheidungs-Flag-Speicherung. Die Verarbeitung ist dann abgeschlossen.
  • Wie oben erläutert wurde, ist die Bereichsspezifizierungseinheit 103 in der Lage, eine Bereichsinformation zu erzeugen, die anzeigt, ob die einzelnen in einem Vollbild enthaltenen Pixel zu dem bewegten Bereich, dem stationären Bereich, dem nicht verdeckten Hintergrundbereich oder dem verdeckten Hintergrundbereich gehören.
  • Die Bereichsspezifizierungseinheit 103 kann auf die Bereichsinformation, die dem nicht verdeckten Hintergrundbereich entspricht, und die Bereichsinformation, die dem verdeckten Hintergrundbereich entspricht, eine logische ODER-Verknüpfung anwenden, um eine Bereichsinformation zu erzeugen, die dem gemischten Bereich entspricht, und kann dann eine Bereichsinformation erzeugen, die aus Flags besteht, die anzeigen, die einzelnen in dem Vollbild enthaltenen Pixel zu dem bewegten Bereich, dem stationären Bereich oder dem gemischten Bereich gehören.
  • Wenn das dem Vordergrund entsprechende Objekt eine Textur besitzt, ist die Bereichsspezifizierungseinheit 103 in der Lage, den bewegten Bereich genauer zu spezifizieren.
  • Die Bereichsspezifizierungseinheit 103 kann die den bewegten Bereich kennzeichnende Bereichsinformation als die Bereichsinformation ausgeben, die den Vordergrundbereich kennzeichnet, und sie kann die den stationären Bereich kennzeichnende Bereichsinformation als die Bereichsinformation ausgeben, die den Hintergrundbereich kennzeichnet.
  • Bei der Beschreibung des Ausführungsbeispiels wurde angenommen, daß das dem Hintergrund entsprechende Objekt stationär ist. Die oben beschriebene Prozedur zur Bereichsspezifizierung kann jedoch auch selbst dann angewendet werden, wenn das dem Hintergrundbereich entsprechende Bild Bewegung enthält. Wenn sich das dem Hintergrundbereich entsprechende Bild z.B. gleichförmig bewegt, verschiebt die Bereichsspezifizierungseinheit 103 das Gesamtbild nach Maßgabe dieser Bewegung und führt die Verarbeitung in einer ähnlichen Weise durch, wie in dem Fall, in dem das dem Hintergrund entsprechende Objekt stationär ist. Wenn das dem Hintergrundbereich entsprechende Bild lokal unterschiedliche Bewegungen enthält, wählt die Bereichsspezifizierungseinheit 103 die den Bewegungen entsprechenden Pixel aus und führt die oben beschriebene Verarbeitung aus.
  • 31 zeigt ein Blockdiagramm eines Beispiels für eine andere Konfiguration der Bereichsspezifizierungseinheit 103. Die in 31 dargestellte Bereichsspezifizierungseinheit 103 benutzt keinen Bewegungsvektor. Ein Hintergrundbildgenerator 301 erzeugt ein Hintergrundbild, das einem Eingangsbild entspricht, und liefert das erzeugte Hintergrundbild an eine binäre Objektbild-Extrahierstufe 302. Der Hintergrundbildgenerator 301 extrahiert z.B. ein Bildobjekt, das einem in dem Eingangsbild enthaltenen Hintergrundobjekt entspricht, und erzeugt das Hintergrundbild.
  • 32 zeigt ein Beispiel für ein Modell, das gewonnen wird, indem die Pixelwerte von Pixeln, die in Bewegungsrichtung eines Bilds, das einem Vordergrundobjekt entspricht, seitlich nebeneinander ausgerichtet sind, in zeitlicher Richtung expandiert werden. Wenn die Bewegungsrichtung des dem Vordergrundobjekt entsprechenden Bilds relativ zu dem Bildschirm z.B. horizontal ist, ist das in 32 dargestellte Modell ein Modell, das gewonnen wird, indem die Pixelwerte von Pixeln, die seitlich nebeneinander auf einer einzelnen Zeile angeordnet sind, in der Zeitdomäne expandiert werden.
  • In 32 ist die Zeile in dem Vollbild #n die gleiche wie die Zeile in dem Vollbild #n – 1 und die Zeile in dem Vollbild #n + 1.
  • In dem Vollbild #n sind die Vordergrundkomponenten, die dem in dem sechsten bis siebzehnten Pixel von links enthaltenen Objekt entsprechen, in dem Vollbild #n – 1 in dem zweiten bis dreizehnten Pixel von links enthalten und sind auch in dem Vollbild #n + 1 in dem zehnten bis einundzwanzigsten Pixel von links enthalten.
  • In dem Vollbild #n – 1 sind das elfte bis dreizehnte Pixel von links die Pixel, die zu dem verdeckten Hintergrundbereich gehören, und das zweite bis vierte Pixel von links sind die Pixel, die zu dem nicht verdeckten Hintergrundbereich gehören. In dem Vollbild #n sind das fünfzehnte bis siebzehnte Pixel von links die Pixel, die zu dem verdeckten Hintergrundbereich gehören, und das sechste bis achte Pixel von links sind die Pixel, die zu dem nicht verdeckten Hintergrundbereich gehören. In dem Voll– bild #n + 1 sind das neunzehnte bis einundzwanzigste Pixel von links die Pixel, die zu dem verdeckten Hintergrundbereich gehören, und das zehnte bis zwölfte Pixel von links sind die Pixel, die zu dem nicht verdeckten Hintergrundbereich gehören.
  • In dem Vollbild #n – 1 sind das erste Pixel von links und das vierzehnte bis einundzwanzigste Pixel von links die Pixel, die zu dem Hintergrundbereich gehören. In dem Vollbild #n sind das erste bis fünfte Pixel von links und das achtzehnte bis einundzwanzigste Pixel von links die Pixel, die zu dem Hintergrundbereich gehören. In dem Vollbild #n + 1 sind das erste bis neunte Pixel von links die Pixel, die zu dem Hintergrundbereich gehören.
  • 33 zeigt ein Beispiel für das von dem Hintergrundbildgenerator 301 erzeugte Hintergrundbild, das dem in 32 dargestellten Beispiel entspricht. Das Hintergrundbild besteht aus den Pixeln, die dem Hintergrundobjekt entsprechen, und enthält keine Bildkomponenten, die dem Vordergrundobjekt entsprechen.
  • Die binäre Objektbild-Extrahierstufe 302 erzeugt ein binäres Objektbild auf der Basis der Korrelation zwischen dem Hintergrundbild und dem Eingangsbild, und liefert das erzeugte binäre Objektbild an einen Zeitänderungsdetektor 303.
  • 34 zeigt ein Blockdiagramm der Konfiguration der binären Objektbild-Extrahierstufe 302. Ein Korrelationswertrechner 321 berechnet die Korrelation zwischen dem von dem Hintergrundbildgenerator 301 gelieferten Hintergrundbild und dem Eingangsbild, um einen Korrelationswert zu erzeugen, und liefert den erzeugten Korrelationswert an einen Schwellwertprozessor 322.
  • Der Korrelationswertrechner 321 wendet die Gleichung (4) z.B. auf 3×3-Hintergrundbildblöcke mit X4 als Zentrum an, wie dies in 35A dargestellt ist, und z.B. auf 3×3-Hintergrundbildblöcke mit Y4 als Zentrum, das den Hintergrundbildblöcken entspricht, wie dies in 35B dargestellt ist, und berechnet dadurch einen Korrelationswert, der Y4 entspricht.
  • Figure 00460001
  • Figure 00470001
  • Der Korrelationswertrechner 321 liefert den für jedes Pixel in der oben beschriebenen Weise berechneten Korrelationswert an den Schwellwertprozessor 322.
  • Alternativ kann der Korrelationswertrechner 321 die Gleichung (7) z.B. auf 3×3-Hintergrundbildblöcke mit X4 als Zentrum anwenden, wie dies in 36A dargestellt ist, sowie z.B. auf 3×3-Hintergrundbildblöcke mit Y4 als Zentrum, das den Hintergrundbildblöcken entspricht, wie dies in 36B dargestellt ist, und dadurch die Y4 entsprechende Summe der Absolutwerte der Differenzen berechnen.
  • Figure 00470002
  • Der Korrelationswertrechner 321 liefert die in der oben beschriebenen Weise berechnete Summe der Absolutwerte der Differenzen als den Korrelationswert an den Schwellwertprozessor 322.
  • Der Schwellwertprozessor 322 vergleicht den Pixelwert des Korrelationsbilds mit einem Schwellwert th0. Wenn der Korrelationswert kleiner oder gleich dem Schwellwert th0 ist, wird in dem Pixelwert des binären Objektbilds eine 1 gesetzt. Wenn der Korrelationswert größer ist als der Schwellwert th0, wird in dem Pixelwert des binären Objektbilds eine 0 gesetzt. Der Schwellwertprozessor 322 gibt dann das binäre Objektbild aus, dessen Pixelwert auf 0 oder 1 gesetzt ist. Der Schwellwertprozessor 322 kann den Schwellwert th0 im voraus speichern, oder er kann einen von einer externen Quelle zugeführten Schwellwert th0 benutzen.
  • 37 zeigt das binäre Objektbild, das dem in 32 dargestellten Modell des Eingangsbilds entspricht. In dem binären Objektbild ist in den Pixelwerten der Pixel, die eine höhere Korrelation mit dem Hintergrundbild haben, 0 gesetzt.
  • 38 zeigt ein Blockdiagramm der Konfiguration des Zeitänderungsdetektors 303. Wenn in dem Vollbild #n der Bereich eines Pixels bestimmt wird, speichert ein Vollbildspeicher 331 ein binäres Objektbild des Vollbilds #n – 1, des Vollbilds #n und des Vollbilds #n + 1, die von der binären Objektbild-Extrahierstufe 302 zugeführt werden.
  • Eine Bereichs-Entscheidungsstufe 342 bestimmt den Bereich jedes Pixels des Vollbilds #n auf der Basis des binären Objektbilds des Vollbilds #n – 1, des Vollbilds #n und des Vollbilds #n + 1, um die Bereichsinformation zu erzeugen, und gibt die erzeugte Bereichsinformation aus.
  • 39 zeigt die von der Bereichs-Entscheidungsstufe 342 vorgenommenen Entscheidungen. Wenn das interessierende Pixel des binären Objektbilds in dem Vollbild #n gleich 0 ist, bestimmt die Bereichs-Entscheidungsstufe 342, daß das interessierende Pixel in dem Vollbild #n zu dem Hintergrundbereich gehört.
  • Wenn das interessierende Pixel des binären Objektbilds in dem Vollbild #n gleich 1 ist, und wenn das korrespondierende Pixel des binären Objektbilds in dem Vollbild #n – 1 gleich 1 ist, und wenn das korrespondierende Pixel des binären Objektbilds in dem Vollbild #n + 1 gleich 1 ist, bestimmt die Bereichs-Entscheidungsstufe 342, daß das interessierende Pixel in dem Vollbild #n zu dem Vordergrundbereich gehört.
  • Wenn das interessierende Pixel des binären Objektbilds in dem Vollbild #n gleich 1 ist, und wenn das korrespondierende Pixel des binären Objektbilds in dem Vollbild #n – 1 gleich 0 ist, bestimmt die Bereichs-Entscheidungsstufe 342, daß das interessierende Pixel in dem Vollbild #n zu einem verdeckten Hintergrundbereich gehört.
  • Wenn das interessierende Pixel des binären Objektbilds in dem Vollbild #n gleich 1 ist, und wenn das korrespondierende Pixel des binären Objektbilds in dem Vollbild #n + 1 gleich 0 ist, bestimmt die Bereichs-Entscheidungsstufe 342, daß das interessierende Pixel in dem Vollbild #n zu einem nicht verdeckten Hintergrundbereich gehört.
  • 40 zeigt ein Beispiel für die Festlegungen, die der Zeitänderungsdetektor 303 an dem binären Objektbild vornimmt, das dem in 32 dargestellten Modell des Eingangsbilds entspricht. Der Zeitänderungsdetektor 303 stellt fest, daß das erste bis fünfte Pixel von links in dem Vollbild #n zu dem Hintergrundbereich gehören, da die korrespondierenden Pixel des binären Objektbilds in dem Vollbild #n gleich 0 sind.
  • Der Zeitänderungsdetektor 303 stellt fest, daß das sechste bis neunte Pixel von links zu dem nicht verdeckten Hintergrundbereich gehören, da die Pixel des binären Objektbilds in dem Vollbild #n gleich 1 sind und die korrespondierenden Pixel in dem Vollbild #n + 1 gleich 0 sind.
  • Der Zeitänderungsdetektor 303 stellt fest, daß das zehnte bis dreizehnte Pixel von links zu dem Vordergrundbereich gehören, daß die Pixel des binären Objektbilds in dem Vollbild #n gleich 1 sind, die korrespondierenden Pixel in dem Vollbild #n – 1 gleich 1 sind, und die korrespondierenden Pixel in dem Vollbild #n + 1 gleich 1 sind.
  • Der Zeitänderungsdetektor 303 stellt fest, daß das vierzehnte bis siebzehnte Pixel von links zu dem verdeckten Hintergrundbereich gehören, da die Pixel des binären Objektbilds in dem Vollbild #n gleich 1 sind und die korrespondierenden Pixel in dem Vollbild #n – 1 gleich 0 sind.
  • Der Zeitänderungsdetektor 303 stellt fest, daß das achtzehnte bis einundzwanzigste Pixel von links zu dem Hintergrundbereich gehören, da die korrespondierenden Pixel des binären Objektbilds in dem Vollbild #n gleich 0 sind.
  • Im folgenden wird anhand des Flußdiagramms von 41 die von der Bereichsspezifizierungseinheit 103 durchgeführte Bereichsspezifizierung beschrieben. In dem Schritt S301 extrahiert der Hintergrundbildgenerator 301 der Bereichsspezifizierungseinheit 103 z.B. ein einem Hintergrundobjekt entsprechendes Bildobjekt, das in einem Eingangsbild enthalten ist, auf der Basis des Eingangsbilds, um ein Hintergrundbild zu erzeugen, und liefert das erzeugte Hintergrundbild an die binäre Objektbild-Extrahierstufe 302.
  • In dem Schritt S302 berechnet die binäre Objektbild-Extrahierstufe 302 einen Korrelationswert zwischen dem Eingangsbild und dem aus dem Hintergrundbildgenerator 301 gelieferten Hintergrundbild z.B. nach der oben anhand von 35A und 35B erläuterten Berechnung. In dem Schritt S303 berechnet die binäre Objektbild-Extrahierstufe 302 aus dem Korrelationswert und dem Schwellwert th0, z.B. durch Vergleichen des Korrelationswerts mit dem Schwellwert th0, ein binäres Objektbild.
  • In dem Schritt S304 führt der Zeitänderungsdetektor 303 die BereichsEntscheidung durch, und die Verarbeitung wird beendet.
  • Anhand des Flußdiagramms von 42 werden Einzelheiten der BereichsEntscheidung in dem Schritt S304 beschrieben. In dem Schritt S321 prüft die Bereichs-Entscheidungsstufe 342 des Zeitänderungsdetektors 303, ob das interessierende Pixel in dem in dem Vollbildspeicher 341 gespeicherten Vollbild #n gleich 0 ist. Wenn festgestellt wird, daß das interessierende Pixel in dem Vollbild #n gleich 0 ist, geht der Prozeß weiter zu dem Schritt S322. In dem Schritt S322 wird festgestellt, daß das interessierende Pixel in dem Vollbild #n zu dem Hintergrundbereich gehört, und die Verarbeitung wird beendet.
  • Wenn in dem Schritt S321 festgestellt wird, daß das interessierende Pixel in dem Vollbild #n gleich 1 ist, geht der Prozeß weiter zu dem Schritt S323. In dem Schritt S323 prüft die Bereichs-Entscheidungsstufe 342 des Zeitänderungsdetektors 303, ob das interessierende Pixel in dem in dem Vollbildspeicher 341 gespeicherten Vollbilds #n gleich 1 ist, und ob das korrespondierende Pixel in dem Vollbild #n – 1 gleich 0 ist. Wenn festgestellt wird, daß das interessierende Pixel in dem Vollbild #n gleich 1 ist und das korrespondierende Pixel in dem Vollbild #n – 1 gleich 0 ist, geht der Prozeß weiter zu dem Schritt S324. In dem Schritt S324 wird festgestellt, daß das interessierende Pixel in dem Vollbild #n zu dem verdeckten Hintergrundbereich gehört, und die Verarbeitung wird beendet.
  • Wenn in dem Schritt S323 festgestellt wird, daß das interessierende Pixel in dem Vollbild #n gleich 0 ist oder daß das korrespondierende Pixel in dem Vollbild #n – 1 gleich 1 ist, geht der Prozeß weiter zu dem Schritt S325. In dem Schritt S325 prüft die Bereichs-Entscheidungsstufe 342 des Zeitänderungsdetektors 303, ob das interessierende Pixel in dem in dem Vollbildspeicher 341 gespeicherten Vollbild #n gleich 1 ist und ob das korrespondierende Pixel in dem Vollbild #n + 1 gleich 0 ist. Wenn festgestellt wird, daß das interessierende Pixel in dem Vollbild #n gleich 1 ist und das korrespondierende Pixel in dem Vollbild #n + 1 gleich 0 ist, geht der Prozeß weiter zu dem Schritt S3026. In dem Schritt S326 wird festgestellt, daß das interessierende Pixel in dem Vollbild #n zu dem nicht verdeckten Hintergrundbereich gehört, und die Verarbeitung wird beendet.
  • Wenn in dem Schritt S325 festgestellt wird, daß das interessierende Pixel in dem Vollbild #n gleich 0 ist oder daß das korrespondierende Pixel in dem Vollbild #n + 1 gleich 1 ist, geht der Prozeß weiter zu dem Schritt S327. In dem Schritt S327 stellt die Bereichs-Entscheidungsstufe 342 des Zeitänderungsdetektors 303 fest, daß das interessierende Pixel in dem Vollbild #n zu dem Vordergrundbereich gehört, und die Verarbeitung wird beendet.
  • Wie oben erläutert wurde, ist die Bereichsspezifizierungseinheit 103 in der Lage, auf der Basis des Korrelationswerts zwischen dem Eingangsbild und dem entsprechenden Hintergrundbild zu spezifizieren, ob die einzelnen Pixel des Eingangsbilds zu dem Vordergrundbereich, dem Hintergrundbereich, dem verdeckten Hintergrundbereich oder dem nicht verdeckten Hintergrundbereich gehören, und sie erzeugt eine Bereichsinformation, die dem spezifizierten Ergebnis entspricht.
  • 43 zeigt ein Blockdiagramm einer anderen Konfiguration der Bereichsspezifizierungseinheit 103. Die Bereichsspezifizierungseinheit 103 benutzt einen Bewegungsvektor und eine Positionsinformation für denselben, die von dem Bewegungsdetektor 102 geliefert werden. Gleiche Elemente wie in 31 sind mit den gleichen Bezugszeichen versehen wie dort und werden nicht erneut erläutert.
  • Eine robuste Verarbeitungsstufe 361 erzeugt ein robustes binäres Objektbild auf der Basis der Objektbilder von N Vollbildern, die von der binären Objektbild-Extrahierstufe 302 zugeführt werden, und gibt das robuste binäre Objektbild an den Zeitänderungsdetektor 303 aus.
  • 44 zeigt ein Blockdiagramm der Konfiguration der robusten Verarbeitungsstufe 361. Ein Bewegungskompensator 381 kompensiert die Bewegung der binären Objektbilder von N Vollbildern auf der Basis des Bewegungsvektors und von dessen Positionsinformation, die von dem Bewegungsdetektor 102 geliefert werden, und gibt ein bewegungskompensiertes binäres Objektbild an einen Schalter 382 aus.
  • Anhand von Beispielen, die in 45 und 46 dargestellt sind, wird die von dem Bewegungskompensator 381 durchgeführte Bewegungskompensation erläutert. Es sei angenommen, daß z.B. der Bereich in dem Vollbild #n verarbeitet werden soll. Wenn binäre Objektbilder des Vollbilds #n – 1, des Vollbilds #n und des Vollbilds #n + 1, die in 45 dargestellt sind, zugeführt werden, kompensiert der Bewegungskompensator 381 die Bewegung des binären Objektbilds des Vollbilds #n – 1 und des binären Objektbilds des Vollbilds #n + 1, wie dies durch das in 46 dargestellte Beispiel angedeutet ist, auf der Basis des von dem Bewegungsdetektor 102 gelieferten Bewegungsvektors und liefert die bewegungskompensierten binären Objektbilder an den Schalter 382.
  • Der Schalter 382 liefert das bewegungskompensierte binäre Objektbild des ersten Vollbilds an einen Vollbildspeicher 383-1 und das bewegungskompensierte binäre Objektbild des zweiten Vollbilds an einen Vollbildspeicher 383-2. In ähnlicher Weise liefert der Schalter 382 das bewegungskompensierte binäre Objektbild des dritten bis (N – 1)-ten Vollbilds an entsprechende Vollbildspeicher 382-3 bis 383-(N – 1), und liefert das bewegungskompensierte binäre Objektbild des N-ten Vollbilds an einen Vollbildspeicher 383-N.
  • Der Vollbildspeicher 383-1 speichert das bewegungskompensierte binäre Objektbild des ersten Vollbilds und gibt das gespeicherte binäre Objektbild an eine Gewichtungsschaltung 384-1 aus. Der Vollbildspeicher 383-2 speichert das bewegungskompensierte binäre Objektbild des zweiten Vollbilds und gibt das gespeicherte binäre Objektbild an eine Gewichtungsschaltung 384-2 aus.
  • In ähnlicher Weise speichern die Vollbildspeicher 383-3 bis 383-(N – 1) die bewegungskompensierten binären Objektbilder des dritten bis (N – 1)-ten Vollbilds und geben die gespeicherten binären Objektbilder an Gewichtungsschaltungen 384-3 bis 384-(N – 1) aus. Der Vollbildspeicher 383-N speichert das bewegungskompensierte binäre Objektbild des N-ten Vollbilds und gibt das gespeicherte binäre Objektbild an eine Gewichtungsstufe 384-N aus.
  • Die Gewichtungsstufe 384-1 multipliziert den Pixelwert des bewegungskompensierten binären Objektbilds des aus dem Vollbildspeicher 383-1 zugeführten ersten Vollbilds mit einem vorbestimmten Gewicht w1 und liefert ein gewichtetes Objektbild an einen Akkumulator 385. Die Gewichtungsstufe 384-2 multipliziert den Pixelwert des bewegungskompensierten binären Objektbilds des aus dem Vollbildspeicher 383-2 zugeführten zweiten Vollbilds mit einem vorbestimmten Gewicht w2 und liefert das gewichtete binäre Objektbild an den Akkumulator 385.
  • In ähnlicher Weise multiplizieren die Gewichtungsschaltungen 384-3 bis 384-(N – 1) die Pixelwerte der bewegungskompensierten binären Objektbilder des dritten bis (N – 1)-ten Vollbilds, die von den jeweiligen Vollbildspeichern 383-3 bis 383-(N – 1) zugeführt werden, mit vorbestimmten Gewichten w3 bis w(N – 1) und liefern die gewichteten binären Objektbilder an den Akkumulator 385. Die Gewichtungsstufe 384-N multipliziert den Pixelwert des bewegungskompensierten binären Objektbilds des aus dem Vollbildspeicher 383-N zugeführten N-ten Vollbilds mit einem vorbestimmten Gewicht wN und liefert das gewichtete binäre Objektbild an den Akkumulator 385.
  • Der Akkumulator 385 akkumuliert die Pixelwerte der bewegungskompensierten binären Objektbilder, die mit den Gewichten w1 bis wN des ersten bis N-ten Vollbilds multipliziert sind, und vergleicht den akkumulierten Pixelwert mit dem vorbestimmten Schwellwert th0, um dadurch das binäre Objektbild zu erzeugen.
  • Wie oben erläutert wurde, erzeugt die robuste Verarbeitungsstufe 361 ein robustes binäres Objektbild aus N binären Objektbildern und liefert es an den Zeitänderungsdetektor 303. Deshalb ist die Bereichsspezifizierungseinheit 103 mit der in 43 dargestellten Konfiguration in der Lage, den Bereich präziser zu spezifizieren als die Anordnung von 31, selbst wenn in dem Eingangsbild Rauschen enthalten ist.
  • Im folgenden wird anhand des Flußdiagramms von 47 die Prozedur zur Bereichsspezifizierung beschrieben, die von der Bereichsspezifizierungseinheit 103 mit der in 43 dargestellten Konfiguration durchgeführt wird. Die Prozeduren in den Schritten S341 bis S343 sind ähnlich wie die Schritte S301 bis S303, die oben anhand des Flußdiagramms von 41 erläutert wurden, so daß auf ihre Beschreibung hier verzichtet werden kann.
  • In dem Schritt S344 führt die robuste Verarbeitungsstufe 361 die robuste Verarbeitung durch.
  • In dem Schritt S345 führt der Zeitänderungsdetektor 303 die Prozedur zur BereichsEntscheidung durch, und die Verarbeitung wird beendet. Die Details der Verarbeitung in dem Schritt S345 sind ähnlich wie diejenigen der oben anhand des Flußdiagramms von 42 erläuterte Verarbeitung, so daß ihre Erläuterung hier entfallen kann.
  • Im folgenden werden anhand des Flußdiagramms von 48 Details der robusten Verarbeitung beschrieben, die der Verarbeitung in dem Schritt S344 von 47 entsprechen. In dem Schritt S361 führt der Bewegungskompensator 381 die Bewegungskompensation eines binären Eingangsobjektbilds auf der Basis des Bewegungsvektors und von dessen Positionsinformation durch, die aus dem Bewegungsdetektor 102 zugeführt werden. In dem Schritt S362 speichert einer der Vollbildspeicher 383-1 bis 383-N das entsprechende bewegungskompensierte binäre Objektbild, das über den Schalter 382 zugeführt wird.
  • In dem Schritt S363 prüft die robuste Verarbeitungsstufe 361, ob N binäre Objektbilder gespeichert sind. Wenn festgestellt wird, daß noch nicht N binäre Objektbilder gespeichert sind, kehrt der Prozeß zu dem Schritt S361 zurück, und die Bewegungskompensation des binären Objektbilds und die Speicherung des binären Objektbilds werden wiederholt.
  • Wenn in dem Schritt S363 festgestellt wird, daß N binäre Objektbilder gespeichert sind, geht der Prozeß weiter zu dem Schritt S364, in dem eine Gewichtung durchgeführt wird. In dem Schritt S364 multiplizieren die Gewichtungsschaltungen 384-1 bis 384-N die entsprechenden N binären Objektbilder mit den Gewichten w1 bis wN.
  • In dem Schritt S365 akkumuliert der Akkumulator 385 die N gewichteten binären Objektbilder.
  • In dem Schritt S366 erzeugt der Akkumulator 385 ein binäres Objektbild aus den akkumulierten Bildern, indem er z.B. den akkumulierten Wert mit einem vorgegebenen Schwellwert th1 vergleicht, und die Verarbeitung wird beendet.
  • Wie oben erläutert wurde, kann die Bereichsspezifizierungseinheit 103 mit der in 43 dargestellten Konfiguration auf der Basis des robusten binären Objektbilds eine Bereichsinformation erzeugen.
  • Wie die vorangehende Beschreibung zeigt, kann die Bereichsspezifizierungseinheit 103 eine Bereichsinformation erzeugen, die anzeigt, ob die einzelnen Pixel, die in einem Vollbild enthalten sind, zu dem bewegten Bereich, dem stationären Bereich, dem nicht verdeckten Hintergrundbereich oder dem verdeckten Hintergrundbereich gehören.
  • 49 zeigt ein Blockdiagramm der Konfiguration des Mischungsverhältnis-Rechners 104. Ein Mischungsverhältnis-Schätzwert-Prozessor 401 berechnet für jedes Pixel einen Mischungsverhältnis-Schätzwert, indem er auf der Basis des Eingangsbilds ein Modell eines verdeckten Hintergrundbereichs berechnet, und liefert den berechneten Mischungsverhältnis-Schätzwert an eine Mischungsverhältnis-Entscheidungsstufe 403.
  • Ein Mischungsverhältnis-Schätzwert-Prozessor 402 berechnet für jedes Pixel einen Mischungsverhaltnis-Schätzwert, indem er auf der Basis des Eingangsbilds ein Modell eines nicht verdeckten Hintergrundbereichs berechnet, und liefert den berechneten Mischungsverhältnis-Schätzwert an die Mischungsverhältnis-Entscheidungsstufe 403.
  • Da davon ausgegangen werden kann, daß das dem Vordergrund entsprechende Objekt sich innerhalb der Verschlußzeit mit konstanter Geschwindigkeit bewegt, hat das Mischungsverhältnis α der zu einem gemischten Bereich gehörenden Pixel die folgenden Eigenschaften. Das heißt, das Mischungsverhältnis α ändert sich linear entsprechend der Positionsänderung in den Pixeln. Wenn die Positionsänderung in den Pixeln eindimensional ist, kann die Änderung des Mischungsverhältnisses α linear dargestellt werden. Wenn die Positionsänderung in den Pixeln zweidimensional ist, kann die Änderung des Mischungsverhältnisses α auf einer Ebene dargestellt werden.
  • Da die Periode eines Vollbilds kurz ist, kann man davon ausgehen, daß das dem Vordergrund entsprechende Objekt ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt.
  • Der Gradient des Mischungsverhältnisses α ist innerhalb der Verschlußzeit des Vordergrunds der Bewegungsgröße v umgekehrt proportional.
  • 50 zeigt ein Beispiel für das ideale Mischungsverhältnis α. Der Gradient 1 des idealen Mischungsverhältnisses α in dem gemischten Bereich kann durch den Kehrwert der Bewegungsgröße v dargestellt werden.
  • Wie 50 zeigt, hat das ideale Mischungsverhältnis in dem Hintergrundbereich den Wert 1, in dem Vordergrundbereich den Wert 0 und ist in dem gemischten Bereich größer als 0 und kleiner als 1.
  • In dem Beispiel von 51 kann der Pixelwert C06 des siebten Pixels von links in dem Vollbild #n durch die Gleichung (8) angegeben werden, indem der Pixelwert P06 des siebten Pixels von links in dem Vollbild #n – 1 benutzt wird.
  • Figure 00550001
  • In der Gleichung (8) wird der Pixelwert C06 durch einen Pixelwert M des Pixels in dem gemischten Bereich angegeben, während der Pixelwert P06 durch einen Pixelwert B des Pixels in dem Hintergrundbereich angegeben wird. Das heißt, der Pixelwert M des Pixels in dem gemischten Bereich und der Pixelwert B des Pixels in dem Hintergrundbereich können durch die folgenden Gleichungen (9) bzw. (10) dargestellt werden M = C06 (9) B = P06 (10)
  • In der Gleichung (8) entspricht 2/v dem Mischungsverhältnis α. Da die Bewegungsgröße v gleich 4 ist, ist das Mischungsverhältnis α des siebten Pixels von links in dem Vollbild #n gleich 0,5.
  • Wie oben diskutiert wurde, wird der interessierende Pixelwert C in dem Vollbild #n als der Pixelwert in dem gemischten Bereich betrachtet, während der Pixelwert P des Vollbilds #n – 1 vor dem Vollbild #n als der Pixelwert in dem Hintergrundbereich betrachtet wird.
  • Deshalb kann die Gleichung 13), die das Mischungsverhältnis α angibt, durch die Gleichung (11) dargestellt werden: C = α·P + f (11)wobei f in der Gleichung (11) die Summe der Vordergrundkomponenten Σi Fi/v bedeutet, die in den interessierenden Pixeln enthalten sind. Die Variablen in der Gleichung (11) sind zwei Faktoren, nämlich das Mischungsverhältnis α und die Summe f der Vordergrundkomponenten.
  • 52 zeigt ein Modell, das gewonnen wird, indem die Pixelwerte in zeitlicher Richtung expandiert werden, in denen die Bewegungsgröße gleich 4 und die Zahl der virtuellen Teilabschnitte in einem nicht verdeckten Hintergrundbereich gleich 4 ist.
  • Wie in der Darstellung des verdeckten Hintergrundbereichs wird auch in dem nicht verdeckten Hintergrundbereich der interessierende Pixelwert C des Vollbilds #n als Pixelwert in dem gemischten Bereich betrachtet, während der Pixelwert N des auf das Vollbild #n folgenden Vollbilds #n + 1 als Hintergrundbereich betrachtet wird. Deshalb kann die Gleichung (3), die das Mischungsverhältnis α angibt, durch die Gleichung (12) dargestellt werden: C = α·N + f (12)
  • Bei der Beschreibung des Ausführungsbeispiels wurde angenommen, daß das Hintergrundobjekt stationär ist. Die Gleichungen (8) bis (12) können jedoch auch angewendet werden, wenn sich das Hintergrundobjekt bewegt, indem der Pixelwert eines Pixels benutzt wird, das entsprechend der Bewegungsgröße v des Hintergrunds lokalisiert ist. In der Darstellung von 51 ist z.B. angenommen, daß die Bewegungsgröße v des dem Hintergrund entsprechenden Objekts gleich 2 ist und daß die Zahl der virtuellen Teilabschnitte gleich 2 ist. Wenn das Objekt, das dem Hintergrund entspricht, sich in diesem Fall in 49 nach rechts bewegt, wird der Pixelwert B des Pixel in dem Hintergrundbereich in der Gleichung (10) durch einen Pixelwert P04 dargestellt.
  • Da die Gleichungen (11) und (12) jeweils zwei Variable enthalten, kann das Mischungsverhältnis α nicht bestimmt werden, ohne die Gleichungen zu modifizieren. Im allgemeinen hat ein Bild eine große räumliche Korrelation, so daß Pixel, die einander eng benachbart sind, fast die gleichen Pixelwerte haben.
  • Da die Vordergrundkomponenten eine große räumliche Korrelation haben, wird die Gleichung so modifiziert, daß die Summe f der Vordergrundkomponenten aus dem vorhergehenden oder dem nachfolgenden Vollbild abgeleitet werden kann und dadurch das Mischungsverhältnis α bestimmt wird.
  • Der Pixelwert Mc des siebten Pixels von links in dem Vollbild #n in 53 kann durch die Gleichung (13) ausgedrückt werden:
    Figure 00560001
  • Der erste Term 2/v auf der rechten Seite von Gleichung (13) entspricht dem Mischungsverhältnis α. Der zweite Term der rechten Seite in der Gleichung (13) kann durch die Gleichung (14) ausgedrückt werden, indem der Pixelwert in dem nachfolgenden Vollbild #n + 1 benutzt wird.
  • Figure 00560002
  • Es wird nun angenommen, daß die folgende Gleichung (15) gilt, die sich die räumliche Korrelation der Vordergrundkomponente zunutze macht. F = F05 = F06 = F07 = F08 = F09 = F10 = F11 = F12 (15)
  • Die Gleichung (14) kann durch die Benutzung der Gleichung (15) in die Gleichung (16) modifiziert werden.
  • Figure 00570001
  • Als Ergebnis kann α durch die Gleichung (17) ausgedrückt werden. α = 2/4 (17)
  • Wenn angenommen wird, daß die Vordergrundkomponenten in dem gemischten Bereich gleich sind, wie dies durch die Gleichung (15) angegeben ist, kann die Gleichung (18) wegen des internen Verhältnisses für alle Pixel in dem gemischten Bereich gelten. α = 1 – α (18)
  • Wenn die Gleichung (18) gilt, kann die Gleichung (11) in die Gleichung (19) entwickelt werden.
  • Figure 00570002
  • Ähnlich kann die Gleichung (12) in die Gleichung (20) entwickelt werden, falls die Gleichung (18) gilt.
  • Figure 00570003
  • Da C, N und P in den Gleichungen (19) und (20) bekannte Pixelwerte sind, ist das Mischungsverhältnis α die einzige Variable in den Gleichungen (19) und (20). Die Beziehung zwischen C, N und P nach den Gleichungen (19) und (20) ist in 54 dargestellt. C ist der Pixelwert des interessierenden Pixels in dem Vollbild #n, für den das Mischungsverhältnis α berechnet wird. N ist der Pixelwert des Pixels in dem Vollbild #n + 1, das an der Position liegt, die dem interessierenden Pixel räumlich entspricht. P ist der Pixelwert des Pixels in dem Vollbild #n – 1, das an der Position liegt, die dem interessierenden Pixel räumlich entspricht.
  • Da in jeder der Gleichungen (19) und (20) eine Variable enthalten ist, wird das Mischungsverhältnis α unter Benutzung der Pixel in den drei Vollbildern berechnet. Die Bedingung zur Lösung des korrekten Mischungsverhältnisses α durch Auflösen der Gleichungen (19) und (20) ist folgende. In dem Bildobjekt mit den gleichen Vordergrundkomponenten in dem gemischten Bereich, d.h. in dem Bildobjekt des Vordergrunds, das erfaßt wird, wenn das Vordergrundobjekt stationär ist, müssen die Pixelwerte der aufeinanderfolgenden Pixel, die sich an der der Bewegungsrichtung des Vordergrundobjekts entsprechenden Grenze des Bildobjekts befinden, konstant sein, wobei die Zahl der Pixel doppelt so groß ist wie die Bewegungsgröße.
  • Wie oben diskutiert wurde wird das Mischungsverhältnis α der Pixel, die zu dem verdeckten Hintergrund gehören, durch die Gleichung (21) berechnet, und das Mischungsverhältnis α der Pixel, die zu dem nicht verdeckten Hintergrundbereich gehören, wird durch die Gleichung (22) berechnet. α = (C – N)/(P – N) (21) α = (C – P)/(N – P) (22)
  • 55 zeigt ein Blockdiagramm der Konfiguration des Mischungsverhältnis-Schätzwert-Prozessors 401. Ein Vollbildspeicher 421 speichert ein Eingangsbild in Einheiten von Vollbildern und liefert das Vollbild, das auf das Vollbild folgt, das als Eingangsbild zugeführt wird, an einen Vollbildspeicher 422 und einen Mischungsverhältnis-Rechner 423.
  • Der Vollbildspeicher 422 speichert ein Eingangsbild in Einheiten von Vollbildern und liefert das Vollbild, das auf das von dem Vollbildspeicher 421 gelieferte Vollbild folgt, an den Mischungsverhältnis-Rechner 423.
  • Wenn also das Vollbild #n + 1 dem Mischungsverhältnis-Rechner 423 als Eingangsbild zugeführt wird, liefert der Vollbildspeicher 421 das Vollbild #n an den Mischungsverhältnis-Rechner 423, und der Vollbildspeicher 422 liefert das Vollbild #n – 1 an den Mischungsverhältnis-Rechner 423.
  • Der Mischungsverhältnis-Rechner 423 berechnet den interessierenden Mischungsverhältnis-Schätzwert durch Lösen der Gleichung (21) auf der Basis des Pixelwerts C des interessierenden Pixels in dem Vollbild #n, des Pixelwerts N des Pixels in dem Vollbild #n + 1, das an der der Position des interessierenden Pixels entsprechenden Position liegt, und des Pixelwerts P des Pixel in dem Vollbild #n – 1, das an der Position des interessierenden Pixels entsprechenden Position liegt, und gibt den berechneten Mischungsverhältnis-Schätzwert aus. Wenn der Hintergrund z.B. stationär ist, berechnet der Mischungsverhältnis-Rechner 423 den Mischungsverhältnis-Schätzwert des interessierenden Pixels auf der Basis des Pixelwerts C des interessierenden Pixels in dem Vollbild #n, des Pixelwerts N des Pixels in dem Vollbild #n + 1, das an der gleichen Position liegt wie das interessierende Pixel, und des Pixelwerts P des Pixels in dem Vollbild #n – 1, das an der gleichen Position liegt wie das interessierende Pixel, und gibt den berechneten Mischungsverhältnis-Schätzwert aus.
  • Auf diese Weise berechnet der Mischungsverhältnis-Schätzwert-Prozessor 401 den Mischungsverhaltnis-Schätzwert auf der Basis des Eingangsbilds und liefert diesen an die Mischungsverhältnis-Entscheidungsstufe 403.
  • Der Mischungsverhältnis-Schätzwert-Prozessor 401 berechnet den Mischungsverhältnis-Schätzwert des interessierenden Pixels durch Lösen der Gleichung (21). Die Arbeitsweise des Mischungsverhältnis-Schätzwert-Prozessors 402 gleicht derjenigen des Mischungsverhältnis-Schätzwert-Prozessors 401 mit dem Unterschied, daß der Mischungsverhältnis-Schätzwert-Prozessor 402 durch Lösen der Gleichung (22) einen anderen Mischungsverhältnis-Schätzwert des interessierenden Pixels berechnet. Eine spezielle Erläuterung des Mischungsverhältnis-Schätzwert-Prozessors 402 kann deshalb entfallen.
  • 56 zeigt ein Beispiel des von dem Mischungsverhältnis-Schätzwert-Prozessor 401 berechneten Mischungsverhältnis-Schätzwerts. Der in 56 dargestellte Mischungsverhältnis-Schätzwert ist das durch eine Linie repräsentierte Ergebnis, das man erhält, wenn die Bewegungsgröße v des Vordergrundobjekts, das sich mit konstanter Geschwindigkeit bewegt, gleich 11 ist.
  • Man sieht, daß sich der Mischungsverhältnis-Schätzwert in dem gemischten Bereich fast linear ändert, wie dies in 50 dargestellt ist.
  • Es sei noch einmal auf 49 Bezug genommen. Die Mischungsverhältnis-Entscheidungsstufe 403 setzt das Mischungsverhältnis α auf der Basis der Bereichsinformation, die von der Bereichsspezifizierungseinheit 103 geliefert wird und die anzeigt, ob das Pixel, für das das Mischungsverhältnis α zu berechnen ist, zu dem Vordergrundbereich, dem Hintergrundbereich, dem verdeckten Hintergrund bereich oder dem nicht verdeckten Hintergrundbereich gehört. Die Mischungsverhältnis-Entscheidungsstufe 403 setzt das Mischungsverhältnis α auf 0, wenn das entsprechende Pixel zu dem Vordergrundbereich gehört, und setzt das Mischungsverhältnis α auf 1, wenn das entsprechende Pixel zu dem Hintergrundbereich gehört. Wenn das entsprechende Pixel zu dem verdeckten Hintergrundbereich gehört, setzt die Mischungsverhältnis-Entscheidungsstufe 403 das Mischungsverhältnis α auf den von dem Mischungsverhältnis-Schätzwert-Prozessor 401 gelieferten Mischungsverhältnis-Schätzwert. Wenn das entsprechende Pixel zu dem nicht verdeckten Hintergrundbereich gehört, setzt die Mischungsverhältnis-Entscheidungsstufe 403 das Mischungsverhältnis α auf den von dem Mischungsverhältnis-Schätzwert-Prozessor 402 gelieferten Mischungsverhältnis-Schätzwert. Die Mischungsverhältnis-Entscheidungsstufe 403 gibt das Mischungsverhältnis α aus, das auf der Basis der Bereichsinformation gesetzt wurde.
  • 57 zeigt ein Blockdiagramm einer anderen Konfiguration des Mischungsverhältnis-Rechners 104. Ein Wähler 441 liefert auf der Basis der von der Bereichsspezifizierungseinheit 103 zugeführten Bereichsinformation ein Pixel, das zu dem verdeckten Hintergrundbereich gehört und die korrespondierenden Pixel in dem vorhergehenden und dem nachfolgenden Vollbild an einen Mischungsverhältnis-Schätzwert-Prozessor 442. Der Wähler 441 liefert auf der Basis der von der Bereichsspezifizierungseinheit 103 zugeführten Bereichsinformation ein Pixel, das zu dem nicht verdeckten Hintergrundbereich gehört, und die korrespondierenden Pixel in dem vorhergehenden und dem nachfolgenden Vollbild an einen Mischungsverhältnis-Schätzwert-Prozessor 443.
  • Der Mischungsverhältnis-Schätzwert-Prozessor 442 berechnet den Mischungsverhältnis-Schätzwert des interessierenden Pixels, das zu dem verdeckten Hintergrundbereich gehört, entsprechend der Gleichung (21) auf der Basis der Pixelwerte, die von dem Wähler 441 zugeführt werden, und liefert den berechneten Mischungsverhältnis-Schätzwert an einen Wähler 444.
  • Der Mischungsverhältnis-Schätzwert-Prozessor 443 berechnet den Mischungsverhältnis-Schätzwert des interessierenden Pixels, das zu dem nicht verdeckten Hintergrundbereich gehört, nach der Gleichung (22) auf der Basis der Pixelwerte, die aus dem Wähler 441 zugeführt werden, und liefert den berechneten Mischungsverhältnis-Schätzwert an den Wähler 444.
  • Wenn das interessierende Pixel zu dem Vordergrundbereich gehört, wählt der Wähler 444 auf der Basis der aus der Bereichsspezifizierungseinheit 103 zugeführten Bereichsinformation den Mischungsverhältnis-Schätzwert 0 aus und setzt diesen als Mischungsverhältnis α. Wenn das interessierende Pixel zu dem Hintergrundbereich gehört, wählt er den Mischungsverhältnis-Schätzwert 1 aus und setzt diesen als Mischungsverhältnis α. Wenn das interessierende Pixel zu dem verdeckten Hintergrund bereich gehört, wählt der Wähler 444 den von dem Mischungsverhältnis-Schätzwert-Prozessor 442 zugeführten Mischungsverhältnis-Schätzwert aus und setzt diesen als Mischungsverhältnis α. Wenn das interessierende Pixel zu dem nicht verdeckten Hintergrundbereich gehört, wählt der Wähler 444 den von dem Mischungsverhältnis-Schätzwert-Prozessor 443 zugeführten Mischungsverhältnis-Schätzwert aus und setzt diesen als Mischungsverhältnis α. Der Wähler 444 gibt dann dasjenige Mischungsverhältnis α aus, das auf der Basis der Bereichsinformation ausgewählt und gesetzt wurde.
  • Wie oben erwähnt wurde, kann der Mischungsverhältnis-Rechner 104 mit der in 57 dargestellten Konfiguration das Mischungsverhältnis α für jedes in dem Bild enthaltene Pixel berechnen und das berechnete Mischungsverhältnis α ausgeben.
  • Im folgenden wird anhand des Flußdiagramms von 58 die Berechnung des Mischungsverhältnisses α erläutert, die von dem Mischungsverhältnis-Rechner 104 mit der in 49 dargestellten Konfiguration ausgeführt wird. In dem Schritt S401 gewinnt der Mischungsverhältnis-Rechner 104 die von der Bereichsspezifizierungseinheit 103 gelieferte Bereichsinformation. In dem Schritt S402 führt der Mischungsverhältnis-Schätzwert-Prozessor 401 die Prozedur zum Schätzen des Mischungsverhältnisses durch, wobei er ein einem verdeckten Hintergrundbereich entsprechendes Modell benutzt, und liefert den Mischungsverhältnis-Schätzwert an die Mischungsverhältnis-Entscheidungsstufe 403. Einzelheiten der Prozedur zum Schätzen des Mischungsverhältnisses werden weiter unten unter Bezugnahme auf das Flußdiagramm von 59 erläutert.
  • In dem Schritt S403 führt der Mischungsverhältnis-Schätzwert-Prozessor 402 die Prozedur zum Schätzen des Mischungsverhältnisses durch, wobei er ein einem nicht verdeckten Hintergrundbereich entsprechendes Modell benutzt und liefert den Mischungsverhältnis-Schätzwert an die Mischungsverhältnis-Entscheidungsstufe 403.
  • In dem Schritt S404 prüft der Mischungsverhältnis-Rechner 104, ob die Mischungsverhältnisse für das ganze Vollbild geschätzt wurden. Wenn festgestellt wird, daß die Mischungsverhältnisse noch nicht für das ganze Vollbild geschätzt wurden, kehrt der Prozeß zu dem Schritt S402 zurück, und die Prozedur zum Schätzen des Mischungsverhältnisses wird für das folgende Pixel ausgeführt.
  • Wenn in dem Schritt S404 festgestellt wird, daß die Mischungsverhältnisse für das ganze Vollbild geschätzt wurden, geht der Prozeß weiter zu dem Schritt S405. In dem Schritt S405 setzt die Mischungsverhältnis-Entscheidungsstufe 403 das Mischungsverhältnis auf der Basis der Bereichsinformation, die aus der Bereichsspezifizierungseinheit 103 zugeführt wird und anzeigt, ob das Pixel, für das das Mischungsverhältnis α zu berechnen ist, zu dem Vordergrundbereich, dem Hintergrund bereich, dem verdeckten Hintergrundbereich oder dem nicht verdeckten Hintergrundbereich gehört. Die Mischungsverhältnis-Entscheidungsstufe 403 setzt das Mischungsverhältnis α auf 0, wenn das entsprechende Pixel zu dem Vordergrundbereich gehört, sie setzt das Mischungsverhältnis α auf 1, wenn das entsprechende Pixel zu dem Hintergrundbereich gehört. Wenn das entsprechende Pixel zu dem verdeckten Hintergrundbereich gehört, setzt die Mischungsverhältnis-Entscheidungsstufe 403 den von dem Mischungsverhältnis-Schätzwert-Prozessor 401 gelieferten Mischungsverhältnis-Schätzwert als Mischungsverhältnis α. Wenn das entsprechende Pixel zu dem nicht verdeckten Hintergrundbereich gehört, setzt die Mischungsverhältnis-Entscheidungsstufe 403 den von dem Mischungsverhältnis-Schätzwert-Prozessor 402 gelieferten Mischungsverhältnis-Schätzwert als Mischungsverhältnis α. Die Verarbeitung ist dann beendet.
  • Wie oben erläutert wurde, kann der Mischungsverhältnis-Rechner 104 auf der Basis der von der Bereichsspezifizierungseinheit 103 gelieferten Bereichsinformation und des Eingangsbilds das Mischungsverhältnis α berechnen, das eine den einzelnen Pixeln entsprechende Merkmalsgröße angibt.
  • Die Verarbeitung für die Berechnung des Mischungsverhältnisses α durch den Mischungsverhältnis-Rechner 104 mit der in 57 dargestellten Konfiguration ist ähnlich, wie sie anhand des Flußdiagramms von 58 beschrieben wurde, so daß ihre Erläuterung hier entfallen kann.
  • Im folgenden wird anhand des Flußdiagramms von 59 die Prozedur zum Schätzen des Mischungsverhältnisses in dem Schritt S402 von 58 beschrieben, wobei ein dem verdeckten Hintergrundbereich entsprechendes Modell benutzt wird.
  • In dem Schritt 421 gewinnt der Mischungsverhältnis-Rechner 423 aus dem Vollbildspeicher 421 den Pixelwert C des interessierenden Pixels in dem Vollbild #n.
  • In dem Schritt S422 gewinnt der Mischungsverhältnis-Rechner 423 aus dem Vollbildspeicher 422 den Pixelwert P des Pixels in dem Vollbild #n – 1, das dem in dem Eingangsbild enthaltenen interessierenden Pixel entspricht.
  • In dem Schritt S423 gewinnt der Mischungsverhältnis-Rechner 423 den Pixelwert N des Pixels in dem Vollbild #n + 1, das dem in dem Eingangsbild enthaltenen interessierenden Pixel entspricht.
  • In dem Schritt S424 berechnet der Mischungsverhältnis-Rechner 423 den Mischungsverhältnis-Schätzwert auf der Basis des Pixelwerts C des interessierenden Pixels in dem Vollbild #n, des Pixelwerts P des Pixels in dem Vollbild #n – 1 und des Pixelwerts N des Pixels in dem Vollbild #n + 1.
  • In dem Schritt S425 prüft der Mischungsverhältnis-Rechner 423, ob die Prozedur zur Berechnung des Mischungsverhältnis-Schätzwerts für das ganze Vollbild beendet ist. Wenn festgestellt wird, daß die Prozedur zur Berechnung des Mischungsverhältnis-Schätzwerts noch nicht für das ganze Vollbild beendet ist, kehrt der Prozeß zu dem Schritt S421 zurück und die Prozedur zur Berechnung des Mischungsverhältnis-Schätzwerts wird für das nächste Pixel wiederholt.
  • Wenn in dem Schritt S425 festgestellt wird, daß die Prozedur zur Berechnung des Mischungsverhältnis-Schätzwerts für das ganze Vollbild beendet ist, wird die Verarbeitung abgeschlossen.
  • Wie oben erwähnt wurde, kann der Mischungsverhältnis-Schätzwert-Prozessor 401 den Mischungsverhältnis-Schätzwert auf der Basis des Eingangsbilds berechnen.
  • Die Prozedur zum Schätzen des Mischungsverhältnisses, die unter Benutzung eines dem nicht verdeckten Hintergrundbereich entsprechenden Modells in dem Schritt S403 von 58 durchgeführt wird, gleicht der in dem Flußdiagramm von 59 dargestellten Verarbeitung, die unter Benutzung eines dem nicht verdeckten Hintergrundbereich entsprechenden Modells durchgeführt wird, so daß ihre Erläuterung hier entfallen kann.
  • Der Mischungsverhältnis-Schätzwert-Prozessor 442 und der Mischungsverhältnis-Schätzwert-Prozessor 443, die in 57 dargestellt sind, berechnen die Mischungsverhältnis-Schätzwerte, indem sie eine ähnliche wie die in dem Flußdiagramm von 59 dargestellte Verarbeitung durchführen, so daß ihre Erläuterung hier entfallen kann.
  • Bei der Beschreibung des Ausführungsbeispiels wurde angenommen, daß das dem Hintergrund entsprechende Objekt stationär ist. Die oben beschriebene Prozedur zur Bestimmung des Mischungsverhältnisses α kann jedoch auch dann angewendet werden, wenn das dem Hintergrundbereich entsprechende Bild Bewegung enthält. Wenn das dem Hintergrundbereich entsprechende Bild sich z.B. gleichförmig bewegt, verschiebt der Mischungsverhältnis-Schätzwert-Prozessor 401 das Gesamtbild nach Maßgabe der Bewegung des Hintergrunds und führt eine ähnliche Verarbeitung durch wie in dem Fall, in dem das dem Hintergrund entsprechende Objekt stationär ist. Wenn das dem Hintergrundbereich entsprechende Objekt lokal unterschiedliche Bewegungen enthält, wählt der Mischungsverhältnis-Schätzwert-Prozessor 401 die den Bewegungen entsprechenden Pixel als die korrespondierenden Pixel aus, die zu dem gemischten Bereich gehören, und führt die oben beschriebene Verarbeitung durch.
  • Der Mischungsverhältnis-Rechner 104 kann die Prozedur zum Schätzen des Mischungsverhältnisses für alle Pixel nur ausführen, indem er ein Modell benutzt, das dem verdeckten Hintergrundbereich entspricht, und gibt den berechneten Mischungsverhältnis-Schätzwert als das Mischungsverhältnis α aus. In diesem Fall bezeichnet das Mischungsverhältnis α das Verhältnis der Hintergrundkomponenten für die Hintergrundkomponenten der zu dem verdeckten Hintergrundbereich gehörenden Pixel, und das Verhältnis der Vordergrundkomponenten für die zu dem nicht verdeckten Hintergrundbereich gehörenden Pixel. Für die zu dem nicht verdeckten Hintergrundbereich gehörenden Pixel wird der Absolutwert der Differenz zwischen dem Mischungsverhältnis α und 1 berechnet, und der berechnete Absolutwert wird als das Mischungsverhältnis α gesetzt. Der Signalprozessor 12 kann dann das Mischungsverhältnis α bestimmen, das das Verhältnis der Hintergrundkomponenten für die zu dem nicht verdeckten Hintergrundbereich gehörenden Pixel angibt.
  • In ähnlicher Weise kann der Mischungsverhältnis-Rechner 104 die Prozedur zum Schätzen des Mischungsverhältnisses für alle Pixel nur ausführen, indem er ein dem nicht verdeckten Hintergrundbereich entsprechendes Modell benutzt, und den berechneten Mischungsverhältnis-Schätzwert als Mischungsverhältnis α ausgeben.
  • Im folgenden wird eine weitere von dem Mischungsverhältnis-Rechner 104 durchgeführte Prozedur beschrieben.
  • Das Mischungsverhältnis α ändert sich linear mit einer Änderung der Position der Pixel, weil das dem Vordergrund entsprechende Objekt sich mit konstanter Geschwindigkeit bewegt. Wenn man sich diese Eigenschaft zunutze macht, gilt eine Gleichung, in der das Mischungsverhältnis α und die Summe f der Vordergrundkomponenten in räumlicher Richtung approximiert werden. Durch die Benutzung mehrerer Sätze von Pixelwerten der zu dem gemischten Bereich gehörenden Pixel und der Pixelwerte der zu dem Hintergrundbereich gehörenden Pixel kann das Mischungsverhältnis α berechnet werden, indem man die Gleichungen löst, in denen das Mischungsverhältnis α und die Summe f der Vordergrundkomponenten approximiert werden.
  • Wenn die Änderung des Mischungsverhältnisses α als gerade Linie approximiert wird, kann das Mischungsverhältnis α durch die folgende Gleichung (23) ausgedrückt werden. α = il + p (23)
  • In der Gleichung (23) bezeichnet i den räumlichen Index, wenn die Position des interessierenden Pixels auf 0 gesetzt ist, 1 bezeichnet den Gradienten des geradlinigen Abschnitts des Mischungsverhältnisses α und bezeichnet auch das Mischungsverhältnis α des interessierenden Pixels. In der Gleichung (23) ist der Index i bekannt, während der Gradient 1 und der Achsenabschnitt p unbekannt sind.
  • Die Beziehung zwischen dem Index i, dem Gradienten 1 und dem Achsenabschnitt p ist in 60 dargestellt.
  • Durch Approximieren des Mischungsverhältnisses α wie in der Gleichung (23) können mehrere unterschiedliche Mischungsverhältnisse α für mehrere Pixel durch zwei Variable ausgedrückt werden. Bei dem in 60 dargestellten Beispiel werden die fünf Mischungsverhältnisse für fünf Pixel durch die beiden Variablen, d.h. den Gradienten 1 und den Achsenabschnitt p, ausgedrückt.
  • Wenn das Mischungsverhältnis α in der Ebene approximiert wird, wie dies in 61 dargestellt ist, wird die Gleichung (23) in die Ebene erweitert, indem die den beiden Richtungen, d.h. der horizontalen Richtung und der vertikalen Richtung des Bilds, entsprechende Bewegung v berücksichtigt wird, und das Mischungsverhältnis α kann durch die Gleichung (24) ausgedrückt werden. α = jm + kq + p (24)
  • In der Gleichung (24) ist j der Index in horizontaler Richtung, und k ist der Index in vertikaler Richtung, wenn die Position des interessierenden Pixels gleich 0 ist. In der Gleichung (24) bezeichnet m den horizontalen Gradienten des Mischungsverhältnisses α in der Ebene, und q bezeichnet den vertikalen Gradienten des Mischungsverhältnisses α in der Ebene. In der Gleichung (24) bezeichnet p den Achsenabschnitt des Mischungsverhältnisses α in der Ebene.
  • In dem in 51 dargestellten Vollbild #n gelten z.B. die Gleichungen (25) bis (27) für C05 bis C0. C05 = α05·B05/v + f05 (25) C06 = α06·B06/v + f06 (26) C07 = α07·B07/v + f07 (27)
  • Wenn man annimmt, daß die einander eng benachbarten Vordergrundkomponenten einander gleich sind, d.h. daß F01 bis F03 gleich sind, gilt die Gleichung (28), in der F01 bis F03 durch Fc ersetzt sind. f(x) = (1 – α(x))·Fc (28)
  • In der Gleichung (28) bezeichnet x die Position in räumlicher Richtung.
  • Wenn α(x) durch die Gleichung (24) ersetzt wird, kann die Gleichung (28) durch die folgende Gleichung (29) ausgedrückt werden. f(x) = (1 – (jm + kq + p))·Fc = j·(–m·Fc) + k·(–q·Fc) + ((1 – p)·Fc) = js + kt + u (29)
  • In der Gleichung (29) werden (–m·Fc), (–q·Fc) und (1 – p)·Fc ersetzt, wie dies durch die Gleichungen (30) bis (32) ausgedrückt ist. s = –m·Fc (30) t = –q·Fc (31) u = (1 – p)·Fc (32)
  • In der Gleichung (29) ist j der Index in horizontaler Richtung, und k ist der Index in vertikaler Richtung, wenn die Position des interessierenden Pixels gleich 0 ist.
  • Da davon ausgegangen werden kann, daß das dem Vordergrund entsprechende Objekt sich innerhalb der Verschlußperiode mit konstanter Geschwindigkeit bewegt, und daß die einander eng benachbarten Vordergrundkomponenten gleichförmig sind, kann die Summe der Vordergrundkomponenten durch die Gleichung (29) approximiert werden.
  • Wenn das Mischungsverhältnis α durch eine gerade Linie approximiert wird, kann die Summe der Vordergrundkomponenten durch die folgende Gleichung (33) ausgedrückt werden. f(x) = is + u (33)
  • Durch Substituieren des Mischungsverhältnisses α und der Summe der Vordergrundkomponenten in der Gleichung (13) unter Verwendung der Gleichungen (24) und (29) kann der Pixelwert M durch die folgende Gleichung (34) ausgedrückt werden. M = (jm + kq + p)·B + js + kt + u = jB·m + kB·q + B·p + j·s + k·t + u (34)
  • In der Gleichung (34) sind sechs Faktoren unbekannte Variable, wie z.B. der horizontale Gradient des Mischungsverhältnisses α in der Ebene, der vertikale Gradient q des Mischungsverhältnisses α in der Ebene und die Achsenabschnitte p, s, t und u des Mischungsverhältnisses α in der Ebene.
  • In der Gleichung (34) werden der Pixelwert M und der Pixelwert B entsprechend den Pixeln in der Nähe des interessierenden Pixels gesetzt, und dann werden mehrere Gleichungen, in die der Pixelwert M und der Pixelwert B eingesetzt sind, nach dem Verfahren der kleinsten Quadrate gelöst und dadurch das Mischungsverhältnis α berechnet.
  • Es sei nun angenommen, daß der horizontale Index j des interessierenden Pixels auf 0 gesetzt ist und der vertikale Index k des interessierenden Pixels auf 0 gesetzt ist. Wenn in diesem Fall der Pixelwert M oder der Pixelwert B in die Normalgleichung eingesetzt wird, die für 3×3 in der Nähe des interessierenden Pixels liegende Pixel durch die Gleichung (34) ausgedrückt wird, erhält man die Gleichungen M-1,-1 = (–1)·B-1,-1·m + (-1)·B-1,-1·q + B-1,-1·p + (–1)·s + (–1)·t + u (35) M0,-1 = (0)·B0,-1·m + (–1)·B0,-1·q + B0,-1·p + (0)·s + (–1)t + u (36) M+1,-1 = (+1)·B+1,-1·m + (–1)·B+1,-1·q + B+1,-1·p + (+1)·s + (–1)4 + u (37) M-1,0 = (–1)·B-1,0·m + (0)·B-1,0·q + B-1,0·p + (–1)·s + (0)·t + u (38) M0,0 = (0)·B0,0·m + (0)·B0,0·q + B0 , 0·p + (0)·s + (0)·t + u (39) M1,0 = (+1)·B+1,0·m + (0)·B+1 , 0·q + B+1 , 0·p + (+1)·s + (0)·t + u (40) M-1,+1 = (–1)·B-1,+1m + (+1)·B-1 + 1·q + B-1,+1·p + (–1)·s + (+1)·t + u (41) M0,+1 = (0)·B0+1·m + (+1)·B0,+1·q + B0,+1·p + (0)·s + (+1)·t + u (42) M+1,+1 = (+1)·B+1,+1·m + (+1)·B+1+1·q + B+1,+1·p + (+1)·s + (+1)·t + u (43)
  • Da der horizontale Index j des interessierenden Pixels gleich 0 ist und der vertikale Index k des interessierenden Pixels gleich 0 ist, ist das Mischungsverhältnis α des interessierenden Pixels gleich dem Wert, den man erhält, wenn in der Gleichung (24)j gleich 0 ist und k gleich 0 ist, d.h., das Mischungsverhältnis α ist gleich dem Achsenabschnitt p in der Gleichung (24).
  • Auf der Basis der neun Gleichungen (35) bis (43), werden also der horizontale Gradient m, der vertikale Gradient q und die Achsenabschnitte p, s, t und u nach dem Verfahren der kleinsten Quadrate berechnet, und der Achsenabschnitt p wird als das Mischungsverhältnis α ausgegeben.
  • Eine spezifische Prozedur zum Berechnen des Mischungsverhältnisses α durch die Anwendung des Verfahrens der kleinsten Quadrate ist folgende.
  • Wenn der Index i und der Index k durch einen einzigen Index x ausgedrückt werden, kann die Beziehung zwischen dem Index i, dem Index k und dem Index x durch die Gleichung (44) ausgedrückt werden. x = (j + 1)·3 + (k + 1) (44)
  • Es sei nun angenommen, daß der horizontale Gradient m, der vertikale Gradient q und die Achsenabschnitte p, s, t und u durch Variable w0, w1, w2, w3, w4 bzw. w5 ausgedrückt werden und jB, kB, B, j, k und 1 durch a0, a1, a2, a3, a4 bzw. a5 ausgedrückt werden. Unter Berücksichtigung des Fehlers ex können die Gleichungen (35) bis (43) in die Gleichung (45) modifiziert werden.
  • Figure 00680001
  • In der Gleichung (45) ist x eine der ganzen Zahlen von 0 bis 8.
  • Aus der Gleichung (45) läßt sich die Gleichung (46) ermitteln.
  • Figure 00680002
  • Da das Verfahren der kleinsten Quadrate angewendet wird, wird die Quadratsumme E des Fehlers definiert, wie dies in der folgenden Gleichung (47) ausgedrückt ist.
  • Figure 00680003
  • Um den Fehler zu minimieren, sollte der partielle Differentialquotient der Variablen Wv relativ zu der Quadratsumme E des Fehlers gleich 0 sein. v ist eine ganze Zahl von 0 bis 5. Auf diese Weise wird wy so bestimmt, daß die Gleichung (48) befriedigt ist.
  • Figure 00680004
  • Figure 00690001
  • Durch Substituieren der Gleichung (46) in die Gleichung (48) erhält man die Gleichung (49).
  • Figure 00690002
  • Auf die Normalgleichungen, die aus sechs Gleichungen bestehen, die durch Substituieren einer der ganzen Zahlen von 0 bis 5 in v in der Gleichung (49) gewonnen werden, wird z.B. das Ausräumverfahren (Gauß-Jordan-Eliminierung) angewendet und dadurch wy gewonnen. Wie oben erläutert wurde, ist w0 der horizontale Gradient m, w1 ist der vertikale Gradient q, w2 ist der Achsenabschnitt p, w3 ist s, w4 ist t und w5 ist u.
  • Wie oben erläutert wurde, lassen sich durch Anwenden des Verfahrens der kleinsten Quadrate auf die Gleichungen, in denen der Pixelwert M und der Pixelwert B gesetzt sind, der horizontale Gradient m, der vertikale Gradient q und die Achsenabschnitte p, s, t und u bestimmen.
  • Der Achsenabschnitt p ist das Mischungsverhältnis α, wenn die Indizes i und k gleich 0 sind, d.h. der Achsenabschnitt p liegt in der zentralen Position. Somit wird der Achsenabschnitt p ausgegeben.
  • Bei der Beschreibung der Gleichungen (35) bis (43) wurde angenommen, daß der Pixelwert des in dem gemischten Bereich enthaltenen Pixels gleich M und der Pixelwert des in dem Hintergrundbereich enthaltenen Pixels gleich B ist. In diesem Fall müssen Normalgleichungen für jeden der Fälle gesetzt werden, in denen das interessierende Pixel in dem verdeckten Hintergrundbereich enthalten ist oder das interessierende Pixel in dem nicht verdeckten Hintergrundbereich enthalten ist.
  • Wenn z.B. das Mischungsverhältnis α des Pixels bestimmt wird, das in dem in 51 dargestellten Vollbild #n in dem verdeckten Hintergrundbereich enthalten ist, werden C04 bis C08 der Pixel in dem Vollbild #n und die Pixelwerte P04 bis P08 der Pixel in dem Vollbild #n – 1 in die Normalgleichungen eingesetzt. Falls das Mischungsverhältnis α der Pixel bestimmt wird, die in dem in 52 dargestellten Vollbild #n in dem nicht verdeckten Hintergrundbereich enthalten sind, werden C28 bis C32 der Pixel in dem Vollbild #n und die Pixelwerte N28 bis N32 der Pixel in dem Vollbild #n + 1 in die Normalgleichungen eingesetzt.
  • Falls darüber hinaus z.B. das Mischungsverhältnis α des Pixels berechnet wird, das in dem in 62 dargestellten verdeckten Hintergrundbereich enthalten ist, werden die folgenden Gleichungen (50) bis (58) aufgestellt. Der Pixelwert des Pixels, für den das Mischungsverhältnis α berechnet wird, ist Mc5. Mc1 = (–1)·Bc1·m + (–1)·Bc1·q + Bc1·p + (–1)·s + (–1)·t + u (50) Mc2 = (0)·Bc2·m + (–1)·Bc2·q + Bc2·p + (0)·s + (-1)·t + u (51) Mc3 = (+1)·Bc3·m + (–1)·Bc3·q + Bc3·p + (+1)·s + (–1)·t + u (52) Mc4 = (–1)·Bc4·m + (0)Bc4·q + Bc4·p + (–1)·s + (0)·t + u (53) Mc5 = (0)·Bc5·m + (0)·Bc5·q + Bc5·p + (0)·s + (0)·t + u (54) Mc6 = (+1)·Bc6·m + (0)·Bc6·q + Bc6·p + (+1)·s + (0)·t + u (55) Mc7 = (–1)·Bc7·m + (+1)·Bc7·q + Bc7·p + (–1)·s + (+1)·t + u (56) Mc8 = (0)·Bc8·m + (+1)·Bc8·q + Bc8·p + (0)·s + (+1)·t + u (57) Mc9 = (+1)·Bc9·m + (+1)·Bc9·q + Bc9·p + (+1)·s +(+1)·t + u (58)
  • Wenn das Mischungsverhältnis α des Pixels berechnet wird, das in dem verdeckten Hintergrundbereich in dem Vollbild #n enthalten ist, werden in den Gleichungen (50) bis (28) die Pixelwerte Bc1 bis Bc9 der Pixel des Hintergrundbereichs in dem Vollbild #n – 1 benutzt, die den Pixeln in dem Vollbild #n entsprechen.
  • Wenn z.B. das Mischungsverhältnis α des Pixels berechnet wird, das in dem in 62 dargestellten nicht verdeckten Hintergrund, enthalten ist, werden die folgenden Gleichungen (59) bis (67) aufgestellt. Der Pixelwert des Pixels, für den das Mischungsverhältnis α berechnet wird, ist Mu5. Mu1 = (–1)·Bu1·m + (–1)·Bu1·q + Bu1·p + (–1)·s + (–1)·t + u (59) Mu2 = (0)·Bu2·m + (–1)·Bu2·q + Bu2·p + (0)·s + (–1)·t + u (60) Mu3 = (+1)·Bu3·m + (–1)·Bu3·q + Bu3·p + (+1)·s + (–1)·t + u (61) Mu4 = (–1)·Bu4·m + (0)Bu4·q + Bu4·p + (–1)·s + (0)·t + u (62) Mu5 = (0)·Bu5·m + (0)·Bu5·q + Bu5·p + (0)·s + (0)·t + ube (63) Mu6 = (+1)·Bu6·m + (0)·Bu6·q + Bu6·p + (+1)·s + (0)·t + u (64) Mu7 = (–1)·Bu7·m + (+1)·Bu7·q + Bu7·p + (–1)·s + (+1)·t + u (65) Mu8 = (0)·Bu8·m + (+1)·Bu8·q + Bu8·p + (0)·s + (+1)·t + u (66) Mu9 = (+1)·Bu9·m + (+1)·Bu9·q + Bu9·p + (+1)·s + (+1)·t + u (67)
  • Wenn das Mischungsverhältnis α des Pixels berechnet wird, das in dem Vollbild #n in dem nicht verdeckten Hintergrundbereich enthalten ist, werden in den Gleichungen (59) bis (67) die Pixelwerte Bu1 bis Bu9 der Pixel des Hintergrundbereichs in dem Vollbild #n + 1 benutzt, die den Pixeln in dem Vollbild #n entsprechen.
  • 63 zeigt ein Blockdiagramm der Konfiguration des Mischungsverhältnis-Schätzwert-Prozessors 401. Ein in den Mischungsverhältnis-Schätzwert-Prozessor 401 eingegebenes Bild wird einer Verzögerungsstufe 501 und einem Addierer 502 zugeführt.
  • Eine Verzögerungsschaltung 221 verzögert das Eingangsbild um ein Vollbild und liefert das Bild an den Addierer 502. Wenn dem Addierer 502 das als Eingangsbild Vollbild #n zugeführt wird, liefert die Verzögerungsschaltung 221 das Vollbild #n – 1 an den Addierer 502.
  • Der Addierer 502 setzt den Pixelwert des Pixels, das dem Pixel benachbart ist, für das Mischungsverhältnis α berechnet wird, und den Pixelwert des Vollbilds #n – 1 in die Normalgleichung ein. Der Addierer 502 setzt z.B. die Pixelwerte Mc1 bis Mc9 und die Pixelwerte Bc1 bis Bc9 auf der Basis der Gleichungen (50) bis (58) in die Normalgleichungen ein. Der Addierer 502 liefert die Normalgleichungen, in die die Pixelwerte eingesetzt sind, an einen Rechner 503.
  • Der Rechner 503 bestimmt den Mischungsverhältnis-Schätzwert durch Lösen der von dem Addierer 502 zugeführten Normalgleichungen, indem er z.B. ein αusräumverfahren anwendet, und gibt den ermittelten Mischungsverhältnis-Schätzwert aus.
  • Auf diese Weise kann der Mischungsverhältnis-Schätzwert-Prozessor 401 den Mischungsverhältnis-Schätzwert auf der Basis des Eingangsbilds berechnen und der Mischungsverhältnis-Entscheidungsstufe 403 zuführen.
  • Der Mischungsverhältnis-Schätzwert-Prozessor 402 ist ähnlich konfiguriert wie der Mischungsverhaltnis-Schätzwert-Prozessor 401 und wird deshalb nicht näher beschrieben.
  • 64 zeigt ein Beispiel für den von dem Mischungsverhältnis-Schätzwert-Prozessor 401 berechneten Mischungsverhältnis-Schätzwert. Der in 64 dargestellte Mischungsverhältnis-Schätzwert ist das durch eine Linie dargestellte Ergebnis, das durch die Berechnung mit Hilfe von Generierungsgleichungen in Einheiten von 7×7-Pixelblöcken gewonnen wird, wenn die Bewegung des Vordergrunds, die dem sich mit konstanter Geschwindigkeit bewegenden Objekt entspricht, gleich 11 ist.
  • Wie 50 zeigt, ändert sich der Mischungsverhältnis-Schätzwert in dem gemischten Bereich fast linear.
  • Die Mischungsverhältnis-Entscheidungsstufe 403 setzt das Mischungsverhältnis auf der Basis der Bereichsinformation, die von der Bereichsspezifizierungseinheit 101 zugeführt wird und anzeigt, ob das Pixel, für das das Mischungsverhältnis berechnet werden soll, zu dem Vordergrundbereich, dem Hintergrundbereich, dem verdeckten Hintergrundbereich oder dem nicht verdeckten Hintergrundbereich gehört. Die Mischungsverhältnis-Entscheidungsstufe 403 setzt das Mischungsverhältnis auf 0, wenn das entsprechende Pixel zu dem Vordergrundbereich gehört, und setzt das Mischungsverhältnis auf 1, wenn das entsprechende Pixel zu dem Hintergrundbereich gehört. Wenn das entsprechende Pixel zu dem verdeckten Hintergrundbereich gehört, setzt die Mischungsverhältnis-Entscheidungsstufe 403 das Mischungsverhältnis auf den aus dem Mischungsverhältnis-Schätzwert-Prozessor 401 zugeführten Mischungsverhältnis-Schätzwert. Wenn das entsprechende Pixel zu dem nicht verdeckten Hintergrundbereich gehört, setzt die Mischungsverhältnis-Entscheidungsstufe 403 das Mischungsverhältnis auf den von dem Mischungsverhältnis-Schätzwert-Prozessor 402 zugeführten Mischungsverhältnis-Schätzwert. Die Mischungsverhältnis-Entscheidungsstufe 403 gibt das Mischungsverhältnis aus, das auf der Basis der Bereichsinformation gesetzt wurde.
  • Im folgenden wird anhand des Flußdiagramms von 65 die Berechnung des Mischungsverhältnisses erläutert, die von dem Mischungsverhältnis-Rechner 102 durchgeführt wird, wenn der Mischungsverhältnis-Schätzwert-Prozessor 401 die in 63 dargestellt Konfiguration hat. In dem Schritt S501 gewinnt der Mischungsverhältnis-Rechner 102 die aus der Bereichsspezifizierungseinheit 101 zugeführte Bereichsinformation. In dem Schritt S502 führt Mischungsverhältnis-Schätzwert-Prozessor 401 die Prozedur zum Schätzen des Mischungsverhältnisses durch, indem er ein einem verdeckten Hintergrundbereich entsprechendes Modell benutzt, und liefert den Mischungsverhältnis-Schätzwert an die Mischungsverhältnis-Entscheidungsstufe 403. Einzelheiten der Erfindung zur Abschätzung des Mischungsverhältnisses werden weiter unten anhand des Flußdiagramms von 66 beschrieben.
  • In dem Schritt S503 führt der Mischungsverhältnis-Schätzwert-Prozessor 402 die Prozedur zum Schätzen des Mischungsverhältnisses durch, indem er ein einem nicht verdeckten Hintergrundbereich entsprechendes Modell benutzt, und liefert den Mischungsverhältnis-Schätzwert an die Mischungsverhältnis-Entscheidungsstufe 403.
  • In dem Schritt S504 prüft der Mischungsverhältnis-Rechner 102, ob die Mischungsverhältnisse für das ganze Vollbild geschätzt wurden. Wenn festgestellt wird, daß die Mischungsverhältnisse noch nicht für das ganze Vollbild geschätzt wurden, kehrt der Prozeß zu dem Schritt S502 zurück, und die Abschätzung des Mischungsverhältnisses wird für das nächstfolgende Pixel durchgeführt.
  • Wenn in dem Schritt S504 festgestellt wird, daß die Mischungsverhältnisse für das gesamte Vollbild geschätzt sind, geht der Prozeß weiter zu dem Schritt S505. In dem Schritt S505 setzt die Mischungsverhältnis-Entscheidungsstufe 403 das Mischungsverhältnis auf der Basis der Bereichsinformation, die von der Bereichsspezifizierungseinheit 101 zugeführt wird und angibt, ob das Pixel, für das das Mischungsverhältnis berechnet werden soll, zu dem Vordergrundbereich, dem Hintergrundbereich, dem verdeckten Hintergrundbereich oder dem nicht verdeckten Hintergrundbereich gehört. Die Mischungsverhältnis-Entscheidungsstufe 403 setzt das Mischungsverhältnis auf 0, wenn das entsprechende Pixel zu dem Vordergrundbereich gehört, und setzt das Mischungsverhältnis auf 1, wenn das entsprechende Pixel zu dem Hintergrundbereich gehört. Wenn das entsprechende Pixel zu dem verdeckten Hintergrundbereich gehört, setzt die Mischungsverhältnis-Entscheidungsstufe 403 den aus dem Mischungsverhältnis-Schätzwert-Prozessor 401 zugeführten Mischungsverhältnis-Schätzwert. Wenn das entsprechende Pixel zu dem nicht verdeckten Hintergrundbereich gehört, setzt die Mischungsverhältnis-Entscheidungsstufe 403 als Mischungsverhältnis den aus dem Mischungsverhältnis-Schätzwert-Prozessor 402 zugeführten Mischungsverhältnis-Schätzwert. Die Verarbeitung ist dann beendet.
  • Wie oben erläutert wurde, kann der Mischungsverhältnis-Rechner 102 auf der Basis des aus der Bereichsspezifizierungseinheit 101 zugeführten Bereichsinformation und des Eingangsbilds das Mischungsverhältnis α berechnen, das eine jedem Pixel entsprechende Merkmalsgröße anzeigt.
  • Durch die Benutzung des Mischungsverhältnisses α können die Vordergrundkomponenten und die Hintergrundkomponenten getrennt werden, die in den Pixelwerten enthalten sind, wobei die Information zu der in dem dem bewegten Objekt entsprechenden Bild enthaltenen Bewegungsunschärfe beibehalten wird.
  • Durch Kombinieren der Bilder auf der Basis des Mischungsverhältnisses α ist es auch möglich, ein Bild zu erzeugen, das eine korrekte Bewegungsunschärfe enthält, die mit der Geschwindigkeit eines bewegten Objekts übereinstimmt und die reale Welt getreu widerspiegelt.
  • Anhand des Flußdiagramms von 66 wird nun der Prozeß zur Abschätzung des Mischungsverhältnisses in dem Schritt S502 von 65 beschrieben, wobei ein Modell des verdeckten Hintergrundbereichs benutzt wird.
  • In dem Schritt S521 setzt der Addierer 502 den in dem Eingangsbild enthaltenen Pixelwert und den in dem aus der Verzögerungsschaltung 221 gelieferten Bild enthaltenen Pixelwert in eine Normalgleichung ein, die einem Modell des verdeckten Hintergrundbereichs entspricht.
  • In dem Schritt S522 prüft der Mischungsverhältnis-Schätzwert-Prozessor 401, ob das Setzen der Zielpixel beendet ist. Wenn festgestellt wird, daß das Setzen der Zielpixel nicht beendet ist, kehrt der Prozeß zu dem Schritt S521 zurück, und die Prozedur zum Einsetzen der Pixelwerte in die Normalgleichung wird wiederholt.
  • Wenn in dem Schritt S522 festgestellt wird, daß das Setzen der Zielpixel beendet ist, geht der Prozeß weiter zu dem Schritt S523. In dem Schritt S523 berechnet ein Rechner 173 den Mischungsverhältnis-Schätzwert auf der Basis der Normalgleichungen, in die die Pixelwerte eingesetzt sind, und gibt das berechnete Mischungsverhältnis aus.
  • Wie oben erläutert wurde, kann der Mischungsverhältnis-Schätzwert-Prozessor 401 den Mischungsverhältnis-Schätzwert auf der Basis des Eingangsbilds berechnen.
  • Das Abschätzen des Mischungsverhältnisses unter Verwendung eines Modells, das dem nicht verdeckten Hintergrundbereich entspricht, in dem Schritt S153 von 65 gleicht der in dem Flußdiagramm von 66 dargestellten Verarbeitung, wobei die Normalgleichungen benutzt werden, die einem Modell des nicht verdeckten Hintergrundbereichs entsprechen, so daß eine Erläuterung hier entfallen kann.
  • Das Ausführungsbeispiel wurde unter der Annahme beschrieben, daß das dem Hintergrund entsprechende Objekt stationär ist. Der oben beschriebene Prozeß zur Berechnung des Mischungsverhältnisses kann jedoch auch angewendet werden, wenn das dem Hintergrundbereich entsprechende Bild Bewegung enthält. Wenn das dem Hintergrundbereich entsprechende Bild sich z.B. gleichförmig bewegt, verschiebt der Mischungsverhältnis-Schätzwert-Prozessor 401 das Gesamtbild nach Maßgabe dieser Bewegung und führt eine ähnliche Verarbeitung durch wie in dem Fall, in dem das dem Hintergrund entsprechende Objekt stationär ist. Wenn das dem Hintergrundbereich entsprechende Bild lokal unterschiedliche Bewegungen enthält, wählt der Mischungsverhältnis-Schätzwert-Prozessor 401 die den Bewegungen entsprechenden Pixel als zu dem gemischten Bereich gehörend aus und führt die oben beschriebene Verarbeitung durch.
  • Im folgenden wird der Vordergrund-/Hintergrund-Separator 105 beschrieben. 67 zeigt ein Blockdiagramm eines Beispiels für die Konfiguration des Vordergrund-/Hintergrund-Separators 105. Das dem Vordergrund-/Hintergrund-Separator 105 zugeführte Eingangsbild wird an eine Trennstufe 601, einen Schalter 602 und einen Schalter 604 geliefert. Die Bereichsinformation, die aus der Bereichsspezifizierungseinheit 103 zugeführt wird und die die Information des verdeckten Hintergrundbereichs und des nicht verdeckten Hintergrundbereichs wiedergibt, wird der Trennstufe 601 zugeführt. Die Bereichsinformation, die den Vordergrundbereich wiedergibt, wird dem Schalter 602 zugeführt. Die Bereichsinformation, die den Hintergrundbereich wiedergibt, wird dem Schalter 604 zugeführt.
  • Das von dem Mischungsverhältnis-Rechner 104 gelieferte Mischungsverhältnis α wird der Trennstufe 601 zugeführt.
  • Die Trennstufe 601 trennt die Vordergrundkomponenten aus dem Eingangsbild auf der Basis der Bereichsinformation, die den verdeckten Hintergrundbereich wiedergibt, der Bereichsinformation, die den nicht verdeckten Hintergrundbereich anzeigt und des Mischungsverhältnisses α und liefert die abgetrennten Vordergrundkomponenten an einen Synthetisierer 603. Die Trennstufe 601 trennt außerdem die Hintergrundkomponenten aus dem Eingangsbild und liefert die abgetrennten Hintergrundkomponenten an einen Synthetisierer 605.
  • Der Schalter 602 wird auf der Basis der Bereichsinformation, die den Vordergrundbereich anzeigt, geschlossen, wenn ein dem Vordergrund entsprechendes Pixel eingegeben wird, und er liefert an den Synthetisierer 603 nur die dem Vordergrund entsprechenden Pixel, die in dem Eingangsbild enthalten sind.
  • Der Schalter 604 wird auf der Basis der Bereichsinformation, die den Hintergrundbereich anzeigt, geschlossen, wenn ein dem Hintergrund entsprechendes Pixel eingegeben wird, und er liefert an den Synthetisierer 605 nur die dem Hintergrund entsprechenden Pixel, die in dem Eingangsbild enthalten sind.
  • Der Synthetisierer 603 synthetisiert ein Vordergrundkomponentenbild auf der Basis der von der Trennstufe 601 zugeführten Vordergrundkomponenten und der von dem Schalter 602 zugeführten dem Vordergrund entsprechenden Pixel und gibt das synthetisierte Vordergrundkomponentenbild aus. Da der Vordergrundbereich und der gemischte Bereich einander nicht überlappen, wendet der Synthetisierer 603 auf die Vordergrundkomponenten und die Vordergrundpixel z.B. eine logische ODER-Verknüpfung an und synthetisiert dadurch das Vordergrundkomponentenbild.
  • Bei der Initialisierung, die beim Start der Synthetisierung für das Vordergrundkomponentenbild durchgeführt wird, speichert der Synthetisierer 603 ein Bild, dessen Pixelwerte in einem eingebauten Voll bildspeicher alle gleich 0 sind. Bei der Synthetisierungsverarbeitung für das Vordergrundkomponentenbild speichert der Synthetisierer 603 dann das Vordergrundkomponentenbild (er überschreibt das vorherige Bild mit dem Vordergrundkomponentenbild). Deshalb ist in dem von dem Synthetisierer 603 ausgegebenen Vordergrundkomponentenbild in den Pixeln, die dem Hintergrundbereich entsprechen, eine 0 gespeichert.
  • Der Synthetisierer 605 synthetisiert ein Hintergrundkomponentenbild auf der Basis der von der Trennstufe 601 zugeführten Hintergrundkomponenten und der von dem Schalter 602 zugeführten dem Hintergrund entsprechenden Pixel und gibt das synthetisierte Hintergrundkomponentenbild aus. Da der Hintergrundbereich und der gemischte Bereich einander nicht überlappen, wendet der Synthetisierer 605 auf die Hintergrundkomponenten und die Hintergrundpixel z.B. eine logische ODER-Verknüpfung an und synthetisiert dadurch das Hintergrundkomponentenbild.
  • Bei der Initialisierung, die beim Start der Synthetisierung für das Hintergrundkomponentenbild durchgeführt wird, speichert der Synthetisierer 605 ein Bild, dessen Pixelwerte in einem eingebauten Vollbildspeicher alle gleich 0 sind. Bei der Synthetisierungsverarbeitung für das Hintergrundkomponentenbild speichert der Synthetisierer 605 dann das Hintergrundkomponentenbild (er überschreibt das vorherige Bild mit dem Hintergrundkomponentenbild). Deshalb ist in dem von dem Synthetisierer 605 ausgegebenen Hintergrundkomponentenbild in den Pixeln, die dem Vordergrundbereich entsprechen, eine 0 gespeichert.
  • 68A zeigt das Eingangsbild, das in den Vordergrund-/Hintergrund-Separator 105 eingegeben wird, und das Vordergrundkomponentenbild sowie das Hintergrundkomponentenbild, die von dem Vordergrund-/Hintergrund-Separator 105 ausgegeben werden. 68B zeigt ein Modell, das gewonnen wird, indem die Pixel in zeitlicher Richtung expandiert werden, die in einer Zeile angeordnet sind, einschließlich der Pixel, die zu dem Vordergrundbereich gehören, der Pixel, die zu dem Hintergrundbereich gehören und der Pixel, die zu dem gemischten Bereich gehören, entsprechend 68A.
  • Wie 68A und 68B zeigen, besteht das Hintergrundkomponentenbild, das von dem Vordergrund/Hintergrund-Separator 105 ausgegeben wird, aus den Pixeln, die zu dem Hintergrundbereich gehören, und den Hintergrundkomponenten, die in den Pixeln des gemischten Bereichs enthalten sind.
  • Wie 68A und 68B zeigen, besteht das Vordergrundkomponentenbild, das von dem Vordergrund/Hintergrund-Separator 105 ausgegeben wird, aus den Pixeln, die zu dem Vordergrundbereich gehören, und den Vordergrundkomponenten, die in den Pixeln des gemischten Bereichs enthalten sind.
  • Die Pixelwerte der Pixel in dem gemischten Bereich werden von dem Vordergrund-/Hintergrund-Separator 105 in die Hintergrundkomponenten und die Vordergrundkomponenten getrennt. Die abgetrennten Hintergrundkomponenten bilden zusammen mit den zu dem Hintergrundbereich gehörenden Pixeln das Hintergrundkomponentenbild. Die abgetrennten Vordergrundkomponenten bilden zusammen mit den zu dem Vordergrundbereich gehörenden Pixeln das Vordergrundkomponentenbild.
  • Wie oben erläutert wurde, werden in dem Vordergrundkomponentenbild die Pixelwerte der dem Hintergrundbereich entsprechenden Pixel auf 0 gesetzt, und in den dem Vordergrundbereich entsprechenden Pixeln und den dem gemischten Bereich entsprechenden Pixeln werden signifikante Pixelwerte gesetzt. In ähnlicher Weise werden in dem Hintergrundkomponentenbild die dem Vordergrundbereich entsprechenden Pixelwerte auf 0 gesetzt, und in den dem Hintergrundbereich entsprechenden Pixeln und den dem gemischten Bereich entsprechenden Pixeln werden signifikante Pixelwerte gesetzt.
  • Im folgenden wird die Verarbeitung beschrieben, die von der Trennstufe 601 durchgeführt wird, um die Vordergrundkomponenten und die Hintergrundkomponenten von den zu dem gemischten Bereich gehörenden Pixeln zu trennen.
  • 69 zeigt ein Modell eines Bilds, das Vordergrundkomponenten und Hintergrundkomponenten in zwei Vollbildern anzeigt, einschließlich eines Vordergrundobjekts, das sich in 69 von links nach rechts bewegt. In dem Modell des in 69 dargestellten Bilds ist die Bewegungsgröße v gleich 4, und die Zahl der virtuellen Teilabschnitte ist gleich 4.
  • Das Pixel ganz links und das vierzehnte bis achtzehnte Pixel von links in dem Vollbild #n bestehen nur aus Hintergrundkomponenten und gehören zu dem Hintergrundbereich. Das zweite bis vierte Pixel von links in dem Vollbild #n enthalten Hintergrundkomponenten und Vordergrundkomponenten und gehören zu dem nicht verdeckten Hintergrundbereich. Das elfte bis dreizehnte Pixel von links in dem Vollbild #n enthalten Hintergrundkomponenten und Vordergrundkomponenten und gehören zu dem verdeckten Hintergrundbereich. Das fünfte bis zehnte Pixel von links in dem Vollbild #n bestehen nur aus Vordergrundkomponenten und gehören zu dem Vordergrundbereich.
  • Das erste bis fünfte Pixel von links und das achtzehnte Pixel von links in dem Vollbild #n + 1 bestehen nur aus Hintergrundkomponenten und gehören zu dem Hintergrundbereich. Das sechste bis achte Pixel von links in dem Vollbild #n + 1 enthalten Hintergrundkomponenten und Vordergrundkomponenten und gehören zu dem nicht verdeckten Hintergrundbereich. Das fünfzehnte bis siebzehnte Pixel von links in dem Vollbild #n + 1 enthalten Hintergrundkomponenten und Vordergrundkomponenten und gehören zu dem verdeckten Hintergrundbereich. Das neunte bis vierzehnte Pixel von links in dem Vollbild #n + 1 bestehen nur aus Vordergrundkomponenten und gehören zu dem Vordergrundbereich.
  • 70 zeigt die Prozedur zum Trennen der Vordergrundkomponenten von den zu dem verdeckten Hintergrundbereich gehörenden Pixeln. In 70 bezeichnen α1 bis α18 die Mischungsverhältnisse der einzelnen Pixel des Vollbilds #n. In 70 gehören das fünfzehnte bis siebzehnte Pixel von links zu dem verdeckten Hintergrundbereich.
  • Der Pixelwert C15 des fünfzehnten Pixels von links in dem Vollbild #n kann durch die folgende Gleichung (68) ausgedrückt werden: C15 = B17/v + F09/v + F08/v + F07/v = α15·B15 + F09/v + F08/v + F07/v = α15·P15 + F09/v + F08/v + F07/v, (68)worin a15 das Mischungsverhältnis des fünfzehnten Pixels von links in dem Vollbild #n und P15 den Pixelwert des fünfzehnten Pixels von links in dem Vollbild #n – 1 bezeichnen.
  • Die Summe f15 der Vordergrundkomponenten des fünfzehnten Pixels von links in dem Vollbild #n kann auf der Basis der Gleichung (68) durch die folgende Gleichung (69) ausgedrückt werden. f15 = F09/v + F08/v + F07/v = C15 – α15·P15 (69)
  • Ähnlich kann die Summe f16 der Vordergrundkomponenten des sechzehnten Pixels von links in dem Vollbild #n durch die Gleichung (70) ausgedrückt werden, und die Summe f17 der Vordergrundkomponenten des siebzehnten Pixels von links in dem Vollbild #n kann durch die folgende Gleichung (71) ausgedrückt werden. f16 = C16 – α16·P16 (70) f17 = C17 – α17·P17 (71)
  • So können die Vordergrundkomponenten fc, die in dem Pixelwert C des zu dem verdeckten Hintergrundbereich gehörenden Pixels enthalten sind, durch die Gleichung (72) ausgedrückt werden: fc = C – α·P (72) worin P den Pixelwert des korrespondierenden Pixels in dem vorhergehenden Vollbild bezeichnet.
  • 71 zeigt die Prozedur zum Trennen der Vordergrundkomponenten aus den zu dem nicht verdeckten Hintergrundbereich gehörenden Pixeln. In 71 bezeichnen α1 bis α18 Mischungsverhältnisse der einzelnen Pixel des Vollbilds #n. In 71 gehören das zweite bis vierte Pixel von links zu dem nicht verdeckten Hintergrundbereich.
  • Der Pixelwert C02 des zweiten Pixels von links in dem Vollbild #n kann durch die folgende Gleichung (73) ausgedrückt werden: C02 = B02/v + B02/v + B02/v + F01/v = α2·B02 + F01/v = α2·N02 + F01/v (73)worin α2 das Mischungsverhältnis des zweiten Pixels von links in dem Vollbild #n bezeichnet und N02 den Pixelwert des zweiten Pixels von links in dem Vollbild #n + 1 bezeichnet.
  • Die Summe f02 der Vordergrundkomponenten des zweiten Pixels von links in dem Vollbild #n kann auf der Basis der Gleichung (73) durch die Gleichung (74) ausgedruckt werden: f02 = F01/v = C02 – α2·N02 (74)
  • Ähnlich kann die Summe f03 der Vordergrundkomponenten des dritten Pixels von links in dem Vollbild #n durch die Gleichung (75) ausgedrückt werden, und die Summe f04 der Vordergrundkomponenten des vierten Pixels von links in dem Vollbild #n kann durch die Gleichung (76) ausgedrückt werden: f03 = C03 – α3·N03 (75) f04 = C04 – α4·N04 (76)
  • Auf diese Weise können die Vordergrundkomponenten fu, die in dem Pixelwert C des zu dem nicht verdeckten Hintergrundbereich gehörenden Pixels enthalten sind, durch die Gleichung (77) ausgedrückt werden: fu = C – α·N (77)worin N den Pixelwert des korrespondierenden Pixels in dem folgenden Vollbild bezeichnet.
  • Wie oben beschrieben wurde, kann die Trennstufe 601 die Vordergrundkomponenten aus den zu dem gemischten Bereich gehörenden Pixeln und die Hintergrundkomponenten aus den zu dem gemischten Bereich gehörenden Pixeln auf der Basis der in der Bereichsinformation enthaltenden den verdeckten Hintergrundbereich kennzeichnenden Information und den nicht verdeckten Hintergrundbereich kennzeichnenden Information und des Mischungsverhältnisses α für die einzelnen Pixel trennen.
  • 72 zeigt ein Blockdiagramm eines Beispiels für die Konfiguration der Trennstufe 601 zur Durchführung der oben beschriebenen Verarbeitung. Ein in die Trennstufe 601 eingegebenes Bild wird einem Vollbildspeicher 621 zugeführt, und die den verdeckten Hintergrundbereich und den nicht verdeckten Hintergrundbereich kennzeichnende Bereichsinformation aus dem Mischungsverhältnis-Rechner 104 und das Mischungsverhältnis α werden einem Trennverarbeitungsblock 622 zugeführt.
  • Der Vollbildspeicher 621 speichert die eingegebenen Bilder in Einheiten von Vollbildern. Wenn das zu verarbeitende Vollbild das Vollbild #n ist, speichert der Vollbildspeicher 621 das Vollbild #n – 1, d.h. das Vollbild, das um ein Vollbild vor dem Vollbild #n liegt, ferner das Vollbild #n und das Vollbild #n + 1, das um ein Vollbild hinter dem Vollbild #n liegt.
  • Der Vollbildspeicher 621 liefert die korrespondierenden Pixel in dem Vollbild #n – 1, dem Vollbild #n und dem Vollbild #n + 1 an den Trennverarbeitungsblock 522.
  • Auf der Basis der Bereichsinformation, die den verdeckten Hintergrundbereich und den nicht verdeckten Hintergrundbereich kennzeichnet, und des Mischungsverhältnisses α wendet der Trennverarbeitungsblock 622 die anhand von 70 und 71 beschriebenen Berechnungen auf die Pixelwerte der korrespondierenden Pixel in dem Vollbild #n – 1, dem Vollbild #n und dem Vollbild #n + 1 an, die aus dem Vollbildspeicher 621 zugeführt werden, und trennt so die Vordergrundkomponenten und die Hintergrundkomponenten von den Pixeln, die in dem Vollbild #n zu dem gemischten Bereich gehören, und liefert sie an einen Vollbildspeicher 623.
  • Der Trennverarbeitungsblock 622 besteht aus einem Prozessor 631 für den nicht verdeckten Bereich, einem Prozessor 632 für den verdeckten Bereich, einem Synthetisierer 633 und einem Synthetisierer 634.
  • Ein Multiplizierer 641 des Prozessors 631 für den nicht verdeckten Bereich multipliziert den aus dem Vollbildspeicher 621 zugeführten Pixelwert des Pixels in dem Vollbild #n + 1 mit dem Mischungsverhältnis α und gibt den resultierenden Pixelwert an einen Schalter 642 aus. Der Schalter 642 ist geschlossen, wenn das (dem Pixel in dem Vollbild #n + 1 entsprechende) Pixel des Vollbilds #n, das aus dem Vollbildspeicher 621 zugeführt wird, zu dem nicht verdeckten Hintergrundbereich gehört, und liefert den Pixelwert, der mit dem aus dem Multiplizierer 641 zugeführten Mischungsverhältnis multipliziert ist, an einen Rechner 643 und den Synthetisierer 634. Der von dem Schalter 642 ausgegebene Pixelwert, der durch Multiplizieren des Pixelwerts des Pixels in dem Vollbild #n + 1 mit dem Mischungsverhältnis α gewonnen wird, ist den Hintergrundkomponenten des Pixelwerts des korrespondierenden Pixels in dem Vollbild #n äquivalent.
  • Der Rechner 643 subtrahiert die von dem Schalter 642 zugeführten Hintergrundkomponenten von dem von dem Vollbildspeicher 621 gelieferten Pixelwert des Pixels in dem Vollbild #n, um so die Vordergrundkomponenten zu gewinnen. Der Rechner 643 liefert die Vordergrundkomponenten des Pixels in dem Vollbild #n, das zu dem nicht verdeckten Hintergrundbereich gehört, an den Synthetisierer 633.
  • Ein Multiplizierer 651 des Prozessors 632 für den verdeckten Bereich multipliziert den aus dem Vollbildspeicher 621 zugeführten Pixelwert des Pixels in dem Vollbild #n – 1 mit dem Mischungsverhältnis α und gibt den resultierenden Pixelwert an einen Schalter 652 aus. Der Schalter 652 ist geschlossen, wenn das (dem Pixel in dem Vollbild #n – 1 entsprechende) Pixel des Vollbilds #n, das aus dem Vollbildspeicher 621 zugeführt wird, zu dem verdeckten Hintergrundbereich gehört, und liefert den mit dem aus dem Multiplizierer 651 zugeführten Mischungsverhältnis α multiplizierten Pixelwert an einen Rechner 653 und den Synthetisierer 634. Der von dem Schalter 652 ausgegebene Wert, der durch Multiplizieren des Pixelwerts des Pixels in dem Vollbild #n – 1 mit dem Mischungsverhältnis α gewonnen wird, ist den Hintergrundkomponenten des Pixelwerts des entsprechenden Pixels in dem Vollbild #n äquivalent.
  • Der Rechner 653 subtrahiert die von dem Schalter 652 zugeführten Hintergrundkomponenten von dem aus dem Vollbildspeicher 621 zugeführten Pixelwert des Pixels in dem Vollbild #n, um so die Vordergrundkomponenten zu gewinnen. Der Rechner 653 liefert die Vordergrundkomponenten des zu dem verdeckten Hintergrundbereich gehörenden Pixels in dem Vollbild #n an den Synthetisierer 633.
  • Der Synthetisierer 633 kombiniert die Vordergrundkomponenten der Pixel, die zu dem nicht verdeckten Hintergrundbereich gehören und von dem Rechner 643 zugeführt werden, mit den Vordergrundkomponenten der Pixel, die zu dem verdeckten Hintergrundbereich gehören und von dem Rechner 653 zugeführt werden, und liefert die synthetisierten Vordergrundkomponenten an den Vollbildspeicher 623.
  • Der Synthetisierer 634 kombiniert die Hintergrundkomponenten der Pixel, die zu dem nicht verdeckten Hintergrundbereich gehören und von dem Schalter 642 zugeführt werden, mit den Hintergrundkomponenten der Pixel, die zu dem verdeckten Hintergrundbereich gehören und von dem Schalter 652 zugeführt werden, und liefert die synthetisierten Hintergrundkomponenten an den Vollbildspeicher 623.
  • Der Vollbildspeicher 623 speichert die Vordergrundkomponenten und die Hintergrundkomponenten der Pixel in dem gemischten Bereich des Vollbilds #n, die aus dem Trennverarbeitungsblock 622 zugeführt werden.
  • Der Vollbildspeicher 623 gibt die gespeicherten Vordergrundkomponenten der Pixel in dem gemischten Bereich in dem Vollbild #n und die gespeicherten Hintergrundkomponenten der Pixel in dem gemischten Bereich in dem Vollbild #n aus.
  • Durch die Verwendung des Mischungsverhältnisses α, das die Merkmalsgröße darstellt, können die Vordergrundkomponenten und die Hintergrundkomponenten, die in den Pixelwerten enthalten sind, vollständig getrennt werden.
  • Der Synthetisierer 603 kombiniert die von der Trennstufe 601 ausgegebenen Vordergrundkomponenten der Pixel in dem gemischten Bereich in dem Vollbild #n mit den Pixeln, die zu dem Vordergrundbereich gehören, um so ein Vordergrundkomponentenbild zu erzeugen. Der Synthetisierer 605 kombiniert die von der Trennstufe 601 ausgegebenen Hintergrundkomponenten der Pixel in dem gemischten Bereich in dem Vollbild #n mit den Pixeln, die zu dem Hintergrundbereich gehören, um so ein Hintergrundkomponentenbild zu erzeugen.
  • 73A zeigt ein Beispiel des Vordergrundkomponentenbilds, das dem Vollbild #n in 69 entspricht. Das Pixel ganz links und das vierzehnte Pixel von links bestehen nur aus den Hintergrundkomponenten, bevor der Vordergrund und der Hintergrund getrennt werden, und so sind die Pixelwerte auf 0 gesetzt.
  • Das zweite und vierte Pixel von links gehören zu dem nicht verdeckten Hintergrundbereich, bevor der Vordergrund und der Hintergrund getrennt werden. Dementsprechend sind die Hintergrundkomponenten auf 0 gesetzt, und die Vordergrundkomponenten werden beibehalten. Das elfte bis dreizehnte Pixel von links gehören zu dem verdeckten Hintergrundbereich, bevor der Vordergrund und der Hintergrund getrennt werden. Dementsprechend werden die Hintergrundkomponenten auf 0 gesetzt, und die Vordergrundkomponenten werden beibehalten. Das fünfte bis zehnte Pixel von links bestehen nur aus den Vordergrundkomponenten, die so beibehalten werden.
  • 73B zeigt ein Beispiel des Hintergrundkomponentenbilds, das dem Vollbild #n in 69 entspricht. Das Pixel ganz links und das vierzehnte Pixel von links bestehen nur aus den Hintergrundkomponenten, bevor der Vordergrund und der Hintergrund getrennt werden, und so werden die Hintergrundkomponenten beibehalten.
  • Das zweite bis vierte Pixel von links gehören zu dem nicht verdeckten Hintergrundbereich, bevor der Vordergrund und der Hintergrund getrennt werden. Deshalb werden die Vordergrundkomponenten auf 0 gesetzt, und die Hintergrundkomponenten werden beibehalten. Das elfte bis dreizehnte Pixel von links gehören zu dem verdeckten Hintergrundbereich, bevor der Vordergrund und der Hintergrund getrennt werden. Deshalb werden die Vordergrundkomponenten auf 0 gesetzt, und die Hintergrundkomponenten werden beibehalten. Das fünfte bis zehnte Pixel von links bestehen nur aus den Vordergrundkomponenten und so werden die Pixelwerte auf 0 gesetzt.
  • Anhand des Flußdiagramms von 74 wird die Prozedur zur Trennung des Vordergrunds und des Hintergrunds beschrieben, die von dem Vordergrund-/Hintergrund-Separator 105 durchgeführt wird. In dem Schritt S601 erhält der Vollbildspeicher 621 der Trennstufe 601 ein Eingangsbild und speichert das Vollbild #n, für das Vordergrund und Hintergrund getrennt werden, zusammen mit dem vorherigen Vollbild #n – 1 und dem nachfolgenden Vollbild #n + 1.
  • In dem Schritt S602 erhält der Trennverarbeitungsblock 622 der Trennstufe 601 die von dem Mischungsverhältnis-Rechner 104 zugeführte Bereichsinformation. In dem Schritt S603 erhält der Trennverarbeitungsblock 622 der Trennstufe 601 das Mischungsverhältnis α, das von dem Mischungsverhältnis-Rechner 104 zugeführt wird.
  • In dem Schritt S604 extrahiert der Prozessor 631 für den nicht verdeckten Bereich die Hintergrundkomponenten aus den Pixelwerten der aus dem Vollbildspeicher 621 zugeführten Pixel, die zu dem nicht verdeckten Hintergrundbereich gehören, auf der Basis der Bereichsinformation und des Mischungsverhältnisses α.
  • In dem Schritt S605 extrahiert der Prozessor 631 für den nicht verdeckten Bereich die Vordergrundkomponenten aus den Pixelwerten der aus dem Vollbildspeicher 621 zugeführten Pixel, die zu dem nicht verdeckten Hintergrundbereich gehören, auf der Basis der Bereichsinformation und des Mischungsverhältnisses α.
  • In dem Schritt S606 extrahiert der Prozessor 632 für den verdeckten Bereich die Hintergrundkomponenten aus den Pixelwerten der aus dem Vollbildspeicher 621 zugeführten Pixel, die zu dem verdeckten Hintergrundbereich gehören, auf der Basis der Bereichsinformation und des Mischungsverhältnisses α.
  • In dem Schritt S607 extrahiert der Prozessor 632 für den verdeckten Bereich die Vordergrundkomponenten aus den Pixelwerten der aus dem Vollbildspeicher 621 zugeführten Pixel, die zu dem verdeckten Hintergrundbereich gehören, auf der Basis der Bereichsinformation und des Mischungsverhältnisses c.
  • In dem Schritt S608 kombiniert der Synthetisierer 633 die in der Prozedur von Schritt S605 extrahierten Vordergrundkomponenten der zu dem nicht verdeckten Hintergrundbereich gehörenden Pixel mit den in dem Prozedur von Schritt S607 extrahierten Vordergrundkomponenten der Pixel, die zu dem verdeckten Hintergrundbereich gehören. Die synthetisierten Vordergrundkomponenten werden dem Synthetisierer 603 zugeführt. Der Synthetisierer 603 kombiniert weiter die über den Schalter 602 zugeführten Pixel, die zu dem Vordergrundbereich gehören, mit den aus der Trennstufe 601 zugeführten Vordergrundkomponenten, um ein Vordergrundkomponentenbild zu erzeugen.
  • In dem Schritt S609 kombiniert der Synthetisierer 634 die in der Prozedur von Schritt S604 extrahierten Hintergrundkomponenten der zu dem nicht verdeckten Hintergrundbereich gehörenden Pixel mit den in der Prozedur von Schritt S606 extrahierten Hintergrundkomponenten der Pixel, die zu dem verdeckten Hintergrundbereich gehören. Die synthetisierten Hintergrundkomponenten werden dem Synthetisierer 605 zugeführt. Der Synthetisierer 605 kombiniert weiter die über den Schalter 604 zugeführten Pixel, die zu dem Hintergrundbereich gehören, mit den aus der Trennstufe 601 zugeführten Hintergrundkomponenten, um ein Hintergrundkomponentenbild zu erzeugen.
  • In dem Schritt S610 gibt der Synthetisierer 603 das Vordergrundkomponentenbild aus. In dem Schritt S611 gibt der Synthetisierer 605 das Hintergrundkomponentenbild aus. Die Verarbeitung ist dann beendet.
  • Wie oben erläutert wurde, kann der Vordergrund-/Hintergrund-Separator 105 die Vordergrundkomponenten und die Hintergrundkomponenten aus dem Eingangsbild auf der Basis der Bereichsinformation und des Mischungsverhältnisses α trennen, und gibt das Vordergrundkomponentenbild aus, das nur aus den Vordergrundkomponenten besteht, und das Hintergrundkomponentenbild, das nur aus den Hintergrundkomponenten besteht.
  • 75 zeigt ein Blockdiagramm eines Beispiels für die Konfiguration der Bewegungsunschärfe-Justier-einheit 106. Der Bewegungsvektor und dessen Positionsinformation, die von dem Bewegungsdetektor 102 geliefert werden, werden einer Verarbeitungseinheit-Festlegungsstufe 901 und einer Justierstufe 905 zugeführt. Die von der Bereichsspezifizierungseinheit 103 gelieferte Bereichsinformation wird der Verarbeitungseinheit-Festlegungsstufe 901 zugeführt. Das von dem Vordergrund-/Hintergrund-Separator 105 gelieferte Vordergrundkomponentenbild wird einem Rechner 904 zugeführt.
  • Die Verarbeitungseinheit-Festlegungsstufe 901 liefert zusammen mit dem Bewegungsvektor die auf der Basis des Bewegungsvektors und von dessen Positionsinformation erzeugte Verarbeitungseinheit sowie die Bereichsinformation an eine Modellformungsstufe 902.
  • Wie in 76 mit A angegeben ist, bezeichnet die von der Verarbeitungseinheit-Festlegungsstufe 901 erzeugte Verarbeitungseinheit aufeinanderfolgende Pixel, die in Bewegungsrichtung angeordnet sind, beginnend mit dem Pixel, das dem verdeckten Hintergrundbereich des Vordergrundkomponentenbilds entspricht, bis zu dem Pixel, das dem nicht verdeckten Hintergrundbereich entspricht, oder sie bezeichnet aufeinanderfolgende Pixel, die in Bewegungsrichtung angeordnet sind, beginnend mit dem Pixel, das dem nicht verdeckten Hintergrundbereich entspricht, bis zu dem Pixel, das dem verdeckten Hintergrundbereich entspricht. Die Verarbeitungseinheit wird aus zwei Datenstücken gebildet, die z.B. den oberen linken Punkt (der Position des Pixels ganz links oder des obersten Pixels in dem durch die Verarbeitungseinheit bestimmten Bild) und den unteren rechten Punkt bezeichnen.
  • Die Modellformungsstufe 902 formt ein Modell auf der Basis des Bewegungsvektors und der zugeführten Verarbeitungseinheit. Die Modellformungsstufe 902 kann z.B. mehrere Modelle im voraus speichern, entsprechend der Zahl der Pixel, die in der Verarbeitungseinheit enthalten sind, der Zahl der virtuellen Teilabschnitte des Pixelwerts in zeitlicher Richtung und der Zahl der Vordergrundkomponenten pro Pixel. Die Modellformungsstufe 902 kann dann das Modell auswählen, in welchem, so wie in dem Modell von 77, die Korrelation zwischen den Pixelwerten und den Vordergrundkomponenten auf der Basis der Verarbeitungseinheit und der Zahl der virtuellen Teilabschnitte des Pixelwerts in zeitlicher Richtung die Korrelation zwischen den Pixelwerten und den Vordergrundkomponenten festgelegt ist.
  • Es sei nun angenommen, daß die Zahl der der Verarbeitungseinheit entsprechenden Pixel gleich 12 ist und daß die Bewegungsgröße v innerhalb der Verschlußzeit gleich 5 ist. Die Modellformungsstufe 902 setzt dann die Zahl der virtuellen Teilabschnitte auf 5 und wählt ein Modell aus, das aus acht Typen von Vordergrundkomponenten gebildet ist, so daß das Pixel ganz links eine Vordergrundkomponente enthält, das zweite Pixel von links zwei Vordergrundkomponenten enthält, das dritte Pixel von links drei Vordergrundkomponenten enthält, das vierte Pixel von links vier Vordergrundkomponenten enthält, das fünfte Pixel von links fünf Vordergrundkomponenten enthält, das sechste Pixel von links fünf Vordergrundkomponenten enthält, das siebte Pixel von links fünf Vordergrundkomponenten enthält, das achte Pixel von links fünf Vordergrundkomponenten enthält, das neunte Pixel von links vier Vordergrundkomponenten enthält, das zehnte Pixel von links drei Vordergrundkomponenten enthält, das elfte Pixel von links zwei Vordergrundkomponenten enthält und das zwölfte Pixel von links eine Vordergrundkomponente enthält.
  • Statt ein Modell aus den vorgespeicherten Modellen auszuwählen, kann die Modellformungsstufe 902 ein Modell auf der Basis des Bewegungsvektors und der Verarbeitungseinheit erzeugen, wenn der Bewegungsvektor und die Verarbeitungseinheit zugeführt werden.
  • Ein Gleichungsgenerator 903 generiert auf der Basis des aus der Modellformungsstufe 902 zugeführten Modells eine Gleichung.
  • Im folgenden werden unter Bezugnahme auf die in 77 bis 79 dargestellten Modelle der Vordergrundkomponentenbilder Gleichungen beschrieben, die von dem Gleichungsgenerator 903 erzeugt werden, wenn die Zahl der Vordergrundkomponenten gleich 8 ist, die Zahl der der Verarbeitungseinheit entsprechenden Pixel gleich 12 ist und die Bewegungsgröße v gleich 5 ist.
  • Wenn F01/v bis F08/v die in dem Vordergrundkomponentenbild enthaltenen Vordergrundkomponenten sind, die der Verschlußzeit/v entsprechen, können die Beziehungen zwischen F01/v bis F08/v und den Pixelwerten C01 bis C12 durch die folgenden Gleichungen (78) bis (89) ausgedrückt werden: C01 = F01/v (78) C02 = F02/v + F01/v (79) C03 = F03/v + F02/v + F01/v (80) C04 = F04/v + F03/v + F02/v + F01/v (81) C05 = F05/v + F04/v + F03/v + F02/v + F01/v (82) C06 = F06/v + F05/v + F04/v + F03/v + F02/v (83) C07 = F07/v + F06/v + F05/v + F04/v + F03/v (84) C08 = F08/v + F07/v + F06/v + F05/v + F04/v (85) C09 = F08/v + F07/v + F06/v + F05/v (86) C10 = F08/v + F07/v + F06/v (87) C11 = F08/v + F07/v (88) C12 = F08/v (89)
  • Wenn man die Pixelwerte C12 und C11 betrachtet, so enthält der Pixelwert C12 nur die Vordergrundkomponente F08/v, wie dies in der Gleichung (90) ausgedrückt ist, und der Pixelwert C11 besteht aus der Produktsumme aus der Vordergrundkomponente F08/v und der Vordergrundkomponente F07/v. Deshalb läßt sich die Vordergrundkomponente F07/v durch die Gleichung (91) ermitteln. F08/v = C12 (90) F07/v = C11 – C12 (91)
  • Wenn man die Vordergrundkomponenten betrachtet, die in den Pixelwerten C10 bis C01 enthalten sind, so lassen sich in ähnlicher Weise die Vordergrundkomponenten F06/v bis F01/v durch die folgenden Gleichungen (92) bis (97) ermitteln: F06/v = C10 – C11 (92) F05/v = C09 – C10 (93) F04/v = C08 – C09 (94) F03/v = C07 – C08 + C12 (95) F02/v = C06 – C07 + C11 – C12 (96) F01/v = C05 – C06 + C10 – C11 (97)
  • Der Gleichungsgenerator 903 erzeugt die Gleichungen zum Berechnen der Vordergrundkomponenten durch die Differenz zwischen den Pixelwerten, wie dies durch die Beispiele der Gleichungen (90) bis (97) angedeutet ist. Der Gleichungsgenerator 903 liefert die erzeugten Gleichungen an den Rechner 904.
  • Der Rechner 904 setzt die Pixelwerte des Vordergrundkomponentenbilds in die von dem Gleichungs generator 903 gelieferten Gleichungen ein, um so die Vordergrundkomponenten auf der Basis der Gleichungen zu gewinnen, in die die Pixelwerte eingesetzt sind. Wenn der Gleichungsgenerator 903 z.B. die Gleichungen (90) bis (97) liefert, setzt der Rechner 904 die Pixelwerte C05 bis C12 in die Gleichungen (90) bis (97) ein.
  • Der Rechner 904 berechnet die Vordergrundkomponenten auf der Basis der Gleichungen, in die die Pixelwerte eingesetzt sind. So berechnet der Rechner 904 z.B. die Vordergrundkomponenten F01/v bis F08/v, wie in 78 dargestellt, auf der Basis der Berechnungen der Gleichungen (90) bis (97), in die die Pixelwerte C05 bis C12 eingesetzt sind. Der Rechner 904 liefert die Vordergrundkomponenten F01/v bis F08/v an die Justierstufe 905.
  • Die Justierstufe 905 multipliziert die von dem Rechner 904 zugeführten Vordergrundkomponenten mit der Bewegungsgröße v, die in dem von der Verarbeitungseinheit-Festlegungsstufe 904 gelieferten Bewegungsvektor enthalten ist, um dadurch die Vordergrundpixelwerte zu gewinnen, aus denen die Bewegungsunschärfe eliminiert ist. Wenn z.B. die Vordergrundkomponenten F01/v bis F08/v aus dem Rechner 904 zugeführt werden, multipliziert die Justierstufe 905 jede der Vordergrundkomponenten F01/v bis F08/v mit der Bewegungsgröße v, d.h. mit 5, um dadurch die Vordergrundpixelwerte F01 bis F08 zu gewinnen, aus denen die Bewegungsunschärfe eliminiert ist, wie dies in 79 dargestellt ist.
  • Die Justierstufe 905 liefert das in der oben beschriebenen Weise berechnete Vordergrundkomponentenbild, das aus den Vordergrundpixelwerten ohne Bewegungsunschärfe besteht, an einen Bewegungsunschärfe-Addierer 906 und einen Wähler 907.
  • Der Bewegungsunschärfe-Addierer 906 kann die Größe der Bewegungsunschärfe justieren, indem er die Größe v' benutzt, durch welche die Bewegungsunschärfe justiert wird und die sich von der Bewegungsgröße v unterscheidet, z.B. die Größe v', durch welche die Bewegungsunschärfe justiert wird, die halb so groß ist wie der Wert der Bewegungsgröße v, oder die Größe v', durch welche die Bewegungsunschärfe justiert ist, die für die Bewegungsgröße v irrelevant ist. Wie 80 zeigt, teilt der Bewegungsunschärfe-Addierer 906 z.B. den Vordergrundpixelwert Fi ohne Bewegungsunschärfe durch die Größe v', durch welche die Bewegungsunschärfe justiert wird, um die Vordergrundkomponente Fi/v' zu gewinnen. Der Bewegungsunschärfe-Addierer 906 berechnet dann die Summe der Vordergrundkomponenten Fi/v', um dadurch den Pixelwert zu erzeugen, in dem die Größe der Bewegungsunschärfe justiert ist. Wenn die Größe v', durch welche die Bewegungsunschärfe justiert wird, z.B. gleich 3 ist, wird der Pixelwert C02 auf (F01)/v' gesetzt, der Pixelwert C3 wird auf (F01 + F02)/v' gesetzt, der Pixelwert C04 wird auf (F01 + F02 + F03)/v' gesetzt, und der Pixelwert C05 wird auf (F02 + F03 + F04)/v' gesetzt.
  • Der Bewegungsunschärfe-Addierer 906 liefert das Vordergrundkomponentenbild, in dem die Größe der Bewegungsunschärfe justiert ist, an den Wähler 907.
  • Der Wähler 907 wählt auf der Basis eines Auswahlsignals, das die Auswahl des Benutzers wiedergibt, entweder das von der Justierstufe 905 gelieferte Vordergrundkomponentenbild ohne Bewegungsunschärfe aus oder das von dem Bewegungsunscharfe-Addierer 906 gelieferte Vordergrundkomponen tenbild, in dem die Größe der Bewegungsunschärfe justiert ist, und gibt das ausgewählte Vordergrundkomponentenbild aus.
  • Wie oben erläutert wurde, kann die Bewegungsunschärfe-Justiereinheit 106 die Größe der Bewegungsunschärfe auf der Basis des Ausgangssignals und der Größe v', durch die Bewegungsunschärfe justiert wird, justieren.
  • Die Prozedur zum Justieren der Größe der Bewegungsunschärfe des Vordergrunds, die von der Bewegungsunschärfe-Justiereinheit 106 ausgeführt wird, wird im folgenden anhand des Flußdiagramms von 81 beschrieben.
  • In dem Schritt S901 erzeugt die Verarbeitungseinheit-Festlegungsstufe 901 der Bewegungsunschärfe-Justiereinheit 106 die Verarbeitungseinheit auf der Basis des Bewegungsvektors und der Bereichsinformation und liefert die erzeugte Verarbeitungseinheit an die Modellformungsstufe 902 und die Justierstufe 905.
  • In dem Schritt S902 wählt oder erzeugt die Modellformungsstufe 902 der Bewegungsunschärfe-Justiereinheit 106 das der Bewegungsgröße v und der Verarbeitungseinheit entsprechende Modell. In dem Schritt S903 erzeugt der Gleichungsgenerator 903 auf der Basis des ausgewählten oder erzeugten Modells die Gleichungen zum Berechnen der Vordergrundkomponenten durch die Differenz zwischen den Pixelwerten des Vordergrundkomponentenbilds.
  • In dem Schritt S904 setzt der Rechner 904 die Pixelwerte des Vordergrundkomponentenbilds in die erzeugten Gleichungen ein und extrahiert die Vordergrundkomponenten unter Verwendung der Differenz zwischen den Pixelwerten auf der Basis der Gleichungen, in die die Pixelwerte eingesetzt sind. In dem Schritt S905 prüft der Rechner 904, ob alle der Verarbeitungseinheit entsprechenden Vordergrundkomponenten extrahiert wurden. Wenn festgestellt wird, daß noch nicht alle der Verarbeitungseinheit entsprechenden Vordergrundkomponenten extrahiert wurden, kehrt der Prozeß zu dem Schritt S904 zurück, und die Prozedur zum Extrahieren der Vordergrundkomponente wird wiederholt.
  • Wenn in dem Schritt S905 festgestellt wird, daß alle der Verarbeitungseinheit entsprechenden Vordergrundkomponenten extrahiert wurden, geht der Prozeß weiter zu dem Schritt S906. In dem Schritt S906 justiert die Justierstufe 905 jede der aus dem Rechner 904 zugeführten Vordergrundkomponenten F01/v bis F08/v auf der Basis der Bewegungsgröße v, um so die Vordergrundpixelwerte F01/v bis F08/v zu gewinnen, aus denen die Bewegungsunschärfe eliminiert ist.
  • In dem Schritt S907 berechnet der Bewegungsunschärfe-Addierer 906 die Vordergrundpixelwerte, in denen die Größe der Bewegungsunschärfe justiert ist, und der Wähler 907 wählt entweder das Bild ohne Bewegungsunschärfe aus oder das Bild, in dem die Größe der Bewegungsunschärfe justiert ist, und gibt das ausgewählte Bild aus. Die Verarbeitung ist dann beendet.
  • Wie oben beschrieben wurde, kann die Bewegungsunschärfe-Justiereinheit 106 mit der in 75 dargestellten Konfiguration die Bewegungsunschärfe des Vordergrundbilds, das Bewegungsunschärfe enthält, justieren.
  • Ein bekanntes Verfahren zum partiellen Eliminieren von Bewegungsunschärfe, wie ein Wiener-Filter, ist wirksam, wenn es unter idealem Umständen benutzt wird, es ist jedoch unzureichend für ein konkretes Bild, das quantisiert wird und Rauschen enthält. Es hat sich gezeigt, daß im Gegensatz hierzu die Bewegungsunschärfe-Justiereinheit 106 mit der in 75 dargestellten Konfiguration hinreichend wirksam ist für ein konkretes Bild, das quantisiert wird und Rauschen enthält. Auf diese Weise kann Bewegungsunschärfe mit hoher Präzision eliminiert werden.
  • 82 zeigt ein Blockdiagramm einer weiteren Konfiguration des Signalprozessors 12.
  • Die Elemente, die den in 4 dargestellten Elementen ähneln, sind mit den gleichen Bezugszeichen versehen wie dort und werden nicht erneut erläutert.
  • Die Bereichsspezifizierungseinheit 103 liefert eine Bereichsinformation an den Mischungsverhältnis-Rechner 104 und einen Synthetisierer 1001.
  • Der Mischungsverhältnis-Rechner 104 liefert das Mischungsverhältnis α an den Vordergrund-/Hintergrund-Separator 105 und an den Synthetisierer 1001.
  • Der Vordergrund-/Hintergrund-Separator 105 liefert das Vordergrundkomponentenbild an den Synthetisierer 1001.
  • Der Synthetisierer 1001 kombiniert ein bestimmtes Hintergrundbild mit dem von dem Vordergrund/Hintergrund-Separator 105 gelieferten Vordergrundkomponentenbild auf der Basis des von dem Mischungsverhältnis-Rechner 104 zugeführten Mischungsverhältnisses α und der aus der Bereichsspezifizierungseinheit 103 zugeführten Bereichsinformation und gibt das synthetisierte Bild aus, in dem das bestimmte Hintergrundbild und das Vordergrundkomponentenbild kombiniert sind.
  • 83 zeigt die Konfiguration des Synthetisierers 1001. Ein Hintergrundkomponentengenerator 1021 erzeugt ein auf der Basis des Mischungsverhältnisses α und eines bestimmten Hintergrundbilds Hintergrundkomponentenbild und liefert diese Hintergrundkomponentenbild an eine Mischbereichsbild-Synthetisierstufe 1022.
  • Die Mischbereichsbild-Synthetisierstufe 1022 kombiniert das aus dem Hintergrundkomponentengenerator 1021 gelieferte Hintergrundkomponentenbild mit dem Vordergrundkomponentenbild, um ein synthetisiertes Mischbereichsbild zu erzeugen, und liefert das erzeugte synthetisierte Mischbereichsbild an eine Bildsynthetisierstufe 1023.
  • Die Bildsynthetisierstufe 1023 kombiniert das Vordergrundkomponentenbild, das von der Mischbereichsbild-Synthetisierstufe 1022 zugeführte synthetisierte Mischbereichsbild und das bestimmte Hintergrundbild auf der Basis der Bereichsinformation, um so ein synthetisiertes Bild zu erzeugen, und gibt dieses aus.
  • Wie oben beschrieben wurde, kann der Synthetisierer 1001 das Vordergrundkomponentenbild mit einem bestimmten Hintergrundbild kombinieren.
  • Im Vergleich zu einem durch einfaches Kombinieren von Pixeln gewonnenen Bild erscheint das Bild, das durch Kombinieren eines Vordergrundkomponentenbilds mit einem bestimmten Hintergrundbild auf der Basis des die Merkmalsgröße darstellenden Mischungsverhältnisses α gewonnen wird, natürlicher.
  • 84 zeigt ein Blockdiagramm einer weiteren Konfiguration des Signalprozessors 12 zum Justieren der Größe der Bewegungsunschärfe. Der in 4 dargestellte Signalprozessor 12 führt die Bereichsspezifizierungsoperation und die Berechnung für das Mischungsverhältnis α sequentiell durch. Im Gegensatz hierzu führt der in 84 dargestellte Signalprozessor 12 die Bereichsspezifizierungsoperation und die Berechnung für das Mischungsverhältnis α simultan durch.
  • Die Funktionselemente, die denen in dem Blockdiagramm von 4 gleichen, sind mit den gleichen Bezugszeichen versehen wie dort und werden nicht erneut beschrieben.
  • Ein Eingangsbild wird einem Mischungsverhältnis-Rechner 1101, einem Vordergrund-/Hintergrund-Separator 1102, der Bereichsspezifizierungseinheit 103 und der Objektextrahiereinheit 101 zugeführt.
  • Der Mischungsverhältnis-Rechner 1101 berechnet auf der Basis des Eingangsbilds den Mischungsverhältnis-Schätzwertunter der Annahme, daß jedes in dem Eingangsbild enthaltene Pixel zu dem verdeckten Hintergrund gehört, und den Mischungsverhältnis-Schätzwertunter der Annahme, daß jedes in dem Eingangsbild enthaltene Pixel zu dem nicht verdeckten Hintergrundbereich gehört, und liefert die berechneten Mischungsverhältnis-Schätzwerte, wie oben beschrieben, an den Vordergrund-/Hintergrund-Separator 1102.
  • 85 zeigt ein Blockdiagramm eines Beispiels für die Konfiguration des Mischungsverhältnis-Rechners 1101.
  • Der in 85 dargestellte Mischungsverhältnis-Schätzwert-Prozessor 401 ist der gleiche wie der in 49 dargestellte Mischungsverhältnis-Schätzwert-Prozessor 401. Der in 85 dargestellte Mischungsverhältnis-Schätzwert-Prozessor 402 ist der gleiche wie der in 49 dargestellte Mischungsverhältnis-Schätzwert-Prozessor 402.
  • Der Mischungsverhältnis-Schätzwert-Prozessor 401 berechnet den Mischungsverhältnis-Schätzwert für jedes Pixel mit einer Berechnung, die einem Modell des verdeckten Hintergrundbereichs entspricht, auf der Basis des Eingangsbilds und gibt den berechneten Mischungsverhältnis-Schätzwert aus.
  • Der Mischungsverhältnis-Schätzwert-Prozessor 402 berechnet den Mischungsverhältnis-Schätzwert für jedes Pixel mit einer Berechnung, die einem Modell des nicht verdeckten Hintergrundbereichs entspricht, auf der Basis des Eingangsbilds und gibt den berechneten Mischungsverhältnis-Schätzwert aus.
  • Der Vordergrund-/Hintergrud-Separator 1102 erzeugt aus dem Eingangsbild das Vordergrundkomponentenbild auf der Basis des Mischungsverhältnis-Schätzwerts, der unter der Annahme berechnet wird, daß das Pixel zu dem von dem Mischungsverhältnis-Rechner 1101 gelieferten verdeckten Hintergrundbereich gehört, ferne des Mischungsverhältnis-Schätzwerts, der unter der Annahme berechnet wird, daß das Pixel zu den von dem Mischungsverhältnis-Rechner 1101 gelieferten nicht verdeckten Hintergrundbereich gehört, und der von der Bereichsspezifizierungseinheit 103 gelieferten Bereichsinformation, und liefert das erzeugte Vordergrundkomponentenbild an die Bewegungsunschärfe-Justiereinheit 106 und an den Wähler 107.
  • 86 zeigt ein Blockdiagramm eines Beispiels für die Konfiguration des Vordergrund-/Hintergrund-Separators 1102.
  • Die Elemente, die denen des Vordergrund-/Hintergrund-Separators 105 von 67 gleichen, sind mit den gleichen Bezugszeichen versehen wie dort und werden nicht erneut erläutert.
  • Ein Wähler 1121 wählt auf der Basis der Bereichsinformation aus der Bereichsspezifizierungseinheit 103 entweder den Mischungsverhältnis-Schätzwert, der unter der Annahme berechnet wird, daß das Pixel zu dem von dem Mischungsverhältnis-Rechner 1101 zugeführten verdeckten Hintergrundbereich gehört, oder den Mischungsverhältnis-Schätzwert, der unter der Annahme berechnet wird, daß das Pixel zu dem von dem Mischungsverhältnis-Rechner 1101 gelieferten nicht verdeckten Hintergrundbereich gehört, und liefert den ausgewählten Mischungsverhältnis-Schätzwert als Mischungsverhältnis α an die Trennstufe 601.
  • Die Trennstufe 601 extrahiert auf der Basis des von dem Wähler 1121 zugeführten Mischungsverhältnisses α und der Bereichsinformation die Vordergrundkomponenten und die Hintergrundkomponenten aus den Pixelwerten der Pixel, die zu dem gemischten Bereich gehören, und liefert die extrahierten Vordergrundkomponenten an den Synthetisierer 603 und die extrahierten Hintergrundkomponenten an den Synthetisierer 605.
  • Die Trennstufe 601 kann ähnlich aufgebaut sein, wie das in 72 dargestellte Gegenstück.
  • Der Synthetisierer 603 synthetisiert das Vordergrundkomponentenbild und gibt dieses aus. Der Synthetisierer 605 synthetisiert das Hintergrundkomponentenbild und gibt dieses aus.
  • Die in 84 dargestellte Bewegungsunschärfe-Justiereinheit 106 kann die gleiche Konfiguration haben, wie ihr Gegenstück in 4. Die Bewegungsunschärfe-Justiereinheit 106 justiert die Größe der Bewegungsunschärfe in dem von dem Vordergrund-/Hintergrund-Separator 1102 gelieferten Vordergrundkomponentenbild auf der Basis der Bereichsinformation und des Bewegungsvektors und gibt das Vordergrundkomponentenbild aus, indem die Größe der Bewegungsunschärfe justiert ist.
  • Der in 84 dargestellte Wähler 107 wählt z.B. auf der Basis eines die Auswahl des Benutzers widerspiegelnden Auswahlsignals entweder das von dem Vordergrund-/Hintergrund-Separator 1102 gelieferte Vordergrundkomponentenbild oder das von der Bewegungsunschärfe-Justiereinheit 106 gelieferte Vordergrundkomponentenbild, in dem die Größe der Bewegungsunschärfe justiert ist, und gibt das ausgewählte Vordergrundkomponentenbild aus.
  • Der in 84 dargestellte Signalprozessor 12 kann, wie oben erläutert wurde, die Größe der Bewegungsunschärfe justieren, die in einem Bild enthalten ist, das einem Vordergrundobjekt des Eingangsbilds entspricht, und gibt das resultierende Vordergrundobjektbild aus. Wie in dem ersten Ausführungsbeispiel kann der in 84 dargestellte Signalprozessor 12 das Mischungsverhältnis α berechnen, das eine eingebettete Information ist, und gibt das berechnete Mischungsverhältnis α aus.
  • Bei dem oben beschriebenen Ausführungsbeispiel wurde das Mischungsverhältnis α auf das Verhältnis der in den Pixelwerten enthaltenden Hintergrundkomponenten gesetzt. Das Mischungsverhältnis α kann jedoch auch auf das Verhältnis der in den Pixelwerten enthaltenen Vordergrundkomponenten gesetzt werden.
  • Bei dem oben beschriebenen Ausführungsbeispiel wurde die Bewegungsrichtung des Vordergrundobjekts auf die Richtung von links nach rechts gesetzt. Die Bewegungsrichtung ist jedoch nicht auf diese Richtung beschränkt.
  • In der obigen Beschreibung wird ein reales Raumbild mit einem dreidimensionalen Raum und einer Zeitachseninformation mit Hilfe einer Videokamera auf einen Zeit-Raum mit einem zweidimensionalen Raum und einer Zeitachse projiziert. Die Erfindung ist jedoch nicht auf dieses Beispiel beschränkt und kann auch auf den folgenden Fall angewendet werden. Wenn eine größere Menge einer ersten Information in einem eindimensionalen Raum auf eine kleinere Menge einer zweiten Information in einem zweidimensionalen Raum projiziert wird, ist es möglich, die durch die Projektion erzeugte Verzerrung zu korrigieren, eine signifikante Information zu extrahieren oder ein natürlicheres Bild zu synthetisieren.
  • Der Sensor 11 ist nicht auf eine CCD beschränkt, es kann auch ein anderer Sensortyp benutzt werden, wie eine Festkörper-Bilderfassungsvorrichtung, z.B. ein CMOS (Complementary Metal Oxide Semiconductor), eine BBD (Bucket Brigade Device), eine CID (Charge Injection Device) oder eine CPD (Charge Priming Device). Der Sensor muß auch kein Sensor sein, in dem die Detektorelemente in einer Matrix angeordnet sind, es kann vielmehr ein Sensor sein, in dem die Detektorelemente in einer Zeile angeordnet sind.
  • Ein Aufzeichnungsmedium, in dem ein Programm zur Durchführung der Signalverarbeitung gemäß vorliegender Erfindung aufgezeichnet ist, kann, wie die Magnetplatte 51 (einschließlich einer Diskette), die optische Platte 52 (CD-ROM (Compact Disk-Nurlesespeicher) und DVD (Digital Versatile Disk)), die magneto-optische Platte 53 (einschließlich MD (Minidisk)) oder der Halbleiterspeicher 54, als transportables Medium ausgebildet sein, in dem das Programm aufgezeichnet ist und das vertrieben wird, um einem Benutzer das Programm getrennt von dem Computer zur Verfügung zu stellen, wie dies in 3 dargestellt ist. Das Aufzeichnungsmedium kann auch aus dem ROM 22 oder einer in der Speichereinheit 28 enthaltenen Festplatte bestehen, in der das Programm aufgezeichnet ist, wobei ein solches Aufzeichnungsmedium in dem Computer vorinstalliert ist und dem Benutzer auf diese Weise zur Verfügung gestellt wird.
  • Die Schritte, die das in einem Aufzeichnungsmedium aufgezeichnete Programm bilden, können chronologisch in den in der Beschreibung erläuterten Reihenfolgen ausgeführt werden. Sie müssen jedoch nicht zeitseriell ausgeführt werden sondern können gleichzeitig oder individuell ausgeführt werden.
  • Wie oben beschrieben wurde, kann die Größe der in einem Detektorsignal eines verwischten Bilds enthaltenen Bewegungsunschärfe justiert werden.
  • Ebenso kann die Größe der Bewegungsunschärfe justiert werden.

Claims (10)

  1. Bildverarbeitungsgerät für die Verarbeitung von Bilddaten, die aus einer vorbestimmten Anzahl von Pixeldaten gebildet sind, die mit Hilfe einer Abbildungsvorrichtung gewonnen werden, die eine vorbestimmte Anzahl von Pixeln aufweist, wobei jedes Pixel eine zeitintegrierende Funktion hat, wobei das Bildverarbeitungsgerät aufweist: eine Verarbeitungseinrichtung (901) zur Durchführung einer Verarbeitung auf der Basis eines Vordergrundbereichs, eines Hintergrundbereichs und eines gemischten Bereichs, eine Gleichungsgenerierungseinrichtung (903) und eine Recheneinrichtung (905) zum Berechnen von Vordergrundobjektkomponenten, dadurch gekennzeichnet, daß die Verarbeitungseinrichtung (901) eine Verarbeitungseinheits-Festlegungseinrichtung besitzt zum Festlegen einer Verarbeitungseinheit auf der Basis der Bilddaten und einer Bereichsinformation, die einen Vordergrundbereich kennzeichnet, der aus Vordergrundobjektkomponenten besteht, die in den Bilddaten ein Vordergrundobjekt bilden, ferner einen Hintergrundbereich, der aus Hintergrundobjektkomponenten besteht, die in den Bilddaten ein Hintergrundobjekt bilden, und einen gemischten Bereich, in dem die Vordergrundobjektkomponenten und die Hintergrundobjektkomponenten gemischt sind, wobei der gemischte Bereich einen verdeckten Hintergrundbereich enthält, der an dem in Bewegungsrichtung des Vordergrundobjekts vorderen Ende ausgebildet ist, sowie einen nicht verdeckten Hintergrundbereich, der an dem in Bewegungsrichtung des Vordergrundobjekts hinteren Ende ausgebildet ist, wobei die Verarbeitungseinheit auf der Basis des Vordergrundbereichs aus Pixeldaten gebildet wird, die auf zumindest einer geraden Linie angeordnet sind, die mit der Bewegungsrichtung des Vordergrundobjekts zusammenfällt und von einem äußeren Ende des verdeckten Hintergrundbereichs bis zu einem äußeren Ende des nicht verdeckten Hintergrundbereichs reicht, daß die Gleichungsgenerierungseinrichtung (903) eine Simultangleichungsgenerierungseinrichtung (903) aufweist zur Erzeugung von aus einer Mehrzahl von relationalen Ausdrücken bestehenden simultanen Gleichungen durch das Setzen von Pixelwerten von auf der Basis der Verarbeitungseinheit festgelegten Pixeln innerhalb der Verarbeitungseinheit und durch das Setzen eines bekannten Teilwerts, der gewonnen wird, indem die Vordergrundobjektkomponenten in dem gemischten Bereich durch eine gesetzte Zahl von Teilabschnitten geteilt werden, und daß die Recheneinrichtung (905) wirksam ist, um die Vordergrundobjektkomponenten zu berechnen, in denen die größte Bewegungsunschärfe durch Lösen der simultanen Gleichungen justiert wird.
  2. Bildverarbeitungsgerät nach Anspruch 1, bei dem die Recheneinrichtung die simultanen Gleichungen sequentiell aus den relationalen Ausdrücken löst, die dem am Ende liegenden Pixel entsprechen, und dadurch die Vordergrundobjektkomponenten berechnet, in denen die Größe der Bewegungsunschärfe justiert wird, indem sie eine Charakteristik benutzt, in der die Vordergrundobjektkomponenten, die in dem von einem Ende des gemischten Bereichs aus ersten Pixel enthalten sind, von den Vordergrundobjektkomponenten subtrahiert werden, die in dem zweiten Pixel enthalten sind, das vom Ende des gemischten Bereich aus auf der genannten geraden Linie dem ersten Pixel benachbart ist, so daß die einzelne Vordergrundobjektkomponente berechnet wird, die dem zweiten Pixel entspricht.
  3. Bildverarbeitungsgerät nach Anspruch 1, bei dem die Gleichungsgenerierungseinrichtung (903) zur Erzeugung der simultanen Gleichungen die simultanen Gleichungen auf der Basis der Zahl der Teilabschnitte nach Maßgabe der Bewegungsgröße des Vordergrundobjekts erzeugt.
  4. Bildverarbeitungsgerät nach Anspruch 1, 2 oder 3, mit einer Abbildungsvorrichtung für die Ausgabe eines Objektbilds als Bilddaten.
  5. Bildverarbeitungsverfahren für die Verarbeitung von Bilddaten, die aus einer vorbestimmten Anzahl von Pixeldaten gebildet sind, die mit Hilfe einer Abbildungsvorrichtung gewonnen werden, die eine vorbestimmte Anzahl von Pixeln aufweist, wobei jedes Pixel eine zeitintegrierende Funktion hat, wobei das Bildverarbeitungsverfahren umfaßt: einen Verarbeitungsschritt (901) zur Durchführung einer Verarbeitung auf der Basis eines Vordergrundbereichs, eines Hintergrundbereichs und eines gemischten Bereichs, einen Gleichungsgenerierungsschritt (903) und einen Rechenschritt (905) zum Berechnen von Vordergrundobjektkomponenten, dadurch gekennzeichnet, daß der Verarbeitungsschritt (901) einen Verarbeitungseinheits-Festlegungsschritt umfaßt zum Festlegen einer Verarbeitungseinheit auf der Basis der Bilddaten und einer Bereichsinformation, die einen Vordergrundbereich kennzeichnet, der aus Vordergrundobjektkomponenten besteht, die in den Bilddaten ein Vordergrundobjekt bilden, ferner einen Hintergrundbereich, der aus Hintergrundobjektkomponenten besteht, die in den Bilddaten ein Hintergrundobjekt bilden, und einen gemischten Bereich, in dem die Vordergrundobjektkomponenten und die Hintergrund- Objektkomponenten gemischt sind, wobei der gemischte Bereich einen verdeckten Hintergrundbereich enthält, der an dem in Bewegungsrichtung des Vordergrundobjekts vorderen Ende ausgebildet ist, sowie einen nicht verdeckten Hintergrundbereich, der an dem in Bewegungsrichtung des Vordergrundobjekts hinteren Ende ausgebildet ist, wobei die Verarbeitungseinheit auf der Basis des Vordergrundbereichs aus Pixeldaten gebildet wird, die auf zumindest einer geraden Linie angeordnet sind, die mit der Bewegungsrichtung des Vordergrundobjekts zusammenfällt und von einem äußeren Ende des verdeckten Hintergrundbereichs bis zu einem äußeren Ende des nicht verdeckten Hintergrundbereichs reicht, daß der Gleichungsgenerierungsschritt (903) einen Simultangleichungsgenerierungsschritt (903) umfaßt zur Erzeugung von aus einer Mehrzahl von relationalen Ausdrücken bestehenden simultanen Gleichungen durch das Setzen von Pixelwerten von auf der Basis der Verarbeitungseinheit festgelegten Pixeln innerhalb der Verarbeitungseinheit und durch das Setzen eines bekannten Teilwerts, der gewonnen wird, indem die Vordergrundobjektkomponenten in dem gemischten Bereich durch eine gesetzte Zahl von Teilabschnitten geteilt werden, und daß der Rechenschritt (905) das Berechnen der Vordergrundobjektkomponenten umfaßt, in denen die größte Bewegungsunschärfe durch Lösen der simultanen Gleichungen justiert wird.
  6. Bildverarbeitungsverfahren nach Anspruch 5, bei dem in dem Rechenschritt (905) die simultanen Gleichungen sequentiell aus den relationalen Ausdrücken gelöst werden, die dem am Ende liegenden Pixel entsprechen, und dadurch die Vordergrundobjektkomponenten berechnet, in denen die Größe der Bewegungsunschärfe justiert wird, indem eine Charakteristik benutzt wird, in der die Vordergrundobjektkomponenten, die in dem von einem Ende des gemischten Bereichs aus ersten Pixel enthalten sind, von den Vordergrundobjektkomponenten subtrahiert werden, die in dem zweiten Pixel enthalten sind, das vom Ende des gemischten Bereich aus auf der genannten geraden Linie dem ersten Pixel benachbart ist, so daß die einzelne Vordergrundobjektkomponente berechnet wird, die dem zweiten Pixel entspricht.
  7. Bildverarbeitungsverfahren nach Anspruch 5, bei dem in dem Gleichungsgenerierungsschritt (903) die simultanen Gleichungen auf der Basis der Zahl der Teilabschnitte nach Maßgabe der Bewegungsgröße des Vordergrundobjekts erzeugt werden.
  8. Aufzeichnungsmedium, in dem ein computerlesbares Programm für die Verarbeitung von Bilddaten, die aus einer vorbestimmten Anzahl von Pixeldaten gebildet sind, die mit Hilfe einer Abbildungsvorrichtung gewonnen werden, die eine vorbestimmte Anzahl von Pixeln aufweist, wobei jedes Pixel eine zeitintegrierende Funktion hat, aufgezeichnet ist, wobei das computerlesbare Programm umfaßt: einen Verarbeitungsschritt (901) zur Durchführung einer Verarbeitung auf der Basis eines Vordergrundbereichs, eines Hintergrundbereichs und eines gemischten Bereichs, einen Gleichungsgenerierungsschritt (903) und einen Rechenschritt (905) zum Berechnen von Vordergrundobjektkomponenten, dadurch gekennzeichnet, daß der Verarbeitungsschritt (901) einen Verarbeitungseinheits-Festlegungsschritt umfaßt zum Festlegen einer Verarbeitungseinheit auf der Basis der Bilddaten und einer Bereichsinformation, die einen Vordergrundbereich kennzeichnet, der aus Vordergrundobjektkomponenten besteht, die in den Bilddaten ein Vordergrundobjekt bilden, ferner einen Hintergrundbereich, der aus Hintergrundobjektkomponenten besteht, die in den Bilddaten ein Hintergrundobjekt bilden, und einen gemischten Bereich, in dem die Vordergrundobjektkomponenten und die Hintergrundobjektkomponenten gemischt sind, wobei der gemischte Bereich einen verdeckten Hintergrundbereich enthält, der an dem in Bewegungsrichtung des Vordergrundobjekts vorderen Ende ausgebildet ist, sowie einen nicht verdeckten Hintergrundbereich, der an dem in Bewegungsrichtung des Vordergrundobjekts hinteren Ende ausgebildet ist, wobei die Verarbeitungseinheit auf der Basis des Vordergrundbereichs aus Pixeldaten gebildet wird, die auf zumindest einer geraden Linie angeordnet sind, die mit der Bewegungsrichtung des Vordergrundobjekts zusammenfällt und von einem äußeren Ende des verdeckten Hintergrundbereichs bis zu einem äußeren Ende des nicht verdeckten Hintergrundbereichs reicht, daß der Gleichungsgenerierungsschritt (903) einen Simultangleichungsgenerierungsschritt (903) umfaßt zur Erzeugung von aus einer Mehrzahl von relationalen Ausdrücken bestehenden simultanen Gleichungen durch das Setzen von Pixelwerten von auf der Basis der Verarbeitungseinheit festgelegten Pixeln innerhalb der Verarbeitungseinheit und durch das Setzen eines bekannten Teilwerts, der gewonnen wird, indem die Vordergrundobjektkomponenten in dem gemischten Bereich durch eine gesetzte Zahl von Teilabschnitten geteilt werden, und daß der Rechenschritt (905) das Berechnen der Vordergrundobjektkomponenten umfaßt, in denen die größte Bewegungsunschärfe durch Lösen der simultanen Gleichungen justiert wird.
  9. Aufzeichnungsmedium nach Anspruch 8, bei dem in dem Rechenschritt (905) die simultanen Gleichungen sequentiell aus den relationalen Ausdrücken gelöst werden, die dem am Ende liegenden Pixel entsprechen, und dadurch die Vordergrundobjektkomponenten berechnet, in denen die Größe der Bewegungsunschärfe justiert wird, indem eine Charakteristik benutzt wird, in der die Vordergrundobjektkomponenten, die in dem von einem Ende des gemischten Bereichs aus ersten Pixel enthalten sind, von den Vordergrundobjektkomponenten subtrahiert werden, die in dem zweiten Pixel enthalten sind, das vom Ende des gemischten Bereich aus auf der genannten geraden Linie dem ersten Pixel benachbart ist, so daß die einzelne Vordergrundobjektkomponente berechnet wird, die dem zweiten Pixel entspricht.
  10. Aufzeichnungsmedium nach Anspruch 8, bei dem in dem Gleichungsgenerierungsschritt (903) die simultanen Gleichungen auf der Basis der Zahl der Teilabschnitte nach Maßgabe der Bewegungsgröße des Vordergrundobjekts erzeugt werden.
DE60219141T 2001-02-05 2002-02-05 Bildverarbeitungsgerät Expired - Lifetime DE60219141T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001028223A JP4106874B2 (ja) 2001-02-05 2001-02-05 画像処理装置および方法、並びに記録媒体
JP2001028223 2001-02-05
PCT/JP2002/000919 WO2002063561A1 (fr) 2001-02-05 2002-02-05 Dispositif de traitement d"image

Publications (2)

Publication Number Publication Date
DE60219141D1 DE60219141D1 (de) 2007-05-10
DE60219141T2 true DE60219141T2 (de) 2008-01-03

Family

ID=18892762

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60219141T Expired - Lifetime DE60219141T2 (de) 2001-02-05 2002-02-05 Bildverarbeitungsgerät

Country Status (7)

Country Link
US (1) US7024050B2 (de)
EP (1) EP1361540B1 (de)
JP (1) JP4106874B2 (de)
KR (1) KR100799011B1 (de)
CN (1) CN1269075C (de)
DE (1) DE60219141T2 (de)
WO (1) WO2002063561A1 (de)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4432274B2 (ja) * 2001-04-12 2010-03-17 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CN1248164C (zh) * 2001-06-15 2006-03-29 索尼公司 图像处理设备和方法、以及图像拍摄设备
JP4596216B2 (ja) * 2001-06-20 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4596220B2 (ja) 2001-06-26 2010-12-08 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
WO2003001456A1 (fr) * 2001-06-26 2003-01-03 Sony Corporation Appareil et procede de traitement de l'image, et appareil de prise de vue
JP4196274B2 (ja) * 2003-08-11 2008-12-17 ソニー株式会社 画像信号処理装置および方法、プログラム、並びに記録媒体
US7486991B2 (en) * 2003-12-24 2009-02-03 Cardiac Pacemakers, Inc. Baroreflex modulation to gradually decrease blood pressure
US10721405B2 (en) 2004-03-25 2020-07-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
US8331723B2 (en) * 2004-03-25 2012-12-11 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
US9826159B2 (en) 2004-03-25 2017-11-21 Clear Imaging Research, Llc Method and apparatus for implementing a digital graduated filter for an imaging apparatus
JP2006092156A (ja) * 2004-09-22 2006-04-06 Namco Ltd プログラム、情報記憶媒体及び画像生成装置
US7359552B2 (en) * 2004-12-15 2008-04-15 Mitsubishi Electric Research Laboratories, Inc. Foreground detection using intrinsic images
CN100464570C (zh) * 2004-12-21 2009-02-25 索尼株式会社 图像处理装置、学习装置和系数生成装置及方法
US7616203B1 (en) * 2006-01-20 2009-11-10 Adobe Systems Incorporated Assigning attributes to regions across frames
US20080099662A1 (en) * 2006-10-31 2008-05-01 Muth Global Visions, Llc Method for adjusting an object detection apparatus
TWI431608B (zh) * 2007-09-12 2014-03-21 Quanta Comp Inc 影像處理方法及電腦可讀取媒介
JP2011091533A (ja) * 2009-10-21 2011-05-06 Sony Corp 画像処理装置および方法、並びに、プログラム
JP2013048717A (ja) * 2011-08-31 2013-03-14 Sony Corp 画像処理装置及び方法、記録媒体、並びにプログラム
US9892510B2 (en) 2012-10-24 2018-02-13 Sony Corporation Method and apparatus for automatic cancer diagnosis using percentage scoring
CN109636731B (zh) * 2018-10-23 2020-11-13 惠州Tcl移动通信有限公司 一种图像拖影的消除方法、电子设备及存储介质
KR20210096090A (ko) 2018-12-06 2021-08-04 소니 세미컨덕터 솔루션즈 가부시키가이샤 수신 장치 및 송신 장치

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5063603A (en) * 1989-11-06 1991-11-05 David Sarnoff Research Center, Inc. Dynamic method for recognizing objects and image processing system therefor
HUT64661A (en) 1990-09-20 1994-01-28 British Broadcasting Corp Method for processing video picture
JPH04352289A (ja) * 1991-05-30 1992-12-07 Mitsubishi Electric Corp 映像信号処理装置
GB9204117D0 (en) * 1992-02-26 1992-04-08 British Broadcasting Corp Video image processing
US5831627A (en) * 1996-06-27 1998-11-03 R/Greenberg Associates System and method for providing improved graphics generation performance using memory lookup
KR100224752B1 (ko) * 1997-06-11 1999-10-15 윤종용 표적 추적 방법 및 장치
JP2000030040A (ja) * 1998-07-14 2000-01-28 Canon Inc 画像処理装置及びコンピュータ読み取り可能な記憶媒体
US6404901B1 (en) 1998-01-29 2002-06-11 Canon Kabushiki Kaisha Image information processing apparatus and its method
US6665342B1 (en) * 1999-07-02 2003-12-16 International Business Machines Corporation System and method for producing a still image representation of a motion video

Also Published As

Publication number Publication date
JP2002230544A (ja) 2002-08-16
US20030174899A1 (en) 2003-09-18
US7024050B2 (en) 2006-04-04
EP1361540B1 (de) 2007-03-28
CN1459078A (zh) 2003-11-26
JP4106874B2 (ja) 2008-06-25
EP1361540A1 (de) 2003-11-12
CN1269075C (zh) 2006-08-09
KR20020089432A (ko) 2002-11-29
EP1361540A4 (de) 2005-12-21
DE60219141D1 (de) 2007-05-10
KR100799011B1 (ko) 2008-01-28
WO2002063561A1 (fr) 2002-08-15

Similar Documents

Publication Publication Date Title
DE60219141T2 (de) Bildverarbeitungsgerät
DE60225138T2 (de) Bildverarbeitungsvorrichtung und -verfahren und bilderfassungsvorrichtung
DE60225807T2 (de) Bildverarbeitungseinrichtung
DE60225285T2 (de) Bildverarbeitungsvorrichtung und -verfahren und bilderfassungsvorrichtung
DE602004005358T2 (de) Objektdetektion in bildern
CN108492262B (zh) 一种基于梯度结构相似性的无鬼影高动态范围成像方法
EP1361542B1 (de) Bildverarbeitungsvorrichtung
DE69627138T2 (de) Verfahren zum abschätzen der lage einer bild-zielregion aus mehreren regionen mitverfolgter landmarken
KR100918544B1 (ko) 화상 처리 장치 및 방법, 및 촬상 장치
DE102021118479A1 (de) Einbetten von komplexen 3d-objekten in eine erweiterte realitätsszene unter verwendung einer bildsegmentierung
DE102017010210A1 (de) Bild-Matting mittels tiefem Lernen
EP1403822B1 (de) Bildverarbeitungsvorrichtung und -verfahren
DE69909635T2 (de) Gerät und verfahren zur elektronischen bildverbesserung
JP4596220B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
DE102016007215A1 (de) Kontrollieren der Glattheit eines Übergangs zwischen Bildern
DE102021119882A1 (de) Videohintergrundschätzung unter verwendung von räumlich-zeitlichen modellen
JP4596223B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
CN107105204A (zh) 一种实现实时实景视频桌面背景的方法和装置
DE602004003521T2 (de) Verfahren, Vorrichtung und Programm zur Bildverarbeitung und zur Detektion von abnormalen Schatten
JP4596217B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
CN109886900A (zh) 一种基于字典训练和稀疏表示的合成雨图除雨方法
DE102007043836B3 (de) Vorrichtung und Verfahren zum Ausrichten eines 3D-Objekts in einem einem Gesichtsfeld einer Aufnahmevorrichtung entsprechenden Bild
JP4596218B2 (ja) 画像処理装置および方法、記録媒体、並びにプログラム
DE10351577B4 (de) Verfahren und Vorrichtung zum Ändern visueller Informationen in Bildern einer bewegten Bildfolge
KR100895744B1 (ko) 화상 처리 장치, 방법 및 기록 매체, 및 촬상 장치

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8320 Willingness to grant licences declared (paragraph 23)