-
Die vorliegende Erfindung bezieht
sich auf ein Verfahren zum Filtern einer Sequenz von Bildern. Sie bezieht
sich ebenfalls auf ein entsprechendes Filtersystem.
-
Bei Bild- und Videokompressionstechniken
wird Kompression im Allgemeinen durch eine Dekorrelation des Signals
mit nachfolgender Quantisierung und Entropiecodierung der zu übertragenden
Information erzielt. Dekorrelation wird meistens durch Prädiktions-
oder Transformationstechniken erhalten. Für eine sehr hohe Kompression
gibt es aber ein steigendes Interesse nach Bildkompressionstechniken
zweiter Generation. Diese Techniken eliminieren ebenfalls die redundante
Information, aber sie versuchen auch den Vorteil der Eigenschaften
des menschlichen Sehsystems zu nehmen. Insbesondere beschreiben
die gebietsbezogenen Kompressionsmethoden, die beispielsweise in
dem Artikel "Object-oriented
analysis-synthesis coding of moving images" von H. G. Musmann u. a. "Signal Processing": "Image Communication" Haft 1, Nr. 2, Oktober 1989,
Seiten 117– 138,
die Bilder oder die Sequenzen in Termen eines Satzes von gebieten,
d. h. einer Aufteilung, und in Termen einiger Informationen für jedes
von dem Empfänger
zu benutzenden Gebietes zum Rekonstruieren des Bildes.
-
In einer gebietsbasierten Codierungsannäherung spielen
die geometrischen Merkmale des Signals eine wichtige Rolle. Gegenstände werden
nicht nur gekennzeichnet durch die Korrelation deren Pixel, sondern auch
durch einige geometrische Eigenschaften. Klassische lineare Signalverarbeitungswerkzeuge
sind nicht sehr gut geeignet für
eine geometrische Annäherung
und andere Werkzeuge, die von der nicht linearen Signalverarbeitung
herrühren,
oder von dem Computer-Gesichtspunkt können für diesen Zweck interessant
sein. Mathematische Morphologie ist entwickelt worden als eine geometrische
Annäherung
zur Signalverarbeitung und die Verwendung morphologischer Werkzeuge
zur Codierung ist ein aktives Feld der Forschung geworden. Ein spezielles
morphologisches Werkzeug, die verbindenden Operatoren, wurden neulich
definiert und es hat sich herausgestellt, dass sie für Kompression
nützlich
sind. Diese Klasse von Operatoren löst das Problem der Bildvereinfachung,
während
die Umrissinformation der nicht vereinfachten Bestandteile beibehalten
wird. Die Umrissaufbewahrungseigenschaft der verbundenen Ope ratoren
ist viel besser als die von linearen, medianen, Rangordnungs- und
klassischen morphologischen Filtern. Sie können für eine Vielzahl von Zwecken
in einem Codierungsschema benutzt werden, sie sind aber besonders
nützlich
für Segmentierung.
Ein Beispiel einer Applikation ist beispielsweise gegeben in dem
Artikel: "Flat zones
filtering, connected operators and filters by reconstruction" von P. Salembier
und J. Serra, "IEEE
Transactions on Image Processing" Heft
4, Nr. 8, August 1995, Seiten 1153 – 1160. Diese Filter sind interessant
in Applikationen, wobei das Signal vereinfacht werden soll, ohne
dass Information über
die Umrisse verloren geht. Beliebte Beispiele umfassen, wie bereits
erwähnt, Segmentierung,
aber auch Sequenzanalyse, Gegenstandserkennung usw.
-
Um zu verstehen, wie verbundene Operatoren
arbeiten, kann ein Beispiel für
binäre
Bilder beschrieben werden. Wie in dem genannten Dokument erwähnt, ist
ein binär
verbundener Operator ψ ein
Operator, der für
jedes binäres
Bild, das durch X bezeichnet ist, nur verbundene Elemente von X
oder von dem Komplement Xc entfernt (die
durchaus bekannte binäre Öffnung durch
Rekonstruktion ist ein Beispiel eines derartigen Operators). In
der Fortsetzung wird vorgeschlagen, nur den Fall von anti-extensiven
Operatoren zu betrachten: ein binär verbundener Operator ist
dann ein Operator, der nur verbundene Komponenten von X entfernen
kann.
-
Das Filterverfahren im Falle von
binären
Bildern kann auf einfache Weise erläutert werden, und zwar durch
eine Baumdarstellung eines Bildes. Diese Annäherung ist in 1 dargestellt, die zeigt, wie ein binär verbundener
Operator funktioniert. Ein ursprüngliches
binäres
Bild X besteht aus drei verbundenen Komponenten. Es kann durch eine
Baumstruktur mit vier Knotenpunkten dargestellt werden. In diesem
ursprünglichen Baum
(original tree) OGT, stellt der Wurzelknotenpunkt C1
0 den Satz von Pixeln dar, die zu dem Hintergrund Xc gehören
und die drei Knotenpunkte c k / l (k = 1, 2, oder 3) stellen die drei
verbundenen Komponenten des Bildes dar. In dieser Darstellung besteht
der Filterprozess darin, dass jeder Knotenpunkt c k / l dadurch analysiert wird,
dass der Wert eines bestimmten Kriteriums ermittelt wird (Analysenschritt
AS). Wenn das Kriterium beispielsweise daraus besteht, dass die
Anzahl Pixel, die zu einem Knotenpunkt gehören, gezählt wird, dann wird der Kriteriumwert
für jeden
Knotenpunkt mit einer bestimmten Schwelle λ verglichen und der Knotenpunkt
wird entfernt, wenn das Kriterium niedriger ist als λ. In dem
Beispiel nach 1 wird
der Knotenpunkt c k / l entfernt (removed connected component RCC) weil
das Gebiet klein ist, und die Pixel werden zu dem Hintergrundknotenpunkt
C 1 / 0 verlagert (die entsprechende verbundene Komponente ist entfernt).
Der Ausgangsbaum (output tree) OPT umfasst nun den Vater-Knotenpunkt
C 1 / 0 und zwei Kind-Knotenpunkte C 1 / 1 und C 3 / 1. Wie ersichtlich, stellen die
Baumkupplungen die Migration der Pixel dar (in Richtung des Vaters)
wenn ein Knotenpunkt entfernt wird. Dieser Prozess führt zu einer
Vereinfachung des binären
Ausgangsbildes (output binary image) OBI (einige verbundene Komponenten
sind entfernt worden) sowie zu einer Aufbewahrung der Umrissinformation
der restlichen Komponenten (Komponenten, die nicht entfernt werden,
werden einwandfrei aufbewahrt), ohne dass neue Umrisse erzeugt werden.
Alle anti-extensiven binär
verbundenen Operatoren können
durch dieses Prozess beschrieben werden, wobei die einzige Modifikation
das Kriterium ist, das bestimmt wird.
-
Es ist nun u. a. eine erste Aufgabe
der vorliegenden Erfindung, ein verbessertes Filterverfahren vorzuschlagen,
das eine Anwendung verbundener Operatoren auf Graupegelbilder erlaubt.
-
Dazu bezieht sich die vorliegende
Erfindung auf ein Filterverfahren, wobei dieses Verfahren für jedes betreffende
Bild die nachfolgenden Verfahrensschritte umfasst:
- (A) einen Klassifizierungsschritt mit parallelen Digitalisierungen
des Bildes für
einige der Graupegel der Bildelemente, wobei diese Digitalisierungen
vorgesehen sind zum Definieren eines örtlichen Hintergrundes und
wobei nach einer Analyse des Hintergrundkomplementes entsprechende
aufeinander folgend verbundene Elemente zusammen eine Baumstruktur
bilden, hergestellt aus einem Vater-Knotenpunkt und nachfolgenden
Kind-Knotenpunkten
und als Max-Baum-Darstellung des betreffenden Bildes bezeichnet,
wobei die genannte Baumdarstellung derart ist, dass einer Schwelle
ausgesetzte Versionen des verarbeiteten Bildes mit allen möglichen
Graupegeln des genannten Bildes den Knotenpunkten des Baumes zugeordnet werden,
und denen eine Rekonstruktion einer Annäherung der Graupegelfunktion
des genannten Bildes folgt, wobei die genannte Rekonstruktion einen
Definitions-Subschritt der verbundenen Elemente umfasst, und zwar
entsprechend einem definierten Typ der Verbindungsfähigkeit
und im Hinblick einer Neusegmentierung des verarbeiteten Bildes,
und einen Korrektursubschritt zum Füllen der restlichen Löcher, die
nach der genannten Neusegmentierung dennoch sichtbar sind,
- (B) einen Filterschritt, vorgesehen zum Treffen einer Entscheidung über die
Eliminierung oder die Aufbewahrung der Knotenpunkte des Baumes entsprechend
einem spezifizierten Filterkriterium, wobei die Bildelemente eines
eliminierten Knotenpunktes dem Vater- Knotenpunkt zugeordnet wird,
- (C) einen Bildwiedergabeschritt, vorgesehen um jedem Bildelement
des Bildes einen Graupegelwert des Knotenpunktes, zu dem es gehört, zuzuordnen.
-
In einer vorteilhaften Ausführungsform
weist das Filterverfahren das Kennzeichen auf, dass:
- (A) der Klassifizierungsschritt die nachfolgenden Subschritte
umfasst:
- (1) einen Digitalisierungs-Subschritt, der die nachfolgenden
Vorgänge
umfasst:
- (a) die Definition des Digitalisierungskriteriums,
- (b) n parallele Digitalisierungen des Bildes, wobei die erste
zu der Definition des örtlichen
Hintergrundes führt
und die (n – 1)
anderen zu der Definition der entsprechenden aufeinander folgend
verbundenen Elemente führt,
- (c) die genannte Wiedergabe einer Annäherung der Graupegelfunktion
des Bildes,
- (B) der Filterschritt die nachfolgenden Subschritte umfasst:
- (2) einen Analysen-Subschritt, vorgesehen zum Definieren und
Messen eines Filterkriteriums,
- (3) einen Entscheidungs-Subschritt, vorgesehen zum Treffen der
Entscheidung über
die Eliminierung oder die Aufbewahrung der Knotenpunkte,
- (C) der Bildwiedergabeschritt den nachfolgenden Subschritt umfasst:
- (4) einen Berechnungs-Subschritt, vorgesehen um jedem Bildelement
des Bildes den Graupegelwert des Knotenpunktes, zu dem es gehört, zuzuordnen.
-
Nach einem bestimmten Merkmal des
Verfahrens werden die Digitalisierungsvorgänge, die zu der Definition
der verbundenen Komponenten führen,
durch Anwendung eines Wasserscheideverfahrens ("watershed method"), das zunächst die Berechnung einer sog.
Distanzfunktion DIST(X) des digitalen Satzes X umfasst, resultierend
aus der vorhergehenden örtlichen
Hintergrundkomplementdefinition und weiterhin die Berechnung der
Wasserscheide von (-DIST(X)).
-
Weiterhin umfasst bei einer anderen
Ausführungsform
des Filterverfahrens der Klassifizierungsschritt auch, nach dem
genannten Digitalisierungssubschritt:
- (2) einen
Korrektursubschritt, wobei die Digitalisierungsvorgänge, die
zu der Definition der verbundenen Komponenten führen, durch die Anwendung eines
Wasserscheideverfahrens durchgeführt
werden, wobei dieses Verfahren zunächst die Berechnung einer sog.
Distanzfunktion DIST(X) einer gefilterten Version des digitalen
Satzes X umfasst, herrührend
aus der vorhergehenden Hintergrundkomplementdefinition und danach
die Berechnung der Wasserscheide von (-DIST(X)) umfasst.
-
Nach einer besonders effizienten
Ausführungsform
umfasst für
einen einfachen Baum, eine einzige Abzweigung betreffend, der genannte
Entscheidungssubschritt selber die nachfolgenden Vorgänge:
- (a) einen ersten Zuordnungsvorgang, vorgesehen
um jedem Knotenpunkt C k / h der Max-Baum-Darstellung zwei
Zustände
Ph und Rh entsprechend
den zwei möglichen
Entscheidungen "Aufbewahren" und "Entfernen" zuzuordnen,
- (b) einen zweiten Konstruktionsvorgang, vorgesehen zum Schaffen
eines Trellis, der Übergänge umfasst, welche
die möglichen
Entscheidungen eines einzigen Knotenpunktes C k / h und seines Vaters
C k / h1 verbinden, wobei die Übergänge wie
folgt bezeichnet werden:
Rh → Rh–1,
Rh → Ph–1,
Ph → Rh–1 und
Ph → Ph–1,
- (c) einen dritten Kostenzuordnungsvorgang, wobei die genannten
Kosten die Zuverlässigkeit
jeder Entscheidung für
jeden Knotenpunkt reflektieren und wobei die Gesamtkosten einer
Strecke als die Summe der Kosten der Übergänge definiert werden,
- (d) einen vierten örtlichen
Entscheidungsvorgang, vorgesehen zum Selektieren der optimalen Strecken,
die bei Ph und Rh enden,
und zwar durch das Kriterium der Selektion einer Regel, die zu der
Bestimmung eines niedrigsten additiven Kostenwertes führt,
Wobei
den vier Vorgängen
nach deren aufeinanderfolgender Implementierung für jede Verzweigung
ein zusätzlicher
Gesamtentscheidungsvorgang, vorgesehen zum Definieren der endgültigen Entscheidung
für jeden
Knotenpunkt auf Basis der Zustände,
die mit der selektierten optimalen Strecke assoziiert sind.
-
Nach einer Abwandlung der genannten
Ausführungsform
umfasst für
einen Baum, mehrere Verzweigungen betreffend, der genannte Entscheidungssubschritt
selber innerhalb jeder Verzweigung:
- (a) einen
ersten Zuordnungsvorgang, vorgesehen um jedem Knotenpunkt C k / h der
Max-Baum-Darstellung zwei
Zustände
Ph und Rh entsprechend
den zwei möglichen
Entscheidungen "Aufbewahren" und "Entfernen" zuzuordnen,
- (b) einen zweiten Konstruktionsvorgang, vorgesehen zum Schaffen
eines Trellis, der Übergänge umfasst, welche
die möglichen
Entscheidungen eines einzigen Knotenpunktes C k / h und seines Vaters
C k / h1 verbinden, wobei die Übergänge wie
folgt bezeichnet werden:
Rh → Rh–1,
Rh → Ph–1,
Ph → Rh–1 und
Ph → Ph–1,
- (c) einen dritten Kostenzuordnungsvorgang, wobei die genannten
Kosten die Zuverlässigkeit
jeder Entscheidung für
jeden Knotenpunkt reflektieren und wobei die Gesamtkosten einer
Strecke als die Summe der Kosten der Übergänge definiert werden,
- (d) einen vierten örtlichen
Entscheidungsvorgang, vorgesehen zum Selektieren der optimalen Strecken,
die bei Ph und Rh enden,
und zwar durch das Kriterium der Selektion einer Regel, die zu der
Bestimmung eines niedrigsten additiven Kostenwertes führt, wobei
den genannten vier Vorgängen
nach deren Implementierung, aufeinanderfolgend für jede Verzweigung ein zusätzlicher
Gesamtentscheidungsvorgang folgt, vorgesehen um zunächst eine
globale optimale Strecke als Einheit der genannten betreffenden
optimalen Strecken zu definieren sowie assoziierte globale Kosten,
entsprechend der Summe der betreffenden Kosten dieser optimalen
Strecken, und um danach die endgültige
Entscheidung zu definieren für
jeden Knotenpunkt auf Basis der Zustände, assoziiert mit der definierten
globalen optimalen Strecke.
-
Es ist eine weitere Aufgabe der vorliegenden
Erfindung ein System vorzuschlagen zum Durchführen des genannten Filterverfahrens.
-
Dazu bezieht sich die vorliegende
Erfindung auf ein System zum Filtern einer Sequenz von Bildern, wobei
dieses System die nachfolgenden Elemente umfasst:
- (A)
eine Klassifizierungsanordnung, die an sich wieder die nachfolgenden
Elemente umfasst:
- (1) eine Max-Baum-Erzeugungsstufe, wobei diese Stufe in Reihenschaltung
die nachfolgenden Elemente umfasst:
- (a) eine Schaltungsanordnung zum Definieren eines Digitalisierungskriteriums,
- (b) n parallele Digitalisierungsschaltungen, die entsprechend
dem genannten Digitalisierungskriterium vereinfachte Versionen des
betreffenden ursprünglichen
Bildes in Form eines örtlichen
Hintergrundes und in Form assoziierter verbundener Elemente erzeugen,
die eine Baumstruktur bilden, hergestellt aus einem Vater-Knotenpunkt
und nachfolgenden Kind-Knotenpunkten und als Max-Baum-Darstellung
des genannten betreffenden ursprünglichen
Bildes bezeichnet, wobei die genannte Baumdarstellung derart ist,
dass mit einer Schwelle versehene Versionen des verarbeiteten Bildes
mit allen möglichen
Graupegeln des genannten Bildes den Knotenpunkten des Baumes zugeordnet
werden,
- (c) eine Rekonstruktionsschaltung, die eine Annäherung der
Graupegelfunktion des genannten betreffenden ursprünglichen
Bildes erzeugt; wobei die genannte Rekonstruktionsschaltung einen
Definitionssubschritt der verbundenen Elemente durchführt, und
zwar entsprechend einem definierten Typ der Verbindungsfähigkeit
und im Hinblick auf eine Neusegmentierung des verarbeiteten Bildes,
und einen Korrektursubschritt zum Füllen der restlichen Löcher, die
noch immer sichtbar sind,
- (B) eine Filteranordnung, die an sich wieder die nachfolgenden
Elemente umfasst:
- (3) eine Analysenstufe, vorgesehen zum Analysieren jedes Knotenpunktes
des genannten Max-Baumes entsprechend einem spezifischen Filterkriterium,
- (4) eine Entscheidungsstufe, vorgesehen zum Eliminieren oder
Aufbewahren von Knotenpunkten des genannten Max-Baumes auf Basis
des genannten Filterkriteriums und jeweils, wenn ein Knotenpunkt
eliminiert wird, zum Zusammenfügen
der Bildelemente mit denen des Vater-Knotenpunktes,
- (C) eine Bildwiederherstellungsanordnung, vorgesehen zum Berechnen
der Ausgangsbilder dadurch, dass jedem der Bildelemente der Graupegel
des Knotenpunktes, zu dem er gehört,
zugeordnet wird.
-
In dem genannten System kann die
Klassifikationsanordnung in Reihe mit der genannten Max-Baumerzeugungsstufe
die nachfolgenden Elemente umfassen:
- (2) eine
Korrekturstufe, wobei die folgenden Elementen in Reihe geschaltet
sind:
- (d) eine Anordnung zur Berechnung des Funktionsabstandes einer
gefilterten Version eines digitalen Satzes, herrührend aus einer Hintergrundkomplementdefinition,
- (e) eine Anordnung zur Berechnung der Wasserscheide des Gegenteils
des genannten Funktionsabstandes.
-
In einer besonderen Ausführungsform
des genannten Filtersystems ist das genannte spezifische Filterkriterium
ein Komplexitätskriterium,
wobei die genannte Analysenstufe dann eine Schaltungsanordnung aufweist
um für
jede verbundene Komponente das Verhältnis zwischen dem Umfang und
seinem Einflussgebiet zu messen und wobei die genannte Entscheidungsstufe
Mittel aufweist zum Eliminieren derjenigen Knotenpunkte, die einen
langen Umfang und ein kleines Einflussgebiet haben und die Bildelemente
jedes eliminierten Knotenpunktes zu denen des Vater-Knotenpunktes
hinzugefügt
werden.
-
In einer weiteren Ausführungsform
des Systems ist das genannte spezifische Kriterium ein Entropie-Kriterium,
wobei die genannte Analysenstufe dann einen Messvor gang aufweist,
vorgesehen um nach einer Berechnung des Histogramms der Pixel, die
zu einem verbundenen Element gehören,
die Menge an Information zu definieren, die von jedem verbundenen
Element gegeben wird, und wobei die genannte Entscheidungsstufe
einen Entscheidungsvorgang umfasst, vorgesehen zum Entfernen aller
Elemente mit Entropie niedriger als ein vorbestimmter Wert.
-
Bei einer anderen vorteilhaften Ausführungsform
des Systems ist das genannte spezifische Filterkriterium ein Bewegungskriterium,
wobei die genannte Analysenstufe eine Schaltungsanordnung aufweist
zur Definition eines Bewegungsmodells, das ein Verlagerungsfeld
ergibt (Di(i, j), Dj(i,
j)) für
jedes Bildelement (i, j) des betreffenden ursprünglichen Bildes und wobei die
genannte Entscheidungsstufe Mittel aufweist zum Eliminieren oder
Aufbewahren der Knotenpunkte entsprechend einem Parameter in Bezug
auf das genannte Bewegungsmodell.
-
Dieser Typ eines Filterkriteriums
ist tatsächlich
besonders vorteilhaft. Im Allgemeinen wird Bewegungsinformation
gemessen, ohne dass man etwas über
die Bildstruktur weiß.
Durch Verwendung bewegungsverbundener Operatoren wird eine andere
Art und Weise der Verarbeitung von Bewegungsinformation vorgeschlagen:
es wird möglich,
Bildsequenzen zu analysieren, wobei Gegenstände einer bekannten Bewegung
folgen und wonach dann geeignete Entscheidungen getroffen werden,
und zwar auf Basis dieses neuen Typs der Analyse der Strukturen
der Bilder. Als interessante Applikation dieser Operatoren (wobei
bewegungsorientierte Segmentierung von Sequenzen erlaubt ist) scheint
es, dass alle Arten von Beobachtungsaufgaben (Heim- oder professionelle
Gebäude,
Büros,
...) betroffen werden.
-
Ausführungsbeispiele der Erfindung
sind in der Zeichnung dargestellt und werden im vorliegenden Fall näher beschrieben.
Es zeigen:
-
1 eine
Darstellung, wie ein verbundener Operator funktioniert im Falle
von digitalen Bildern,
-
2 eine
Baumdarstellung im Falle eines ursprünglichen Bildes mit mehreren
Graupegeln,
-
3 und 4 eine Darstellung des allgemeinen
Filterschemas entsprechend dem Verfahren nach der vorliegenden Erfindung
bzw. ein Beispiel eines Filtersystems zum Implementieren des genannten
Verfahrens,
-
5 und 6 eine Darstellung der Implementierung
des Bewegungskriteriums für
einen Bewegungsparameter bzw. für
einen Bewegungsbereich,
-
7 und 8 eine Beschreibung zur Erläuterung
einiger Aspekte des Entscheidungssubschrittes, einer Trellis-Konstruktion
für die
genannte Entscheidung im Falle einer Einzelzweigbaumstruktur bzw.
im falle einer Vielzweigbaumstruktur,
-
9 bis 16 Darstellungen zweier Bewegungsfilterbeispiele.
-
Das Basisprinzip der vorliegenden
Erfindung ist ein verbessertes Verfahren zum Anwenden einer Baumdarstellung
auf einen Graupegelfall durchzuführen.
Der Grundgedanke besteht daraus, dass rekursiv dadurch erzeugt wird,
dass mit einer Schwelle versehene Versionen des Bildes auf allen
möglichen
Graupegeln studiert werden. Ein Beispiel ist in 2 dargestellt. Das ursprüngliche
Bild (original image) ORI besteht aus sieben flachen Zonen (die
größten verbundenen
Komponenten, wobei das Signal konstant ist) gekennzeichnet durch
einen Buchstaben {A, B, C, D, E, F, G}. Die Nummer hinter jedem
Buchstaben definiert den Graupegelwert der flachen Zone. In diesem
Beispiel reichen drei Graupegelwerte von 0 bis 2.
-
Zum Durchführen des genannten Basisprinzips
wird in einem ersten Schritt eine erste Schwelle auf den Graupegelwert
0 festgelegt. Das Bild wird danach digitalisiert: alle Pixel auf
dem Pegel h = 0, d. h. Pixel des Gebietes A werden dem Wurzelknotenpunkt
des Baumes zugeordnet, der als C 1 / 0 = {A} (und das genannte Gebiet
A wird als A0 bezeichnet). Weiterhin bilden die Pixels des Graupegelwertes,
der bestimmt höher
ist als h = 0 zwei Zonen, oder zwei verbundene Komponenten: C 1 / 1 =
{G}, und C 2 / 1 = {B, C, D, E, F}, die einstweilig zwei einstweiligen
Knotenpunkten zugeordnet werden. Dies schafft einen ersten Baum
FT (first tree) (für
Graupegel zwischen 0 und 1), entsprechend einer Prozedur, entsprechend
derjenigen, die für
das digitale Bild angewandt wird. In einem zweiten Schritt wird
die Schwelle um eins (h = 1) erhöht.
Jeder Knotenpunkt C k / h=1 wird wie das ursprüngliche Bild verarbeitet. So
wird beispielsweise der Knotenpunkt C 2 / 1 = {B, C, D, E, F} betrachtet.
Alle Pixel, die zu diesem Knotenpunkt gehören, die auf dem Pegel h =
1 liegen, sind nach wie vor diesem Knotenpunkt zugeordnet. Pixel
mit einem Graupegelwert wesentlich höher als h (hier {E, C}) aber
erzeugen zwei verschiedene verbundene Kompound nenten und werden
zu zwei verschiedenen Kind-Knotenpunkten C 2 / 2 = {C} und C 3 / 2 = {E} verlagert,
was einen zweiten modifizierten Baum ST (second modified tree) erzeugt.
Wenn es höhere
Graupegelwerte gibt, wird ein kompletter Endbaum CFT (complete final
tree) erhalten, indem dieser Prozess für alle Knotenpunkte k auf dem
Pegel h und für
alle möglichen
Schwellen h wiederholt wird (von 0 bis an den höchsten Graupegelwert).
-
Das Verfahren kann dadurch zusammengefasst
werden, dass gesagt wird, dass bei jedem Knotenpunkt C k / h ein örtlicher
Hintergrund dadurch definiert wird, dass alle Pixel mit dem Graupegelwert
gleich h gehalten werden und dass die jeweiligen verbundenen Elemente,
die durch die Pixel mit einem Graupegelwert höher als h gebildet werden,
progressiv die Kind-Knotenpunkte des Baumes bilden. Eine derartige
Prozedur ist durchaus verständlich
mit Hilfe eines Vergleichs des Graupegelbildes mit einer topographischen
Oberfläche,
die völlig
vom Meer bedeckt ist. Wenn der Meerespegel sinkt, entstehen Seen:
bei der Höhe
h hat man n Seen (C 1 / h, C 2 / h, ....,C n / h), während es bei der größten Höhe nur einen
See gibt. Die Verbindungen aller Seen, wie diese sich entfalten,
wenn der Meerespegel sinkt, kann als Baum dargestellt werden. Die
Wurzel des Baumes stellt das Meer dar, das die ganze Fläche bedeckt.
Wenn der Pegel um eine Stufe sinkt, kann die Ausdehnung des Meeres
ungeändert
bleiben, oder einige flache Zonen auf der vorhergehenden Höhe werden
frei. Durch diese trockenen Gebiete kann das Meer in eine oder mehrere
verbundene Komponenten zerlegt werden. Es wird für jeden See auf der neuen Höhe ein neuer
Knotenpunkt erzeugt und dieser wird mit dem Wurzelknotenpunkt verbunden,
der das Meer auf einem Pegel höher
darstellt: eine einzige Abzweigung wird erzeugt, wenn das Meer eine
verbundene Komponente beibehält
und mehrere Verzweigungen eine Vergabelung bilden, wenn es eine
Loskupplung gibt. Wenn der Wasserpegel sinkt, wird dieselbe rekursive
Prozedur der Ausbreitung des Baumes auf jeden See C k / h angewandt, der
noch auf der aktuellen Höhe
liegt. Die Blätter
an dem Baum stellen den tiefsten Pegel der Seen dar.
-
In dieser Prozedur können einige
Knotenpunkte leer werden (d. h. ohne zusätzliche Verzweigung). Deswegen
werden am Ende der Baumkonstruktion die leeren Knotenpunkte entfernt
( wie beispielsweise C 1 / 1 in dem kompletten Endbaum CFT nach 2). Der komplette Endbaum
CFT wird als Max-Baum bezeichnet, und zwar in dem Sinne, dass es
eine strukturierte Darstellung des Bildes ist, orientiert in Richtung
der Maxima des Bildes (die Maxima sind einfach die Blätter des
Baumes) und in Richtung der Implementierung anti-extensiver operatoren
(ein Min-Baum der Implementierung extensiver Operatoren gewidmet
sollte durch Dualität
auf gleiche weise definiert werden). Der Filterschritt an sich entspricht
dem Schritt, der für
den digitalen Fall durchgeführt
wurde: ein Kriterium wird bestimmt für jedes Knotenpunkt, basiert
auf diesem wert, der Knotenpunkt wird entweder beibehalten oder
entfernt. In diesem letzteren Fall werden die Pixel des Knotenpunktes
in Richtung des Vater-Knotenpunktes verlagert, und am Ende des Prozesses
wird auf diese Weise der Ausgangsbaum CFT oder Max-Baum, in ein
Graupegelbild umgewandelt, indem der Grauwert h den Pixeln jedes
Knotenpunktes C k / h zugeordnet wird.
-
Das allgemeine Filterschema entsprechend
dem Verfahren nach der vorliegenden Erfindung wird nun detailliert
beschrieben. Wie aus 3 ersichtlich,
umfasst das genannte Verfahren drei Hauptschritte: einen ersten
Pixel-Klassifizierungsschritt 31, einen zweiten Filterschritt 32 und
einen dritten Restitutionsschritt 33, durchgeführt in einem
Filtersystem, dargestellt in 4.
-
Der erste Schritt 31 ermöglicht es,
die Pixel jedes aktuellen Bildes auf eine geeignete An und Weise für den Filterprozess
zu strukturieren. Diese geeignete An und Weise besteht aus einer
Klassifizierung der Pixel mit Hilfe der Baumstruktur, die oben als
Max-Baum bezeichnet wurde (d. h. einen Satz von Knotenpunkten C k / h der
Kopplungen zwischen dem Vater-Knotenpunkt und den Kind-Knotenpunkten,
entsprechend dem oben beschriebenen Prozess). Der Prozess ist iterativ,
ausgehend von dem niedrigsten Graupegelwert des Bildes und ansteigend
bis zu höchsten
Wert. Nach einem ersten Digitalisierungsschritt 311 und
wie oben beschrieben, für
jeden einstweiligen Knotenpunkt C k / h wird der Satz mit Pixeln, die
zu einem örtlichen
Hintergrund gehören,
definiert und dem genannten Knotenpunkt C k / h des Max-Baumes zugeordnet.
Theoretisch besteht die herkömmliche
An und Weise der Definition des örtlichen
Hintergrundes jedes Knotenpunktes auf einem bestimmten Pegelwert
h daraus, dass alle Pixel mit dem genannten Graupegelwert genommen
werden. Formell besteht ein Knotenpunkt C k / h aus den Pixeln (i, j),
für die
der Graupegelwert f(i, j) = h ist (so besteht beispielsweise der Knotenpunkt
C 1 / 0 aus den Pixeln (i, j) des Bildes, wofür f(i, j) = 0 ist usw.). Flache
Zonen des Bildes werden deswegen nacheinander extrahiert.
-
In der Praxis aber können diese
sichtbaren Basisentitäten,
die je durch einen genau flachen Graupegelwert gekennzeichnet sind,
im Wesentlichen mehr oder weniger flach sein, und zwar wegen Störung oder wegen
Textur. Der praktisch durchgeführt
Digitalisierungsprozess wird dann anders sein: jeder örtliche
Hintergrund wird entsprechend einem weniger straffen Kriterium definiert,
beispielsweise entsprechend den nachfolgenden Kriterien:
- – einer
festen Schwelle: stattdessen, dass definiert wird, dass die Schwelle
genau der Graupegel h des Knotenpunktes ist, kann man einen höheren Pegel
verwenden um mehr Pixel in dem Hintergrund einzuschließen, so
dass ein Knotenpunkt C k / h nun aus den Pixeln (i, j) besteht, wofür (f(i,
j) – h)
niedriger ist als eine feste Schwelle TD;
- – einer
adaptiven Schwelle: stattdessen, dass eine feste Schwelle TD definiert
wird oder wenn die a priori Definition einer derartigen festen Schwelle
schwierig ist, kann die Definition einer variablen Schwelle auf Basis
beispielsweise des Histogramms der betreffenden Pixel verwendet
werden (so werden beispielsweise Pixel mit dem Graupegelwert unterhalb
des Mittelwertes der Pixel genommen).
-
Im Wesentlichen stützt sich
das nützliche
Kriterium, das gewählt
worden ist, auf die Definition einer Begrenzung Δ der Graupegelschwankungen.
Die entsprechende adaptierte Digitalisierungsregel ist dann die Folgende:
der Knotenpunkt C k / h besteht aus den Pixeln (i, j) für den entweder
f(i, j) = h oder |||f(i, j) – f(i', j')||| ≤ Δ, wobei i' und j' jedes Pixel definieren,
das an jedes Pixel i, j grenzt, das der nachfolgenden Gleichung
entspricht f(i, j) = h. Dies bedeutet, dass, wenn eine flache Zone
aus Pixeln besteht mit niedrigen Graupegelschwankungen, ein Δ Parameter
gewählt
wird zum Definieren einer Grenze für diese Schwankungen in jeder flachen
Zone (der betreffende Fall Δ =
0, der der Situation entspricht, wenn die Zonen genau flach sind).
Die Bedeutung dieser Lösung
kann vorhergesehen werden, indem die Anzahl flacher Zonen betrachtet
wird, die abnimmt, je nachdem der Wert der Begrenzung Δ zunimmt.
Wenn eine strikte Digitalisierung angewandt wird (d. h. Δ = 0), wird
ein Gebiet des betreffenden Bildes durch eine große Anzahl
kleiner flacher Zonen dargestellt und wird nicht als eine einzige
sichtbare Entität
verarbeitet. Wenn dagegen eine weiche Digitalisierung angewandt
wird, werden diese vielen kleinen flachen Zonen zu einer Gruppe
zusammen genommen zum Bilden größerer Entitäten, die
auf kohärente
Weise von dem verbundenen Operator verarbeitet werden.
-
Es sei aber bemerkt, dass mit einem
derartigen angepassten Digitalisierungsprozess die einem bestimmten
Knotenpunkt des Max-Baumes zugeordneten Pixel nicht den gleichen
Graupegelwert haben. Während
des nachher noch zu beschreibenden dritten Bildwiederherstellungsschrittes 33 wird
es deswegen nicht möglich
sein, den Graupegel h auf einfache Weise Pixeln zuzuordnen, die
zu einem Knotenpunkt C k / h gehören und
es wird eine andere Lösung
für diese
Zuordnung vorgeschlagen. Zu dem betreffenden Zeitpunkt und danach
wird vorausgesetzt, dass ein strikter Digitaliserungsprozess implementiert
wird (d. h. Δ =
0).
-
Nach dem Digitalisierungs-Subschritt 311 findet
ein Definitions-Subschritt 312 für verbundene Komponenten statt.
Wenn einmal ein örtlicher
Hintergrund (d. h. beispielsweise C k / h ) definiert worden ist, soll
das Komplement analysiert werden zum Durchführen der Definition der verbundenen
Komponenten, d. h. zum Erzeugen der neuen Knotenpunkte auf dem Pegel
(h + 1). Die vorgeschlagene Annäherung
besteht aus der Selektion eines bestimmten Typs der Verbindungsfähigkeit
und aus der Bezeichnung des Satzes von Pixeln des Knotenpunktes,
die nicht zu dem örtlichen
Hintergrund gehören,
dabei der Regel der Verbindungsfähigkeit
folgend (dieser Subschritt ist besonders wichtig, weil er die Entitäten definiert – d. h.
die Knotenpunkte des Baumes – die
von dem Operator behandelt werden). In der Praxis sind verbundene
Operatoren bekannt, die jedoch den Nachteil aufweisen, als Undichtigkeit
bezeichnet, was aus den Verbindungen verschiedener Objekte herrührt, erzeugt
weil es einige dünne
verbundene Strecken zwischen großen Objekten gibt. Eine Lösung dieses Problems,
wodurch es möglich
ist, eine strikte Verbindungsfähigkeit
zu definieren, besteht daraus, dass diese dünnen Verbindungen gebrochen
werden und die Komponenten in einen Satz elementarer Formen segmentiert
werden, die separat verarbeitet werden (der verbundene Operator
kann eine individuelle Entscheidung über jede Elementarform treffen).
-
Es sind mehrere Methoden bekannt
um eine derartige strikte Anschlussfähigkeit zu definieren und die vorgeschlagene
Methode besteht beispielsweise aus der Verwendung einiger morphologischer
Werkzeuge, wie die Wasserscheide-Methode, beschrieben beispielsweise
in der Europäischen
Patentanmeldung EP-0627693 der Anmelderin, genauer gesagt aus der
Berechnung der sog. Abstandsfunktion DIST(X) des digitalen Satzes
X, herrührend
aus der obenstehenden örtlichen
Hintergrunddefinition und aus der Berechnung der Wasserscheide des
Gegenteils (-DIST(X)) dieser Abstandsfunktion. Die Wasserscheidetransformation
assoziiert dann mit den Minima von (-DIST(X)) Gebieten, die als
Versorgungsbecken bezeichnet werden (diese Minima, welche die Maxima
der Distanzfunktion sind, entsprechen den ultimen Erosionen des
genannten Satzes).
-
Wenn die Segmentierung, betrieben
durch die ultime Erosion, zu viele verbundene Komponenten erzeugt,
kann ihre endgültige
Anzahl auf einfache Weise durch Im plementierung einer Segmentierung
einer mit einer Schwelle versehenen Version der Distanzfunktion,
bezeichnet als (-DIST(X) Λ l)
definiert werden und wobei der Parameter l (l = Größe der Erosion)
es ermöglicht,
von der klassischen Anschlussfähigkeit
progressiv auszugehen, wenn l = 0 ist in dem extremen Fall, wo die
Anzahl verbundener Komponenten durch die Anzahl ultimer Erosionen
definiert wird, wenn l einen unendlichen Wert annimmt. Das durch
diese Wasserscheide-Segmentierung Endergebnis für l = 1 beispielsweise entspricht
einer natürlichen
größenorientierten
Vereinfachung und vermeidet insbesondere das Undichtigkeitsproblem
( die unerwünschten
Verbindungen, geschaffen weil dünne
verbundene Strecken zwischen zwei großen Objekten erschienen sind).
-
Ein Korrektur-Subschritt 313 wird
danach durchgeführt,
da eine Analyse dieses neu segmentierten Bildes im Allgemeinen das
Vorhandensein kleiner Löcher
in den verbundenen Komponenten zeigt. Dies führt zu der Tatsache, dass die
Distanzfunktion eine Vielzahl von Gebietsmaxima aufweist und eine
Vielzahl verbundener Komponenten deswegen durch Segmentierung erzeugt
werden wird. Dieser Nachteil kann wenigstens teilweise vermieden
werden, wenn die Distanzfunktion berechnet wird, nicht an dem ursprünglichen
Bild X, sondern an dem Ergebnis eines Schlusses durch Rekonstruktion,
bezeichnet durch φ(X),
oder eines Gebietsschlusses. Der Effekt dieses Vorgangs ist, die
kleinen Löcher
innerhalb der verbundenen Komponenten zu füllen. Dadurch ist die Distanzfunktion
von φ(X)
viel einfacher und betrifft insbesondere maximal eine reduzierte Anzahl
Gebiete. Die aus dieser Distanzfunktion herrührende Segmentierung entspricht
nun einer mehr natürlichen
Dekomposition der verbundenen Komponenten und ein Bild, vereinfacht
wie beschrieben, betrifft nicht länger falsche Umrisse.
-
Der zweite Schritt 32 ermöglicht es
zunächst,
dass jeder Knotenpunkt des Max-Baumes dadurch analysiert wird, dass
ein spezifiziertes Filterkriterium gemessen wird und dass danach
eine Entscheidung über
die Eliminierung oder Aufbewahrung des Knotenpunktes getroffen wird.
Diese zwei Subschritte (Analysen-Subschritt 321, Entscheidungs-Subschritt 322)
wird nun detailliert beschrieben.
-
In dem ersten Analysen-Subschritt 321 können mehrere
spezifische Kriterien angewandt werden. Ein erstes Kriterium sollte
beispielsweise ein Komplexitätskriterium
sein, d. h. ein rein geometrisches Kriterium. Andere Kriterien sind
möglich:
beispielsweise ein Kriterium, das die Graupegelverteilung betrifft,
oder ein Entropiekriterium und ein Kriterium, das Bildsequenzen
gewidmet ist, oder ein Bewegungskriterium.
-
Im Falle eines Komplexitätskriteriums
ist der Grundgedanke, einen Operator zu definieren (Vorgang 3211),
der imstande sein wird, komplexe verbundene Komponenten zu entfernen,
beispielsweise dadurch, dass für
jede verbundene Komponente das Verhältnis zwischen dem Umfang P
und der Oberfläche
A gemessen wird (P/A oder A/P). Wenn eine verbundene Komponente
eine kleine Oberfläche
aber einen sehr langen Umfang hat, wird sie als einem komplexen
Gegenstand entsprechend betrachtet (beispielsweise der Komplexität eines
Kreises mit der Oberfläche
A ist C = (2·√π)/√A, während C
= 4√A
für ein
Quader mit derselben Oberfläche
A ist: der Kreis ist einfacher als das Quader) und kann eliminiert
werden (Vorgang 3212). Im Allgemeinen entfernt ein derartiger
Operator (in Bildern) Teile, wie Texte oder Texturen, die im Allgemeinen
als komplex betrachtet werden können
durch einen Vergleich mit linearen Formen oder Gebiete ohne Textur,
während
die Umrisse der Gegenstände,
die nicht eliminiert worden sind, beibehalten werden (im Wesentlichen
werden komplexe und helle Gegenstände von dem ursprünglichen
Bild entfernt, aber ein dualer oder gewechselter Operator kann auch
definiert werden um mit der Komplexität dunkler Gegenstände klar
zu kommen: in beiden Fällen ist
der erzielte Effekt weder Größen-orientiert,
weil große
Gegenstände
sowie kleine Gegenstände
entfernt werden, noch Kontrast-orientiert).
-
Die Bedeutung des Komplexitätskriteriums
kann gefunden werden in Segmentierungs-orientierten Codierungsapplikationen.
In solchen Applikationen soll oft entschieden werden, ob ein spezifisches
Gebiet des Bildes segmentiert werden soll oder nicht. In dem ersten
Fall werden die Umrisse des Gebietes dem Empfänger zugesendet und ein Teil
der Codierungskosten ist proportional zu der Länge des zu codierenden Umrisses, d.
h. des Umfangs. In dem zweiten Fall wird das Gebiet als Texturinformation
betrachtet und die Codierungskosten sind im Allgemeinen proportional
zu der Oberfläche.
Wie ersichtlich ermöglicht
der Komplexitätsoperator
es, die Gegenstände
entsprechend einem Umriss/Texturkostenkriterium zu klassifizieren
und kann das Codierungsentscheidungsproblem vereinfachen. Der Name "Komplexität" wird dem Kriterium
zugeordnet, weil intuitiv ersichtlich ist, wie bereits erwähnt, dass
wenn eine verbundene Komponente eine kleine Oberfläche hat aber
einen sehr großen
Umfang, dies einem komplexen Gegenstand entspricht.
-
In dem Fall eines Entropiekriteriums
besteht der Grundgedanke aus der Selektion der Komponenten nur auf
Basis der Graupegelverteilung der Pixel innerhalb deren Träger. Für jede verbundene
Komponente wird das Histogramm der Graupegelwerte berechnet und
dem Histogramm wird eine spezifische Kennzeichnung zugeordnet um
entscheiden zu können,
ob diese verbundene Komponente beibehalten oder entfernt werden
soll. Untenstehend besteht das Beispiel aus der Messung der Entropie
der Graupegelverteilung. Die Entropie misst aus einem statistischen
Gesichtspunkt den Betrag an Information, gegeben durch jede verbundene
Komponente. Wenn das Histogramm der Pixel, die zu einer verbundenen
Komponente gehören,
einmal berechnet worden sind, kann die Wahrscheinlichkeit jedes
Graupegelwertes geschätzt
werden. Wenn
die
Wahrscheinlichkeit des Auftritts des Graupegels l, wie in dem Histogramm
von Pixeln geschätzt,
die zu der Komponente C ^
k / h gehören,
bezeichnet, wird danach die in Bits gemessene Entropie definiert,
und zwar dank dem Ausdruck (1):
-
-
Die Entropie eines Gebietes konstanten
Wertes ist gleich Null, während
die Entropie maximal ist für beliebige
Textur einer einheitlichen Wahrscheinlichkeitsdichtenfunktion. So
entfernt beispielsweise ein Entropieoperator alle Komponenten mit
einer Entropie kleiner als 5 Bits.
-
In dem bevorzugten Fall eines Bewegungskriteriums
ist der Grundgedanke zunächst
einen Operator zu definieren, der imstande sein wird Bild-verbundene
Komponenten zu entfernen, die nicht eine bestimmte Bewegung erfahren.
Der erste Vorgang
3211 des Analysen-Subschrittes
321 besteht
nun aus der Definition eines Bewegungsmodells, was ein Verlagerungsfeld
für jedes
Pixel (i, j) ergibt (D
i(i, j), D
j(i, j)). Dieses Feld ist konstant (D
i(i, j) = D
i und
D
j(i, j) = D
j, wie
die werte von i und j auch sein mögen, wenn man alle Gegenstände nach
einer geradlinigen Verlagerung extrahieren möchte, aber die Verlagerung
wird im Allgemeinen von der genannten räumlichen Lage (i, j) abhängig sein,
damit man mit komplexeren Bewegungsmodellen, wie verwandten oder
quadratischen Modellen klar kommt. Der zweite Vorgang
3212 ist
ein Sequenzverarbeitungsvorgang, der wie folgt durchgeführt wird.
Jedes Frame (aufeinander folgende Frames werden betrachtet) wird
in die entsprechende Max-Baum-Darstellung transformiert, und jeder
Knotenpunkt C k / h wird analysiert: um zu überprüfen, ob die Information in
einem bestimmten Knotenpunkt C k / h ggf. entsprechend dem Bewegungsfeld (D
i(i, j), D
j(i, j)
bewegt, wurde beispielsweise gewählt
um das von den Pixeln von C k / h erzeugte Gebiet zu betrachten und den
Gegenteil der mittleren verlagerten Frame-Differenz (MDFD) dieses
Gebietes mit dem vorhergehenden Frame zu berechnen, was durch den
nachfolgenden Ausdruck (2) angegeben werden kann:
mit den nachfolgenden Bezeichnungen:
f
t(i, j) = Bildsequenz (t = der Zeitpunkt);
i,
j = Koordinate der Pixel von C k / h.
-
Das Gegenteil der mittleren verlagerten
Frame-Differenz wird benutzt, so dass der Kriteriumwert für ein Gebiet,
das beibehalten werden soll, höher
ist als der entsprechende Wert, wenn das Gebiet entfernt werden
soll.
-
Dieser zweite Vorgang
3212 kann
verallgemeinert werden. Es ist tatsächlich nicht sehr zuverlässig, manchmal,
die Bewegung eines Teils eines Bildes auf Basis nur von zwei Frames
zu entscheiden. Es ist dann entschieden, einen Speicher mit einigen
vergangenen Entscheidungen zu haben, was gemacht werden kann durch
Hinzufügung
eines rekursiven Terms. Zwei mittlere DFD werden gemessen, einen
ersten zwischen dem aktuellen Frame f
t und
dem vorhergehenden Frame f
t–1 und einem zweiten
zwischen dem aktuellen Frame f
t und einem
vorhergehenden gefilterten Frame, als ψ(f
t–1),
wobei ψ den
verbundenen Operator bezeichnet. Das Bewegungskriterium wird zum
Schluss durch den nachfolgenden Ausdruck (3) definiert:
wobei α zwischen 0 und 1 liegt. Wenn α = 1 ist,
ist das Kriterium speicherlos (der Ausdruck (3) wird der Ausdruck
(2)), während
im Gegensatz dazu niedrige Werte von α die Einführung eines rekursiven Komponente
in den Entscheidungsprozess ermöglichen.
Die Selektion eines relevanten Wertes für α ist abhängig von der Anwendung: wenn
man sehr schnell eine Änderung
in der Bewegung detektieren möchte,
wird das Kriterium hauptsächlich
speicherlos sein, während
der rekursive Teil spürbar
sein wird, wenn eine zuverlässigere
Entscheidung, die Beobachtung einer größeren Anzahl Frames betreffend,
erforderlich ist.
-
Ein noch allgemeinerer Vorgang kann
vorgesehen werden, wobei der Parameter α für jedes Frame dadurch angepasst
wird, dass der Operatoreffekt auf vorhergehen de Frames (wenigstens
auf ein vorhergehendes Frame) berücksichtigt wird. Der Parameter
wird dann beispielsweise durch den nachfolgenden Ausdruck (4) gegeben:
mit der Beschränkung, dass α
t zwischen
0 und α
0 liegt.
-
Das durch die Ausdrücke (2)
und (3) beschriebene Bewegungskriterium verarbeitet einen Satz Bewegungsparameter.
Gegenstände,
die der gegebenen Bewegung nicht genau folgen, werden entfernt.
Für einige Applikationen
kann es nützlich
sein, Gegenstände
beizubehalten, die sich innerhalb eines bestimmten Bereichs der
Bewegung befinden (oder innerhalb der Bewegungsbandbreite). Dazu
kann das Kriterium entsprechend dem Ausdruck (2) dadurch modifiziert
werden, dass eine Erosion ε und
eine Ausdehnung δ des
vorhergehenden Frames eingeführt
wird. Die Differenz |ft – ft–1|
in der mittleren verlagerten Frame-Differenz MDFD wird an jeder
Stelle (i, j) ersetzt, und zwar entweder durch ft – δ(ft–1),
wenn ft·δ(ft–1)
ist, durch ε(ft–1) – ft, wenn ft < ε(ft–1),
oder durch 0, wenn δ(ft–1) ≤ ft ≤ ε(ft–1)
ist. Diese Annäherung
ist in den 5 und 6 dargestellt, wobei die
Implementierung des Bewegungskriteriums für einen Bewegungsparameter
bzw. für
einen Bewegungsbereich dargestellt wird. Wie ersichtlich erzeugen
die Erosion und die Ausdehnung von ft–1 ein "Rohr", wobei die Funktion
ft ohne Beitrag zu der verlagerten Frame-Differenz
bleiben kann. Die Größe des bei
der Ausdehnung und der Erosion verwendeten Strukturierungselementes
definiert die Bewegungsbandbreite.
-
Der Entscheidungs-Subschritt 322 wird
durchgeführt
um die Aufbewahrung oder die Eliminierung jedes Knotenpunktes C k / h festzustellen,
und zwar mit Hilfe einer digitalen Entscheidung. Wenn man voraussetzt, dass
Entscheidungskosten jeder möglichen
Entscheidung für
jeden Knotenpunkt zugeordnet werden, kann das Entscheidungsproblem
derart gesehen werden, als finde man den Satz der preisgünstigsten
Strecken, der von den Blättern
des Baumes herunter zu dem Wurzelknotenpunkt führt. Diese Annäherung ist
detailliert beschrieben worden in dem Fall eines einfachen Baumes,
einen einfachen Zweig betreffend. Wie in 7 dargestellt, ordnet man zunächst jedem
Knotenpunkt C k / h des Max-Baumes
zwei Zustände
zu, und zwar Ph und Rh welche
die zwei möglichen
Entscheidungen beschreiben: Aufbewahren "preserve" oder Entfernen "remove". Danach wird ein Gitter konstruiert,
indem Übergänge geschaffen
werden, welche die möglichen
Entscheidungen eines Knotenpunktes und seines Vaters miteinander
koppeln. Zwischen C k / h und C k / h1 gibt es vier mögliche Übergänge: Rh → Rh–1,
Rh → Ph–1,
Ph → Rh–1 und
Ph → Ph–1.
Weiterhin werden jedem Übergang
Kosten zugeordnet. Dieselben Kosten werden den zwei Übergängen zugeordnet,
die zu einem "Aufbewahren" – Zustand führen. Diese Kosten sollen die
Zuverlässigkeit
der "Aufbewahren" – Entscheidung für diesen
Knotenpunkt reflektieren (diese Zuverlässigkeit kann beispielsweise
durch die Differenz zwischen der gegebenen Grenze λ des Kriteriums
und dem Kriteriumswert M(C) gemessen werden): wenn die Zuverlässigkeit
sehr hoch ist, sind die Kosten sehr niedrig). In dem Fall eines Übergangs
herrührend
von einem "Entfernen" – Zustand und zu einem "Entfernen" – Zustand gehend ist die Situation
die gleiche und der Wert M(Ch) – λ kann als Übergangskosten zugeordnet
werden. Dies ist aber nicht der Fall für den Übergang, herrührend von
einem "Aufbewahren" – Zustand und kommend zu einem "Entfernen" – Zustand. Tatsächlich sollten
diese Übergänge vermieden
werden, weil man einen Pegel h definieren möchte, über dem alle Knotenpunkte entfernt
werden, und unter dem alle Knotenpunkte aufbewahrt werden, was gemacht
werden kann, wenn ihnen besonders hohe Kosten zugeordnet werden.
Nun besteht die Entscheidung daraus, dass in diesem Gitter die Strecke
mit den niedrigsten Kosten gefunden wird, wobei diese Strecke von
dem Maximum ausgeht und in dem "Aufbewahren" – Zustand des Wurzelknotenpunktes
endet (wenigstens sollte der Wurzelknotenpunkt aufbewahrt werden).
Die Kosten einer Strecke werden als die Summe der Kostens der Übergänge definiert.
-
Dieses Problem kann auf sehr effiziente
Art und Weise durch den durchaus bekannten Viterbi-Algorithmus gelöst werden,
wobei die Hauptaspekte noch mal in Erinnerung gerufen werden. Es
wird vorausgesetzt, dass die zwei optimalen (mit den niedrigtsne
Kosten) Strecken ausgehend von dem Maximum und endend bei Ph+1 und Rh+1 bekannt
sind: man nennt Path P / h+1 und Path R / h+1 diese zwei optimalen Strecken. Die
Definition der zwei optimalen Strecken, die bei Ph und
Rh enden, kann durch eine örtliche
Entscheidung definiert werden. So wird beispielsweise die optimale
Strecke, die in Rh endet, d. h. Path R / h, durch
die Regel (5) definiert:
-
Wenn Cost(Path P / h+1) + Cost(Ph+1 – Rh) ≤ Cost(Path R / h+1)
+ Cost(Rh+1 – Rh)
ist, dann ist (Path r / h) = (Path P / h+1)U{Ph+1 → Rh} Sonst PathRh ) = (PathRh+1 )U{Ph+1 → Rh} (5)
-
Diese Regel besagt ganz einfache,
dass die optimale Strecke, endend in dem Zustand Rh entweder durch
den Zustand Rh+1 oder durch den Zustand
Ph+1 hindurch gehen soll und dass die beste
Strecke diejenige ist, die zu den niedrigsten additiven Kosten führt. Eine ähnliche
Entscheidungsregel kann für
die beste Strecke definiert werden, die als Zustand Ph endet.
Dieser Prozess wird wiederholt, bis der Wurzelknotenpunkt h = 0 ist
und die optimale Strecke progressiv auf Basis örtlicher Entscheidungen konstruiert
wird. Zum Schluss bestimmen, wenn die optimale Strecke einmal gefunden
worden ist, die Zustände,
durch die sie hindurchgeht, die Entscheidungen für jeden Knotenpunkt.
-
Diese ziemlich einfache Prozedur
soll erweitert werden um Bäume
mit mehreren Zweigen meistern zu können: 8 entspricht dem Fall der Verzweigung
zweier Zweige aber die Prozedur ist allgemein und diese Erweiterung
bezieht sich auf eine beliebige Anzahl Zweige. Der Fall des Zustandes
Rh wird beispielsweise analysiert: dabei
gibt es nicht nur eine sondern zwei optimale Strecken, die in diesem
Zustand enden. Die eine Strecke kommt von dem Zeig 1, während die
andere Strecke von dem Zweig 2 herrührt sie sind unabhängig voneinander).
Dadurch soll man diese zwei Strecken unabhängig von einander definieren.
In 8 sind zwei Sätze von Übergängen sichtbar,
identifiziert durch gezogene und punktierte Linien. Die durch die
oben gegebene Regel (5) definierte Entscheidung (die Definition
der optimalen Strecke betreffend) wird auf beide Sätze von Übergängen angewandt.
Wenn diese zwei optimalen Strecken einmal definiert worden sind,
wird ihre Übereinstimmung
als "die optimale
Strecke" betrachtet,
endend in dem Zustand Rh und die Kosten
entsprechen der Summe der Kosten der beiden Strecken.
-
Die Bedeutung dieser Entscheidungsmethode
beruht auf der Tatsache, dass diese Methode sehr robust ist. In
der Praxis bedeutet die Robustheit, dass gleiche Eingangsbilder
zu gleichen Ausgangsergebnissen führen. Dieser Vorteil wird erhalten,
weil die Entscheidung global über
den ganzen Baum und nicht lokal ist. Die Robustheit der Viterbi-Annäherung wird
ebenfalls reflektiert durch die Tatsache, dass Entscheidungen nicht
sehr abhängig
sind von den jedem Übergang
zugeordneten Kosten (so werden beispielsweise in der Praxis gleiche
Ergebnisse erhalten, wenn die oben vorgeschlagenen Kosten durch
ihr Vorzeichen ersetzt werden: entweder 1 oder –1.
-
Der Entscheidungs-Subschritt 322 hat
einen gefilterten Max-Baum erzeugt, und zwar durch Entfernung einiger
Knotenpunkte auf Basis eines Kostenkriteriums. Jeweils wenn ein
Knotenpunkt entfernt wird, werden die Pixel mit den Pixeln des Vater-Knoten punktes
zusammengefügt.
Der dritte Schritt 33 besteht aus der Berechnung der Ausgangsbilder.
Dieser Schritt besteht im Allgemeinen aus der Zuordnung des Graupegelwertes
h des Knotenpunktes C k / h, zu einem Pixel (i, j), zu dem er gehört. Diese
Regel kann aber für
spezifische Applikationen modifiziert werden. Es hat sich herausgestellt,
dass die Entscheidung die Knotenpunkte und deren entsprechende Pixel
in zwei Klassen klassifiziert: Knotenpunkte, die entfernt werden
sollen und Knotenpunkte, die aufbewahrt werden sollen. Jeder Klasse
kann dann eine andere Wiederherstellungstechnik zugeordnet werden.
Wenn ein Knotenpunkt aufbewahrt werden soll, wird sein Inhalt nicht
von dem verbundenen Operator modifiziert. Dadurch werden die ursprünglichen
Graupegelwerte für
die Pixel der aufbewahrten Knotenpunkte benutzt. Dagegen entsprechen
zu entfernende Knotenpunkte Gebieten, die von dem Bild verschwinden
sollen. Eine Annäherung
besteht aus der Schätzung
der Graupegelwerte, die sichtbar wären, wenn dieses Gebiet tatsächlich in
dem Bild nicht sichtbar wäre.
Nachstehend werden drei Beispiele beschrieben. Das erste Beispiel betrifft
eine klassische Gebietsöffnung
mit einer nachfolgenden Max-Baumerzeugung entsprechend der nicht flachen
Digitalisierungsannäherung
(angepasste Digitalisierungsregel, wie oben im Zusammenhang mit
den Digitalisierungs-Subschritt 311 beschrieben, mit beispielsweise Δ = 8). Eine
Gebietsöffnung
wird auf den Max-Baum angewandt und für jeden Knotenpunkt wird eine
Entscheidung getroffen. In der resultierenden Entscheidungsabbildung
stellen dunkle (helle) Gebiete Knotenpunkte dar, die aufbewahrt
(entfernt) werden sollen. Das Endergebnis ist ein Bild, wo Pixel,
die aufbewahrt werden sollen, den ursprünglichen Werten entsprechen und
Pixel, die entfernt werden sollen, auf Werte gesetzt werden, die
sie haben unter Anwendung der flachen Annäherung. In diesem Beispiel
wird das Ergebnis dieser flachen Annäherung als eine Schätzung der
Bildgraupegelwerte hinter den zu entfernenden Gebieten benutzt.
-
Eine zweite Lösung soll eine Lösung sein
zum Berechnen des Mittelwertes der Pixel der zu entfernenden Gebiete.
In der Praxis aber kann diese Annäherung zu Ergebnissen führen, wo
die Übergänge zwischen entfernten
und aufbewahrten Knotenpunkten sehr gut sichtbar sind. Die dritte
Lösung
kann eine Sequenzfilterung sein mit einem bewegungsorientierten
verbundenen Operator. Aufgabe ist es, alle Bildelemente, die sich nicht
bewegen, aufzubewahren. Mit einem Beispiel einer festen Szene, die
einen Korridor mit einer gehenden Person darstellt, ist dadurch,
dass der Bewegungsoperator in Kaskade verwendet wird, und dass sein
Doppel folgt, das schlussendliche gefilterte Bild derart, dass die Person
entfernt und durch flache Zonen des Hintergrundes ersetzt worden
ist. Da mit einer Zeitsequenz gearbeitet wird, kann Information
darüber,
was sich hinter dieser Person befindet, weiterhin aus den vorhergehenden
Frames extrahiert werden, und zwar entsprechend der nachfolgenden
Regel: wenn das Pixel zu einem zu entfernenden Knotenpunkt gehört, kann
der Ausgangsgraupegelwert durch Bewegungskompensation des vorhergehenden
gefilterten Frames definiert werden (für ein Pixel (i, j), der Ausgangsgraupegelwert
gt(i, j) wird gegeben durch: Gt(i, j) = gt–1(i – Δi,
j – Δj)).
-
Wie bereits erwähnt, bezieht sich die vorliegende
Erfindung auf ein Filtersystem zum Durchführen des beschriebenen Filterverfahrens.
Das in 4 dargestellte
Filtersystem umfasst in Kaskadenschaltung eine Klassifikationsanordnung 41,
eine Filteranordnung 42 und eine Rstitutionsanordnung 43.
-
Die Klassifikationsanordnung 41 umfasst
eine Max-Baumerzeugungsstufe 411 und dieser Stufe kann eine
Korrekturstufe 412 folgen, vorgesehen zum Eliminieren kleiner
Löcher,
die es ggf. in den verbundenen Komponenten geben kann. Die genannte
Stufe 411 umfasst eine erste Definitionsschaltung 4111,
vorgesehen zum Definieren des speziellen Digitalisierungskriteriums,
beispielsweise in diesem Fall zur Definition von Schwellen, die
einigen Graupegels des Bildes entsprechen. Dieser Schaltungsanordnung 4111 folgen
n parallel geschaltete Digitalisierungsschaltungen 4112A, 4112B,
...411N die eine Erzeugung aufeinander folgender mit einer Schwelle
versehener Versionen des Bildes entsprechend diesen Graupegeln ermöglichen,
und eine Rekonstruktionsschaltung 4113, welche die Ausgangssignale
der Digitalisierungsschaltungen empfängt, wodurch es möglich ist,
eine Annäherung
der Graupegelfunktion zu rekonstruieren (die Funktion dieser Rekonstruktionsschaltung
entspricht der Erzeugung des digitalen Ausgangsbildes OBI im Falle
der anhand der 1 beschriebenen
Annäherung).
Die Korrekturstufe 412 umfasst, falls vorgesehen, eine
Schaltungsanordnung (4121, 4122) ZUM Implementieren
des herkömmlichen
Wasserscheide-Verfahrens, wobei die Distanzfunktion nun durch eine
Rechenanordnung 4121 berechnet wird, nicht länger für den digitalen
Satz X, herrührend
aus der vorhergehenden örtlichen
Hintergrundkomplementdefinition, sondern für eine gefilterte Version davon,
wobei der genannten Berechnung die Berechnung, in einer Rechenanordnung 4122,
des Gegenteils des genannten Funktionsabstandes folgt.
-
Die Filteranordnung 42 umfasst
eine Analysenstufe 412, die eine Definitionsschaltung 4211 aufweist, die
es ermöglicht,
einen Operator zu definieren, der die verbundenen Komponenten entfernt,
die einem vorbestimmten Kriterium nicht entsprechen, beispielsweise
einem Komplexitätskriterium
oder einem Bewegungskriterium, und eine Entscheidungsstufe 4221,
die es ermöglicht,
einige Knotenpunkte zu entfernen oder aufzubewahren, und zwar entsprechend
der durch das genannte Kriterium definierten Regel.
-
Die durchgeführten Tests zeigen die Effizienz
der vorgeschlagenen Filtermethode. So werden beispielsweise im Falle
eines bewegungsverbundenen Operators einige Beispiele in den 9 bis 16 dargestellt.
-
Eine erstes eine Bewegung filterndes
Beispiel ist in 9, 11, 12 und 13 dargestellt,
was einem Beispiel eines bewegungsverbundenen Operators entspricht,
der feste Gegenstände
aufbewahrt. Aufgabe des Operators dabei ist es, aus dem ursprünglichen
Bild nach 9 alle sich
verlagernden Gegenstände
zu entfernen. Das Bewegungsmodell wird definiert durch: (Δi, Δj)
= (0, 0). In dieser Sequenz sind alle Gegenstände bewegungslos, ausgenommen
die Tänzerin
hinter den zwei Sprechern und der Sprecher auf der linken Seite, der
spricht. Die Applikation des oben beschriebenen bewegungsverbundenen
Operators ψ(f)
entfernt alle helle, sich verlagernden Gegenstände (11) und die Applikation des dualen Operators
entfernt alle dunklen sich verlagernden Gegenstände (12). Der Rest (d. h. die Differenz mit
dem ursprünglichen
Bild) wird dann in 13 präsentiert
und zeigt, was durch den Bewegungsoperator entfernt worden ist.
Wie ersichtlich hat der Operator die Tänzerin und die beweglichen
Einzelheiten des Gesichts des Sprechers sehr genau extrahiert.
-
Ein zweites Beispiel ist in Bezug
auf das ursprüngliche
Bild aus 10 und assoziiert
mit den 14 bis 16 dargestellt, was einem
Beispiel einer bewegunsorientierten Zerlegung entspricht. Eine Zerlegung
dieses ursprünglichen
Bildes wird in drei Schritten erhalten. Zunächst wird die dominante Translation
geschätzt,
was zu dem nachfolgenden Bewegungsmodell führt: (Δi, Δj)
= (2, 0). Gegenstände,
die dieser Translation folgen, werden durch Applikation des Bewegungsoperators
mit nachfolgendem Dual-Operator erhalten (14). Danach wird die Differenz zwischen
dem ursprünglichen
Frame und dem gefilterten Frame berechnet und aus diesem Rast werden
bewegungslose Gegenstände
(Δi, Δj) = (0, 0) extrahiert (15). Zum Schluss werden die restlichen
Komponenten in 16 dargestellt.
Dies ist eine Zerlegung der ursprünglichen Sequenz in dem Sinne,
dass die Summe der drei Sequenzen die ursprüngliche Sequenz wiederherstellt.
Wie ersichtlich hat die Filterung den Hintergrund deutlich von den
zwei Schiffen, die sich in verschiedenen Richtungen verlagern, getrennt.
-
Text in der Zeichnung
-
5
-
-
6
-
-
7
-
- Kosten "Entfernen"
- Kosten "Aufbewahren"
-
8
-
-
9
-
-
10
-
-
11
-
- B) bewegungsverbundener Operator ψ(f)
-
12
-
- C) Dual-Operator ψ*(ψ(11)
-
13
-
-
14
-
- B) Gegenstände
mit Translation (2, 0)
-
15
-
- C) Gegenstände
mit Translation (0, 0)
-
16
-
