DE3608489A1 - Verfahren zur verbesserung der bildsegmentierung einer bildfernsprech-szene - Google Patents

Description

Die Erfindung betrifft ein Verfahren nach dem Gattungsbegriff des Patentanspruchs 1.

Die Fig. 1 verdeutlicht die Aufgabenstellung. Sie zeigt eine typische Bildfernsprech-Szene, die im Vordergrund den hier als Kreis 3 bzw. 4 dargestellten Kopf des Gesprächspartners enthält, der sich in der durch den Pfeil 5 angedeuteten Richtung bewegt, während der Hintergrund 1 - abgesehen von dem im folgenden behandelten Sachverhalt - unverändert bleibt. Bei der Bewegung des Kopfes im Vordergrund von der gestrichelt gezeichneten Stellung 3 in die ausgezogene Stellung 4 werden vorher abgedeckte Bereiche des Hintergrundes frei. Die Bewegung des Kopfes hat also eine Bildänderung in den Bereichen 3 und 4 zur Folge.

Einfachere Segmentierungsverfahren vermögen zwischen stationärem Hintergrund und geänderten Bereichen zu unterscheiden. Es sind aber auch bereits Segmentierungsverfahren bekannt, welche die bewegten Objekte von den durch die Bewegung frei werdenden Hintergrundbereichen trennen. (Klie, J.: "Codierung von Fernsehsignalen für niedrige Übertragungsbitraten", Dissertation, TU Hannover, 1978).

Die Grauwerte der geänderten Bildbereiche werden als relevante Information zum Empfänger übertragen; der stationäre Hintergrund wird - da von Bild-zu-Bild unverändert - einem Hintergrundspeicher entnommen und verursacht keine Belastung des Übertragungskanals. Damit der Empfänger die geänderten und übertragenen Bildbereiche wieder an der richtigen Stelle in den stationären Hintergrund einfügt, werden Abstandsmaße zu einem Bildrand, sog. Adressen, mitübertragen und vom Empfänger ausgewertet. Dieses Verfahren wird mit Conditional-Replenishment bezeichnet.

Der den Kanal belastende Datenstrom setzt sich also zusammen aus der Information, die das sich bewegende Objekt und den freiwerdenden Hintergrund beschreibt und aus der Adressierungsinformation. Um die resultierende Datenrate weiter zu reduzieren, wird in der zitierten Arbeit vorgeschlagen, die Detailauflösung innerhalb von sich bewegenden Objekten durch Tiefpaßfilterung weiter zu vermindern. Es wird dabei von der Überlegung ausgegangen, daß die unscharfe Wiedergabe bewegter Objekte vom Auge noch am ehesten toleriert wird. Das Verfahren wird so ausgebildet, daß die Tiefpaßfilterung geschwindigkeitsgesteuert wirkt, d. h., daß bei geringerer Bewegung mehr Details wiedergegeben werden als bei heftigerer Bewegung.

Das Verfahren hat einige Schwächen und läßt folgende Probleme ungelöst:

• Die Segmentierung in Hintergrund, in bewegte und in geänderte Bildbereiche ist unvollkommen; so ergeben sich Schwierigkeiten, wenn durch die Helligkeitsregelung von Videokameras im gesamten Bild Änderungen verursacht werden, wenn durch überlagertes Hintergrundrauschen Bewegung vorgetäuscht wird und wenn aufgrund von Schlagschatten im Hintergrund, die als Bild-zu-Bildänderungen erkannt werden, für das Gespräch nicht relevante Information übertragen werden muß.
• Die freiwerdenden Hintergrundstrukturen verursachen einen Großteil der zu übertragenden Bildinformation.
• Werden, um die Interpolation ausgelassener Teilbilder oder um einen Prädiktionsalgorithmus zu verbessern, Bewegungsschätzverfahren eingesetzt, verursachen Hintergrundstrukturen Probleme an Konturen von sich bewegenden Objekten.

Die Erfindung hat zum Ziel, durch Verbesserung der Segmentierung diese Schwächen zu beseitigen.

In der Fig. 5 ist eine typische Bildfernsprech-Szene in Draufsicht skizziert. Die das Gespräch führende Person 8 sitzt vor der aufnehmenden Kamera 6 und beobachtet den Gesprächspartner auf einem Sichtgerät 7. Diese typische Szene ist eindeutig in Vordergrund (Kopf- Schulterbild der sprechenden Person) 8 und Hintergrund 9 einzuteilen; es besteht somit die prinzipielle Möglichkeit, auch mit technischen Mitteln eine Unterscheidung vorzunehmen.

Diese Unterscheidung wird durch die im Patentanspruch angegebenen Merkmale herbeigeführt. Vorteilhafte Ausgestaltungen des Segmentierungsverfahrens sind in den Unteransprüchen angegeben.

Das Segmentierungsverfahren der Erfindung hat den Vorteil, daß eine eindeutige Identifizierung von zum Aufnahmeobjekt gehörenden Bildelementen durch die Entfernungsvektoren möglich ist und damit die durch Bewegung des Aufnahmeobjektes frei werdenden Teile des Hintergrundes aufgrund ihrer zu kleinen Entfernungsvektoren von der Bildverarbeitung ausgeschlossen werden können. Die zusätzlich vorgesehene besondere Ausbildung der Optik der Aufnahmekamera verstärkt diese Wirkung.

Im folgenden wird die Erfindung anhand von 3 Figuren näher erläutert. Es zeigen die bereits besprochene Fig. 1 die Aufgabenstellung, die Fig. 2 die bereits ebenfalls behandelte typische Bildfernsprech-Szene in Draufsicht, die Fig. 3 die Kameraanordnung zur Durchführung des erfindungsgemäßen Verfahrens, die Fig. 4 das zugehörige Blockschaltbild.

Die Fig. 3 zeigt eine ähnliche Bildfernsprech-Szene wie die Fig. 2; zum Unterschied zu dieser sind jetzt 2 Kameras 10 nebeneinander angeordnet, die beide mit einer automatisch auf den Vordergrund fokussierbaren Optik versehen sind. Eine der beiden Kameras braucht nur schwarz-weißtauglich zu sein, sollte aber im übrigen die gleichen optischen Eigenschaften wie die andere Kamera besitzen. Technische Varianten dieser prinzipiellen Anordnung, z. B. nur eine Aufnahmekamera mit Doppelobjektiv, sind denkbar.

Bringt man die Bilder der linken und der rechten Kamera zur Deckung, so zeigt sich ein Versatz der Konturen der aufgenommenen Objekte, wobei diejenigen des Vordergrundes stärker gegeneinander verschoben sind als die des Hintergrundes. Technisch läßt sich der Versatz mit den gleichen Methoden ermitteln, die auch bei der Bewegungsschätzung zur Berechnung von Bewegungsvektoren eingesetzt werden. Hier haben sich im Wesentlichen die sog. Block-Matching-Verfahren und differentielle Methoden herauskristallisiert.

Beim bekannten sogenannten Displacement-Schätzverfahren (Displacement, englisch für Verschiebung), versucht man einen eventuellen Bildversatz durch Vergleiche lokaler Bildinformationen im aktuellen Bild mit denen des vorangehenden Bildes zu ermitteln. Hierzu wird ein n Bildpunkte mal m Zeilen umfassender Probeausschnitt (ein sog. Fenster) mit gleichgroßen aber örtlich verschobenen Fenstern des vorhergehenden Bildes verglichen.

Man versucht nun die Verschiebung zu finden, für die sich eine möglichst große Ähnlichkeit ergibt. Dieses Optimierungsproblem wird bei sog. Block-Matching-Verfahren durch Suchstrategien in einem Suchbereich gelöst (Koga, T. et al.: "A 1.5 Mbit/s Interframe-Codec with Motion Compensation", Proc. Int. Conf. on Commun., D 8,7.1, June 1983 Boston, MA).

Bei den differentiellen Verfahren hingegen wird aus den lokalen Veränderungen der Ähnlichkeit (um einen "a-priori"-Schätzwert) auf die Lage des Optimums geschlossen (wie z. B. beim allg. bekannten Newtonschen Iterationsverfahren). Cafforio, C.; Rocca, F.: "The Differential Method for Image Motion Estimation", in Image Sequence Processing and Dynamic Scene Analysis, edited by T. S. Huang, Berlin, Springer-Verlag, pp. 104-124, 1983.

Die Länge der Vektoren ist im vorliegenden Zusammenhang jedoch nicht ein Maß für die Geschwindigkeit, sondern ein Abstandsmaß, d. h. je näher sich ein Objekt zur Kamera befindet, um so länger werden die ermittelten Vektoren. Diese repräsentieren die Objektkonturen und nach einer Unterdrückung der kürzeren Vektoren werden die Konturen deutlicher hervortreten.

Durch die automatische Fokussierung ist sichergestellt, daß lediglich der mit dem Pfeil 21 bezeichnete Schärfentiefebereich scharf abgebildet wird, während der Hintergrund 9 unscharf und mit geringer Detailauflösung aufgenommen wird.

Das Blockschaltbild nach Fig. 4 zeigt das Verfahrensprinzip. Zwei zeitlich aufeinanderfolgende Bilder des linken 11 und des rechten Kanals 12 werden jeweils einem Änderungsdetektor 13 und einem Bewegungsschätzer 14 zugeführt. Das Ergebnis der Bewegungsschätzung wird über eine adaptiv einstellbare Schwelle 15 geleitet, an deren Ausgang ein Signal zur Unterscheidung von Vordergrund- und Hintergrund zur Verfügung steht. Durch logische Verknüpfung dieses Signals mit dem Ausgang des Änderungsdetektors 16 werden die Signale zur Unterscheidung in geänderte Bildbereiche 17, in bewegte Objekte des Vordergrundes 18 und in stationären Hintergrund 19 erzeugt.

Somit wird der Einsatz von Bewegungsschätzverfahren erleichtert, und der bei Bewegung freiwerdende Hintergrund trägt, da unscharf aufgenommen, nur gering zur übertragenen Information bei. Auch die Ableitung von Objektkonturen durch Faltung mit einem speziellen Operator, und Schwellenbildung zur Unterdrückung geringwertiger Faltungsprodukte wird erleichtert.

(Geuen, W.: "Konturfindung auf der Basis des visuellen Konturempfindens", Dissertation, Univ. Hannover, 1983)

Der Effekt "scharf umrissene Konturen der sprechenden Person und unscharfer Hintergrund" und das Hervorheben von Konturen läßt sich durch eine Aperturkorrektur, bzw. durch eine Unscharfmaskierung noch verstärken.

Arp, F.: "Normgerechte Aperturkorrektur von Farbfernsehsignalen", NTZ 27 (1974) H. 4, S. 134-138.

Insgesamt erlaubt die Erfindung eine Trennung der aufgenommenen Person mit den ihr zugeordneten Einrichtungsgegenständen vom Hintergrund. Durch diese Unterscheidung kann eine Aussage getroffen werden, welche der geänderten Bildbereiche zum Hintergrund gehören. Sie werden, einmal übertragen, in einen Hintergrundspeicher abgelegt und, wenn sie im Verlauf des Gespräches erneut frei werden, diesem entnommen; sie führen somit zu keiner weiteren Belastung des Übertragungskanals. Im Extremfall kann auch ein beliebiger, vielleicht örtlich erzeugter Hintergrund eingeblendet werden.

Claims (5)

1. Verfahren zur Verbesserung der Bildsegmentierung einer Bildfernsprech-Szene in eine durch das bewegte Aufnahmeobjekt dargestellten variablen Vordergrundinformation und eine im wesentlichen stationäre, nur einmal zu übertragende Hintergrundinformation, dadurch gekennzeichnet, daß zunächst in bekannter Weise durch zwei nebeneinander angeordnete Kameras (10) zwei Fernsehbilder des gleichen Objekts stereoskopisch aufgenommen werden, daß darauf aus dem entfernungsabhängigen Versatz der Konturen der beiden Bilder des Aufnahmeobjektes nach einem der für die Ermittlung von Bewegungsvektoren bekannten Verfahren jedes Bildelement mit einem Entfernungsvektor versehen wird, der sich reziprok zur Entfernung der Kamera vom Aufnahmeobjekt verhält, und daß für die anschließende Bildverarbeitung lediglich die Entfernungsvektoren ab einer bestimmten Größe verwendet werden (Fig. 3).

2. Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, daß durch eine lediglich den Vordergrund scharf abbildende Optik in den Aufnahmekameras eine zusätzliche Hervorhebung des Aufnahmeobjekts erreicht wird (Fig. 3).

3. Verfahren nach den Patentansprüchen 1 und 2, dadurch gekennzeichnet, daß der Vordergrund durch eine Unschärfemaskierung des Hintergrundes hervorgehoben wird.

4. Verfahren nach Patentanspruch 1, dadurch gekennzeichnet, daß die Ermittlung der Entfernungsvektoren nach dem sogenannten Block-Matching-Verfahren erfolgt.

5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Ermittlung der Entfernungsvektoren mit differentiellen Methoden erfolgt.