DE102014114061A1

DE102014114061A1 - Verfahren und Vorrichtung zum Verstärken der Form der Kanten zur visuellen Verbesserung des Rendering auf der Grundlage von Tiefenbildern eines dreidimensionalen Videostroms

Info

Publication number: DE102014114061A1
Application number: DE102014114061.3A
Authority: DE
Inventors: Marco Grangetto; Maurizio Lucenteforte; Andrea Basso; Giovanni Ballocca; Muhammad Shahid Farid
Original assignee: Sisvel Technology SRL
Current assignee: Sisvel Technology SRL
Priority date: 2013-09-30
Filing date: 2014-09-29
Publication date: 2015-04-02
Also published as: CN104519348A; DE102014114061A9; FR3011368B1; GB2520162A; FR3011368A1; GB201416853D0; US20150091899A1; KR20150037668A; US10049502B2; ITTO20130784A1; GB2520162B; CN104519348B

Abstract

Es wird ein Verfahren zum Korrigieren der Bildkanten eines dreidimensionalen Videoinhalts beschrieben, wobei der Videoinhalt mindestens ein Bild der ursprünglichen Ansicht und mindestens eine Tiefenkarte oder Disparitätenkarte aufweist, wobei das Verfahren die folgenden Schritte umfasst: – Detektieren der Kanten in dem mindestens einen Bild der ursprünglichen Ansicht, um ursprüngliche Kanten zu erhalten; – Verzerren der ursprünglichen Kanten nach der Tiefenkarte oder Disparitätenkarte; – Detektieren von einer Menge von verzerrten Kanten, die durch den Verzerrungsprozess verzerrt sind; – Korrigieren der verzerrten Kanten, um korrigierte Kanten zu erhalten.

Description

Von Sisvel Technology s.r.l. mit italienischer Nationalität mit Sitz in Via Castagnole, 59-10060 None (TO) und mit Zustelladresse bei den Patentanwälten, Ing. Marco Camolese (Nr. der Eintragung ins Anwaltsregister 882 BM), Ing. Corrado Borsano (Nr. der Eintragung ins Anwaltsregister 446 BM), Giancarlo Reposio (Nr. der Eintragung ins Anwaltsregister 1168 BM), Matteo Baroni (Nr. der Eintragung ins Anwaltsregister 1064 BM), Giovanni Zelioli (Nr. der Eintragung ins Anwaltsregister 1536 B), z.Hd. Metroconsult S.r.l., Via Sestriere 100, 10060 None (TO). Benannte Erfinder:
– Muhammad Shahid Farid, Lungo Dora Siena 104, 10153 Turin
– Marco Grangetto, Strada San Bernardo 4, 10064 Pinerolo, Turin
– Maurizio Lucenteforte, Via Duchessa Jolanda 15/a, 10138 Turin
– Andrea Basso, Via Lamarmora 35, 10128 Turin
– Giovanni Ballocca, Via Lavazza 56/8, 10131 Turin

Gebiet der Erfindung
Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zum Verstärken der Form der Kanten zur visuellen Verbesserung des Rendering auf der Grundlage von Tiefenbildern eines dreidimensionalen Videostroms.
Beschreibung des Standes der Technik
Die jüngsten Fortschritte auf dem Gebiet der 3D-Visualisierungstechnologien haben eine Reihe von technischen Problemen mit sich gebracht, die gelöst werden müssen, um den Erfolg des 3D-TV zu gewährleisten. Es sind verschiedene Techniken vorgeschlagen worden, um effiziente Verfahren der Codierung, Übertragung und Wiedergabe zu verwirklichen. Aufgrund der Beschränkungen, die die verfügbare Datenrate für die Übertragung von Mehrfachansichten betreffen, können nur wenige ursprüngliche Ansichten mit den jeweiligen Tiefen übertragen werden, während die anderen Zwischenansichten aus den verfügbaren Ansichten mit Tiefen, die durch Renderingtechniken gewonnen wurden, die auf Tiefenbildern basieren (DIBR, Depth Image Based Rendering, zu dt. tiefenbildbasierte Wiedergabe), erzeugt werden. Zur Wiedergabe der Zwischenansichten werden normalerweise zwei oder drei Ansichten mit den jeweiligen Tiefen verwendet. Der Zweck jeder DIBR-Technik besteht darin, eine hohe visuelle Qualität in den virtuellen Ansichten zu erzielen. Es handelt sich um ein Ergebnis, das schwer zu erzielen ist, wenn die Tiefen aufgrund von Schätzungs- oder Messungsfehlern, Fehlern der Quantisierung und/oder Kompression mit Verlust von Daten ungenau sind.
Fast alle Techniken der Synthese der Ansichten arbeiten in zwei Stufen: zunächst werden die ursprünglichen Ansichten verzerrt und vermischt, um eine Zwischenansicht zu erzeugen. Die Bereiche, die in der Zwischenansicht fehlen, werden dann durch verschiedene Inpainting-Methoden rekonstruiert. Die neue Position jedes Pixels hängt von seiner Tiefe und von Parameter der Kameras ab. Ein kleiner Tiefenfehler kann eine signifikante Veränderung in der Endstellung des Pixels verursachen. Die zweite Stufe der Synthese der Ansichten ist als Füllen der Lücken oder Inpainting bekannt.
Der typischste Fall ist das Erstellen einer Zwischenansicht zwischen zwei ursprünglichen Ansichten, nämlich die linke und die rechte Ansicht, die von den entsprechenden Tiefenkarten begleitet sind.
Die zwei Eingabeansichten V_l und V_r werden mit den entsprechenden Tiefen D_l, D_r angegeben, die in 8-Bit-Ganzzahlen quantifiziert sind. Die am nächsten liegende und die am entferntesten liegende Tiefe wird jeweils mit Z_n und Z_f angegeben. Die häufigste Konfiguration der Kameras wird mit horizontalen Kameras mit einer Brennweite f, erhalten, wobei b_l, b_r jeweils die Positionen der linken und rechten Kamera sind. Als Grundlinie der Kameras wird üblicherweise b = b_r – b_l verwendet. Die virtuelle Zwischenansicht, die geschätzt werden soll, wird mit V_m angegeben. Die Position der virtuellen Kamera für V_m beträgt b_m = b_l + b / 2 = b_r – b / 2. Um V_m zu erzeugen, werden die Pixel von der linken Ansicht in Richtung der gewünschten virtuellen Zwischenkamera verzerrt. Ebenso wird auch die rechte Ansicht in Richtung der Zwischenansicht verzerrt. Die zwei so erhaltenen, virtuellen Ansichten werden dann vermischt, um die endgültige virtuelle Ansicht zu erhalten. Die zwei Zwischenansichten sind üblicherweise komplementär und ermöglichen es, die meisten Okklusionen zu füllen. Jetzt wird angenommen, dass V'_l die linke virtuelle Ansicht ist. Auf Grund der horizontalen Konfiguration der Kamera wird V'_l durch V_l erhalten, indem horizontale Abweichungen auf Pixelkoordinaten angewendet werden. Angesichts der Positionen der Pixel (u, ν) ∊ V_l, muss die verzerrte Position (u', ν') ∊ V'_l derart sein, dass u' = u und ν' = ν – δ ist. Die Abweichung der Spalte δ wird folgendermaßen berechnet: δ = bf / 2d wobei d die Tiefe des ursprünglichen Pixels mit den Koordinaten (u, ν), ist.
Die Tiefen werden im Allgemeinen in Form von quantisierter Disparität (inverse Tiefe) bereitgestellt. Hier wird der Begriff D_l(D_r) verwendet, um diese quantisierten Tiefenkarten zu identifizieren. Die reale Tiefe kann folgendermaßen berechnet werden:
Die linke virtuelle Ansicht V'_r wird in ähnlicher Weise berechnet (die rechte virtuelle Ansicht δ wird zu der ursprünglichen Spaltennummer hinzugefügt, um die verzerrte Position zu erhalten). Schließlich werden die zwei virtuellen Ansichten miteinander vermischt, um die Zwischenansicht V_m zu erhalten, und die Lücken werden mithilfe eines Inpainting-Algorithmus rekonstruiert.
Die DIBR Techniken erstellen Zwischenansichten, die in der Regel mit offensichtlichen Artefakten behaftet sind, die durch eine Reihe von Problemen hervorgerufen sind, wie Fehler der Begradigung, mangelhafte Farbkorrektur und falsch berechnete Tiefeninformationen.
Es ist daher erforderlich, die Bildqualität der Zwischenansichten eines dreidimensionalen Videostroms zu verbessern, indem die Fehler oder die Ungenauigkeiten detektiert und verbessert werden, die in den Tiefen- oder Disparitätsinformationen vorhanden sind.
Kurze Beschreibung der Erfindung
Es ist daher die Aufgabe der vorliegenden Erfindung, ein Verfahren und eine Vorrichtung zum Verstärken der Form der Kanten zur visuellen Verbesserung des Rendering auf der Grundlage von Tiefenbildern eines dreidimensionalen Videostroms anzugeben, die es ermöglichen, die oben genannten Probleme/Nachteile zu beheben.
Die Tiefeninformation wird in der Regel mit Hilfe von Algorithmen geschätzt, die auf dem gleichzeitigen Verbinden von entsprechenden Punkten in verschiedenen Ansichten basiert sind. Es hat sich herausgestellt, dass dieser Prozess ein schlecht gestelltes Problem ist und dass daher einige Schätzfehler vorhergesehen werden sollten. In anderen Fällen können die Tiefe oder Disparität mit Sensoren, wie beispielsweise Lasersensoren zur Messung der Flugzeit, gemessen werden. Die Tiefeninformation ist meist entlang der Kanten der Objekte auf Grund von Schätzungs- oder Messungsfehlern und von Kompressionsartefakten ungenau. Folglich zerstört der DIBR-Verzerrungsprozess oft die Konturen der Objekte, wodurch er eine schlechte Bildqualität in der virtuellen Ansicht verursacht.
Die Hauptaufgabe der vorliegenden Erfindung besteht daher darin, die Bildqualität der Zwischenansichten zu verbessern, indem die Tiefen- oder Disparitätsinformationen in den Tiefenkarten oder Disparitätenkarten der stereoskopischen Bilder (oder der stereoskopischen Videoflüsse) ermittelt und verbessert werden.
Es ist an sich bekannt, dass in den stereoskopischen Videoflüssen eine umkehrbar eindeutige Beziehung zwischen Tiefenkarte und Disparitätskarte besteht. Es versteht sich daher, dass nachfolgend in der Beschreibung der Umfang der Erfindung als auf beide Arten von Karten erweitert anzusehen ist. Der Begriff Karte wird verwendet, um sowohl eine Tiefenkarte als auch eine Disparitätskarte zu bezeichnen.
Die Aufgabe der vorliegenden Erfindung besteht darin, die Leistung der DIBR durch Folgendes zu verbessern:

– Korrigieren des Prozesses der Synthese von Zwischenansichten auf der Empfängerseite oder
– Korrigieren der Tiefenkarte oder Disparitätenkarte vor der Übertragung.

Es wird ebenso ein Satz von Metriken zum Bewerten des Verzerrungsfehlers entlang der Kanten eingeführt, der vorteilhaft eingesetzt werden kann, um die Qualität von Inhalten mit Mehrfachansichten und Tiefe zu bestimmen.
Alle diese Ziele sind durch Nutzung des Vorwissens über die Form der Kanten erreicht worden.
Um dieses Ziel zu erreichen, ist der Gegenstand der Erfindung eine Technik, die zuerst die Kanten identifiziert, die einen erheblichen Verzerrungsfehler aufweisen, und dann die Korrektur an diesen Kanten anwendet. Die Korrekturen können auf zwei Arten angewendet werden, nämlich indem die entsprechenden fehlerhaften Tiefen korrigiert werden (auf der Senderseite vor dem Senden der Tiefenkarte oder Disparitätenkarte, um die besten Leistungen der DIBR beim Empfänger zu gewährleisten) oder durch Anwenden der Korrekturen auf die virtuelle Ansicht auf der Empfängerseite während der Durchführung der DIBR oder als Nachbearbeitung, bevor das Bild zum Display gesendet wird. In beiden Fällen können die Vorkenntnisse genutzt werden, wonach die geraden Linien und die Kanten in typischen Transformationen (d. h. perspektivische Transformationen) erhalten werden.
Die vorgeschlagene Lösung verstärkt die Kenntnis, wonach vorherzusehen ist, dass die Konturen eines Objekts in etwa die gleiche Form wie in den ursprünglichen Ansichten (linke und rechte Ansicht) und in den Zwischenansichten aufweisen.
Beispielsweise sind die geraden Linien unter perspektivischer Transformation invariant, und daher ist es bekannt, dass die geraden Linien in der linken Ansicht als gerade Linien in dem verzerrten Bild reprojiziert werden müssen.
Ebenso muss sich eine generische Kante ohne erhebliche Änderungen in der Form verzerren. Dank dieser Kenntnis und der Reprojektion wird der Fehler in der Wiedergabe der Form der ursprünglichen Kante von vornherein minimiert.
Schließlich können die vorgeschlagenen Metriken zum Erfassen der Verzerrungsfehler entlang der Kanten als Grundlagen für ein System und eine Vorrichtung verwendet werden, die die Qualität der Tiefenkarten (oder Disparitätenkarten) bewerten können, die für die Synthese und die Interpolation der Ansichten zu verwenden sind.
Die Idee, die der Erfindung zugrunde liegt, besteht daher darin, die Kanten der Ansichten zu korrigieren, die in einem 3D-Videosystem synthetisiert sind, um die Zwischenansichten zu rekonstruieren, die von den ursprünglichen Ansichten und/oder von entsprechenden Tiefenkarten erhalten sind, indem ein Algorithmus zum Erfassen der Kanten verwendet wird, der auf die ursprüngliche Ansicht und/oder auf die Tiefenkarten wirkt.
Bei den Techniken der Synthese von Zwischenansichten, die bei einem Visualisierungssystem von Mehrfachansichten oder einem 3D-Visualisierungssystem verwendet werden, ist die Genauigkeit der verwendeten Tiefenkarten sehr wichtig.
Besonders wichtig sind die Präzision und die Genauigkeit, mit der die Tiefenwerte der Kanten der Bilder angegeben sind, die erheblich dazu beitragen, die von dem Beobachter wahrgenommene Qualität zu bestimmen, die von deren Artefakten beeinflusst ist.
Insbesondere ist es notwendig, jede Art von Verzerrung zu vermeiden, die die Kontinuität und die Konnektivität der Kanten des Bildes verändert.
Die technische Lösung, die Gegenstand der Erfindung ist, verbessert die Qualität (Kontinuität und Konnektivität) der Kanten in der synthetisierten Ansicht oder in den Tiefenkarten, die zum Synthetisieren der Ansichten verwendet sind, deutlich und trägt wesentlich dazu bei, die Qualität der synthetisierten dreidimensionale Bilder zu verbessern.
Die Korrekturtechnik kann:

• in der Phase der Rekonstruktion des dreidimensionalen Videostroms verwendet werden, um Tiefenkarten zu korrigieren, die mit den ursprünglichen Ansichten oder den synthetisierten und eventuell decodierten Ansichten verbunden sind;
• vor dem Formatieren und dem möglichen Codieren des dreidimensionalen Videostroms verwendet werden.

Im Folgenden werden einige nicht beschränkende Beispiele der Erfindung in Bezug auf das Korrekturverfahren zusammengefasst, das in der Phase der Rekonstruktion angewendet wird. Diese Beispiele werden eingehend in dem Abschnitt beschrieben, der der detaillierten Beschreibung der bevorzugten Ausführungsformen gewidmet ist.
Nach der ersten Ausführungsform, wie beispielsweise nachstehend in § 1 beschrieben, werden die Kanten direkt in der synthetisierten Ansicht des rekonstruierten dreidimensionalen Videostroms korrigiert. Da die Kanten oft aufgrund von Geräuschen oder von Fehlern in den geschätzten Tiefenkarten geschädigt sind, die mit den ursprünglichen Ansichten verbunden sind, ist es erforderlich, dass diese korrigiert werden. Wenn diese Korrektur während der Rekonstruktion erfolgt, wird der Vorgang ausgeführt, indem von der erhaltenen Ansicht oder den erhaltenen Ansichten und von den entsprechenden Tiefenkarten ausgegangen wird, die in komprimierter Form (die beispielsweise gemäß dem AVC-Standard oder dem HEVC-Standard codiert sind) oder in unkomprimierter Form empfangen werden können.
Die erste Verarbeitung sieht die Anwendung von Algorithmen zur Erkennung und Extraktion der Kanten (an und für sich beispielsweise als der Sobel-Algorithmus bekannt) auf die ursprüngliche Anfangsansicht vor, die empfangen und rekonstruiert (decodiert) ist.
Die Menge von Kanten, die von der ursprünglichen Ansicht erhalten wird, kann einer weiteren Verarbeitung unterzogen werden, wie beispielsweise nachstehend in § 1.1, beschrieben, bei der die wichtigsten Kanten (nach vorgegebenen Kriterien, beispielsweise die längsten Kanten, die geraden Kanten, die Kanten, die in eine bestimmte Richtung orientiert sind, jene, die dem Blickpunkt am nächsten liegen usw.) gewählt werden, und/oder die längeren Kanten segmentieren, wodurch Sequenzen von geraden Segmenten erhalten werden.
Die Gesamtheit des einen angewendeten Kriteriums oder der mehreren angewendeten Kriterien hängt von der gewünschten Balance zwischen visueller Qualität und zusätzlicher Rechenkomplexität ab.
Alle Kanten oder nur die ausgewählten und/oder vorverarbeiteten Kanten werden unter Verwendung der Tiefenkarte projiziert, die mit der ursprünglichen Ansicht verbunden ist, um die Positionen der Kanten selbst in dem synthetisierten Bild abzuleiten. Diese projizierten Kanten (die der ”Verzerrung” unterworfen sind) oder genauer gesagt die Positionen der Pixel, aus denen sie erstellt sind, werden dann mit den entsprechenden Positionen der Pixel der ursprünglichen Ansicht verglichen, die empfangen und rekonstruiert ist.
Im Falle einer Abweichung zwischen den Positionen der Pixel der Kanten werden die Pixel verwendet, die zu den detektierten und extrahierten Kanten der ursprünglichen Ansicht gehören, um die Position der Pixel der projizierten Kanten zu korrigieren.
Um die Korrektur durchzuführen, ist es erforderlich zu entscheiden, welche Kanten verändert sind, wobei ein Verfahren zum Messen des Fehlers zu verwenden ist, der in den Kanten auftritt, die in der Tiefenkarte dargestellt sind, wie beispielsweise nachstehend in § 1.2 beschrieben.
Als Beispiel werden zwei Verfahren zum Erfassen des Diskrepanzniveaus zwischen Kanten, die nach der Tiefenkarte projiziert sind, und jenen, die aus dem Bild der Ansicht abgeleitet sind, beschreiben.
Das erste Verfahren, wie beispielsweise nachstehend in § 1.2.1 beschrieben, beruht auf einem Vergleich zwischen den Formen der entsprechenden Kanten in den zwei Bildern: für jede signifikante Kante werden die Koordinaten eines repräsentativen Punkts der Gesamtform der Kante berechnet, wie beispielsweise ihr Schwerpunkt oder ihr Mittelpunkt. Die Koordinaten der Pixel der Kanten der Karte und der projizierten Ansicht werden dann im Hinblick auf ihren repräsentativen Punkt normalisiert. Der Fehler ist eine Funktion der Differenz zwischen den normalisierten Koordinaten der Position jedes Pixels der ursprünglichen Kante und der Position der Pixel der entsprechenden Kante. Um ein Gesamtmaß des Fehlers an der gesamten Kante zu erhalten, können die resultierenden Werte in geeigneter Weise kombiniert werden, wobei zum Beispiel die Summe der Module der Fehler entlang der gesamten Kante berücksichtigt wird.
Das zweite Verfahren, wie beispielsweise nachstehend in § 1.2.2 beschrieben, beruht auf dem Detektieren der Anomalien in der Trajektorie der projizierten Kanten im Vergleich zu jenen, die von der ursprünglichen Ansicht extrahiert worden sind. Wenn für jedes Pixel, das zu der projizierten Kante gehört, eine lokale Abweichung, beispielsweise mit Gradienten, im Vergleich zu der Kante der ursprünglichen Ansicht erkannt wird, bedeutet dies, dass in der Tiefenkarte ein Fehler vorliegt, der korrigiert werden muss.
Ein Beispiel ist durch die Berechnung des Moduls des Verhältnisses zwischen der Differenz der horizontalen und vertikalen Koordinaten gegeben: wenn der Wert größer als 1 ist, wird angenommen, dass die Position der projizierten Pixel falsch ist.
In 9 ist ein Beispiel für eine diskontinuierliche Kante e ~_j des i-ten Pixels mit vertikalem und horizontalem Gradienten in Modul > 1 dargestellt.
Allgemeiner werden die Gradienten der entsprechenden Pixel der homologen Kanten der Ansicht und der projizierten Pixel nach der Tiefenkarte berechnet und die Werte davon verglichen: Die Pixel, die eine Gradientendifferenz aufweisen, die eine bestimmte Anforderung erfüllt (zum Beispiel das Überschreiten eines Schwellenwertes) werden korrigiert.
Auch in diesem Fall kann ein Maß des Gesamtfehlers der Kante erhalten werden, indem von jenem Pixel ausgegangen wird, das ihn bildet, zum Beispiel, indem die entsprechenden Gradienten pro Modul addiert werden. Auf diese Weise ist es möglich zu bestimmen, welche Kanten stark verändert worden sind und folglich entsprechend korrigiert werden müssen.
Nachdem die Pixel der Kanten und/oder der veränderten Kanten der Tiefenkarte ermittelt worden sind, kann ihre Korrektur auf der Grundlage der Kanten der ursprünglichen Ansicht durchgeführt werden, wie beispielsweise nachstehend in § 1.3 beschrieben.
Als Beispiel können drei mögliche Korrekturtechniken angewendet werden.
Die erste Korrekturtechnik, wie beispielsweise nachstehend in § 1.3 beschrieben, sieht vor, die neue Position der Pixel der projizierten Kante zu berechnen, indem von den Koordinaten von jedem Pixel der Wert des Fehlers subtrahiert wird, der durch Anwenden eines Verfahrens des Vergleichs zwischen den Kanten berechnet ist, wie beispielsweise nachstehend in § 1.2.1 beschrieben. Um den Rechenaufwand, der sich aus dieser Technik ergibt, zu verringern, kann sich die Korrektur allein auf die Kanten beschränken, deren Gesamtfehler einen vorbestimmten Schwellenwert überschreitet.
Die zweite Korrekturtechnik basiert auf der Anwendung eines lokalen Operators für die sofortige Korrektur der Kanten, beispielsweise basierend auf einem Gradientenmaß, wie beispielsweise nachstehend in § 1.2.2 beschrieben.
Die dritte Technik sieht eine Korrektur auf der Basis einer Funktion in Abhängigkeit von den Werten des Gradienten der Kante der ursprünglichen Ansicht der benachbarten Pixel, die zu korrigieren sind, vor. Insbesondere ist es möglich, ein Kantenpixel zu korrigieren, indem eine Funktion der Summe der Koordinaten des vorherigen Pixels mit dem Wert des Gradienten, der in Übereinstimmung mit den entsprechenden Pixeln der projizierten Kante berechnet wird, angewendet wird.
Ein Videobild enthält nicht nur Konturen, sondern auch Farben, Schattierungen und Texturen, die Bereiche des Bildes kennzeichnen, die durch eine Kante getrennt sind. Die Verschiebung der verzerrten Kanten kann aufgrund der Diskontinuität, die in angrenzende Bereiche eingeführt wird, visuelle Artefakte hervorrufen, die mit dem Verlauf der Kante vor der Korrektur kohärent sein können, wie beispielsweise in 10 gezeigt.
Um die Kohärenz der korrigierten synthetisierten Bilder zu bewahren (die durch eine Kombination der korrigierten Tiefenkarte mit der entsprechenden ursprünglichen Ansicht gegeben ist), ist es auch möglich, in der Nähe der Kanten, die auf der Grundlage der vorgenommenen Korrektur verschoben sind, zusammen mit den neu berechneten Pixeln der Kante einige der umliegenden Pixel zu korrigieren, wie beispielsweise nachstehend in § 1.4 beschrieben und in 11 gezeigt.
Diese Technik wird ”Kantenverbesserung” genannt (”edge enforcement”). Anstatt einen Umgebungsbereich zu definieren, der zu korrigieren ist, der klare Konturen aufweist (wie schematisch als Beispiel in 11 gezeigt), können die Pixel, die an die korrigierte Kante angrenzen, in der synthetisierten Ansicht in Übereinstimmung mit einer Bewertungsfunktion, die von dem Abstand der Pixel von der angrenzenden Kante abhängt, gemischt werden.
Die Korrekturtechnik kann auf eine einzige Ansicht und auf die entsprechende Tiefenkarte oder auf zwei oder mehrere Ansichten und die jeweiligen Karten (Tiefenkarte oder Disparitätenkarte) angewendet werden.
Im Fall der Anwendung des Verfahrens auf die ursprünglichen Ansichten des dreidimensionalen Videostroms, werden die Kanten einer Ansicht wie üblich entsprechend der jeweiligen Tiefenkarte verzerrt, und die verzerrten Kanten werden dann mit den Kanten verglichen, die zuvor in der anderen Ansicht des stereoskopischen Paares erhoben worden sind (wie beispielsweise nachstehend in § 2.2 beschrieben). Das Korrigieren der Kanten in der (verzerrten) synthetisierten Ansicht wird durchgeführt, indem die verformten, verzerrten Kanten mit jenen verglichen werden, die in den anderen Ansichten detektiert sind, indem beispielsweise die relative Positionsdifferenz berechnet wird. Ein ähnlicher Ansatz kann verfolgt werden, indem die Technik des Korrigierens auf die Tiefenkarten angewendet wird.
In einer anderen Ausführungsform der Erfindung kann die Korrekturtechnik, die auf die zwei Karten anwendbar ist, auf verschiedene Weisen kombiniert werden:

– Jede synthetisierte Ansicht oder Karte wird auf der Grundlage der entsprechenden Ansicht unabhängig korrigiert;
– Die fehlerhaften Kanten in einer Ansicht oder der entsprechenden Karte werden in der anderen Ansicht korrigiert;
– Die korrigierbaren Kanten, die auf beiden Ansichten basieren, werden korrigiert, indem die Kanten der Ansicht verwendet werden, die ein vorgegebenes Kriterium erfüllen, beispielsweise solche, die nach der verfügbaren Fehlermetrik den kleinsten Projektionsfehler ergeben. Selbstverständlich können die Kanten, die in einer einzigen Ansicht vorhanden sind (die in der anderen Ansicht nicht vorhanden sind, beispielsweise aufgrund von einer Okklusion), nur durch eine einzige Ansicht korrigiert werden.

Im Falle eines dreidimensionalen Inhalts des Videostroms, der mehr als zwei (ursprüngliche) Ansichten aufweist, ist es möglich, ein beliebiges der oben genannten Verfahren des Korrigierens der Kanten zu verwenden, indem es wiederholt auf verschiedene Paare von verfügbaren Ansichten oder von entsprechenden Tiefenkarten (oder Disparitätenkarten) angewendet wird.
Im Folgenden werden kurz einige nicht beschränkende Ausführungsbeispiele der Erfindung beschrieben, die die Anwendung des Verfahrens des Korrigierens während der Phase der Vorbereitung des Inhalts oder des Erzeugens des dreidimensionalen Videostroms betreffen. Diese Beispiele werden eingehend in dem Abschnitt beschrieben, der der Beschreibung der bevorzugten Ausführungsformen gewidmet ist.
Während der Phase der Vorbereitung des Inhalts oder des Erzeugens des dreidimensionalen Videostroms ist es auch möglich, das Korrigieren der Tiefenkarten durchzuführen. In diesem Fall muss nicht die Position der Pixel der Kanten, sondern der Tiefenwert, der in der entsprechenden Tiefenkarte dargestellt ist, korrigiert werden. Insbesondere wird die Abweichung der korrigierten Kanten (auch Disparität genannt) korrigiert. Daraus wird der entsprechende korrigierte Tiefenwert erhalten, indem die bekannte Beziehung zwischen Tiefenwerten und Abweichung verwendet wird.
Der erste Schritt besteht darin, die korrigierten Kanten zu erhalten. Dies erfolgt in ähnlicher Weise, wie mit Bezug auf die Korrekturtechnik beschrieben ist, die während der Phase der Rekonstruktion angewendet wird.
Zunächst werden die Kanten der ursprünglichen Ansicht (zu korrigierende Kanten) mit irgendeiner bekannten Technik detektiert. Diese Kanten sind in die Zwischensicht projiziert, indem die jeweilige Tiefenkarte verwendet wird, wie für das vorherige Korrekturverfahren beschrieben. Gleichzeitig wird jedoch auch die Karte der Abweichungen der Pixel der Kanten berechnet (die auf bekannte Weise erhalten wird, indem die jeweiligen Tiefenwerte bekannt sind). Diese Abweichung wird zu der horizontalen Koordinate der Kante hinzugefügt, um die Position der projizierten Kante zu ermitteln.
Danach wird der Projektionsfehler entlang der Kanten oder genauer gesagt der Unterschied zwischen den projizierten Kanten und den korrigierten Kanten berechnet, und dann wird die korrigierte Karte der Abweichungen als Differenz zwischen der Abweichung der ursprünglichen Kante und dem zuvor definierten Fehler berechnet. An dieser Stelle werden die Werte der Tiefenkarte korrigiert, indem für jedes Pixel der Kanten die Formel verwendet wird, die die Tiefe und die Abweichung oder die Disparität miteinander korreliert.
Allein die Korrektur der Tiefenwerte der Kanten kann das Erstellen von Artefakten in der Karte bewirken, ähnlich wie dies in der synthetisierten Ansicht geschieht. Auch in diesem Fall kann, um diese Artefakte zu beseitigen, ein ähnliches Verfahren wie die Kantenverbesserung verwendet werden, wie oben beschrieben.
Diese zweite Korrekturtechnik, die während des Prozesses des Vorbereitens oder des Erzeugens angewendet werden kann, kann im Falle einer einzigen Ansicht und der entsprechenden Tiefenkarte direkt verwendet werden. Wenn zwei oder mehr Ansichten mit den entsprechenden Tiefenkarten beteiligt sind, ist es möglich, die Schritte der zweiten Korrekturtechnik auf verschiedene Weise zu koordinieren, die für jedes Paar der Ansicht/Tiefenkarte des 3D-Videoinhalts verwendet werden können. Zum Beispiel können in der Phase des Erfassens und des Auswählens der Kanten, wie beispielsweise nachstehend in § 1.2.1 beschrieben, Tools zum gleichzeitigen Verbinden verwendet werden, um Übereinstimmungen zwischen Paaren von Kanten in den zwei Tiefenkarten (rechte und linke Karte) zu finden, wobei dann die zu korrigierenden Kanten auf der Grundlage eines bestimmten Kriteriums ausgewählt werden, wie beispielsweise nachstehend in § 1.1 beschrieben. Sobald die Übereinstimmung von einer Kante in den beiden Karten festgelegt worden ist, kann die Fehlermetrik definiert werden, die zwischen der projizierten Kante und der entsprechenden Kante in einer ursprünglichen Ansicht vorgeschlagen ist.
Ein anderer Aspekt der Erfindung bezieht sich auf die mögliche Verwendung einer Qualitätsmetrik als Werkzeug zur Bewertung der Qualität der Tiefenkarte oder Disparitätenkarte des dreidimensionalen Videostroms.
Die bekannten objektiven Indikatoren der Bildqualität (z. B. PSNR, SSIM und VQA) können nicht immer für die Bewertung der Qualität der Tiefenkarten verwendet werden. Da die Qualität der Kanten erheblich zur subjektiven Qualität der synthetisierten Bilder beiträgt, können als Indikatoren für die Qualität der Tiefenkarten Funktionen verwendet werden, die durch Messen des Fehlers der projizierten Kanten erhalten sind, wie beispielsweise nachstehend in § 1.2.1 und § 1.2.2 beschrieben. Insbesondere ist es möglich, zwei Versionen dieser Metriken zu definieren.
Die erste Metrik namens ”Absolute Edge-Warping (AWE) Fehlermetrik” beruht auf der Projektion der Kanten der ursprünglichen Ansicht und misst den Projektionsfehler, der durch die Werte der Tiefenkarte verursacht ist, indem die Position der Kante vor und nach der Projektion verglichen wird, wie beispielsweise nachstehend in § 1.2.1 beschrieben.
Man kann ein Gesamtmaß der Qualität der Tiefenkarte erhalten, die der Ansicht zu einem bestimmten Zeitpunkt zugeordnet ist, indem Funktionen des Fehlers bewertet werden, der an dem Kantenpixel definiert ist, beispielsweise durch Berechnen des mittleren quadratischen Fehlers, des Maximalwertes oder eines beliebigen anderen statistisches Standardmaßes. Natürlich ist es auch möglich, für die Messung nur eine Teilmenge der Kanten auszuwählen, die nach einem der Kriterien, unter jenen, die beispielsweise in § 1.1 beschrieben sind, gewählt ist.
Die vorgeschlagene Metrik kann in sehr kurzen Kanten durch Fehler von großem Ausmaß beeinflusst werden, die jedoch für das menschliche Sehsystem kaum sichtbar sind und daher die subjektive Qualität nicht verschlechtern. Es wird daher eine zweite Metrik vorgeschlagen, die mit Bezug auf die Länge der Kanten erwogen ist: der Fehler von jeder Kante wird mit einer Funktion abgewogen, die den längeren Kanten mehr Gewicht verleiht. Die Längen der Kanten sind mit einer beliebigen bekannten Technik geschätzt (zum Beispiel, indem die Anzahl der Pixel, aus denen sie bestehen, in Betracht gezogen wird).
Eine Aufgabe der vorliegenden Erfindung besteht darin, ein erstes Verfahren zur Korrektur der Bildkanten eines dreidimensionalen Videoinhalts anzugeben, wobei der Videoinhalt mindestens ein Bild der ursprünglichen Ansicht und mindestens eine Tiefenkarte oder Disparitätenkarte aufweist, wobei das Verfahren die folgenden Schritte umfasst: Detektieren der Kanten in dem mindestens einen Bild der ursprünglichen Ansicht, um ursprüngliche Kanten zu erhalten; Verzerren der ursprünglichen Kanten nach der Tiefenkarte oder Disparitätenkarte; Detektieren von einer Menge von verzerrten Kanten, die durch den Verzerrungsprozess verzerrt sind; Korrigieren der verzerrten Kanten, um korrigierte Kanten zu erhalten.
Das Verfahren umfasst vorzugsweise den weiteren Schritt des Erhaltens von korrigierten Bildern des dreidimensionalen Videoinhalts, indem die korrigierten Kanten auf die Bilder des Videoinhalts angewendet werden.
Eine andere Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren zur Korrektur der Bildkanten eines dreidimensionalen Videoinhalts anzugeben, wobei der Videoinhalt mindestens zwei Bilder der ursprünglichen Ansicht und mindestens zwei Tiefenkarten oder Disparitätenkarten aufweist, wobei das Verfahren die folgenden Schritte umfasst: Durchführen des ersten Verfahrens an einer der mindestens zwei ursprünglichen Ansichten; Durchführen des Verfahrens an der anderen der mindestens zwei ursprünglichen Ansichten, wobei das Verfahren aufeinander folgend an den ursprünglichen Ansichten nacheinander und unabhängig voneinander durchgeführt wird.
Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren zur Korrektur der Bildkanten eines dreidimensionalen Videoinhalts anzugeben, wobei der Videoinhalt mindestens zwei Bilder der ursprünglichen Ansichten und mindestens zwei Tiefenkarten oder Disparitätenkarten aufweist, wobei das Verfahren die folgenden Schritte umfasst: Durchführen des ersten Verfahrens an einer der mindestens zwei ursprünglichen Ansichten; Durchführen des ersten Verfahrens an den Kanten der anderen ursprünglichen Ansicht, die während des vorhergehenden Schrittes nicht korrigiert worden sind.
Eine weitere Aufgabe der vorliegenden Erfindung besteht darin, ein Verfahren zur Korrektur der Bildkanten eines dreidimensionalen Videoinhalts anzugeben, wobei der Videoinhalt mindestens zwei Bilder der ursprünglichen Ansichten und mindestens zwei Tiefenkarten oder Disparitätenkarten aufweist, wobei das Verfahren die folgenden Schritte umfasst: Bestimmen, welche Kanten des dreidimensionalen Videoinhalts durch Anwenden des ersten Verfahrens auf die zwei Bilder der ursprünglichen Ansichten korrigiert werden können, und Anwenden des ersten Verfahrens auf die Kanten, die während des vorhergehenden Schrittes bestimmt wurden.
Weitere Aufgaben der Erfindung bestehen darin, ein Verfahren zum Bewerten der Qualität einer Tiefenkarte, die einer ursprünglichen Ansicht in Bezug auf einen dreidimensionalen Videoinhalt entspricht, anzugeben, wie in den Ansprüchen 24 oder 25 beschrieben.
Weitere Aufgaben der Erfindung bestehen darin, eine Videoverarbeitungsvorrichtung oder eine Vorrichtung zur Bewertung der Videoqualität anzugeben, wie in den Ansprüchen 28 oder 32 beschrieben.
Weitere Aufgaben der Erfindung bestehen darin, ein System, das für das Rekonstruieren eines dreidimensionalen Videoinhalts geeignet ist, wie in Anspruch 30 beschrieben, und ein System, das für das Erzeugen eines dreidimensionalen Videoinhalts geeignet ist, wie in Anspruch 31 beschrieben, anzugeben.
Diese und weitere Aufgaben sind durch ein Verfahren und eine Vorrichtung zum Verstärken der Form der Kanten zur visuellen Verbesserung des Rendering auf der Grundlage von Tiefenbildern eines dreidimensionalen Videostroms gelöst, die als fester Bestandteil dieser Beschreibung anzusehen sind.
Kurze Beschreibung der Zeichnungen
Die Erfindung geht aus der folgenden detaillierten Beschreibung klar hervor, die lediglich als nicht einschränkendes Beispiel bereitgestellt ist und mit Bezug auf die beigefügten Zeichnungen zu lesen ist, worin:
1 einige Beispiele zum Detektieren und Korrigieren der Fehler der Kanten zeigt, die mit der Technik des ”Shape Matching” bearbeitet wurden, insbesondere:
1(a) Ursprüngliche Kante e_j; Zentroid c_j = (344.5,159);
1(b) Verzerrte Kante e ~_j ; Zentroid c_j = (344.5,148.5);
1(c) Ursprüngliche referenzierte Kante e r / j(i) ;
1(d) Verzerrte referenzierte Kante e ~ r / j(i) ;
1(e) Übereinander gelagerte referenzierte Kanten (c) und (d);
1(f) Fehler der Kante ψ_j;
1(g) Korrigierte verzerrte Kante e ^_j;
1(h) Ursprüngliche Kante (obere Kurve) und korrigierte verzerrte Kante (untere Kurve);
2 einige Beispiele zum Detektieren und Korrigieren der Fehler der Kanten zeigt, die mit der Technik des ”Edge Gradient” bearbeitet wurden, insbesondere:
2(4a) Ursprüngliche Kante e_j;
2(b) Verzerrte Kante e ~_j;
2(c) Gradient der ursprünglichen Kante;
2(d) Gradient der verzerrten Kante;
2(e) Korrigierte verzerrte Kante e ^_j;
2(f) Ursprüngliche Kante (obere Kurve) und korrigierte verzerrte Kante (untere Kurve);
3 ein Beispiel des vorgeschlagenen Gewichtungskernels w(u, v) mit k = 7 e ρ = 0.8 zeigt;
4 ein erstes Beispiel eines Blockschaltbilds einer Schaltung zur Realisierung der Korrekturtechnik der Kanten auf der Seite der Rekonstruktion im Fall der Korrektur durch die Verwendung einer einzigen Ansicht zeigt;
5 drei Beispiele von Bildern von Korrekturbearbeitung der Kanten zeigt, insbesondere:
5a: Kanten, die von der linken Ansicht extrahiert sind;
5b: Verzerrtes Bild mit verzerrten Kanten;
5c: Verzerrtes Bild mit Positionen der korrigierten Kanten;
6 ein zweites Beispiel eines Blockschaltbilds einer Schaltung zur Realisierung der Korrekturtechnik der Kanten auf der Seite der Rekonstruktion im Fall des Verstärkens der Kanten durch die Verwendung von zwei Ansichten und der Tiefe zeigt;
7 ein erstes Beispiel eines Blockschaltbilds einer Schaltung zur Realisierung der Korrekturtechnik der Kanten auf der Seite der Erstellung im Fall der Tiefenkorrektur durch die Verwendung einer einzigen Ansicht und der Tiefe zeigt;
8 ein zweites Beispiel eines Blockschaltbilds einer Schaltung zur Realisierung der Korrekturtechnik der Kanten auf der Seite der Erstellung im Fall der Tiefenkorrektur durch die Verwendung von Mehrfachansichten und Tiefe zeigt;
9 ein Beispiel für eine diskontinuierliche Kante e ~_j des i-ten Pixels mit vertikalem und horizontalen Gradienten in Modul > 1 zeigt;
10 ein Beispiel zeigt, wie die Abweichung der verzerrten Kanten visuelle Artefakte auf Grund der Diskontinuität hervorrufen kann, die in angrenzende Bereiche eingeführt ist;
11 ein Beispiel der Pixelkorrektur von angrenzenden Bereichen zeigt;
12 ein Beispielschema des Verfahrens des Korrigierens der Kanten in der Phase der Rekonstruktion zeigt;
13 ein erstes Beispiel eines Blockschaltbilds eines Empfangssystems eines dreidimensionalen Videostroms zeigt, das eine Schaltung wie in 4 oder 6 aufweist;
14 ein erstes Beispiel eines Blockschaltbilds eines Empfangssystems eines dreidimensionalen Videostroms zeigt, das eine Schaltung wie in 7 oder 8 aufweist.
Detaillierte Beschreibung der bevorzugten Ausführungsformen
Im Folgenden werden einige Varianten der Ausführungsformen der Idee basierend auf dem erfindungsgemäßen Verfahren beschrieben.
1 Korrekturen auf der Empfängerseite
Auf der Empfängerseite (oder Rekonstruktionsseite) des dreidimensionalen Videostroms (System) besteht die Aufgabe darin, die visuelle Qualität der Objekte in den virtuellen Bildern zu verbessern, indem die empfangenen Ansichten und die entsprechenden Tiefen- oder Disparitätsinformationen verwendet werden. In den meisten Fällen sind die Ansichten und die empfangen Tiefeninformationen mit Fehlern der Kompression infolge von Lossy-Kompressionsalgorithmen behaftet.
Die vorgeschlagene Technik weist zwei Phasen auf.
Während der ersten Phase werden die Konturen (Kanten) der Objekte in mindestens einer Ansicht, z. B. der linken Ansicht detektiert. Anschließend werden die detektierten Kanten in Richtung ihrer Mittelposition verzerrt, wodurch die Menge der Kanten, die durch den Verzerrungsprozess verzerrt sind, ermittelt werden kann.
In der zweiten Phase wird die Korrektur des verzerrten Bildes angewendet.
1.1 Kantendetektion und Vorverarbeitung der Kanten
Die erste Aufgabe der vorgeschlagenen Technik besteht darin, die Kanten in dem Input-Inhalt (Ansichten des Inhalts und/oder die entsprechenden Tiefenkarten/Disparitätskarten) zu identifizieren. Das Detektieren der Kanten kann an den Ansichten des Inhalts oder der entsprechenden Tiefenkarte oder Disparitätskarte durchgeführt werden. Es sei daran erinnert, dass es in der Regel zu empfehlen ist, da die Tiefenkarten nicht genau sein könnten, die Kanten zu detektieren, indem die ursprünglichen Ansichten anstelle der entsprechenden Tiefe verwendet werden. Das Verfahren beginnt mit einem beliebigen bekannten Erfassungsalgorithmus. Es gibt verschiedene Techniken, um die Kanten in den Bildern zu detektieren, wie das einfache und schnelle Sobel-Kernel oder Prewitt-Kernel und der komplexere Canny-Kantendetektor, wie beispielsweise in dem Artikel von J. Canny "A computational approach to edge detection," IEEE Trans. Pattern Anal. Mach. Intell., Band 8, Nr. 6, Seiten 679–698, Juni 1986 beschrieben ist. An der Gesamtheit der auf diese Weise erhaltenen Kanten werden die folgenden Schritte ausgeführt.
Die Menge von Kanten kann sortiert und/oder in den Größen beschränkt werden, um die Komplexität des Algorithmus zu skalieren und/oder nach mindestens einem Kriterium oder einer Kombination von folgenden Kriterien vorverarbeitet werden:

– Qualitätskriterien, die während des gesamten Verfahrens des Korrigierens erfüllt werden müssen (visuelle Qualität, spezifische Eigenschaften der visuellen Objekte, geometrische Eigenschaften, spezifische Anwendungseinschränkungen)
– geometrische Eigenschaften der Kante (beispielsweise Ausrichtung, Linearität, Krümmung, Länge)
– Kantenposition (beispielsweise Position im 3D-Raum, Nähe zum Sichtpunkt der Kamera)
– Die Kanten können in geradlinige Segmente unterteilt werden (indem möglicherweise eine segmentierte geradlinige Kante erstellt wird), um die nachfolgenden Korrekturen nur auf gerade Linien anzuwenden, wobei in diesem Fall bekannt ist, dass die Korrektur theoretisch optimal sein wird, da die geraden Linien unter projektiver Transformation invariant sind.
– jedes Auswahlkriterium, das in der Lage ist, einen Kompromiss zwischen der endgültigen Qualität des gesamten Korrekturprozesses und der Komplexität des Algorithmus (letztere hängt von der Anzahl der Kanten, die zu korrigieren sind, ab) zu erreichen. Beispielsweise werden die Kanten in der Menge zuerst nach mindestens einem der vorangehenden Kriterien sortiert und dann wird eine Teilmenge davon zum Korrigieren ausgewählt.

Diese Vorverarbeitung kann durchgeführt werden, indem bekannte Werkzeuge der Detektion der Kanten verwendet werden und indem die Parameter davon, beispielsweise Filter, Schwellenwerte usw. entsprechend konfiguriert werden, worauf geeignete Werkzeuge zur Klassifizierung und Sortierung folgen, die überwacht oder nicht überwacht sind. Dieses Verfahren ermöglicht es, die Kriterien optimal zu erfüllen, indem ein guter Kompromiss hinsichtlich der Komplexität geboten wird.
Die Menge der Kanten wird mit E bezeichnet, wobei e_j die j-te Kante in der Menge angibt, die, wenn möglich, in Übereinstimmung mit den oben erwähnten Sortierkriterien ausgewählt wird.
Mit e_j(i) = (u_j,i, ν_j,i) wird der i-te Punkt der j-ten Kante mit Koordinaten (u_j,i, ν_j,i) in der Ebene des Bildes angegeben, und dass die Anzahl der Punkte der Kante n_j sei. In anderen Worten kann e_j(i) als Vektor von n_j Koordinaten dargestellt werden.
Die Liste der Kanten E wird dann in die Menge der verzerrten Kanten E ~ umgewandelt, indem eine Verzerrung in Richtung auf einen Zielpunkt der Ansicht vorgenommen wird, zum Beispiel ein Sichtpunkt zwischen zwei verfügbaren Ansichten oder jeder beliebige geeignete Sichtpunkt im Falle einer einzigen verfügbaren Ansicht. Die Verzerrung hängt von der Tiefenkarte/Disparitätskarte ab und wird auf die entsprechenden Koordinaten der Kanten angewendet, wie oben beschrieben.
Jeder Fehler im Tiefenwert/Wert der Disparität an den Koordinaten der Kante wird daher an der berechneten verzerrten Kante reflektiert. In der 1-(a) ist ein Beispiel einer ursprünglichen Kante e_j und der entsprechenden verzerrten Kante e ~_j gezeigt, die mit Verzerrungsfehlern behaftet ist (siehe die anomale Verzerrung in der Mitte der Kante).
1.2 Schätzung des Verzerrungsfehlers an den Kanten
Auf Grund von Fehlern in den Werten der Tiefenkarte/Disparitätskarte kann der Verzerrungsprozess möglicherweise zu Fehlern führen und das Bild verzerren. Der vorgeschlagene Algorithmus detektiert die Kanten, die von Tiefenfehlern verzerrt sind, und behebt sie.
Es werden zwei Verfahren vorgeschlagen, um die verzerrten Kanten zu detektieren:

– ein erstes Verfahren basiert auf dem Vergleich der Formen der Kanten (vor und nach der Verzerrung) und
– ein zweites Verfahren basiert auf der Detektion der Anomalien in den Koordinaten der verzerrten Kanten.

1.2.1 Vergleich der Formen der Kanten
Das erste Verfahren zur Schätzung des Verzerrungsfehlers und zur Detektion der verzerrten Kante beruht auf dem Vergleich zwischen der Form einer ursprünglichen Kante und jener der entsprechenden verzerrten Kante.
Eine ursprüngliche Kante wird mit e_j und eine entsprechende verzerrte Kante wird mit e ~_j angegeben.
Um die Verzerrung der verzerrten Kante in Bezug auf die ursprüngliche Kante zu bestimmen, wird der Zentroid beider Kanten berechnet.
Mit c_j ≙ (u c / j, ν c / j) wird der Zentroid der ursprünglichen Kante e_j und mit c ~_j ≙ (u ~ c / j, ν ~ c / j) die Mitte der verzerrten Kante e ~_j angegeben. Die Zentroiden werden wie folgt berechnet:
Der Zentroid von e ~_j wird auf gleiche Weise berechnet. 1-(a) und 1-(b) zeigen die Werte des Zentroiden für eine Musterkante.
Alternativ kann der Zentroid durch jeden beliebigen anderen Bezugspunkt ersetzt werden, der als Funktion der Punkte der Kante berechnet ist, beispielsweise unter Verwendung des Mittelwertes der horizontalen und vertikalen Koordinaten.
Der Mittelpunkt weist die wohl bekannte Eigenschaft auf, robuster gegenüber den Ausreißern (Outlier) in dem Wert der Koordinaten der verzerrten Kante zu sein. Für den gleichen Zweck können auch andere statistische Operatoren verwendet werden.
Um die Formen der beiden Kanten zu vergleichen, ist es erforderlich, die Koordinaten auf den jeweiligen Zentroiden wieder wie folgt zu kartieren: e r / j(i) = e_j(i) – c_j e ~ r / j(i) = e ~_j(i) – c ~_j wodurch auf diese Weise die sogenannten referenzierten Kanten e r / j und e ~ r / j erhalten werden. Ein Beispiel einer referenzierten Kante ist in 1-(c) und 1-(d) gezeigt.
Der Verzerrungsfehler für jeden Punkt i der j-ten Kante wird mittels der Differenz zwischen den Koordinaten der Punkte der referenzierten Kante folgendermaßen berechnet: ψ_j(i) = e r / j(i) – e ~ r / j(i)
Die Werte ψ_j, die im Fall der Musterkante berechnet sind, die in 1 verwendet ist, sind in 1-(f) gezeigt. Wie zu erkennen ist, entsprechen dem Abschnitt, in dem die Verzerrung die Kante beschädigt hat, erhöhte Werte von ψ_j.
Es ist auch möglich einen Gesamtverzerrungsfehler μ_j der j-ten Kante zu definieren, indem beispielsweise das Modul aller Fehler der Punkte der Kante wie folgt addiert wird:
Alternativ kann ein Durchschnittswert aller Fehler der Punkte der Kante genommen werden. Für den Gesamtverzerrungswert an der j-ten Kante kann außerdem als Metrik jede beliebige andere geeignete, oben definierte Funktion von ψ_j(i) verwendet werden.
1.2.2 Detektion der Anomalien der verzerrten Kanten
Ein anderes Verfahren zur Detektion des Verzerrungsfehlers in den Kanten beruht auf der Analyse der Trajektorien der Kante vor und nach der Verzerrung, wobei eventuelle anomale und im Allgemeinen abrupte Änderungen erkannt werden.
Dieses Ziel kann durch jedes beliebige Verfahren zur Detektion der Anomalien erreicht werden, das aus der Literatur bekannt ist.
Beispielsweise können die verzerrten Kanten durch Analysieren des Gradienten der Kanten vor und nach der Verzerrung detektiert werden, wie in den 2a bis 2f dargestellt.
Der Gradient stellt in der Tat die horizontalen und vertikalen Inkrementierungen der Trajektorie der Kante dar. Dort, wo sich der Gradient einer Kante nach der Verzerrung wesentlich von jenem der ursprünglichen Kante unterscheidet, wird angenommen, dass dieser einer anomalen Verzerrung aufgrund von falschen Tiefeninformationen unterworfen ist.
Von einem Kantenpunkt e_j(i) wird sein Gradient ∇_j(i) folgendermaßen definiert: ∇_j(i) = (∇ r / j(i), ∇ c / j(i) = e_j(i) – e_j(i + 1)
Ebenso wird ∇ ~_j(i) für den verzerrten Kantenpunkt e ~_j(i) berechnet. Vor der Deformation sind die Kanten durch Punkte, die durch Konstruktion verbunden sind, gebildet, und daher muss gelten, dass |∇ r / j(i)| ≤ 1 und |∇ c / j(i)| ≤ 1 oder die horizontalen und vertikalen Koordinaten der beiden aufeinander folgenden Kantenpunkte in benachbarten Positionen sein müssen.
Zu diesem Zweck ist es möglich, jeden beliebigen alternativen Test der Konnektivität zu verwenden, der aus der Literatur, die dem künstlichen Sehen gewidmet ist, bekannt ist.
Es kann beobachtet werden, dass die Kanten für begrenzte Werte der Basislinie der Kameras b durch ähnliche Gradienten vor und nach der Verzerrung charakterisiert sind. Eine nicht korrekte Verzerrung hingegen ändert den Gradienten der Kante erheblich und einige Punkte davon sind nicht mehr verbunden.
Um die Anomalien der Verzerrung der Kanten zu detektieren, wird die Gradientendifferenz ∇ ~_j(i) – ∇_j(i) berechnet. Wird eine horizontale Konfiguration der Kameras in Betracht gezogen, ändert die Verzerrung den Zeilenindex u nicht und die Gradientendifferenz wird wie folgt vereinfacht: ∇ ~ r / j(i) – ∇ r / j(i) = 0 ∇ ~ c / j(i) – ∇ c / j(i) = ν ~_j,i – ν ~_j,i+1 – ν_j,i + ν_j,i+1
Wie für die vorherige Fehlermetrik, ist es auch in diesem Fall möglich, eine Metrik des Gesamtverzerrungsfehlers der Kante zu definieren.
Zum Beispiel kann die Summe der absoluten Differenz des horizontalen Gradienten vor und nach der Verzerrung μ_j = Σ_i|∇ ~ c / j(i) – ∇ c / j(i)| als Gesamtfehler der Kante definiert werden und kann als Metrik verwendet werden, um eine verzerrte Kante zu detektieren.
Als Alternativen können andere Operatoren und ähnliche Durchschnittsfunktionen des Fehlers des Gradienten verwendet werden.
Auf der Grundlage dieser Fehlermetrik ist es möglich, für das Korrigieren alle Kanten oder nur eine Teilmenge davon auszuwählen. In 1 wird zum Beispiel die Metrik μ_i für einen Frame der Testsequenz Poznan_Hall2 verwendet, die beweist, dass nur wenige Kanten hohe Werte aufweisen, weshalb für sie eine Korrektur erforderlich ist. Nachdem die j-te Kante als verzerrt klassifiziert worden ist, ist es erforderlich, die Punkte zu lokalisieren, für die tatsächlich eine Korrektur erforderlich ist.
Auf der Grundlage der vorhergehenden Bemerkungen zu dem Gradienten der Kante, wird ein Punkt der verzerrten Kante als ein Fehler angesehen, wenn die Größe der horizontalen Komponente des Gradienten des i-ten Punktes größer als 1 ist, |∇ ~ c / j(i)| > 1 oder die verzerrte Kante um den i-ten Punkt herum getrennt erscheint.
1.3 Korrigieren der Kanten
Nachdem die während des Verzerrungsprozesses ”falsch verzerrten” Kanten detektiert worden sind, können entsprechende Gegenmaßnahmen in der Phase des Korrigierens vorgenommen werden. Im Folgenden werden drei alternative Korrekturstrategien beschrieben.
1.3.1 Korrigieren durch Shape Matching
Dieses Korrekturverfahren ist mit der Metrik verbunden, die ”Vergleich der Formen der Kanten” genannt wird, und verwendet den Fehler ψ_j(i), der in dem Abschnitt 1.2.1 definiert ist, um die Form der verzerrten Kanten zu korrigieren.
Dieses Verfahren kann selbstverständlich auch im Falle der Verwendung von anderen Metriken der Verzerrungsfehler zur Detektion der Kanten verwendet werden, mit dem einzigen Nachteil, dass die verwendete Fehlermetrik in der Korrekturphase nicht wieder angewendet wird. Dies führt im Allgemeinen zu einem höheren Rechenaufwand.
Das Korrigieren durch Shape Matching wird durchgeführt, indem der Fehler der Kante von der verzerrten Kante subtrahiert wird, um die Form der ursprünglichen Kante zu verstärken.
Nach dieser Lösung wird die korrigierte Kante e ^_j wie folgt berechnet: e ^_j(i) = e ~_j(i) – ψ(i)
1-(e) und 1-(f) zeigen grafisch die Wirkung einer solchen Korrektur an einer Musterkante.
Um den Rechenaufwand einzudämmen, kann die Korrektur nur auf diejenigen Kanten angewendet werden, deren Gesamtfehler μ_j einen vorgegebenen Schwellenwert sγ. übersteigt. Der Schwellenwert γ für die Auswahl der verzerrten Kanten kann eine beliebige positive Zahl sein, die größer als 0 ist. Die von uns durchgeführten Versuche zeigen, dass in der Regel gute Ergebnisse erhalten werden, indem γ > 10 eingestellt wird. Wird jedoch γ auf 0 eingestellt, d. h., die Korrektur wird auf alle Kanten des Bildes angewendet, funktioniert das vorgeschlagene Verfahren dennoch, indem die genaue Form der verzerrten Kanten korrekt beibehalten wird und indem nur die ”falsch verzerrten” Kanten korrigiert werden. In der Tat liegt der Korrekturterminus in der vorhergehenden Gleichung wahrscheinlich sehr nahe bei 0 für die bereits korrigierten verzerrten Kanten und verzerrt die Form dieser Kanten nicht.
Dank dieser Eigenschaft ist die Auswahl des Schwellenwertes γ nicht kritisch und kann nur als Mittel verwendet werden, um die Komplexität der Phasen des gesamten Algorithmus zu verringern, wodurch nur für die Kanten ein Rechenaufwand entsteht, die Gegenstand von erheblichen Verzerrungsfehlern sind und eine starke Auswirkung auf die visuelle Qualität haben. 10 zeigt ein Beispiel einer Korrektur, die auf eine schlecht verzerrte Kante angewendet ist.
1.3.2 Korrigieren durch Glättung (Smoothing)
Dieses Verfahren ist eng mit der Definition des Fehlers der Kante verbunden, die auf der Detektion der Anomalien basiert (siehe Abschnitt 1.2.2). In diesem Fall wird darauf abgezielt, die Kante zu korrigieren, indem jene Teile der Trajektorie der Kante selbst geglättet werden, die als anomal anerkannt worden sind. Wenn der Gradient verwendet worden ist, um die Anomalien zu detektieren, ist es möglich einen Glättungsfilter, z. B. einen Mittelwertsfilter oder einen nichtlinearen Medianfilter auf ∇ ~_j(i) anzuwenden, um die Werte davon zu regeln.
Bei einer horizontalen Konfiguration der Kameras müssen nur die Spaltenkoordinaten korrigiert werden. Folglich wird in dem folgenden Beispiel der Einfachheit halber der Zeilenindex ausgelassen.
Mit
wird der Gradient der verzerrten Kanten am Ausgang von jedem beliebigen Glättungsoperator definiert.
Die korrigierte Position des i-ten Kantenpunktes kann angenähert werden, indem Folgendes eingestellt wird
2-(d) zeigt zwei Anomalien in dem Gradienten der verzerrten Kante. Unter Verwendung eines Glättungsoperators können die plötzlichen Spitzen in dem Gradienten eliminiert werden und durch die obige Formel kann die korrigierte Kante erhalten werden, die in 2(e) gezeigt ist. In 2-(f) wird die korrigierte Kante (untere Kurve) mit der entsprechenden Kante vor der Verzerrung verglichen.
1.3.3 Korrigieren durch Bezugnahme
Dieses Korrekturverfahren beruht auf der Annahme, dass der Gradient der Kante infolge der Verzerrung fast vollständig bewahrt wird.
Deshalb werden, um die Position des i-ten Punktes einer verzerrten Kante e ~_i zu korrigieren, die anomalen Werte des verzerrten Gradienten nach dem Gradienten der ursprünglichen Kante e_j korrigiert. Nachdem der i-te Punkt von der Kante gewählt ist, wird seine korrigierte Position geschätzt, indem der Gradient der ursprünglichen Kante auf den vorhergehenden Kantenpunkt angewendet wird oder indem eine Funktion seiner Nachbarschaft, wie hier gezeigt, verwendet wird: e ^_j(i) = e ~_j(i – 1) + ∇_j(i)
Eine andere Möglichkeit besteht darin, einen allgemeineren Operator zu verwenden, e ^_j(i) = e ~_j(i – 1) + Ƒ(N_H(∇_j(i))) wobei N_H(.) die Nachbarschaft von der Größe H des i-ten Kantenpunktes und
eine geeignete Funktion ist.
Da der Verzerrungsfehler normalerweise eine aufeinanderfolgende Reihe von Punkten der Kante betrifft, können das Ermitteln und Korrigieren der fehlerhaften Punkte durch Bezugnahme rekursiv angewendet werden. In einer ersten Phase werden die fehlerhaften Punkte lokalisiert und korrigiert, danach wird das Verfahren wiederholt, bis entlang der Kante keine Fehler mehr detektiert werden, die einen bestimmten Wert übersteigen.
Alle vorgeschlagenen Korrekturansätze ermöglichen es, die Qualität der Kanten hinsichtlich der Fehlermetrik zu verbessern, wie in 1 gezeigt, wo die Werte der Metrik vor und nach dem Korrigieren für einen bestimmten Frame einer Testsequenz angegeben sind.
Die beschriebenen algorithmischen Schritte sind visuell in 3 dargestellt, wo sich auf einem Testbild die Kanten E, die von der linken Ansicht (a) extrahiert sind, ihre verzerrten Gegenkanten E ~ (b) und ihre korrigierten Profile (c) überlagert haben.
1.3 Verstärken der Kanten in der virtuellen Ansicht
Die korrigierten Kanten können verwendet werden, um die Qualität der gerenderten Zwischenansichten zu verbessern, indem die korrigierten Kanten entsprechend mit den umliegenden Pixeln integriert werden, ohne dabei visuelle Artefakte einzuführen. In der Tat dienen die vorhergehenden algorithmischen Schritte nur dazu, die Position der Kante zu korrigieren, ohne sich um ihre Nachbarschaft zu kümmern. Diese Phase wird ”Verstärken der Kanten” genannt und kann durchgeführt werden, indem bekannte Werkzeuge zur Bildverarbeitung verwendet werden, um verschiedene Bildbereiche miteinander zu vermischen.
Eine mögliche Technik, die dieses Ergebnis erzielen kann, besteht darin, jede korrigierte Kante in der Zwischenansicht mit den entsprechenden k-Benachbarten auf beiden Seiten der Kante (horizontal) zu kopieren, d. h. es werden Patches von Bildern entlang der Kante vermischt, um die entsprechende Textur zu erstellen.
Beispielsweise können die benachbarten Pixel in der verzerrten virtuellen Ansicht vermischt werden, indem Gewichte verwendet werden, die von dem Abstand der korrigierten Ansicht abhängen. Ein Gewichtungskernel w mit den Abmessungen (2k + 1) × (2k + 1) ist wie folgt definiert: w(u, ν) = 1 – 1 / ρ2log(√u² + ν² + 1) wobei ρ ein Parameter ist, der eine untere Grenze des Verteilungsgewichts (0 < ρ ≤ 1) darstellt. 3 zeigt ein Beispiel eines Gewichtungskernels 15 × 15 (k = 7) mit ρ = 0.8. Die gewählte Größe des Kernels ist abhängig von dem Wert k, der einen konfigurierbaren Parameter darstellt.
Wenn die Kanten von der Ansicht des ursprünglichen Inhalts V_l links von der gewünschten Zwischenansicht V_m korrigiert werden (sieh 5), verwendet die Phase des Verstärkens der Kanten als Eingabe die Liste der Kanten (E, E ~), die linke ursprüngliche Ansicht V_l und die verzerrte Zwischenansicht V_m und stellt am Ausgang eine Zwischenansicht mit verbesserten Kanten V'_m bereit.
Zunächst wird V'_m = V_m verwendet, danach wird jeder Kantenpunkt e_j(i) korrigiert, indem der entsprechende Punkt von V_l kopiert wird: V'_m(e ~_j(i)) = V_l(e_j(i))
Die Vermischung des Bereichs um jeden Kantenpunkt erfolgt unter Anwendung der folgenden Gleichung: V'_m(u ~_j,i + x, ν ~_j,i + y) = V_l(u_j,i + x, ν_j,i + y)w(x, y) + V_m(u ~_j,i + x, ν ~_j,i + y)(1 – w(x, y)) für –k ≤ x ≤ k, –k ≤ y ≤ k, abhängig von (u ~_j,i + x, ν ~_j,i + y) ∉ E, wobei letztere Kontrolle durchgeführt wird, um zu vermeiden, dass bereits kopierte Kantenpunkte abgeschwächt werden.
1.4 Beschreibung einiger Ausführungsformen
In 4 wird ein Beispiel eines Blockschaltbilds einer Schaltung zur Realisierung der oben beschriebenen Korrekturtechnik der Kanten auf der Seite der Rekonstruktion eines Systems zum Verstärken der Form der Kanten zur visuellen Verbesserung des Rendering auf der Grundlage von Tiefenbildern eines dreidimensionalen Videostroms in Übereinstimmung mit der Erfindung gezeigt.
In diesem Beispiel werden die Kanten detektiert und korrigiert, indem nur die linke Ansicht verwendet wird, und dann werden die korrigierten Kanten in der Zwischenansicht verstärkt, die durch ein Rendering-Werkzeug von Standardbildern basierend auf der Tiefe erstellt ist. Auch wenn das Detektieren der Kante in der Sicht des ursprünglichen Inhalts, wie bereits erwähnt, angemessen ist, sei zu erwähnen, dass die Möglichkeit, den gleichen Vorgang unter Verwendung der Tiefenkarte durchzuführen, nicht auszuschließen ist. 5 zeigt die wichtigsten algorithmischen Schritte, die an einem realen Bild durchgeführt sind. Die gezeigten Schritte sind insbesondere: Kanten, die von der linken Ansicht (a) extrahiert sind, verzerrtes Bild mit verzerrten Kanten (b) und verzerrtes Bild mit Positionen der korrigierten Kanten (c).
In 4 sind das linke Bild V_l und die verbundene Tiefenkarte D_l in dem Block 42 verarbeitet, um die Kanten der Tiefenkarte zu detektieren. Dann sind die detektierten Kanten in dem Block 43 verzerrt. Der folgende Block 44 berechnet den Fehler der verzerrten Kante. Im folgenden Block 45 ist die jeweilige Korrektur auf die detektierten Kanten angewendet, und dann ist das Verstärken der Kanten auch auf die jeweiligen Kanten (Block 46) angewendet. Schließlich wird die virtuelle Ansicht erhalten, die der jeweiligen Tiefenkarte entspricht (Block 47).
6 zeigt ein anderes Beispiel eines Blockschaltbilds einer Schaltung zur Realisierung der Korrekturtechnik der Kanten auf der Seite der Rekonstruktion eines Systems zum Verstärken der Form der Kanten zur visuellen Verbesserung des Rendering auf der Grundlage von Tiefenbildern eines dreidimensionalen Videostroms in Übereinstimmung mit der Erfindung.
In dieser Ausführungsform werden das Detektieren und das Korrigieren der Kanten auf den beiden nächstgelegenen Ansichten und/oder auf der entsprechenden Tiefe des dreidimensionalen Videostroms durchgeführt.
Das linke Bild V_l und die verbundene Tiefenkarte D_l sind in dem Block 611 verarbeitet, um die Kanten zu detektieren. Dann sind die detektierten Kanten in dem Block 612 verzerrt. Der folgende Block 613 berechnet den Fehler der verzerrten Kante. Im folgenden Block 614 ist die jeweilige Korrektur auf die detektierten Kanten angewendet, um eine verzerrte linke Ansicht mit korrigierten Kanten zu erhalten (Block 615).
Auf ähnliche Weise sind das rechte Bild V_r und die verbundene Tiefenkarte D_r in dem Block 617 verarbeitet, um die Kanten zu detektieren. Dann sind die detektierten Kanten in dem Block 618 verzerrt. Der folgende Block 619 berechnet den Fehler der Kante. Im folgenden Block 620 ist die jeweilige Korrektur auf die detektierten Kanten angewendet, um eine verzerrte rechte Ansicht mit korrigierten Kanten zu erhalten (Block 621).
Nach dem Korrigieren wird die Übereinstimmung zwischen den Kanten berechnet. Die Korrektur kann auf verschiedene Weise mit einem Block 622, der leicht komplexer als der Block 46 der Figur ist, für das Verstärken der Kanten angewendet werden, indem eine Technik namens Multiview Edge Enforcement (Multiview-Kantenverbesserung) angewendet wird. Dieser zusätzliche Block verwendet mindestens folgende Techniken, um korrigierte Kanten, die von einer linken und einer rechten Ansicht erhalten sind, gleichzeitig zu verstärken:

– alle Kanten (links und rechts) werden sequentiell und unabhängig korrigiert. Diese Lösung ist die einfachste, aber die gleiche Kante kann zweimal korrigiert werden;
– alle Kanten werden zuerst von einer Ansicht korrigiert und dann werden nur die Kanten, die zuvor nicht korrigiert worden sind, mit der zweiten Ansicht verarbeitet;
– für die Kanten, die sowohl von der linken Ansicht als auch von der rechten Ansicht korrigiert werden können, kann die bessere Korrektur auf der Grundlage eines bestimmten Kriteriums angewendet werden. Zum Beispiel kann die Korrektur ausgewählt werden, die den kleineren Verzerrungsfehler nach der Metrik, die in diesem Patent vorgeschlagen ist, mit sich bringt;
– die Kanten, die nur nach einer Ansicht korrigiert werden können, werden wie in der vorhergehenden Ausführungsform korrigiert.

Dann wird die virtuelle Ansicht erhalten (Block 623).
12 fasst das gesamte Verfahren des Korrigierens der Kanten zusammen, das an der Seite der Rekonstruktion des Systems durchgeführt ist.
13 zeigt ein Beispiel eines Blockschaltbildes eines Empfangssystems eines dreidimensionalen Videostroms, das eine Schaltung 131 für die Durchführung der Korrekturtechnik der Kanten auf der Seite der Rekonstruktion nach der Erfindung aufweist. Es ist klar, dass der Fachmann keine Probleme beim Einsetzen der Schaltung der Erfindung in dieses Empfangssystem hat, das in einer an sich bekannten Weise hergestellt ist, nachdem die Lehren der Erfindung bekannt sind.
Die Schaltung 131 kann wie oben in Bezug auf die 4 bis 6 beschrieben erstellt werden. Sie empfängt an den Eingängen das linke Bild V_l und das rechte Bild V_r des dreidimensionalen Videostroms jeweils mit den verbundenen Tiefenkarten D_l und D_r, die in einer an sich bekannten Weise erstellt sind, indem beispielsweise von einem zusammengesetzten dreidimensionalen Verbundvideostrom ausgegangen wird, der am Eingang empfangen wird.
Die Schaltung 131 weist Mittel auf, um die oben beschriebene Korrekturtechnik der Kanten zu erstellen und stellt am Ausgang die endgültige virtuelle Ansicht mit den korrigierten Karten und der linken Ansicht V_l und rechten Ansicht V_r bereit.
Die Ströme der linken Ansicht V_l und der rechten Ansicht V_r und die jeweiligen Tiefenkarten sind in einem Block 132 bereitgestellt, der Mittel aufweist, um den dreidimensionalen Videostrom zu rekonstruieren, der an das Display D zu senden ist oder für eine spätere Verwendung zu speichern ist.
Das Empfangssystem von 13 ist für das Rekonstruieren eines dreidimensionalen Videostroms verschiedener möglicher Arten geeignet, die von der Art des Displays D abhängen.
Im Falle eines 2D-Displays schließt das Empfangssystem einfach die rechten Bilder V_r und die Tiefenkarten aus und visualisiert, abhängig von einem eventuellen Skalieren, nur die Bildsequenzen V_l auf dem Display D.
Auch im Fall eines 3D-Displays wird das gleiche Verfahren angewendet, bei dem der Benutzer den 2D-Modus aktiviert hat, wenn vorhanden.
Im Fall eines 3D-Displays, in dem der 3D-Modus aktiviert worden ist, verwendet das System die linke Ansicht V_l und die rechte Ansicht V_r und die jeweiligen korrigierten Tiefenkarten, um ein dreidimensionales Videobild zu erstellen.
Das System ist auch geeignet, um ein dreidimensionales Videobild für ein autostereoskopisches Display zu generieren, für das eine hohe Anzahl von Ansichten erforderlich ist (beispielsweise einige Dutzend), um den dreidimensionalen Effekt für die Zuschauer zu erzeugen, die an verschiedenen Punkten im Raum vor dem Display positioniert sind. In diesem Fall verwendet der Block 131 die Tiefenkarten und die linke Ansicht V_l und die rechte Ansicht V_r, um eine Reihe von anderen Bildern zu synthetisieren, die für das autostereoskopische Display geeignet sind.
2 Korrigieren auf der Senderseite
Wie bereits erwähnt, kann die Korrektur der Kanten von der Senderseite (Generierung) des dreidimensionalen Videosystems genutzt werden, um die Qualität der Tiefenkarten zu verbessern. Dies kann erzielt werden, indem der richtige Tiefenwert für die korrigierten Kanten auf der Grundlage der Korrektur der Abweichung, die für sie erforderlich ist, wiedergewonnen wird. Dieser Ansatz kann als Nachverarbeitung verwendet werden, um die Tiefenkarte zu verbessern, oder er kann in ein Verfahren der Tiefenabschätzung integriert werden.
Im Folgenden werden die mathematischen Details bereitgestellt.
2.1 Korrigieren der Tiefe
In diesem Fall werden die Tiefenwerte der Punkte der Kante, die einen Verzerrungsfehler aufweisen, korrigiert, um ein korrektes Rendering (über DIBR-Standard) der Kontur der Objekte zu ermöglichen. Um diese Korrektur vor der Übertragung auf eine Tiefenkarte anzuwenden, werden einige zusätzliche Informationen berechnet, die auf der Verzerrung der Kanten basieren. Wie in den vorhergehenden Fällen werden zunächst alle Kanten von mindestens einer Ansicht detektiert. Dann werden alle Kanten in einer virtuellen Ansicht mittels DIBR-Techniken verzerrt und die falsch verzerrten Kanten werden auf der Grundlage der oben beschriebenen Fehlerkriterien erkannt. Danach werden die Tiefenwerte korrigiert, die mit den falsch verzerrten Kantenpunkten verbunden sind. Das Verfahren beruht auf den nachstehend beschriebenen algorithmischen Schritten.
2.1.1 Berechnen der Abweichungskarte
Nach dem Detektieren der Kanten in mindestens einer Ansicht, wie in Abschnitt 1.1 beschrieben, wird die Liste der Kanten E auf der virtuellen Kamera verzerrt, wodurch eine Liste von verzerrten Kanten E ~, festgelegt wird. Während des Verzerrens von jeder Kante wird die Abweichung jedes Pixels von der Kante (u_j,i, ν_j,i) berechnet. Mit e_j wird die j-te Kante und mit e_j(i) ihr i-ter Punkt angegeben, insbesondere mit e_j(i), wie in den vorhergehenden Abschnitten beschrieben.
Mit d_j(i) wird die entsprechende Tiefe des Kantenpixels e_j(i) angegeben. Unter der Annahme einer horizontalen Anordnung der Kameras, wird für jedes Kantenpixel e_j(i) die Abweichung δ_j(i) wie folgt berechnet:
Das Zeichen der Abweichung hängt von der Richtung der Verzerrung ab. Es ist zum Beispiel positiv, wenn sich die ursprüngliche Ansicht nach links verzerrt, und negativ, wenn sich die ursprüngliche Ansicht nach rechts verzerrt. Die Abweichungen aller Kantenpunkte sind nachfolgend mit dem Begriff Abweichungskarte angegeben.
Diese Abweichung wird zu der horizontalen Koordinate der Kante von jedem Pixel ν_j,i hinzugefügt, um seine verzerrte Position ν ~_j,i zu berechnen.
Der nachfolgende Schritt besteht darin, die falsch verzerrten Kanten zu identifizieren, und dies erfolgt auf die gleiche Weise wie bereits in Abschnitt 1.2 beschrieben.
2.1.2 Korrigieren der Tiefenkarte
Jede falsch verzerrte Kante e ~_j(i) kann wie oben beschrieben korrigiert werden, um die korrigierte Kante e ^_j(i) zu erhalten. Der Korrekturalgorithmus ändert die Spaltenkoordinate der fehlerhaften Kantenpixel nicht. Die Korrektur kann als Abweichungsfehler wie folgt berechnet werden: δ ~_j(i) = e ~_j(i) – e^_j(i)
Die Abweichungskarte der Kante kann korrigiert werden, indem der Abweichungsfehler aufgrund der Korrektur berücksichtigt wird, wodurch die korrigierte Abweichungskarte wie folgt erhalten wird: δ ~_j(i) = δ_j(i) – δ ~_j(i)
Nachdem die Abweichungskarte korrigiert ist, wird die Verzerrungsformel verwendet, um die entsprechende Tiefe zu korrigieren, die der ursprünglichen Ansicht zugeordnet ist, δ = bf / 2d bei der d die Tiefe des Pixels ist, das verzerrt wird. Die korrigierte Abweichung wird verwendet, um die entsprechende korrigierte Tiefe wie folgt zu berechnen:
Nachdem die Tiefe der Kante korrigiert ist, ist es notwendig, um Artefakte zu vermeiden, die Tiefe der Pixel in der Nähe jeder Kante zu korrigieren. Dieses Ziel kann erreicht werden, indem bekannte Algorithmen der Tiefeninterpolation oder jedes beliebige andere bekannte Werkzeug zur Bildverarbeitung verwendet werden, die geeignet sind, verschiedene Bildbereiche zu vermischen und visuelle Artefakte zu verdecken.
Beispielsweise kann der Schritt des zuvor beschriebenen Verstärkens der Kanten leicht angepasst werden, um die gleiche Funktion auf einer Tiefenkarte zu erfüllen.
2.2 Ausführungsbeispiele
In 4 wird ein Beispiel eines Blockschaltbilds einer Schaltung zur Realisierung der oben beschriebenen Korrekturtechnik der Kanten auf der Senderseite (Generierung) eines Systems zum Verstärken der Form der Kanten zur visuellen Verbesserung des Rendering auf der Grundlage von Tiefenbildern eines dreidimensionalen Videostroms in Übereinstimmung mit der Erfindung gezeigt.
In dieser Ausführungsform wird die Tiefenkorrektur durch die Verwendung einer einzigen Ansicht durchgeführt.
Es werden die Kanten in der Ansicht detektiert, die dann in Richtung einer virtuellen Position verzerrt werden. Dann wird der Kantenfehler mit den oben beschriebenen Verfahren berechnet und es wird die Korrektur angewendet, indem die in Abschnitt 2.1 beschriebenen Techniken verwendet werden. Auf diese Weise werden nur die Kanten korrigiert. Um die Tiefenpixel in der Nähe der Kanten zu korrigieren, kann jedes beliebige geeignete Interpolationsverfahren angewendet werden.
In 7 sind die rechte oder linke Ansicht und die damit verbundenen Tiefenkarten (Block 70) in dem Block 71 verarbeitet, um die Kanten zu detektieren. Dann sind die detektierten Kanten in dem Block 72 verzerrt. Der folgende Block 73 berechnet den Abweichungsfehler der verzerrten Kante. Im folgenden Block 74 ist die jeweilige Korrektur der Abweichung der Kante auf die Kanten angewendet, die von der Abweichungskarte detektiert sind. In Block 75 ist die so erhaltene Abweichungskarte in eine entsprechende Tiefenkarte konvertiert, indem auch die linke Ansicht und die damit verbundene Tiefenkarte, die sich aus dem Block 70 ergeben hat, verwendet werden. In Block 76 sind dann die Pixel nahe der Kante der Tiefenkarte korrigiert, wodurch eine korrigierte Tiefenkarte der linken oder rechten Ansicht erhalten wird (Block 77).
Die 8 zeigt ein anderes Beispiel eines Blockschaltbilds einer Schaltung zur Realisierung der oben beschriebenen Korrekturtechnik der Kanten auf der Senderseite (Generierung) eines Systems zum Verstärken der Form der Kanten zur visuellen Verbesserung des Rendering auf der Grundlage von Tiefenbildern eines dreidimensionalen Videostroms in Übereinstimmung mit der Erfindung.
In dieser weiteren Ausführungsform werden die vorgeschlagenen Metriken des Verzerrungsfehlers verwendet, um die detektierte Kante in einer ursprünglichen Ansicht, z. B. in der linken Ansicht, mit der verfügbaren Kante in einer anderen ursprünglichen Ansicht, z. B. in der rechten Ansicht, zu vergleichen. Mit E_l wird die Menge der in der linken Ansicht detektierten Kanten und mit E_r die Menge der in der rechten Ansicht detektierten Kanten angegeben. Jede Kante e_j ∊ E_l wird nach rechts verzerrt, wodurch die Menge der verzerrten Kanten E ~_l erhalten wird, wobei e ~_l,j die j-te verzerrte Kante ist.
Infolge der Verzerrung der Kanten E_l in Richtung der rechten Ansicht, wird eine Übereinstimmung zwischen den Kanten E ~_l und E_r festgelegt, indem bekannte geeignete Werkzeuge zum gleichzeitigen Verbinden verwendet werden.
Für eine Kante e ~_j,l ∊ E ~_l wird die entsprechende Kante in E_re_r,k, sein.
Mit anderen Worten kann eine Mappingfunktion m(.) definiert werden, bei der m(j) = k ist,
oder die j-te verzerrte linke Kante der k-ten detektierten Kante in der rechten Ansicht entspricht.
Für die Korrektur kann eine Teilmenge der Kanten auf der Grundlage von mindestens einem der Kriterien, die in dem Abschnitt 1.1 beschrieben sind, ausgewählt werden. Zudem ist es möglich, dass eine Kante in E_l keine entsprechende Kante in E_r hat, aufgrund von Okklusionen oder Problemen der Detektion der Kante selbst (Kanten in nicht-okkludierten Bereichen der linken Ansicht, die in der rechten Ansicht nicht vorhanden sind; oder die entsprechenden Kanten in der rechten Ansicht sind zu schwach, um durch das Verfahren der Detektion der Kanten detektiert zu werden, und daher könnte die Übereinstimmung nicht hergestellt sein). Diese Kanten können von den möglichen Kandidaten für die Korrektur ausgeschlossen sein.
Sobald eine beidseitige Übereinstimmung zwischen den Kanten festgelegt ist, wird der Verzerrungsfehler detektiert, indem die oben beschriebenen Metriken verwendet werden, und die Korrektur kann angewendet werden, indem diese Metriken bewertet werden.
Beispielsweise kann der Vergleich der Formen zwischen der linken verzerrten Kante und der entsprechenden rechten Kante durch folgende Berechnung durchgeführt werden ψ_j(i) = e r / r,m(j)(i) – e ~ r / l,j(i) d. h. die gleiche Metrik, die in Abschnitt 1.2.1 vorgeschlagen ist, wird hier wieder verwendet, um die Unterschiede zwischen der rechten referenzierten Kante und der entsprechenden linken referenzierten Kante zu bestimmen.
Auf ähnliche Weise kann der Ansatz der Detektion der Anomalien angewendet werden, der in Abschnitt 1.2.2 vorgestellt ist, um anomale Punkte einer bestimmten verzerrten linken Kante zu detektieren, wobei als Referenz die entsprechende rechte Kante verwendet wird.
Der in dem Abschnitt 2.1.2 vorgestellte Ansatz ermöglicht es, den Abweichungsfehler zu berechnen: δ ~_j(i) = e ~_l,j(i) – e_r,m(j)(i) = –ψ_j(i)
Der Abweichungsfehler δ ~_j(i) wird dann verwendet, um die entsprechende Tiefenkarte zu korrigieren, wie in Abschnitt 2.1.2 beschrieben. Durch Austauschen der Rollen der linken und rechten Ansicht kann dieser Ansatz verwendet werden, um die Anomalien der Tiefe in der rechten Ansicht zu entfernen.
8 zeigt das Blockschaltbild der Tiefenkorrektur, die mit Mehrfachansichten vorgenommen ist: die linke Ansicht V_l und die damit verbundene Tiefenkarte (oder Disparitätenkarte) D_l (Block 80) sind in dem Block 81 verarbeitet, um die Ränder der linken Ansicht zu detektieren. Dann sind die detektierten Kanten in dem Block 82 verzerrt. Die rechte Ansicht V_r und die damit verbundene Tiefenkarte (oder Disparitätenkarte) D_r (Block 80') sind in dem Block 81' verarbeitet, um die Ränder der rechten Ansicht zu detektieren.
Im folgenden Block 83 ist die beidseitige Übereinstimmung zwischen den Kanten der linken und der rechten Ansicht berechnet.
In dem folgenden Block 84 ist für jedes Kantenpaar der Abweichungsfehler der Kante berechnet. Dann ist in Block 85 die entsprechenden Korrektur der Abweichung auf die verzerrten Kanten angewendet, und in Block 86 werden die korrigierten Abweichungen verwendet, um die entsprechende Tiefenkarte der linken Ansicht zu korrigieren. In Block 87 sind dann die Pixel nahe der Kante der Tiefenkarte korrigiert, wodurch eine korrigierte Tiefenkarte der linken Ansicht erhalten wird (Block 88). Wie oben erwähnt, kann der gleiche Ansatz für die Tiefenkarte der rechten Ansicht verwendet werden.
Hierzu ist zu bemerken, dass das oben beschriebene Verfahren auf jedes Paar von Ansichten und die entsprechenden Tiefenkarten angewendet werden kann, und daher auf eine allgemeine Konfiguration mit mehreren Ansichten und entsprechenden Tiefenkarten erweitert werden kann, sofern es iterativ auf verschiedene Paare von Ansichten/Tiefen angewendet wird, um schrittweise die Tiefenwerte zu verfeinern.
In einer anderen Ausführungsform ist es möglich, einen der oben genannten Ansätze als Teil eines Algorithmus zur Tiefenabschätzung anzuwenden, damit dieser ein verbessertes Ergebnis der Tiefe zurückgeben kann, oder, um schneller in Richtung der gewünschten Tiefenwerte zu konvergieren.
14 zeigt ein Beispiel eines Blockschaltbilds eines Systems zur Generierung eines dreidimensionalen Videostroms, das eine Schaltung 141 für die Durchführung der Korrekturtechnik der Kanten auf der Senderseite (Generierung) nach der Erfindung aufweist. Es ist klar, dass der Fachmann keine Probleme beim Einsetzen der Schaltung der Erfindung in dieses Empfangssystem hat, das in einer an sich bekannten Weise hergestellt ist, nachdem die Lehren der Erfindung bekannt sind.
Die Schaltung 141 kann wie oben in Bezug auf die 7 bis 8 beschrieben erstellt werden. Sie empfängt an den Eingängen die linke Ansicht V_l und die rechte Ansicht V_r des dreidimensionalen Videostroms jeweils mit den verbundenen Tiefenkarten (oder Disparitätenkarten) D_l und D_r, die in einer beliebigen bekannten Weise erstellt sind.
Die Schaltung 141 weist Mittel auf, um die oben beschriebene Korrekturtechnik der Kanten zu erstellen und stellt am Ausgang die korrigierten Tiefenkarten mit der Verstärkung der Form der Kanten jeweils der linken Ansicht V_l und der rechten Ansicht V_r bereit.
Die Ströme der linken Ansicht V_l und der rechten Ansicht V_r und der jeweiligen korrigierten Tiefenkarten sind in einem Block 142 bereitgestellt, der Mittel zur Generierung eines dreidimensionalen Videostroms aufweist, der geeignet ist, einem Übertragungssystem zugeführt oder für die spätere Verwendung gespeichert zu werden.
3 Verfahren und Vorrichtung zur Bewertung der Tiefenqualität
Normalerweise wird die Qualität der Tiefenabschätzung bewertet, indem eine virtuelle Ansicht von zwei Ansichten und Tiefen generiert wird, und die virtuelle Ansicht wird dann mit dem entsprechenden Original verglichen.
Zum Messen der Qualität der beiden Bilder werden häufig Qualitätsmetriken wie Peak Signal to Noise Ratio (PSNR), Structural Similarity Index Measure (SSIM) und Video Quality Assessment (VQA) verwendet.
Es gibt Fälle, in denen dieser Ansatz nicht funktioniert, weil die ursprüngliche Referenz der Zwischenansicht fehlt, da sie bei der Aufnahme nicht erworben worden ist. Auch wenn die ursprüngliche Zwischenansicht verfügbar ist, kann die Generierung einer vollständigen Zwischenansicht über DIBR eine sehr hohe Rechenlast auf das Instrument zur Qualitätsbewertung verursachen.
Schließlich funktionieren die bestehenden Verfahren zur Bewertung der Tiefenqualität nur in dem Fall von zwei Ansichten mit entsprechenden Tiefenkarten.
Die Verfahren zur Bewertung der Tiefenqualität, die hier vorgeschlagen sind, haben im Gegenteil einen wesentlich breiter angelegten Rahmen und können verwendet werden, um die Qualität selbst einer einzelnen Tiefe mit der jeweiligen Ansicht zu messen. In diesem Fall ist es möglich, eine einzige Ansicht in Richtung auf einen willkürlichen Sichtpunkt zu verzerren und dann den Tiefenfehler mit den im Folgenden beschriebenen Verfahren zu berechnen.
Es ist wohl bekannt, dass die Kanten erheblich zu der subjektiven Qualität des Bildes beitragen. Insbesondere ist eine genaue und präzise Verzerrung der Kanten eine wichtige Funktion, um virtuelle Bilder von hoher Qualität zu gewährleisten.
Die vorgeschlagenen Metriken der Verzerrungsfehler können auch für diesen Zweck verwendet werden, unabhängig von ihrer Verwendung im Rahmen einer Korrekturtechnik der dreidimensionalen Kanten. Hier werden einige Beispiele von Metriken der Verzerrungsfehler der allgemeinen Kanten gezeigt. Dennoch können alternative Metriken auf der Grundlage der Fehlermetriken der Kanten, die in den Abschnitten 1.2.1 und 1.2.2 festgelegt sind, definiert werden. Im Folgenden werden zwei Metriken zur Bewertung der Tiefenqualität, basierend auf unseren Methoden zur Berechnung der Fehler der Kanten, veranschaulicht.
3.1. Absolute Edge-Warping (AWE) Fehlermetrik
Der einfachste Weg, um die Tiefenqualität zu berechnen, besteht darin, die Kanten, d. h. das visuelle Hauptattribut für das menschliche Sehsystem (SVU), zu detektieren, die Kanten in Richtung einer virtuellen Position zu verzerren und den Fehler zu berechnen, der von Tiefenfehlern in jede Kante induziert ist.
Die Summe der absoluten Fehler von allen Kanten in einem Frame gibt den Tiefenfehler an.
Folglich wird die Absolute Warping Edge (AWE) Fehlermetrik Δ_k definiert, die den Gesamtverzerrungsfehler der Kanten in einem gegebenen Frame k darstellt:
wobei μ_j der Fehler der Kante j ist und E_k die Menge aller Kanten in dem Frame k ist.
Selbstverständlich kann diese Metrik verwendet werden, um die Qualität einer ganzen Videosequenz zu klassifizieren, indem ein geeigneter statistischer Operator auf die Serie von berechneten metrischen Werten auf jedem Frame und jeder Ansicht angewendet wird, z. B. Mittel, Maximum usw.
3.2. Weighted Warping Edge (WWE) Fehler
Das oben beschriebene Verfahren für die Messung der Tiefenqualität kann gegenüber Fehlern von großem Ausmaß in Kanten von kleiner Größe empfindlich sein, die die visuelle Qualität der virtuellen Ansicht nicht erheblich beeinflussen können. Um die Fehlermetrik stabiler zu machen, kann der Kantenfehler je nach seiner Länge ausgeglichen werden. Ein Weighted Warping Edge (WWE) Fehler kann wie folgt definiert werden: μ ∨_j = μ_jw(n_j) wobei der Fehler der j-Kante nach einer Funktion w(n_j) je nach der Länge der Kante n_j abgewogen ist. Diese Funktion wird verwendet, um den Fehlern in den langen Kanten mehr Gewicht zu verleihen. Somit ist die Metrik Δ_k wie folgt definiert:
Das Verfahren der vorliegenden Erfindung kann vorteilhafterweise mindestens teilweise durch ein Computerprogramm ausgeführt werden, das Programmcodiermittel zum Durchführen eines Schrittes oder mehrerer Schritte des Verfahrens aufweist, wenn das Programm auf einem Computer ausgeführt wird. Es versteht sich daher, dass sich der Schutzbereich auf das Computerprogramm und auf computerlesbare Mittel ausdehnt, die eine aufgezeichnete Nachricht enthalten, wobei die computerlesbaren Mittel Programmcodiermittel zum Durchführen eines Schrittes oder mehrerer Schritte des Verfahrens aufweisen, wenn das Programm auf einem Computer ausgeführt wird.
Es sind jedoch zahlreiche Modifikationen, Variationen und andere Verwendungen und Anwendungen des Gegenstands der Erfindung möglich, die dem Fachmann im Licht der vorliegenden Beschreibung und der beigefügten Zeichnungen, die einige bevorzugte Ausführungsformen veranschaulichen, offensichtlich erscheinen werden. All diese Modifikationen, Variationen und andere Verwendungen und Anwendungen, die nicht vom Umfang der Erfindung abweichen, sind als durch die Erfindung abgedeckt anzusehen.
Die Elemente und Eigenschaften, die in den verschiedenen bevorzugten Ausführungsbeispielen beschrieben sind, können untereinander kombiniert werden, ohne dabei den Bereich der Erfindung zu verlassen.
Es werden hier keine weiteren Einzelheiten zur Durchführung beschrieben, da der Fachmann in der Lage sein wird, die Erfindung auf der Grundlage der in der vorliegenden Beschreibung enthaltenen Lehren durchzuführen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Nicht-Patentliteratur

J. Canny ”A computational approach to edge detection,” IEEE Trans. Pattern Anal. Mach. Intell., Band 8, Nr. 6, Seiten 679–698, Juni 1986 [0113]

Claims

Verfahren zum Korrigieren der Bildkanten eines dreidimensionalen Videoinhalts, wobei der Videoinhalt mindestens ein Bild der ursprünglichen Ansicht und mindestens eine Tiefenkarte oder Disparitätenkarte aufweist, wobei das Verfahren die folgenden Schritte umfasst: – Detektieren der Kanten in dem mindestens einen Bild der ursprünglichen Ansicht, um ursprüngliche Kanten zu erhalten; – Verzerren der ursprünglichen Kanten nach der Tiefenkarte oder Disparitätenkarte; – Detektieren von einer Menge von verzerrten Kanten, die durch den Verzerrungsprozess verzerrt sind; – Korrigieren der verzerrten Kanten, um korrekte Kanten zu erhalten.
Verfahren nach Anspruch 1, wobei der Schritt des Detektierens der Menge von verzerrten Kanten einen Schritt des Vergleichens der Formen der Kanten aufweist, der Folgendes vorsieht: – Vergleichen der Form einer ursprünglichen Kante mit der entsprechenden verzerrten Kante und Bestimmen der Verzerrung in der verzerrten Kante im Vergleich zur ursprünglichen Kante.
Verfahren nach Anspruch 2, bei dem das Bestimmen der Verzerrung Folgendes aufweist: – Berechnen eines Kantenbezugspunktes, wie beispielsweise der Zentroid der horizontalen und vertikalen Koordinaten der verzerrten Kanten und der ursprünglichen Kanten oder der Median der horizontalen und vertikalen Koordinaten der verzerrten Kanten und der ursprünglichen Kanten; – Ausdrücken der Koordinaten der ursprünglichen Kante und der verzerrten Kante in Bezug auf den entsprechenden Bezugspunkt, wodurch referenzierte Kantenpunkte erhalten werden; – Berechnen des Verzerrungsfehlers für jeden Punkt der Kante, indem die Differenz zwischen den Koordinaten der referenzierten Kantenpunkte vor und nach der Verzerrung erhoben wird.
Verfahren nach Anspruch 1, wobei die Schritte des Detektierens der Menge von verzerrten Kanten einen Schritt des Ermittelns der Anomalien in den Koordinaten der verzerrten Kanten aufweist, der Folgendes vorsieht: – Vergleichen der Form der Trajektorien der Kanten vor und nach der Verzerrung, um eventuelle anomale und abrupte Änderungen des Gradienten der Kanten vor und nach der Verzerrung zu erkennen, indem die Differenz des horizontalen und/oder vertikalen Gradienten der Kanten vor und nach der Verzerrung berechnet wird; – wobei der horizontale oder vertikale Gradient jeweils die Inkrementierungen der horizontalen und vertikalen Koordinaten der Trajektorie darstellt.
Verfahren nach Anspruch 4, wobei die Änderung des Gradienten als eine abrupte und anomale Änderung angesehen wird, wenn die verzerrte Kante um den betrachteten Kantenpunkt herum getrennt erscheint.
Verfahren nach Anspruch 2 oder 3, wobei der Schritt des Korrigierens der verzerrten Kanten das Korrigieren der Form der verzerrten Kanten umfasst, indem der Fehler der Kante von der verzerrten Kante subtrahiert wird, um die Form der ursprünglichen Kante zu verstärken.
Verfahren nach Anspruch 6, wobei das Korrigieren nur auf diejenigen Kanten angewendet wird, deren Gesamtfehler größer als ein Schwellenwert ist.
Verfahren nach Anspruch 1, wobei der Schritt des Verzerrens der ursprünglichen Kanten an einer Teilmenge der erfassten Kanten durchgeführt wird, und von mindestens einem der folgenden Faktoren abhängt: – Qualitätskriterien, die während des gesamten Verfahrens des Korrigierens erfüllt werden müssen, vorzugsweise visuelle Qualität oder spezifische Eigenschaften der visuellen Objekte oder geometrische Eigenschaften oder spezifische Anwendungseinschränkungen; – geometrischen Eigenschaften der Kante (vorzugsweise Ausrichtung, Linearität, Krümmung, Länge); – Kantenposition (vorzugsweise Position im 3D-Raum, Nähe zum Sichtpunkt der Kamera).
Verfahren nach Anspruch 4 oder 5, wobei der Schritt des Korrigierens der verzerrten Kanten ein Korrigieren der Kante umfasst, indem jene Teile der Trajektorie der Kante einem Glättungsverfahren unterworfen werden, die als anomal anerkannt worden sind.
Verfahren nach Anspruch 9, wobei für das Korrigieren die Verwendung eines Glättungsfilters oder eines Mittelwertfilters oder eines nichtlinearen Medianfilters vorgesehen ist.
Verfahren nach einem der Ansprüche 1 bis 5, wobei der Schritt des Korrigierens der verzerrten Kanten das Ändern einer Position eines Pixels einer verzerrten Kante umfasst, indem die anomalen Werte des verzerrten Gradienten auf der Grundlage des Gradienten der ursprünglichen Kante, der auf das vorherige Pixel der Kante oder seine Nachbarschaft angewendet ist, korrigiert werden.
Verfahren nach Anspruch 11, wobei das Ermitteln und Korrigieren durch Bezugnahme rekursiv angewandt sind.
Verfahren nach einem der Ansprüche 1 bis 5, wobei der Schritt des Korrigierens der verzerrten Kanten das Bestimmen einer Funktion der Werte des Gradienten der ursprünglichen Kanten in der Nähe von der verzerrten Kante umfasst.
Verfahren nach Anspruch 13, wobei die Funktion der Werte des Gradienten der ursprünglichen Kanten von der Summe der Koordinaten eines Pixels, der an den Punkt der verzerrten Kante angrenzt, und des Gradienten, der an diesem Punkt berechnet ist, abhängt.
Verfahren nach Anspruch 1, wobei die korrigierten Kanten in einem Bild der verzerrten Ansicht enthalten sind, das durch Verzerren von der mindestens einen ursprünglichen Ansicht nach der Tiefenkarte oder Disparitätenkarte erhalten ist.
Verfahren nach Anspruch 15, ferner umfassend einen Schritt des Verstärkens der Kanten, wobei zusätzliche Werte von Pixeln, die in der Nähe der ursprünglichen Kante angeordnet sind, die den verzerrten Kanten entspricht, in der verzerrten Ansicht in der Nähe der korrigierten Kanten vermischt werden.
Verfahren nach einem der vorhergehenden Ansprüche 1–16, ferner umfassend den Schritt des Detektierens von Kanten in einem anderen Bild der ursprünglichen Ansicht des dreidimensionalen Videoinhalts, um Kanten zu erhalten, die in der anderen Ansicht detektiert werden, wobei: – der Schritt des Detektierens der Menge von verzerrten Kanten, die durch den Verzerrungsprozess verzerrt sind, das Verbinden der verzerrten Kanten und der Kanten umfasst, die in der anderen Ansicht detektiert werden, um davon die Übereinstimmung mit der gleichen Kante des dreidimensionalen Videoinhalts zu erkennen und die Veränderung zu messen, die durch den Verzerrungsprozess erzeugt wird, indem die Kanten mit den Kanten verglichen werden, die in der anderen Ansicht detektiert werden, und – der Schritt des Korrigierens der verzerrten Kanten von den Kanten, die in der anderen Ansicht erfasst sind, und von dem Messen abhängt.
Verfahren zum Korrigieren der Bildkanten eines dreidimensionalen Videoinhalts, wobei der Videoinhalt mindestens zwei Bilder der ursprünglichen Ansicht und mindestens zwei Tiefenkarten oder Disparitätenkarten aufweist, wobei das Verfahren die folgenden Schritte umfasst: – Durchführen des Verfahrens nach einem der Ansprüche 1 bis 16 an einer der mindestens zwei ursprünglichen Ansichten; – Durchführen des Verfahrens nach einem der Ansprüche 1 bis 16 an der anderen der mindestens zwei ursprünglichen Ansichten; wobei das Verfahren aufeinander folgend an den ursprünglichen Ansichten nacheinander und unabhängig voneinander durchgeführt wird.
Verfahren zum Korrigieren der Bildkanten eines dreidimensionalen Videoinhalts, wobei der Videoinhalt mindestens zwei Bilder der ursprünglichen Ansicht und mindestens zwei Tiefenkarten oder Disparitätenkarten aufweist, wobei das Verfahren die folgenden Schritte umfasst: – Durchführen des Verfahrens nach einem der Ansprüche 1 bis 16 an einer der mindestens zwei ursprünglichen Ansichten; – Durchführen des Verfahrens nach einem der Ansprüche 1 bis 16 an den Kanten der anderen ursprünglichen Ansicht, die während des vorhergehenden Schrittes nicht korrigiert worden sind.
Verfahren zum Korrigieren der Bildkanten eines dreidimensionalen Videoinhalts, wobei der Videoinhalt mindestens zwei Bilder der ursprünglichen Ansicht und mindestens zwei Tiefenkarten oder Disparitätenkarten aufweist, wobei das Verfahren die folgenden Schritte umfasst: – Bestimmen, welche Kanten des dreidimensionalen Videoinhalts durch Anwenden des Verfahrens nach einem der Ansprüche 1 bis 16 auf die zwei Bilder der ursprünglichen Ansichten korrigiert werden können und – Anwenden des Verfahrens nach einem der Ansprüche 1 bis 16 auf die Kanten, die während des vorhergehenden Schrittes bestimmt sind.
Verfahren nach Anspruch 1, ferner umfassend die Schritte des – Bestimmens der Tiefe der verzerrten Kanten in der entsprechenden Tiefenkarte; – Berechnens der Abweichungen, die durch den Verzerrungsprozess an den verzerrten Kanten im Vergleich zu den ursprünglichen Kanten verursacht sind, indem die Beziehung zwischen Tiefenwerten und Werten der Disparität der Pixel der Kanten genutzt wird; – Messens des Abweichungsfehlers, der durch den Verzerrungsprozess in Bezug auf die ursprünglichen Kanten erzeugt ist; – Bestimmens des korrekten Wertes der Abweichung der Kanten auf der Grundlage der Abweichungsfehler und der Abweichungen; – Berechnens des korrigierten Tiefenwertes der verzerrten Kanten, indem die Beziehung zwischen Tiefenwerten und Werten der Disparität der Pixel der Kanten genutzt wird.
Verfahren nach Anspruch 21, wobei die Tiefen der benachbarten Pixel durch einen Interpolationsalgorithmus der Tiefe interpoliert sind.
Verfahren nach Anspruch 1, ferner umfassend den Schritt des Erhaltens von korrigierten Bildern des dreidimensionalen Videoinhalts, indem die korrigierten Kanten auf die Bilder des Videoinhalts angewendet werden.
Verfahren zum Bestimmen der Qualität einer Tiefenkarte, die einer ursprünglichen Ansicht in Bezug auf einen dreidimensionalen Videoinhalt entspricht, umfassend: – Anwenden eines Verfahrens nach Anspruch 2 oder 3 auf die Kanten eines Bildes einer ursprünglichen Ansicht in Bezug auf den dreidimensionalen Videoinhalt, um jeweils entsprechende Verzerrungen der Kanten und Fehler der Verzerrung zu erhalten und – Addieren jeweils der Verzerrungen oder der Fehler der Verzerrung, die sich für die verzerrten Kanten nach der Tiefenkarte ergeben.
Verfahren zum Bestimmen der Qualität einer Tiefenkarte, die einer ursprünglichen Ansicht in Bezug auf einen dreidimensionalen Videoinhalt entspricht, umfassend: – Anwenden eines Verfahrens nach Anspruch 4 oder 5 auf die Kanten einer ursprünglichen Ansicht in Bezug auf den dreidimensionalen Videoinhalt, um entsprechende Differenzen des horizontalen und/oder vertikalen Gradienten der Kanten vor und nach der Verzerrung zu erhalten und – Addieren der absoluten Werte der Differenzen der Gradienten, die sich für die verzerrten Kanten nach der Tiefenkarte ergeben.
Verfahren nach Anspruch 24 oder 25, wobei die addierten Werte mit einem Gewichtungsfaktor in Abhängigkeit von der Länge der entsprechenden Kante gewichtet werden.
Computerprogramm, das Computerprogrammcodierungsmittel aufweist, die geeignet sind, alle Schritte der Ansprüche 1 bis 26 durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
Computerlesbares Mittel, auf dem ein Programm aufgezeichnet ist, wobei das computerlesbare Mittel Computerprogrammcodierungsmittel aufweist, die geeignet sind, alle Schritte der Ansprüche 1 bis 26 durchzuführen, wenn das Programm auf einem Computer ausgeführt wird.
Videoverarbeitungsvorrichtung, umfassend: – Eingabemittel, die geeignet sind, mindestens ein Bild der ursprünglichen Ansicht und mindestens eine Tiefenkarte oder Disparitätenkarte zu empfangen und – Bildverarbeitungsmittel, die geeignet sind, ein Verfahren nach einem der Ansprüche 1 bis 23 durchzuführen.
System, das für das Rekonstruieren eines dreidimensionalen Videoinhalts geeignet ist, umfassend eine Videoverarbeitungsvorrichtung nach Anspruch 29.
System, das für das Erzeugen eines dreidimensionalen Videoinhalts geeignet ist, umfassend eine Videoverarbeitungsvorrichtung nach Anspruch 29.
Vorrichtung zum Bewerten der Videoqualität, umfassend: – Eingabemittel, die geeignet sind, mindestens ein Bild der ursprünglichen Ansicht und mindestens eine Tiefenkarte oder Disparitätenkarte zu empfangen und – Bildverarbeitungsmittel, die geeignet sind, ein Verfahren nach einem der Ansprüche 24 bis 26 durchzuführen.