DE60014420T2

DE60014420T2 - Verfahren zur 2d/3d videoumwandlung

Info

Publication number: DE60014420T2
Application number: DE60014420T
Authority: DE
Inventors: Syugo Yamashita; Haruhiko Murata; Toshiya Iinuma; Mitsuo Daito-shi NAKASHIMA; Takayuki Daito-shi MORI
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 1999-11-26
Filing date: 2000-11-24
Publication date: 2005-10-13
Anticipated expiration: 2020-11-25
Also published as: EP1235438A4; EP1235438B1; WO2001039512A1; ATE278298T1; TW521519B; DE60014420D1; US7161614B1; EP1235438A1

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Umwandeln eines zweidimensionalen Videos in ein dreidimensionales Video.
Ein Verfahren zum Umwandeln eines zweidimensionalen Videos in ein dreidimensionales Video ist aus WO99/12127 bekannt.
Als Verfahren zum Umwandeln eines zweidimensionalen Videos in ein dreidimensionales Video sind auch Verfahren bekannt, die in JP-A-9-107562 und JP-A-10-51812 offenbart sind.
Zunächst werden die Grundzüge des Verfahrens zum Umwandeln eines zweidimensionalen Videos in ein dreidimensionales Video, das in JP-A-9-107562 offenbart ist, auf der Basis von 1 beschrieben.
In einem zweidimensionalen Video (2D-Video) soll eine Situation, in der ein Vogel vor einem Berg von links nach rechts fliegt, aufgenommen werden, wie in den Bildern 1 bis 5 dargestellt ist.
Ein Bewegungsvektor zwischen Bildern, zum Beispiel ein Bewegungsvektor im Falle eines Übergangs von Bild 1 zu Bild 2 oder ein Bewegungsvektor für einen Übergang von Bild 2 zu Bild 3, wird für jede von mehreren Bewegungsvektorerfassungsflächen extrahiert, die in einem Bildschirm eingestellt sind. Dann werden aus dem extrahierten Bewegungsvektor eine Gegenstandsfläche (Vogel) und eine Hintergrundfläche (Berg) bestimmt. Ein Referenzbild wird als Bild des rechten Auges oder Bild des linken Auges bestimmt, und ein Bild, das um mehrere Felder verzögert ist, die der Größe des Bewegungsvektors entsprechen, wird als das Bild des anderen Auges bestimmt, so dass ein Gegenstand vor einem Hintergrund angeordnet ist.
Wenn angenommen wird, dass das gegenwärtige Bild, das das Referenzbild darstellt, das Bild 4 ist, und ein Bild (ein verzögertes Bild), das abhängig von der Größe eines Bewegungsvektors, der von dem Bild 3 und dem Bild 4 erhalten wird, um eine vorbestimmte Anzahl von Feldern verzögert ist, Bild 2 ist, werden das Referenzbild (das Bild 4) und das verzögerte Bild (das Bild 2) als Bild des linken Auges beziehungsweise Bild des rechten Auges in Richtung des Bewegungsvektors präsentiert.
Die Operationen werden wiederholt durchgeführt, wodurch ein Video mit stereoskopischer Wirkung gezeigt wird, das heißt, ein dreidimensionales Video. Dieses Verfahren soll als MTD-Methode bezeichnet werden.
Es wird nun das Konzept des Verfahrens zum Umwandeln eines zweidimensionalen Videos in ein dreidimensionales Video beschrieben, das in JP-A-10-51812 offenbart ist.
Zunächst wird ein zweidimensionales Bild in mehrere Flächen unterteilt und Bildmerkmale, wie eine Chrominanzkomponente, eine Hochfrequenzkomponente und ein Kontrast, werden für jede der Flächen extrahiert, die durch die Teilung erhalten werden. Die Flächen, die durch die Teilung erhalten werden, werden dann auf der Basis der Chrominanzkomponente nach Flächen gruppiert, zu denen dasselbe Objekt gehört. Für die Flächen, die durch die Gruppierung erhalten werden, wird abhängig von Informationen, die sich auf den durchschnittlichen Kontrast und die durchschnittliche Hochfrequenzkomponente in den Flächen beziehen, eine Tiefe geschätzt, um eine Parallaxe zu berechnen. Ein Bild des linken Auges und ein Bild des rechten Auges werden horizontal in entgegengesetzte Richtungen für die durch die Gruppierung erhaltenen Flächen auf der Basis der berechneten Parallaxe verschoben, um ein dreidimensionales Video zu erzeugen.
Das Video des linken Auges und das Video des rechten Auges, die dadurch hergestellt werden, werden stereoskopisch auf stereoskopischen Anzeigemitteln gezeigt. Dieses Verfahren wird als CID-Methode bezeichnet.
Die MTD-Methode und die CID-Methode werden ausführlicher beschrieben.
1. MTD-Methode
Bei der MTD-Methode wird ein Video, das entweder in das rechte oder linke Auge eintritt, abhängig von seiner Bewegung auf einem Bildschirm verzögert, um einen stereoskopischen Effekt zu erzielen. In diesem Fall wird eine Feld-Verzögerung (als Sollwert) (eine Sollverzögerung dly_target), die für das Video am geeignetsten ist, durch folgende Gleichung (1) unter Verwendung eines Durchschnitts horizontaler Vektoren in einer Gegenstandsfläche obj_xvec [pixel/field] und eines horizontalen Vektors in einer Hintergrundfläche area bg_xvec [pixel/field], die durch eine Gegenstand/Hintergrund-Beurteilung erhalten werden, bestimmt. Der Vektor nimmt einen positiven Wert in Bezug auf eine Bewegung nach rechts an. dly_target = Mdly_sisa/(obj_xvec – bg_xvec)[field] (1)
Hier gibt Mdly_sisa eine Parallaxe [pixel] zur Bestimmung eines stereoskopischen Effekts an, die durch die MTD-Methode erzeugt wird, und ihr Wert wird im Voraus durch eine Benutzerschnittstelle oder dergleichen eingestellt.
Die Richtung der Verzögerung, die zeigt, welches der Videos, die in das rechte und linke Auge treten, verzögert sein sollte, wird durch die folgende Gleichung (2) unter Verwendung der Sollverzögerung dly_target bestimmt. dly_target > 0 ... Verzögerung des rechten Auges dly_target < 0 ... Verzögerung des linken Auges dly_target = 0 ... keine Verzögerung (2)
Obwohl die Verzögerung beschrieben wurde, wird, wenn die Sollverzögerung der Einfachheit wegen als Beispiel genommen wird, die Anzahl von Feldern, um die das Video verzögert wird, und die Richtung der Verzögerung durch eine reale Verzögerung bestimmt, die durch Glätten der Sollverzögerung auf einer Zeitbasis erhalten wird.
2. Gegenstandspositionskontrolle
Die Gegenstandspositionskontrolle wird verwendet, um eine Unbestimmtheit hinsichtlich der Position, in der ein Objekt relativ zu einem Bildschirm präsentiert wird, zu korrigieren, die entsteht, wenn die MTD-Methode durchgeführt wird. Das heißt, bei der MTD-Methode wird ein Video anders gesehen, abhängig davon, ob sich ein Gegenstand oder ein Hintergrund bewegt, wie in 2 dargestellt. Wenn sich in der Gegenstandspositionskontrolle der Gegenstand bewegt, wird der gesamte Bildschirm nach hinten bewegt, indem die Position, an der ein Video des rechten Auges dargestellt wird, nach rechts verschoben wird, und die Position an der ein Video des linken Auges dargestellt wird, nach links verschoben wird, so dass die Anzahl von Pixeln von dem Gegenstand zum Bildschirm gleich der Anzahl von Pixeln vom Bildschirm zum Hintergrund ist. Wenn sich andererseits der Hintergrund bewegt, wird der gesamte Bildschirm nach vorne bewegt, indem die Position, an der ein Video des rechten Auges dargestellt wird, nach links verschoben wird, und die Position an der ein Video des linken Auges dargestellt wird, nach rechts verschoben wird, so dass die Anzahl von Pixeln von dem Gegenstand zum Bildschirm gleich der Anzahl von Pixeln vom Bildschirm zum Hintergrund ist.
Eine horizontale Phase t_phr des rechten Auges und eine horizontale Phase t_phl des linken Auges, die von der Gegenstandspositionskontrolle berechnet werden, können durch die folgende Gleichung (4) ausgedrückt werden, wenn eine Phase obj_sisa des Gegenstands und eine Phase bg_sisa des Hintergrunds, die durch eine Feldverzögerung erzeugt werden, durch die folgende Gleichung (3) ausgedrückt werden: obj_sisa = obj_xvec·delay [pixel] obj_sisa = bg_xvec·delay [pixel] (3) t_phr = (obj_sisa + bg_sisa)/2[pixel] t_phl = –t_phr [pixel] (4)
Da die reale Verzögerung durch Glätten der Sollverzögerung dly_target auf einer Zeitbasis erhalten wird, stimmt der absolute Wert einer Parallaxe dly_sisa (= obj_sisa – bg_sisa) [pixel], der durch die MTD-Methode erzeugt wird (dly_sisa nimmt einen positiven Wert an, wenn der Gegenstand hervorgehoben wird, während es einen negativen Wert annimmt, wenn er vertieft wird), nicht vollständig mit Mdly_sisa [pixel] überein, der zuvor durch Benutzereinstellung bestimmt wurde. Wenn keine Ver zögerung vorhanden ist (dly_taret = 0), gilt dly_sisa = 0.
3. CID-Methode
Die CID-Methode ist ein Verfahren zum Unterteilen eines Bildschirms in mehrere Flächen, Schätzen der Tiefe jeder der Flächen anhand von Bildinformationen, die von der Fläche und einer Komposition erhalten wurden, und Verschieben jedes der Pixels in dem Bildschirm auf der Basis der geschätzten Tiefe, um eine binokulare Parallaxe zu erzeugen.
Die Anmelderin der vorliegenden Erfindung hat auch eine CID-Methode entwickelt, die eine weitere Verbesserung der bereits entwickelten CID-Methode ist.
3 zeigt die Prozedur für eine Steuerung bei der CID-Methode nach der Verbesserung (die nicht bekannt ist).
Zunächst wird ein Bildschirm in mehrere Flächen unterteilt und Informationen in Bezug auf eine Hochfrequenz, einen Kontrast der Luminanz und eine Chrominanz-(B-Y, R-Y) Komponente von jeder der Flächen erhalten (Schritt 1). Eine Tiefenschätzung für jede der Flächen, die anhand der Informationen und der Komposition geschätzt wird, wird ermittelt (Schritt 2). Wenn die ermittelte Tiefenschätzung nur in ein Verschiebungsmaß umgewandelt wird, wäre eine Verzerrung in einem umgewandelten Bild erkennbar, so dass eine Verzerrungsunterdrückungsverarbeitung durchgeführt wird (Schritt 3). Die Tiefenschätzung nach der Verzerrungsunterdrückungsverarbeitung wird einer Abstandsskala-Umwandlung unterzogen (Schritt 4).
Die Verzerrungsunterdrückungsverarbeitung wird nun beschrieben. In der CID-Methode wird ein 2D-Bild verformt, um linke und rechte Bilder zu erzeugen. Wenn die Verformung zu groß ist, wird ein unnatürliches Video erhalten. Bei der CID-Methode wird daher eine Steuerung derart ausgeführt, dass die Phasendifferenz zwischen den benachbarten Flächen nicht größer als ein zulässiger Verzerrungsbereich h_supp_lev [Pixel] eines umgewandelten Bildes ist, der zuvor von einem Benutzer bestimmt wurde. Das heißt, die Phasendifferenz zwischen den benachbarten Flächen wird aus Phasen für die Flächen ermittelt, die durch Zuordnen der geschätzten Tiefe zu dem Abstand zwischen Mfront und Mrear ermittelt werden. Der Maximalwert der Differenz wird als h_dv_max [pixel] angegeben. Wenn h_dv_max den zulässigen Verzerrungsbereich h_supp_lev [pixel] überschreitet, werden Mfront und Mrear in Richtung näher zu 0 [Pixel] verringert, bis die folgende Gleichung (5) erfüllt ist: h_dv_max ≤ h_supp_lev (5)
Wenn h_dv_max größer als h_supp_lev ist, werden daher eine Hervorhebungsphase front [Pixel] und eine Vertiefungsphase rear [Pixel] des umgewandelten Bildes kleiner gemacht als die maximale Hervorhebungsphase Mfront [Pixel] und die maximale Vertiefungsphase Mrear [Pixel], die zuvor vom Benutzer durch einer lineare Operation bestimmt wurden, die durch die folgende Gleichung (6) ausgedrückt wird, wie in einem Diagramm an der rechten Seite von 4 dargestellt ist. front = Mfront·h_supp_lev/h_dv_max für h_dv_max > h_supp_lev rear = Mrear·h_supp_lev/h_dv_max für h_dv_max > h_supp_lev (6)
Wenn im Gegensatz dazu h_dv_max kleiner als h_supp_lev ist, liegt die Verzerrung des umgewandelten Bildes innerhalb des zulässigen Bereichs. Daher gilt die folgende Gleichung (7), wie in einer Zeichnung auf der linken Seite der 4 dargestellt ist: front = Mfront für h_dv_max ≤ h_supp_lev rear = Mrear für h_dv_max ≤ h_supp_lev (7)
Das heißt, wenn h_dv_max kleiner als h_supp_lev ist, ist ein dynamischer Bereich dv_range (= front – rear) in der Phase des umgewandelten Videos gleich einem dynamischen Bereich Mdv_range (= Mfront – Mrear) in der Phase, der zuvor vom Benutzer bestimmt wurde.
In der Verzerrungsunterdrückungsverarbeitung zum Unterdrücken des dynamischen Bereichs in einer realen Maschine wird h_supp_lev durch eine Einheit einer geschätzten Tiefe ersetzt, um eine Last an einer CPU (zentralen Rechnereinheit) zu verringern. Der Einfachheit wegen wurde die Beschreibung jedoch unter Verwendung eines Einheitssystems von Pixeln gemacht.
Es wird ein Abstandsskala-Umwandlungsverfahren beschrieben.
Bei einer stereoskopischen Zweilinsen-Anzeige stehen eine Parallaxe W zwischen entsprechenden Punkten eines Bildes des rechten Auges (eines R-Bildes) und eines Bildes des linken Auges (eines L-Bildes) und ein Abstand Yp von einem Bildschirm, der tatsächlich betrachtet wird, zu einer Position, wo die Bilder miteinander verschmelzen, in einem nichtlinearen Verhältnis.
Das heißt, wenn das R-Bild und das L-Bild, zwischen denen eine Parallaxe (W) auf dem Bildschirm der Anzeige liegt, von einer Position betrachtet wird, die einen Abstand K [mm] vom Bildschirm entfernt ist, wird der Abstand Yp [mm] von dem Bildschirm zu der Position, wo die Bilder miteinander verschmelzen, durch die folgende Gleichung (8) ausgedrückt: Yp = KW/(W – 2E) (8)
In der vorstehenden Gleichung (8) stellen die Variablen jeweils die folgenden Werte dar:

K:: einen Abstand [mm] vom Bildschirm der Anzeige zum Betrachter
E:: eine Länge [mm], die den halben Abstand zwischen den Augen beträgt
W:: eine Parallaxe [mm] zwischen den entsprechenden Punkten des Bildes des rechten Auges und des Bildes des linken Auges auf dem Bildschirm der Anzeige
Yp:: einen Abstand [mm] vom Bildschirm zu der Position, wo die Bilder miteinander verschmelzen

Soweit die vorstehende Gleichung (8) graphisch in 5 dargestellt ist, sei angenommen, dass K = 1000 mm und 2E = 65 mm ist.
5 zeigt, dass eine räumliche Verzerrung in Bildern, die miteinander verschmolzen werden sollen, nur durch lineares Austauschen einer Tiefenschätzung durch eine Einheit von Pixeln nicht verhindert werden kann. In einem Abstandsskala-Verfahren wird daher die Tiefenschätzung in die Einheit von Pixeln unter Berücksichtigung der räumlichen Verzerrung umgewandelt.
Das Abstandsskala-Umwandlungsverfahren wird kurz beschrieben.
Die Breite eines Pixels auf der Anzeige wird als U [mm] angenommen. Wenn angenommen wird, dass eine Parallaxe W vorhanden ist, die α Pixeln zwischen den entsprechenden Punkten entspricht, wird die Parallaxe W durch die folgende Gleichung (9) ausgedrückt: W = αU (9)
Durch Einsetzen der vorstehenden Gleichung (9) in die vorstehende Gleichung (8) wird das Verhältnis zwischen den Pixeln und der Position, wo die Bilder miteinander verschmolzen werden, ermittelt, wie dies durch die folgende Gleichung (10) ausgedrückt wird: Yp = KαU/(αU – 2E) (10)
Ferner wird die vorangehende Gleichung (10) umgeformt, um die folgende Gleichung (11) zu erhalten: α = 2E·Yp/{(Yp – K)U} (11)
Wenn bei einer vollständigen Abstandsskala-Umwandlung, mit einem maximalen Hervorhebungsmaß Ymax' vom Bildschirm und einem maximalen Vertiefungsmaß Ymin' vom Bildschirm, eine Tiefenschätzung depth (mit einem Wert von 0 bis 100) bestimmt wird, kann eine entsprechende Tiefe Yp durch eine einfache Skalaumwandlung erhalten werden, die durch die folgende Gleichung (12) ausgedrückt ist: Yp = (Ymax' – Ymin') × depth/100 (12)
Eine Parallaxe α, die Yp entspricht, wird durch die vorstehende Gleichung (11) ermittelt. Folglich kann die Tiefenschätzung in eine Einheit von Pixeln unter Berücksichtigung der räumlichen Verzerrung umgewandelt werden.
Wenn bei der vollständigen Abstandsskala-Umwandlung eine 256-stufige Parallaxen-Umwandlungstabelle W'' verwendet wird, wird der Raum zwischen Ymax' und Ymin' zunächst in 256 gleiche Unterteilungen geteilt und eine entsprechende Parallaxen-Umwandlungstabelle W'' [pixel] für jede Tiefe Yp auf der Basis der vorstehenden Gleichung (11) ermittelt.
In diesem Fall ist W'' [255] eine Parallaxe, die Ymax' entspricht, und W'' [0] ist eine Parallaxe, die Ymin' entspricht. Wenn die Tiefeschätzung depth bestimmt wird, wird eine entsprechenden Parallaxe α aus der folgenden Gleichung (13) ermittelt: α = W'' [lev] (13)
Hier gibt lev die Anzahl von Stufen auf der Parallaxen-Umwandlungstabelle an und wird durch die folgende Gleichung (14) ausgedrückt: lev = 255 × depth/100 (14)
Obwohl das vollständige Abstandsskala-Umwandlungsverfahren bei der 2D/3D-Umwandlung beschreiben wird, weist das Verfahren zwei Probleme auf, die in der Folge beschrieben sind:

(1) Wenn das maximale Herorhebungsmaß Ymax' erhöht wird, bis die Tiefe Yp gesättigt ist, wird die Verzerrung des umgewandelten Bildes selbst (die Verzerrung des R-Bildes selbst und des L-Bildes selbst) in einem Abschnitt mit einer Tiefe in der Nähe von Ymax' erhöht.
(2) Wenn ein Versuch zur Vergrößerung eines dynamischen Bereichs in einem Tiefenreproduktionsraum vorgenommen wird, gibt es keine Alternative als die Verringerung des maximalen Vertiefungsmaßes Ymin'. Daher wird ein Bereich, der vom Bildschirm nach vorne hervorgehoben wird, deutlich verringert.

Zur Vermeidung des oben genannten Problems muss die Umwandlung unter Verwendung nur eines Bereichs durchgeführt werden, wo es bestimmter Grad an Proportionalität zwischen einer Tiefe und einer Parallaxe besteht. Dieses bewirkt jedoch, dass die vollständige Verzerrungsskala-Umwandlung annähernd dieselbe ist wie die Pixel-Skala-Umwandlung. Daher kann nicht mehr länger einfach behauptet werden, dass die vollständige Abstandsskala-Umwandlung nützlich ist, da eine komplizierte Verarbeitung durchgeführt wird.
Daher wurde die Polygonlinienabstandsskala-Umwandlung entwickelt, die als nächste vorgestellt wird. Bei der Polygonlinienabstandsskala-Umwandlung wird ein Verhältnis des Hervorhebungsmaßes C [%] eingeführt, um den Raum von Ymax' zu 0 in 255·C/100 in gleiche Abschnitte zu teilen, und den Raum von 0 zu Ymin' in 255{(1 – C)/100} gleiche Abschnitte zu teilen, wodurch eine Parallaxen- Umwandlungstabelle erhalten wird, wie sie in 7 dargestellt ist.
Das heißt, das Verhältnis des Hervorhebungsmaßes C wird gesteuert, wodurch es möglich wird, ein Hervorhebungsmaß vorwärts von dem Bildschirm zu ändern und die Verzerrung des umgewandelten Bildes selbst in einem Abschnitt zu unterdrücken, wo das Hervorhebungsmaß sein Maximum erreicht. In der Polygonlinienabstandsskala-Umwandlung ist eine Gleichung, die der vorangehenden Gleichung (12) entspricht, die folgende Gleichung (15): Yp = Ymax' × {depth – (100 – C)}/C für depth ≥ (100 – C) Yp = {–Ymin' × depth/(100 – C)}/C + Ymin' für depth < C (15)
Ferner ist eine Gleichung, die der vorstehenden Gleichung (14) entspricht, die die Anzahl von Stufen auf der Parallaxen-Umwandlungstabelle W'' darstellt, die folgende Gleichung (16): lev = (255 – Dlev) × {depth – (100 – C)}/C + Dlev für depth ≥ (100 – C) lev = Dlev × depth/(100 – C) für depth < (100 – C) (16)
Hier ist dlev durch die folgende Gleichung (17) definiert und stellt die Anzahl von Stufen auf der Parallaxen-Umwandlungstabelle dar, die dem Bildschirm entspricht: Dlev = (100 – C) × 255/100 (17)
Die Polygonlinienabstandsskala-Umwandlung wird so ausgeführt, dass keine räumliche Verzerrung vor und hinter dem Bildschirm eintritt. Anders gesagt, eine räumliche Verzerrung tritt auf dem Bildschirm ein. Dies beruht auf der Hypothese, dass die räumliche Verzerrung in der Nähe des Bildschirms nach der Aussage "wenn ein stereoskopisches Video betrachtet wird, unterscheidet sich die Art, wie ein Video gesehen wird, vor und hinter dem Bildschirm", die von vielen Zusehern erhalten wird, am schwierigsten zu verstehen ist.
Als tatsächlich verwendete Werte werden Ymax', Ymin' und C so bestimmt, dass die Neigung (die Stufenbreite) der Tiefenparallaxen-Umwandlungstabelle sich vor und hinter dem Bildschirm nicht stark unterscheidet.
Außerdem ist die oben genannte Verzerrungsunterdrückungsverarbeitung unter Verwendung der linearen Operation für die Pixel-Skala-Umwandlung effektiv. Es kann jedoch nicht behauptet werden, dass sie für die Abstandsskala-Umwandlung effektiv ist, Der Grund dafür ist, dass die Abstandsskala-Umwandlung solche Eigenschaften hat, dass sich die Parallaxe vor und hinter dem Bildschirm deutlich unterscheidet, selbst wenn die Tiefenschätzung dieselbe ist, zum Beispiel "1", da die Tiefe Yp und die Parallaxe W [pixel] nichtlinear sind. Diese Tendenz wird bei einer Großbildbildschirmanzeige signifikant. Bei der Polygonlinienabstandsskala, die eine Verbesserung der vollständigen Abstandsskala darstellt, wird das Verhältnis des Hervorhebungsmaßes C eingeführt, selbst im Sinne einer Verminderung der Eigenschaften.
Selbst bei der Polygonlinienabstandsskala, die zur Steuerung des Verhältnisses des Hervorhebungsmaßes C imstande ist, kann jedoch der Maximalwert h_dv_max [pixel] der Phasendifferenz zwischen den benachbarten Flächen nicht vollständig in dem zulässigen Verzerrungsbereich h_supp_lev [pixel] unterdrückt werden (das Prinzip der Unterdrückung einer Verzerrung in einer Pixel- Skala kann nicht genau ausgeführt werden). Zur Ausführung des Prinzips einer Unterdrückung einer Verzerrung muss die Verzerrungsunterdrückungsverarbeitung nach der Abstandsskala-Umwandlung durchgeführt werden.
4. Gleichzeitige Anwendung der MTD-Methode und der CID-Methode
Im Allgemeinen hat ein Mensch bei einem stereoskopischen Bild ein Gefühl für Abstand, zum Beispiel durch die Differenz zwischen Abschnitten im toten Winkel (Okklusion) von Bildern, die in sein oder ihr rechtes beziehungsweise linkes Auge eintreffen, die zum Beispiel durch die Differenz zwischen Positionen des rechten und linken Auges verursacht werden. In diesem Sinne kann das Gefühl für Abstand oder dergleichen von der MTD-Methode abgedeckt werden. Andererseits kann ein Video, das sich nicht bewegt, oder ein Video, dessen Bewegung kompliziert ist, nicht zufriedenstellend in ein dreidimensionales Video umgewandelt werden. Bei der CID-Methode kann eine Parallaxe zwischen dem Bild des rechten und des linken Auges frei geändert werden. Anderseits kann einem Menschen ein Video nicht so gezeigt werden, als ob seine Abschnitte im toten Winkel, die als Schatten eines Gegenstands dienen, anders wären, abhängig von der Parallaxe in seinem oder ihrem rechten und linken Auge.
Daher wird überlegt, dass die 2D/3D-Umwandlung unter gleichzeitiger Verwendung der MTD-Methode, die für ein bewegtes Bild effektiv ist, und der CID-Methode, die auch ein Standbild umwandeln kann, durchgeführt wird. In diesem Fall wird angenommen, dass eine Parallaxe, die durch die MTD-Methode erhalten wird, und eine Parallaxe, die durch die CID-Methode erhalten wird, einfach addiert werden.
Die Parallaxe, die durch die MTD-Methode erhalten wird, und die Parallaxe, die durch die CID-Methode erhalten wird, werden jedoch einzeln gesteuert. Daher hängt die Parallaxe, die durch die Umwandlung erzeugt wird, deutlich von dem Vorhandensein oder Fehlen einer Bewegung des eingegebenen Videos ab. Das heißt, wenn das Eingangs-Video ein bewegtes Bild ist, werden eine Parallaxe, die durch die MTD-Methode erhalten wird, und eine Parallaxe, die durch die CID-Methode erhalten wird, auf einem umgewandelten Video reflektiert. Wenn es sich jedoch um ein Standvideo handelt, gibt es keine Parallaxe, die durch die MTD-Methode erhalten wird, sondern nur eine Parallaxe, die durch die CID-Methode erhalten wird.
Ein solches Phänomen, dass ein stereoskopischer Effekt eines umgewandelten Videos abhängig von einem Eingangs-Video sehr unterschiedlich ist, ist unpraktisch, wenn ein Benutzer einen stereoskopischen Effekt einstellt.
Eine Aufgabe der vorliegenden Erfindung ist die Bereitstellung eines Verfahrens zur Umwandlung eines zweidimensionalen Videos in ein dreidimensionales Video, bei dem verhindert werden kann, dass ein stereoskopischer Effekt eines umgewandelten Videos abhängig ist von einem Eingangs-Video sehr unterschiedlich ist, wenn das zweidimensionale Video unter gleichzeitiger Verwendung der MTD-Methode und der CID-Methode in das dreidimensionale Video umgewandelt wird.
Eine weitere Aufgabe der vorliegenden Erfindung ist die Bereitstellung eines Verfahrens zur Umwandlung eines zweidimensionalen Videos in ein dreidimensionales Video, bei dem die Verzerrung eines umgewandelten Bildes unter drückt werden kann, wenn eine Tiefenschätzung unter Verwendung der Abstandsskala-Umwandlung in eine Parallaxe konvertiert wird.
Ein Verfahren zum Umwandeln eines zweidimensionalen Videos in ein dreidimensionales Video gemäß der vorliegenden Erfindung umfasst einen ersten Schritt zum Extrahieren eines Bildmerkmals aus jeder von mehreren Parallaxen-Berechnungsflächen, die in einem Bildschirm auf der Basis eines zweidimensionalen Videosignals eingestellt sind, und zum Erstellen einer Tiefenschätzung für die Parallaxen-Berechnungsfläche auf der Basis des extrahierten Bildmerkmals, und ist gekennzeichnet durch einen zweiten Schritt zum Unterziehen jeder der Tiefenschätzungen einer Abstandsskala-Umwandlung unter Verwendung eines dynamischen Bereichs, der durch ein vorbestimmtes maximales Hervorhebungsmaß und ein vorbestimmtes maximales Vertiefungsmaß definiert ist, um eine vorläufige Sollphase für jede der Parallaxen-Berechnungsflächen zu ermitteln; einen dritten Schritt zum Ermitteln des Maximalwertes einer Phasendifferenz zwischen den benachbarten Parallaxen-Berechnungsflächen auf der Basis der vorläufigen Sollphase für jede der Parallaxen-Berechnungsflächen; einen vierten Schritt zur Beurteilung, ob der Maximalwert der Phasendifferenz zwischen den benachbarten Parallaxen-Berechnungsflächen in einem vorbestimmten zulässigen Verzerrungsbereich liegt oder nicht; und einen fünften Schritt zum Suchen, wenn der Maximalwert der Phasendifferenz zwischen den benachbarten Parallaxen-Berechnungsflächen außerhalb des vorbestimmten zulässigen Verzerrungsbereichs liegt, nach einem solchen dynamischen Bereich, dass die Phasendifferenz zwischen den Parallaxen-Berechnungsflächen in dem vorbestimmten zulässigen Verzerrungsbereich liegt, Unterziehen jeder der Tiefenschätzungen einer Abstandsskala-Umwandlung unter Verwendung des gesuchten dynamischen Bereichs und Ermitteln einer vorläufigen Sollphase für jede der Parallaxen-Berechnungsflächen, um mit dem dritten Schritt fortzufahren.
Hier bedeutet Abstandskala-Umwandlung eine Methode zur Umwandlung einer Tiefenschätzung in eine Einheit von Pixeln (eine Parallaxe) unter Berücksichtigung eines Abschnittes, in dem die Bilder miteinander verschmelzen. Im Gegensatz dazu wird eine Methode zum linearen Umwandeln einer Tiefenschätzung in eine Einheit von Pixeln (eine Parallaxe) als Pixel-Skala-Umwandlung bezeichnet.
Im fünften Schritt kann der gesuchte dynamische Bereich so korrigiert werden, dass das Verhältnis des maximalen Hervorhebungsmaßes zu dem maximalen Vertiefungsmaß, das durch den dynamischen Bereich definiert ist, ein vorbestimmtes Verhältnis ist, und jede der Tiefenschätzungen wird dann unter Verwendung des korrigierten dynamischen Bereichs einer Abstandsskala-Umwandlung unterzogen.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist eine schematische Darstellung zur Erklärung der herkömmlichen MTD-Methode.
2 ist eine schematische Darstellung zur Erklärung der Gegenstandspositionskontrolle.
3 ist ein Flussdiagramm, das die Prozedur zur Steuerungsverarbeitung bei der herkömmlichen CID-Methode zeigt.
4 ist eine schematische Darstellung zur Erklärung der dynamischen Bereichsunterdrückungsverarbeitung bei der herkömmlichen CID-Methode.
5 ist eine Graphik, die das Verhältnis zwischen einer Parallaxe W zwischen Bildern und einem Abschnitt Yp zeigt, wo die Bilder miteinander verschmelzen.
6 ist eine Graphik zur Erklärung der vollständigen Abstandsskala-Umwandlung.
7 ist eine Graphik zur Erklärung der Polygonlinien-Abstandsskala-Umwandlung.
8 ist eine Graphik, die derartige Eigenschaften zeigt, dass eine Parallaxe W [pixel] vor und hinter einem Bildschirm sehr unterschiedlich ist, selbst wenn eine Tiefenschätzung dieselbe ist, zum Beispiel "1", da eine Tiefe Yp und die Parallaxe nichtlinear sind.
9 ist ein Flussdiagramm, das die Steuerungsprozedur bei der CID-Methode gemäß der vorliegenden Erfindung zeigt.
10 ist ein Flussdiagramm, das die Abstandsskala-Umwandlung und Verzerrungsunterdrückungs-verarbeitung in Schritt 13 zeigt, der in 9 dargestellt ist.
11 ist eine Graphik, die ein Tiefenverhältnis vor und hinter einem Bildschirm zeigt, selbst wenn ein dynamischer Bereich durch Einführen einer Methode zum Aufrechterhalten eines Distanzverhältnisses geändert wird.
12 ist eine schematische Ansicht, die einen Fall zeigt, in dem eine Polygonlinien-Abstandsskala-Umwandlung nur zur Aufrechterhaltung eines Maßverhältnisses ausgeführt wird, sowie einen Fall, in dem die Verarbeitung zur Aufrechterhaltung eines Abstandsverhältnisses durchgeführt wird.
13 ist ein Diagramm, das die schematische Konfiguration einer 2D/3D-Umwandlungsvorrichtung zeigt, die bei dem Verfahren der Erfindung verwendet wird.
14 ist ein Flussdiagramm, das die Operationen der in 1 dargestellten 2D/3D-Umwandlungsvorrichtung zeigt.
15 ist ein Diagramm, das die schematische Konfiguration einer 2D/3D-Umwandlungsvorrichtung gemäß einer zweiten Ausführungsform zeigt.
16 ist ein Flussdiagramm, das die Prozedur für eine gesamte integrierte Phasensteuerungsverarbeitung zeigt.
17 ist eine schematische Ansicht, die das Gesamtverhalten bei der integrierten Phasensteuerung zeigt.
18 ist eine schematische Ansicht, die das Verhalten an jeder Fläche zum Zeitpunkt der integrierten Phasensteuerung zeigt.
19 ist ein Flussdiagramm, das die detaillierte Prozedur zur Verarbeitung in den Schritten 53, 54 und 55 zeigt, die in 16 dargestellt sind.
20 ist eine schematische Ansicht, die ein Beispiel für eine Verzerrungsunterdrückung zeigt, die in der integrierten Phasensteuerung ausgeführt wird.
21 ist eine schematische Ansicht, die einen Fall zeigt, in dem eine Phase durch die MTD-Methode eingestellt werden kann, und einen Fall, in dem sie nicht eingestellt werden muss.
22 ist eine schematische Ansicht zur Erklärung der Phasenunterdrückungsverarbeitung durch die MTD-Methode.
23 ist ein Flussdiagramm, das die Prozedur für eine Verzögerungsunterdrückungsverarbeitung zeigt.
Die vorliegende Erfindung wird nun unter Bezugnahme auf 9 bis 12 beschrieben.
9 zeigt die nun zu beschreibende Prozedur zur Steuerung bei der CID-Methode gemäß der vorliegenden Erfindung.
Zunächst wird ein Bildschirm in mehrere Flächen unterteilt und die Informationen, die sich auf eine Hochfrequenz und einen Luminanzkonstrast und eine Chrominanz(B-Y, R-Y) Komponente beziehen, werden von jeder der Flächen erhalten (Schritt 11). Eine Tiefenschätzung für jede der Flächen, die aus den Informationen und einer Komposi tion geschätzt wurde, wird ermittelt (Schritt 12). Die ermittelte Tiefenschätzung wird einer Abstandsskala-Umwandlung und einer Verzerrungsunterdrückungsverarbeitung unterzogen, wodurch eine Sollphase erhalten wird (Schritt 13).
10 zeigt die Einzelheiten der Abstandsskala-Umwandlung und Verzerrungsunterdrückungsverarbeitung in Schritt 13, der in 9 dargestellt ist.
Zuerst wird die Tiefenschätzung der Abstandsskala-Umwandlung in einem dynamischen Bereich unterzogen, der durch Mfront und Mrear definiert ist, um eine vorläufige Sollphase zu erhalten (Schritt 21 und 22). Der Maximalwert h_dv_max [pixel] einer Phasendifferenz zwischen den benachbarten Flächen wird auf der Basis der erhaltenen vorläufigen Sollphase berechnet (Schritt 23).
Es wird beurteilt, ob der Maximalwert h_dv_max [pixel] der Phasendifferenz zwischen den benachbarten Flächen in einem zulässigen Verzerrungsbereich h_supp_lev [pixel] liegt (Schritt 24). Wenn er in dem zulässigen Bereich liegt, wird die vorläufige Sollphase als gültige Sollphase angenommen (Schritt 27).
Wenn der Maximalwert der Phasendifferenz zwischen den benachbarten Flächen außerhalb des zulässigen Verzerrungsbereichs liegt, wird ein dynamischer Bereich, der durch Mfront und Mrear definiert ist, allmählich verringert, bis der Maximalwert der Phasendifferenz nicht mehr als h_supp_lev ist, wodurch die geeignetsten Werte für front und rear erhalten werden (Schritt 25). Der Einfachheit wegen soll die Verarbeitung in Schritt 25 als sequenzielle Suchverarbeitung bezeichnet werden. Die Ein zelheiten der sequenziellen Suchverarbeitung werden später beschrieben.
Nachdem front und rear so geändert wurden, dass das Abstandsverhältnis von front zu rear, die durch die sequenzielle Suchverarbeitung ermittelt werden, ein Abstandsverhältnis ist, das von einem Benutzer festgelegt wurde (Schritt 26), kehrt das Programm zu Schritt 22 zurück. In Schritt 22 wird des Weiteren die Abstandsskala-Umwandlung ausgeführt.
Die Verarbeitung in den Schritten 22, 23, 24, 25 und 26 wird wiederholt, bis der Maximalwert h_dv_max [pixel] der Phasendifferenz zwischen den benachbarten Flächen im zulässigen Verzerrungsbereich h_supp_lev [pixel] liegt, um eine endgültige Sollphase zu erreichen. Die Abstandsskala-Umwandlung wird jedes Mal durchgeführt, wenn der dynamische Bereich geändert wird, um exakt ein solches Abstandsskala-Prinzip zu erreichen, dass ein Zuseher ein stereoskopisches Video sieht, das der Tiefenschätzung unabhängig von einer räumlichen Verzerrung in einer stereoskopischen Anzeige entspricht.
Es wird die sequenzielle Suchverarbeitung beschrieben.
In einer Abstandsskala, in der eine Tiefenschätzung und eine Phase nichtlinear sind, wird der dynamische Bereich, der durch die Werte front und rear definiert ist, durch die sequenzielle Suchverarbeitung bestimmt, um den dynamischen Bereich zu erhöhen.
Bei der sequenziellen Suchverarbeitung kann eine Parallaxe auch unter Verwendung einer Tiefen-Parallaxen-Umwandlungsgleichung (einer Gleichung 15) berechnet wer den. Die Berechnung einer Parallaxen-Umwandlungstabelle W'', die auf folgende Weise im Voraus berechnet wird, ist jedoch effizienter. Dieses Verfahren wird unter Annahme einer Tiefenschätzung auf Bildschirmebene in einem Fall beschrieben, in dem sie zwischen 0 und 100 als surface_depth (= 100 – C) standardisiert ist.
Wenn die Anzahl von Stufen auf der Parallaxen-Umwandlungstabelle W'', die dem front-Wert und dem rear-Wert entsprechen, als Max_lev (= 255 – Dlev) beziehungsweise Min_lev (= Dlev – 0) angenommen werden, wird die Anzahl von Stufen lev auf der Parallaxen-Umwandlungstabelle, die einer bestimmten Tiefenschätzung v depth entspricht, durch die folgende Gleichung (18) ausgedrückt: lev = (v_depth – surface_depth)·(Max_lev – Dlev)/(100 – surface_depth) + Dlev für v_depth > surface_depth lev = (v_depth – Min_lev)·(Dlev – 0)/(surface_depth – Min_lev) für v_depth < surface_depth lev = Dlev für v_depth = surface_depth (18)
Eine Phase phase, die lev entspricht, kann durch die folgende Gleichung (19) ausgedrückt werden, da sie durch die Parallaxen-Umwandlungstabelle W'' einzigartig ermittelt wird. phase = W''(lev) (19)
Bei der sequenziellen Suchverarbeitung können der front-Wert und der rear-Wert, bei welchen die maximale Phasendifferenz zwischen den benachbarten Flächen nicht mehr als h_supp_lev ist, durch allmähliches Ändern von Max_lev und Min_lev ermittelt werden.
Wie aus der vorstehenden Gleichung (18) hervorgeht, gibt es bei der sequenziellen Suchverarbeitung folgende drei Arten von Methoden zum Suchen der geeignetsten Werte für front und rear in Übereinstimmung mit dem Verhältnis zwischen Phasen in den zwei benachbarten Flächen, zwischen welchen eine maximale Phasendifferenz besteht:
Erster Fall: wenn beide Flächen jeweils Phasen vor dem Bildschirm haben, wird der front-Wert nahe zu Null gebracht (Max_lev wird nahe zu Dlev gebracht.)
Zweiter Fall: Wenn beide der Flächen jeweils Phasen hinter dem Bildschirm haben, wird der rear-Wert nahe zu Null gebracht (Min_lev wird nahe zu Dlev gebracht.)
Dritter Fall: Wenn eine der Flächen eine Phase vor dem Bildschirm und die andere Fläche eine Phase hinter dem Bildschirm hat, werden sowohl der front-Wert als auch der rear-Wert nahe zu Null gebracht (Max_lev und Min_lev werden nahe zu Dlev gebracht.)
Im dritten Fall werden Max_lev und Min_lev nahe zu Dlev gebracht, so dass das Abstandsverhältnis, das zuvor vom Benutzer festgelegt wurde, gehalten wird, das heißt, dass ein Verhältnis, das durch die folgende Gleichung (20) ausgedrückt wird, zum Zeitpunkt der sequenziellen Suchverarbeitung gehalten wird: (255 – Dlev):Dlev = (Max_lev – Dlev):(Dlev – Min_Lev) (20)
Die vorstehende Gleichung (20) ist mit der Verarbeitung in Schritt 26, der in 10 dargestellt ist, syn onym. Im ersten Fall und im zweiten Fall wird die Verarbeitung zur Änderung des Abstandsverhältnisses nicht zum Zeitpunkt der sequenziellen Verarbeitung durchgeführt, sondern in Schritt 26, der in 10 dargestellt ist, um den Umfang der Operation zu verringern.
Ein Verfahren zur Aufrechterhaltung des Abstandsverhältnisses wird in die Abstandsskala eingeführt, um ein Tiefenverhältnis vor und hinter dem Bildschirm aufrechtzuerhalten, selbst wenn der dynamische Bereich geändert wird. Insbesondere, wie in 11 dargestellt, wenn ein Abstand vor dem Bildschirm um 20% im ersten Fall verringert wird, wird ein Abstand hinter dem Bildschirm auch um 20% verringert, um das Verhältnis vor und hinter dem Bildschirm aufrechtzuerhalten.
Wenn das Abstandsverhältnis in der Parallaxen-Umwandlungstabelle aufrechterhalten wird, kann auch ein Verhältnis des Hervorhebungsmaßes C aufrechterhalten werden. Folglich kann ein umgewandeltes Video ohne unangenehmes Gefühl einem Zuseher präsentiert werden, der dazu neigt, einen Raum als relative Tiefe zu erkennen.
Es gibt jedoch einen Fall, in dem das Video besser ist, wenn der gesamte dynamische Bereich abhängig von den Eigenschaften der Augen des Zusehers verbreitert wird. In einem solchen Fall wird im ersten Fall und im zweiten Fall nicht das Abstandsverhältnis, sondern nur das Maßverhältnis aufrechterhalten.
12 zeigt einen Fall, in dem eine Polygonlinien-Abstandsskala-Umwandlung nur zur Aufrechterhaltung des Maßverhältnisses ausgeführt wird, und einen Fall, in dem ferner die Verarbeitung zum Aufrechterhalten des Abstandsverhältnisses durchgeführt wird. Bei der Polygon linien-Abstandsskala-Umwandlung nur zum Aufrechterhalten des Maßverhältnisses wird eine Entsprechung zwischen einer Tiefenschätzung an dem Bildschirm und der Parallaxen-Umwandlungstabelle durch Durchführen separater Bereichsumwandlungen mit der Tiefenschätzung als Grenze hergestellt. In einem Fall, in dem das Abstandsverhältnis aufrechterhalten wird, können die Tiefenschätzung und die Parallaxen-Umwandlungstabelle miteinander durch eine Bereichsumwandlung korrespondieren. Eine Funktion lev (phase) in 12 stellt eine inverse Funktion der vorstehenden Gleichung (19) dar und bedeutet, dass die Anzahl von Stufen in der Parallaxen-Umwandlungstabelle aus einer Phase phase [pixel] ermittelt wird.
Unter Bezugnahme auf 13 und 14 wird nun ein 2D-3D-Umwandlungssystem beschrieben, das bei dem Verfahren der Erfindung verwendet wird.
In 13 bezeichnet das Bezugszeichen 1 eine Videozuleitungsquelle, die als Videosignalzuleitungsmittel dient, wie einen VTR (Video Tape Recorder), eine CD-ROM (Compact Disc Read-Only Memory), oder einen TV-Sender, das Bezugszeichen 2 bezeichnet eine 2D/3D-Umwandlungsvorrichtung zum Umwandeln eines zweidimensionalen Videosignals, das von der Videozuleitungsquelle 1 zugeleitet wird, in ein dreidimensionales Videosignal, das heißt, ein Videosignal des linken Auges L und ein Videosignal des rechten Auges R, und das Bezugszeichen 3 bezeichnet ein stereoskopisches Anzeigemittel, das ein Bildteilungssystem oder dergleichen verwendet, um das dreidimensionale Videosignal anzuzeigen, das von der 2D/3D-Umwandlungsvorrichtung 2 ausgegeben wird.
Es wird die Konfiguration der 2D/3D-Umwandlungsvorrichtung 2 beschrieben.
Das Bezugszeichen 4 bezeichnet einen Feldspeicher, der das von der Videozuleitungsquelle 1 für jedes Feld zugeführte Videosignal als Video speichert und das Bezugszeichen 5 bezeichnet ein Bewegungsvektorerfassungsmittel zum Erfassen eines Bewegungsvektors von dem Videosignal, das von der Videozuleitungsquelle 1 zugeführt wird.
Das Bezugszeichen 6 bezeichnet ein Chrominanzextraktionsmittel zum Extrahieren einer Chrominanzkomponente aus dem Video, das von der Videozuleitungsquelle 1 zugeleitet wird, das Bezugszeichen 7 bezeichnet ein Kontrastextraktionsmittel zum Extrahieren eines Kontrasts aus dem Video, das von der Videozuleitungsquelle 1 zugeleitet wird, und das Bezugszeichen 8 bezeichnet ein Hochfrequenzkomponentenextraktionsmittel zum Extrahieren einer Hochfrequenzkomponente aus dem Video, das von der Videozuleitungsquelle 1 zugeleitet wird. Das Chrominanzextraktionsmittel 6, das Kontrastextraktionsmittel 7 und das Hochfrequenzkomponentenextraktionsmittel 8 bilden ein Bildmerkmalextraktionsmittel.
Das Bezugszeichen 9 bezeichnet ein Bewegungsausmaßberechnungsmittel zum Ermitteln der Bewegungsrichtung und des Bewegungsausmaßes (der Größe des Bewegungsvektors) von dem Bewegungsvektor, der von dem Bewegungsvektorerfassungsmittel erfasst wird, und zum Ausgeben der Bewegungsrichtung und des Bewegungsausmaßes. Das Bezugszeichen 10 bezeichnet ein Speichersteuermittel zum Auslesen eines Bildes (eines verzögerten Bildes) aus dem Feldspeicher 4, das um die Anzahl von Feldern verzögert ist, die dem Bewegungsausmaß entspricht, das von dem Bewegungsausmaßberechnungsmittel 9 unter Verwendung des gegenwärtigen Bildes als Basis ausgegeben wird, und das Bezugszeichen 11 bezeichnet ein Umschaltmittel, das auf der Basis der Bewegungsrichtung, die von dem Bewegungsausmaßberechnungsmittel 9 ausgegeben wird, umschaltet, welches von dem Referenzbild (dem gegenwärtigen Bild) oder dem verzögerten Bild als Videosignal des linken Auges L oder als Videosignal des rechten Auges R ausgegeben werden soll.
Das Bezugszeichen 12 bezeichnet Gruppierungsmittel zum Gruppieren von Flächen nach Abschnitten, die als dasselbe Objekt angesehen werden, wie ein Gegenstand oder ein Hintergrund, abhängig von der Chrominanzkomponente, die von dem Chrominanzextraktionsmittel 6 extrahiert wird, und dem Ausmaß und der Richtung der Bewegung, das/die von dem Bewegungsausmaßberechnungsmittel 9 aus dem Video berechnet wird, das von der Videozuleitungsquelle 1 zugeleitet wird, und zum Ausgeben von Informationen, die sich auf die Gruppierung beziehen. Das Bezugszeichen 13 bezeichnet ein erstes Tiefenkartenerstellungsmittel zum Berechnen von Tiefeninformationen aus dem Bewegungsausmaß, das von dem Bewegungsausmaßberechnungsmittel 9 berechnet wird, und den Gruppierungsinformationen, die von dem Gruppierungsmittel 12 erhalten werden, um eine Tiefenkarte zu erstellen.
Das Bezugszeichen 14 bezeichnet ein zweites Tiefenkartenerstellungsmittel zum Berechnen von Tiefeninformationen aus Informationen, die sich auf den Kontrast beziehen, der von dem Kontrastextraktionsmittel 7 für die Flächen extrahiert wird, die durch die Gruppierung in dem Gruppierungsmittel 12 erhalten werden, um eine Tiefenkarte zu erstellen. Das Bezugszeichen 15 bezeichnet ein drittes Tiefenkartenerstellungsmittel zum Berechnen von Tiefeninformationen aus Informationen, die sich auf die Hochfrequenzkomponente beziehen, die von dem Hochfre quenzkomponentenextraktionsmittel 8 für die Flächen extrahiert wird, die durch die Gruppierung in dem Gruppierungsmittel 12 erhalten werden, um eine Tiefenkarte zu erstellen, und das Bezugszeichen 16 bezeichnet ein viertes Tiefenkartenerstellungsmittel zum Berechnen von Tiefeninformationen aus Informationen, die sich auf eine Komposition beziehen, die zuvor eingestellt wurde, und aus Informationen, die sich auf die Flächen beziehen, die durch die Gruppierung in dem Gruppierungsmittel 12 erhalten werden, um eine Tiefenkarte zu erstellen.
Das Bezugszeichen 17 bezeichnet ein Gesamtkartenerstellungsmittel zum Wichten, Addieren und Synthetisieren der Tiefenkarten, die von den Tiefenkartenerstellungsmitteln 13, 14, 15 und 16 erstellt wurden, um eine Gesamtkarte zu erstellen. Das Bezugszeichen 18 bezeichnet ein Parallaxen-Berechnungsmittel zum Berechnen einer Parallaxe für jede Parallaxen-Berechnungsfläche, die zuvor anhand der Gesamtkarte eingestellt wurde, die von dem Gesamtkartenerstellungsmittel 17 erstellt wurde, und das Bezugszeichen 19 bezeichnet Horizontalpositionseinstellmittel zum Verschieben der Bilder des linken und des rechten Auges, die von dem Umschaltmittel 11 ausgegeben werden, in die horizontale Richtung zum Beispiel in Einheiten von Pixeln, um die Bilder auf der Basis der Parallaxe für jede Parallaxen-Berechnungsfläche, die von dem Parallaxen-Berechnungsmittel 18 berechnet wurde, zu synthetisieren.
Das Parallaxen-Berechnungsmittel 18 berücksichtigt ein Ausmaß einer Frame-Verzögerung auf der Basis des Bewegungsausmaßes, das von dem Bewegungsausmaßberechnungsmittel 9 berechnet wurde, wodurch die Parallaxe abhängig von dem Bewegungsausmaß korrigiert, das heißt, verringert wird, die an das Horizontalpositionseinstellmittel 19 ausgegeben wird.
14 zeigt die Operationen der 2D/3D-Umwandlungsvorrichtung 2.
Ein Videosignal, das von der Videozuleitungsquelle 1 zugeführt wird, wird für jedes Feld in dem Feldspeicher 4 gespeichert (Schritt 31). Von dem zweidimensionalen Videosignal, das von der Videozuleitungsquelle 1 zugeleitet wird, wird durch das Bewegungsvektorerfassungsmittel 5 ein Bewegungsvektor erfasst und das Bewegungsausmaß und die Bewegungsrichtung des Bewegungsvektors werden von dem Bewegungsausmaßberechnungsmittel 9 berechnet (Schritt 32).
Insbesondere vergleicht das Bewegungsvektorerfassungsmittel 5 ein Bild in dem gegenwärtigen Feld mit einem Bild, das sich ein Feld vor dem gegenwärtigen Feld befindet, um als Bewegungsvektor das Bewegungsausmaß und die Bewegungsrichtung eines Gegenstandes in dem Bild zu extrahieren.
Ein Bild (ein verzögertes Bild), das um eine vorbestimmte Anzahl von Feldern von dem zweidimensionalen Videosignal (dem Referenzbild) von der Videozuleitungsquelle 1 verzögert ist, wird dann aus dem Feldspeicher 4 gelesen und abhängig von dem Bewegungsausmaß des Bewegungsvektors, das in Schritt 32 erfasst wird, zu dem Umschaltmittel 11 geleitet (Schritt 33). Das Umschaltmittel 11 gibt auf der Basis der Bewegungsrichtung des Bewegungsvektors, die in Schritt 32 erfasst wird, entweder das Referenzbild oder das verzögerte Bild als Videosignal des linken Auges L aus und gibt das andere Bild als Videosignal des rechten Auges R aus.
Die Operationen der vorangehenden Schritte 31 bis 33 entsprechen den Operationen bei der MTD-Methode.
Bildmerkmale werden dann auf der Basis des zweidimensionalen Videosignals von der Videozuleitungsquelle 1 extrahiert (Schritt 34). Eine Bildfläche, die einem Feld entspricht, wird in mehrere Flächen unterteilt, so dass mehrere Bildmerkmalerfassungsflächen in der Bildfläche eingestellt sind, die einem Feld entspricht. Das Chrominanzextraktionsmittel 6 extrahiert Chrominanzinformationen für jede der Bildmerkmalerfassungsflächen. Das Kontrastextraktionsmittel 7 extrahiert einen Kontrast für jede der Bildmerkmalerfassungsflächen. Das Hochfrequenzkomponentenextraktionsmittel 8 extrahiert eine Hochfrequenzkomponente für jede der Bildmerkmalerfassungsflächen. Ferner gruppiert das Gruppierungsmittel 12 die Flächen in dem Bild auf der Basis der Chrominanzinformationen für jede der Bildmerkmalerfassungsflächen, die von dem Chrominanzextraktionsmittel 6 extrahiert wurden, und des Bewegungsausmaßes, das in Schritt 32 erfasst wurde, um die Flächen zur Beurteilung eines Gegenstandes, eines Hintergrundes oder dergleichen zu verwenden.
Dann wird eine Tiefenkarte erstellt (Schritt 35). Das heißt, das erste Tiefenkartenerstellungsmittel 13 erstellt eine erste Tiefenkarte auf der Basis des Bewegungsausmaßes des Bewegungsvektors, das von dem Bewegungsausmaßberechnungsmittel 9 berechnet wurde, und der Gruppierungsinformationen, die von dem Gruppierungsmittel 12 erhalten werden.
Das zweite Tiefenkartenerstellungsmittel 14 erstellt eine zweite Tiefenkarte auf der Basis des Kontrasts für jede der Bildmerkmalerfassungsflächen, der von dem Kon trastextraktionsmittel 7 extrahiert wurde, und der Gruppierungsinformationen, die von dem Gruppierungsmittel 12 erhalten werden. Das dritte Tiefenkartenerstellungsmittel 15 erstellt eine dritte Tiefenkarte auf der Basis der Hochfrequenzkomponente für jede der Bildmerkmalerfassungsflächen, die von dem Hochfrequenzkomponentenextraktionsmittel 8 extrahiert wurde, und der Gruppierungsinformationen, die von dem Gruppierungsmittel 12 erhalten werden.
Ferner erzeugt das vierte Tiefenkartenerstellungsmittel 16 eine vierte Tiefenkarte auf der Basis einer Komposition auf einem Bildschirm, die zuvor eingestellt wurde (zum Beispiel eine solche Komposition, dass, wenn der Bildschirm vorwiegend eine Landschaft zeigt, ein unterer Abschnitt des Bildschirms der Boden ist, ein oberer Abschnitt des Bildschirms der Himmel ist und die Mitte des Bildschirms der Gegenstand ist), und der Gruppierungsinformationen, die von dem Gruppierungsmittel 12 erhalten werden.
Dann wird eine Gesamttiefenkarte erstellt (Schritt 36). Das heißt, das Gesamtkartenerstellungsmittel 17 wichtet und addiert die erste bis vierte Tiefenkarte, die vom ersten bis vierten Tiefenkartenerstellungsmittel 13, 14, 15 und 16 erstellt wurden, um die Gesamttiefenkarte zu erstellen.
Dann wird eine Parallaxe berechnet (Schritt 37). Das heißt, das Parallaxen-Berechnungsmittel 18 berechnet eine Parallaxe zwischen einem Bild des linken Auges und einem Bild des rechten Auges für jede Parallaxen-Berechnungsfläche, die zuvor bestimmt wurde, auf der Basis der Gesamttiefenkarte, die vom Gesamtkartenerstellungsmittel 17 erstellt wird.
Die vorstehenden Schritte 34 bis 37 entsprechen Operationen bei der CID-Methode.
Dann wird die Parallaxe korrigiert (Schritt 38). Das heißt, das Parallaxen-Berechnungsmittel 18 korrigiert die Parallaxe für jede der Parallaxen-Berechnungsflächen, die in Schritt 37 berechnet wurden, abhängig von dem Bewegungsausmaß des Bewegungsvektors, das von dem Bewegungsausmaßberechnungsmittel 9 berechnet wurde. Insbesondere wird die Parallaxe, die in Schritt 37 berechnet wird, um eine Parallaxe verringert, die der Verzögerung des verzögerten Bildes von dem Referenzbild entspricht.
Das Bild des rechten Auges R und das Bild des linken Auges L werden dann abhängig von der Parallaxe nach der Korrektur horizontal verschoben (Schritt 39). Das heißt, das Horizontalpositionseinstellmittel 19 verschiebt das Bild des linken Auges L und das Bild des rechten Auges R horizontal, die von dem Umschaltmittel 11 für jedes Pixel ausgegeben werden, zum Beispiel auf der Basis der Parallaxe, die in Schritt 38 korrigiert wurde.
Das Bild des linken Auges L und das Bild des rechten Auges R, die von dem Horizontalpositionseinstellmittel 19 horizontal verschoben wurden, werden von dem dreidimensionalen Anzeigemittel 3 angezeigt (Schritt 40).
Es wird nun ein 2D/3D-Videomwandlungssystem, welches das Verfahren der vorliegenden Erfindung anwendet, unter Bezugnahme auf 15 und 23 beschrieben.
15 zeigt die Konfiguration einer Vorrichtung zur Umwandlung eines zweidimensionalen Videos in ein dreidimensionales Video (einer 2D/3D-Umwandlungsvorrichtung).
In 15 bezeichnet das Bezugszeichen 101 eine Videozuleitungsquelle, die als Videosignalzuleitungsmittel dient, wie einen VTR, eine CD-ROM oder einen TV-Sender, das Bezugszeichen 102 bezeichnet eine 2D/3D-Umwandlungsvorrichtung zum Umwandeln eines zweidimensionalen Videosignals, das von der Videozuleitungsquelle 1 zugeleitet wird, in ein dreidimensionales Videosignal, das heißt, ein Videosignal des linken Auges L und ein Videosignal des rechten Auges R, und das Bezugszeichen 103 bezeichnet ein stereoskopisches Anzeigemittel, das ein Bildteilungssystem oder dergleichen verwendet, um ein dreidimensionales Videosignal anzuzeigen, das von der 2D/3D-Umwandlungsvorrichtung 102 ausgegeben wird.
Es wird die Konfiguration der 2D/3D-Umwandlungsvorrichtung 102 beschrieben.
Das Bezugszeichen 104 bezeichnet einen Feldspeicher, der das Videosignal von der Videozuleitungsquelle 101 für jedes Feld speichert, und das Bezugszeichen 105 bezeichnet ein Bewegungsvektorerfassungsmittel zum Erfassen eines Bewegungsvektors von dem Videosignal, das von der Videozuleitungsquelle 101 zugeleitet wird.
Das Bezugszeichen 106 bezeichnet ein Bildmerkmalextraktionsmittel zum Extrahieren von Bildmerkmalen, wie einer Chrominanzkomponente, eines Kontrasts und einer Hochfrequenzkomponente aus einem Video, das von der Videozuleitungsquelle 101 zugeleitet wird.
Das Bezugszeichen 110 bezeichnet Verzögerungsberechnungsmittel zum Berechnen einer Verzögerung des Bewegungsvektors, die von dem Bewegungsvektorerfassungsmittel 105 erfasst wird. Das Bezugszeichen 107 bezeichnet ein Speichersteuermittel zum Auslesen eines Bildes (eines verzögerten Bildes) aus dem Feldspeicher 104, das um die Anzahl von Feldern verzögert ist, die der Verzögerung entspricht, die von dem Verzögerungsberechnungsmittel 110 unter Verwendung des gegenwärtigen Eingangsbildes als Basis berechnet wurde. Das Bezugszeichen 108 bezeichnet ein Umschaltmittel, das auf der Basis der Bewegungsrichtung, die von dem Verzögerungsberechnungsmittel 110 ausgegeben wird, umschaltet, welches von dem Eingangsbild oder dem verzögerten Bild als Videosignal des linken Auges L oder als Videosignals des rechten Auges R ausgegeben werden soll.
Das Bezugszeichen 109 bezeichnet ein Tiefenschätzungsberechnungsmittel zum Berechnen einer Tiefenschätzung für die Fläche auf der Basis der Bildmerkmale für jede Fläche, die von dem Bildmerkmalextraktionsmittel 106 extrahiert wurden. Das Bezugszeichen 111 bezeichnet ein Parallaxen-Berechnungsmittel zum Berechnen einer Parallaxe (einer Phase), die durch die CID-Methode für die Fläche erzeugt wurde, auf der Basis der Tiefenschätzung für jede Fläche, die von dem Tiefenschätzungsberechnungsmittel 109 berechnet wurde, und zum Korrigieren der Parallaxe, die durch die CID-Methode erzeugt wurde, auf der Basis einer Parallaxe, die durch die MTD-Methode erzeugt wurde, die von dem Verzögerungsberechnungsmittel 110 ausgegeben wird, um eine integrierte Parallaxe (eine integrierte Phase) zu berechnen.
Das Bezugszeichen 113 bezeichnet ein stereoskopisches Videosynthesemittel zum Verschieben entsprechender Flächen (zum Beispiel Pixeleinheiten) in Bildern des rechten und des linken Auges, die von dem Umschaltmittel 108 ausgegeben werden, in die horizontale Richtung und Synthetisieren der Flächen auf der Basis der integrierten Parallaxe, die von dem Parallaxen-Berechnungsmittel 111 berechnet wurde.
Das Bezugszeichen 112 bezeichnet Parallaxen-Überwachungsmittel zum Steuern einer Verzögerung auf der Basis der integrierten Parallaxe, die von dem Parallaxen-Berechnungsmittel 111 berechnet wurde, und der Parallaxe, die durch die MTD-Methode erzeugt wurde, die von dem Verzögerungsberechnungsmittel 110 ausgegeben wird.
In der vorliegenden Ausführungsform wird ein stereoskopischer Raum reproduziert, wobei die Tiefenschätzung, die durch die CID-Methode erhalten wird, als Basis genommen wird. Das heißt, es wird ein stereoskopisches Video präsentiert, das durch das Addieren der Okklusion, die durch die MTD-Methode erzeugt wird, zu der CID-Methode erhalten wird. Als besondere Methode wird eine Phase (eine Parallaxe: eine Phase, die infolge einer Feldverzögerung erzeugt wird), die durch die MTD-Methode berechnet wird, von einer Phase (einer Parallaxe) für jede Fläche, die durch die CID-Methode berechnet wird, subtrahiert, so dass die Phase für die Fläche gleich der Phase ist, die durch die CID-Methode berechnet wurde, selbst nachdem die MTD-Methode und CID-Methode gleichzeitig angewendet wurden. Deshalb werden die Phasen, die durch die MTD-Methode und die CID-Methode erzeugt werden, nach folgenden Prioritäten gesteuert:
Priorität 1: Der maximale Bereich Urange [pixel] einer Phase, der von einem Benutzer eingestellt wird.
Priorität 2: Die Grenze einer Bildverzerrung h_supp_lev [pixel], die durch eine Phasenverschiebung in einem umgewandelten Bild verursacht wird.
Priorität 3: Eine Tiefenform (die Form einer Tiefenschätzung), die durch die CID-Methode geschätzt wird.
Priorität 4: Eine Phase dly_sisa [pixel], die durch die MTD-Methode erzeugt wird, die Urange nicht überschreitet.
Priorität 5: Eine Phase [pixel], die durch die CID-Methode erzeugt wird.
Es werden nun die Bedeutungen der Prioritäten beschrieben.
Die höchste Priorität 1 garantiert, dass die integrierte Phase den maximalen Bereich Urange der Phase, der vom Benutzer eingestellt wird, nicht überschreitet.
Die Priorität 2 garantiert, dass die Verzerrung eines Bildes, die durch die integrierte Phasensteuerung erzeugt wird (insbesondere die CID-Methode), innerhalb eines bestimmten Grenzwertes liegt (innerhalb von h_supp_lev).
Die Priorität 3 bedeutet, dass die Tiefenschätzung (Tiefenform) für jede Fläche, die durch die CID-Methode berechnet wird, selbst nach gleichzeitiger Anwendung der MTD-Methode und der CID-Methode aufrechterhalten wird.
Die Priorität 4 garantiert, dass die Parallaxe, die durch die MTD-Methode erzeugt wird, Urange nicht überschreitet.
Die niedrigste Priorität 5 bedeutet, dass die Phase, die durch die CID-Methode erzeugt wird, einen Wert annimmt, der sich von der Phase unterscheidet, die nur durch die CID-Methode erzeugt wird, unter Verwendung der CID-Methode in Verbindung mit der MTD-Methode.
16 zeigt die Prozedur für die integrierte Phasensteuerungsverarbeitung, wobei eine Tiefenform, die durch die CID-Methode geschätzt wird, aufrechterhalten wird. 17 zeigt das Verhalten einer Phase zum Zeitpunkt der Ausführung.
Zunächst werden Bildmerkmale durch das Bildmerkmalextraktionsmittel 106 extrahiert (Schritt 51). Das Tiefenschätzungsberechnungsmittel 109 schätzt eine Tiefe durch die CID-Methode auf der Basis der Bildmerkmale, die von dem Bildmerkmalextraktionsmittel 106 extrahiert werden (Schritt 52). Das heißt, eine berechnete Frequenz, ein Kontrast, eine Wichtung der Komposition, und eine Wichtung der Ergebnisse der Gegenstand/Hintergrund-Beurteilung werden bei einem geeigneten Verhältnis addiert, um eine Tiefenschätzung zu ermitteln.
In der integrierten Phasensteuerung wird die CID-Methode auch für ein bewegtes Bild verwendet. Daher wird das Additionsverhältnis abhängig von der Geschwindigkeit einer Bewegung in einem Video variabel gemacht. Um die Tendenz des Wertes einer Hochfrequenzkomponente, sich bei rascher Bewegung zu verringern, auszugleichen, wird insbesondere das Additionsverhältnis der Hochfrequenzkompo nente verringert, während die Geschwindigkeit der Bewegung zunimmt.
Die derart ermittelte Tiefenschätzung wird einer Abstandsskala-Umwandlung (einer vollständigen Abstandsskala-Umwandlung oder einer Polygonlinien-Abstandsskala-Umwandlung) innerhalb von Ufront und Urear unterzogen, um eine Phase für jede Fläche zu ermitteln, die durch die CID-Methode erzeugt wird (Schritt 53). Eine Differenzphase wird durch Subtrahieren einer Phase, die durch die MTD-Methode erzeugt wurde (MTD-Phase) (= eine Feldverzögerung × dem Wert eines horizontalen Bewegungsvektors in der Fläche) von der Phase, die durch die CID-Methode erzeugt wurde (CID-Phase) ermittelt (Schritt 54). Die Differenzphase wird einer Verzerrungsunterdrückungsverarbeitung unterzogen, so dass die Differenz zwischen den Phasen für die benachbarten Flächen nicht mehr als h_supp_lev [pixel] ist (Schritt 55).
Der Grund, weshalb ein rechtes Ende der MTD-Phase und ein linkes Ende der CID-Phase in der Differenzphase (= CID-Phase – MTD-Phase) einander überlappen, wie in 17 dargestellt, ist, dass sich die Phasen, die durch die beiden Methoden erzeugt werden, für jede Fläche unterscheiden. Dies geht aus dem Verhalten einer Differenzphase ph_diffj (= ph_cidj – ph_mtdj) für die Fläche hervor, die durch Subtrahieren einer Phase ph_mtdj für jede Fläche, die durch die MTD-Methode erzeugt wird, von einer Phase ph_cidj für die Fläche, die durch die CID-Methode erzeugt wird, erhalten wird, wie in 18 dargestellt. j gibt eine Flächennummer an.
In 18 zeigen Werte in drei Spalten und vier Reihen an der oberen Seite jeweils Phasen in entsprechenden Flächen an, und die Phasen in den entsprechenden Flä chen werden visuell verständlich gemacht, indem sie in einer einzigen Reihe an der unteren Seite angeordnet sind.
Die Phase nach der Verzerrungsunterdrückungsverarbeitung, die in 17 dargestellt ist, zeigt, dass die Differenzphase der Verzerrungsunterdrückungsverarbeitung unterzogen wird. Die maximale Hervorhebungsphase front [pixel] und die maximale Vertiefungsphase urear [pixel] einer Phase, die durch Integrieren der MTD-Methode und der CID-Methode (eine integrierte Phase) nach der Verzerrungsunterdrückungsverarbeitung erhalten wurde, werden durch Schleifenverarbeitung ermittelt, wie in 19 dargestellt.
19 zeigt die Einzelheiten der Verarbeitung in den Schritten 53, 54 und 55, die in 16 dargestellt sind. Die Verarbeitung wird von dem Parallaxen-Berechnungsmittel 111 durchgeführt.
Ufront und Urear, die vom Benutzer eingestellt sind, werden zunächst auf Variable Ufront' beziehungsweise Urear' eingestellt (Schritt 61) und werden dann einer Abstandsskala-Umwandlung in einem dynamischen Bereich unterzogen, der durch Ufront' und Urear' definiert ist, um eine CID-Phase zu erhalten (Schritt 62). Eine vorläufige Differenzphase, die durch Subtrahieren einer MTD-Phase von der CID-Phase erhalten wird, wird dann ermittelt (Schritt 63). Der Maximalwert h_dv_max [pixel] einer Phasendifferenz zwischen den benachbarten Flächen, der aus der vorläufigen Differenzphase ermittelt wird (der Maximalwert der Differenz in der Phasendifferenz zwischen den benachbarten Flächen), wird ermittelt (Schritt 64). Das Programm fährt dann mit Schritt 65 fort.
Wenn der Maximalwert h_dv_max [pixel] der Phasendifferenz zwischen den benachbarten Flächen nicht in einem zulässigen Verzerrungsbereich h_supp_lev [pixel] liegt, wie später beschrieben wird, wird der dynamische Bereich so verringert, dass die Phasendifferenz zwischen den benachbarten Flächen innerhalb des zulässigen Verzerrungsbereichs liegt. Danach wird wieder die Verarbeitung von den vorangehenden Schritten 62, 63 und 64 ausgeführt.
In Schritt 65 wird beurteilt, ob in einem Fall, in dem eine solche Schleifenverarbeitung durchgeführt wird, der Maximalwert h_dv_max [pixel] einer Phasendifferenz, der im vorangehenden Schritt 64 berechnet wurde, kleiner als der Maximalwert h_dv_max (pixel] der Phasendifferenz ist, der im gegenwärtigen Schritt 64 berechnet wurde.
Zu dem Zeitpunkt, zu dem die Schleifenverarbeitung nicht ausgeführt wird, ist die Antwort in Schritt 65 negativ, um zu beurteilen, ob der Maximalwert h_dv_max [pixel] der Phasendifferenz, der im gegenwärtigen Schritt 64 berechnet wurde, im zulässigen Verzerrungsbereich h_supp_lev [pixel] liegt (Schritt 66). Wenn er in dem Bereich liegt, wird die vorläufige Phasendifferenz als wahre Sollphase angenommen (Schritt 72).
Wenn er im Gegensatz dazu außerhalb des Bereichs liegt, wird beurteilt, ob die Anzahl von Schleifen innerhalb der Grenzzahl von Schleifen liegt, um eine Last auf einer CPU zu verringern (Schritt 67). Wenn die Anzahl von Schleifen größer als die Grenzzahl von Schleifen ist, wird die vorläufige Differenzphase einer erzwungenen Verzerrungsunterdrückungsverarbeitung unterzogen, die später beschrieben wird, um eine wahre Sollphase zu ermitteln (Schritt 73).
Wenn ferner die Anzahl von Schleifen kleiner als die Grenzzahl von Schleifen ist, wird die vorläufige Differenzphase zurückgesetzt (Schritt 68), und der dynamische Bereich, der durch Ufront' und Urear' definiert ist, wird allmählich verringert, bis die Phasendifferenz zwischen den benachbarten Flächen nicht mehr als h_supp_lev ist, um die geeignetsten Werte für ufront und urear zu erhalten (Schritt 69). Die Verarbeitung soll in der Folge als sequenzielle Suchverarbeitung bezeichnet werden. Die Einzelheiten der sequenziellen Suchverarbeitung werden später beschrieben.
Das Abstandsverhältnis von ufront zu urear, die in der sequenziellen Suchverarbeitung ermittelt werden, wird zu einem Abstandsverhältnis geändert, das vom Benutzer festgelegt wird (Schritt 70). Die erhaltenen ufront und urear werden auf Ufront' und Urear' eingestellt, um den dynamischen Bereich zu ändern (Schritt 71). Danach kehrt das Programm zu Schritt 62 zurück. In Schritt 62 wird die Abstandsskala-Umwandlung wieder ausgeführt.
Eine Reihe von Verarbeitungen in Schritt 62 bis Schritt 71 wird wiederholt, bis der Maximalwert h_dv_max [pixel] der Phasendifferenz zwischen den benachbarten Flächen im zulässigen Verzerrungsbereich h_supp_lev [pixel] liegt und die Verarbeitung wird in der Mitte unterbrochen, um eine endgültige Sollphase zu erhalten.
Zwei Arten von Unterbrechung der Schleifenverarbeitung in 19 werden der Reihe nach beschrieben.
Zunächst erfolgt in Schritt 67 die erste Unterbrechung, wenn die Anzahl von Schleifen die Grenzzahl von Schleifen erreicht, um die CPU-Last zu verringern. Wenn die Unterbrechung aufgrund der Bedingungen erfolgt, wird eine vorläufige Differenzphase einer Verzerrungsunterdrückungsverarbeitung in Pixel-Skala-Weise unterzogen, die mit der folgenden Gleichung (6) synonym ist, wie in der folgenden Gleichung (21) dargestellt, um die Werte von ufront und urear zu bestimmen, wodurch eine Bereichsumwandlung einer Tiefenschätzung in einem dadurch definierten Bereich erfolgt. ufront = df_ufront·h_supp_lev/h_dv_max für h_dv – max > h_supp_lev urear = df_urear·h_supp_lev/h_dv_max für h_dv – max > h_supp_lev (21)
Hier geben df_ufront und df_urear den Maximalwert beziehungsweise Minimalwert der vorläufigen Differenzphase an, die in dem Schritt zur Berechnung des Maximalwerts der Differenz in der Phasendifferenz zwischen den benachbarten Flächen ermittelt werden. Auf diese Weise soll die Differenzphase in einem neu ermittelten Bereich liegen. Es gibt kein Problem, selbst wenn ufront und urear in der vorangehenden Gleichung (21) einer Abstandsverhältnis-Aufrechterhaltungsverarbeitung unterzogen werden, die durch die folgende Gleichung (22) ausgedrückt ist: (255 – Dlev):Dlev = {lev(ufront) – Dlev}:{Dlev – lev (urear)} (22)
Die zweite Unterbrechung erfolgt in Schritt 65, wenn in einem Fall, in dem die Schleifenverarbeitung in Schritt 62 bis Schritt 71 ausgeführt wird, der Maximalwert h_dv_max [pixel] der Phasendifferenz, der in dem vorangehenden Schritt 64 berechnet wurde, kleiner als der Maximalwert h_dv_max [pixel] der Phasendifferenz ist, der im gegenwärtigen Schritt 64 berechnet wurde.
Die Unterbrechung erfolgt, wenn der Maximalwert h_dv_max der Phasendifferenz zwischen den benachbarten Flächen in der gegenwärtigen Schleife nicht kleiner als ein Wert ist, der in der vorhergehenden Schleife erhalten wurde, unabhängig von der Tatsache, dass der dynamische Bereich ausreichend verringert ist. Dies geschieht aufgrund der Tatsache, dass eine Phase, die durch die MTD-Methode erzeugt wird, durch die Verzerrungsunterdrückungsverarbeitung nicht verändert wird. Das heißt, wenn die Differenz zwischen den Phasen eines Gegenstandes und eines Hintergrundes, die durch die MTD-Methode erzeugt werden, groß ist, wird der dynamische Bereich bei einer Unterbrechung durch die Phasendifferenz zwischen den MTD-Phasen nicht verringert, selbst wenn die Anzahl von Schleifen erhöht wird. Dadurch ist die Phasendifferenz nicht mehr als h_supp_lev.
In einem solchen Fall wird die Verarbeitung unterbrochen, um den dynamischen Bereich durch dieselbe Verarbeitung wie jene von Schritt 73 zu ändern (Schritt 74). In diesem Fall jedoch wird der dynamische Bereich in Bezug auf die vorläufige zurückgesetzte Differenzphase geändert, die in Schritt 68 zurückgesetzt wird. Der dynamische Bereich wird in Bezug auf die vorläufige zurückgesetzte Differenzphase geändert, um die Tendenz der durch die MTD-Methode erzeugten Phase herabzusetzen, die Form der Differenzphase immer dann zu beeinflussen, wenn Verzerrungsunterdrückungsschleifen einander überlappen, und des dynamischen Bereichs, sich in Bezug auf die Differenzphase zu verringern.
Ein solches Verfahren ist jedoch eine symptomatische Behandlung. Daher kann die Häufigkeit des Auftretens einer erzwungenen Verzerrungsunterdrückungsverarbeitung, die durch die Phase verursacht wird, die durch die MTD-Methode erzeugt wird, nicht grundlegend verringert werden.
Zur Verringerung der Häufigkeit des Auftretens eines solchen Phänomens muss die Phasendifferenz in der MTD-Phase selbst zwischen den benachbarten Flächen verringert werden. In der integrierten Phasensteuerung wird daher als MTD-Phase ph_mtdj für jede Fläche ein Wert nach dem Glätten einer Parallaxe, die die Fläche integral aufweist (= eine Feldverzögerung × dem Wert eines horizontalen Bewegungsvektors in der Fläche), gemeinsam mit einer Parallaxe zwischen den benachbarten Flächen verwendet.
Zur Verringerung der Häufigkeit des Auftretens der erzwungenen Verzerrungsunterdrückungsverarbeitung müssen die Formen der Phasen, die durch die MTD-Methode beziehungsweise die CID-Methode erzeugt werden, gleich sein. Daher wird die Tiefenschätzung unter Berücksichtigung der Ergebnisse der Gegenstand/Hintergrund-Beurteilung durchgeführt, so dass in der integrierten Phase die CID-Phase in einer Fläche, wo die MTD-Phase erhöht ist, auch erhöht ist wie in 16 dargestellt.
Es wird die sequenzielle Suchverarbeitung unter Verwendung des dynamischen Bereichs in Schritt 69, der in 19 dargestellt ist, beschrieben.

(1) Benachbarte Flächen, zwischen welchen eine maximale Phasendifferenz in der Differenzphase besteht, werden bestimmt.
(2) Die Suchrichtung wird bestimmt. Insbesondere wird die Suchrichtung abhängig von entsprechenden CID-Phasen in den zwei Flächen bestimmt, zwischen welchen eine maximale Phasendifferenz vorliegt, wie in (1) bestimmt.
(3) Die Werte von ufront und urear werden annähernd auf den Wert eines Bildschirms gebracht.
(4) Die zwei Flächen werden einer Abstandsskala-Umwandlung unter Anwendung eines dynamischen Bereichs unterzogen, der durch die Werte ufront und urear definiert ist, die aktualisiert wurden, um die CID-Phasen in den zwei Flächen zu berechnen.
(5) Eine Differenzphase (= CID-Phase – MTD-Phase) in jeder der zwei Flächen wird berechnet.
(6) Eine Phasendifferenz h_dv_max in der Differenzphase zwischen den zwei Flächen wird berechnet.
(7) Die Phasendifferenz h_dv_max, die in (6) ermittelt wurde, wird in der folgenden Reihenfolge beurteilt: 1) Wenn h_dv_max nicht mehr als h_supp_lev ist, wird die Verarbeitung beendet. 2) Wenn h_dv_max mehr als h_supp_max in der vorangehenden Schleife ist, wird die Verarbeitung beendet, wobei ein zu ermittelnder Wert als der Wert von ufront oder urear genommen wird, der in der vorangehenden Schleife verwendet wurde. 3) Wenn h_dv_max mehr als h_supp_lev ist, wird das Programm zu (3) beurteilt.

Es wird nun ein Verfahren zum Steuern einer Parallaxe (einer Phase), die durch die MTD-Methode erzeugt wird, beschrieben, das von dem Parallaxen-Überwachungsmittel 112 ausgeführt wird.
In der integrierten Phasensteuerung unter Aufrechterhaltung der stereoskopischen Reproduzierbarkeit in der CID-Methode wird die Gegenstandspositionssteuerung in der MTD-Methode nicht verwendet. Daher kann die Phase, die durch die MTD-Methode erzeugt wird, in einigen Fällen die maximale Hervorhebungsphase Mfront [pixel] und die maximale Vertiefungsphase Urear [pixel] überschreiten, die zuvor von einem Benutzer eingestellt wurden. Das Verhalten der Phase in einem Fall, in dem ein solches Phänomen auftritt, ist in 21 dargestellt. Eine OK-Marke und eine NG-Marke am rechten Ende in 21 zeigen, dass eine integrierte Phase, die die Summe der MTD-Phase und der Differenzphase ist, in einem dynamischen Bereich Urange liegt, der zuvor von dem Benutzer bestimmt wurde, und dass die integrierte Phase den dynamischen Bereich Urange überschreitet.
In einem NG-Fall entsteht das folgende Problem.
Wenn Urear annähernd gleich dem Abstand zwischen den Augen ist, kann eine Tiefe, die nicht geringer als der Abstand zwischen den Augen ist, in der Abstandsskala nicht definiert werden. Wenn ferner ein NG-Phänomen selbst nach einer Verzerrungsunterdrückungsverarbeitung aufrechterhalten wird, kann die integrierte Phase das Prinzip der stereoskopischen Reproduktion innerhalb von Urange, das die Hauptprämisse ist, nicht aufrechterhalten.
Zur Lösung eines solchen Problems kann eine Parallaxe Mdly_sisa zum Bestimmen eines stereoskopischen Effekts, die durch die MTD-Methode erzeugt wird, im Voraus auf einen kleinen Wert eingestellt werden, so dass kein NG-Phänomen auftritt. Es ist jedoch schwierig zu sagen, dass dieses Verfahren bevorzugt ist, da der stereoskopische Effekt, der durch die MTD-Methode erzeugt wird, verloren geht. Daher ist eine solche Steuerung erforderlich, dass das Auftreten des NG-Phänomens bis zu einem gewissen Grad als Kompensation zur Erhöhung von Mdly-sisa erkannt wird, um eine Sollverzögerung dly_target nur zu verringern, wenn eine Phase, die Ufront und Urear überschreitet, erzeugt wird (siehe 22).
Zur Unterdrückung der Phase innerhalb von Urange in diesem Verfahren müssen Werte, deren absolute Werte kleiner als die entsprechenden Werte sind, als interner Ufront und Urear in Vorwegnahme eines Überschreitens der Phase von Urange, die zum Zeitpunkt der gleichzeitigen Verwendung der MTD-Methode erzeugt wird, anstelle von Ufront und Urear verarbeitet werden, die Werte sind, die von Anfang an vom Benutzer eingestellt werden. Ferner muss in einem Verfahren zum Umwandeln der Abstandsskala unter Verwendung einer Parallaxen-Umwandlungstabelle eine Phase außerhalb der Umwandlungstabelle so gerundet sein, dass sie in der Umwandlungstabelle enthalten ist.
23 zeigt die Prozedur zur Steuerungsverarbeitung (die Prozedur zur Steuerungsverarbeitung, die von dem Parallaxen-Überwachungsmittel 112 ausgeführt wird) zur Durchführung der in 22 dargestellten Verarbeitung.
In 23 wird eine Sollverzögerung verringert, wenn eine integrierte Phase für jede Fläche (die Summe einer realen Phase und einer Phase mal einer realen Verzögerung) Ufront und Urear überschreitet.
Daher müssen entsprechende Phasen, die durch die MTD-Methode in einer Gegenstandsfläche und einer Hintergrundsfläche erzeugt werden, für jedes Feld berechnet werden (Schritt 81). Die Phase im gegenwärtigen Feld wird unter Verwendung einer realen Phase phase [pixel] und einer realen Verzögerung delay [pixel] berechnet, um die Präzision zu verbessern.
Bei der tatsächlichen Steuerung werden eine reale Parallaxe obj_sisa' [pixel] in der Gegenstandsfläche und eine reale Parallaxe bg_sisa' [pixel] in der Hintergrundsfläche, die durch eine Feldverzögerung in der MTD-Methode erzeugt werden, und eine reale Parallaxe ng_sisa' [pixel] in einer NG-Fläche (es ist nicht klar, zu welcher der Flächen die NG-Fläche gehört) durch die folgende Gleichung (23) ermittelt: obj_sisa' = obj_vect·delay bg_sisa' = bg_vect·delay ng_sisa' = (obj_sisa' + bg_sisa')/2 (23)
Wie durch folgende Gleichung (24) ausgedrückt, werden die reale Parallaxe in jeder der Flächen und eine reale Phase rph_diffj [pixel], die durch Glätten einer wahren Sollphase in der Fläche auf einer Zeitbasis erhalten wird, addiert, wodurch eine reale integrierte Phase u_phasej [pixel] in der Fläche ermittelt wird (Schritt 82) u_phasej = obj_sisa' + ph_diffj für Gegenstandsfläche u_phasej = bg_sisa' + ph_diffj für Hintergrundsfläche u_phasej = ng_sisa' + ph_diffj für NG-Fläche (24)
Zur Bestimmung, ob die reale integrierte Phase u_phase in einem Bereich von Ufront und Urear liegt, der vom Benutzer eingestellt wird, wird eine Phase over_phase [pixel], die anzeigt, wie eine Phase in der Fläche von jener, die vom Benutzer eingestellt ist, beabstandet ist, durch die folgende Gleichung (25) ermittelt, wenn die reale integrierte Phase außerhalb des Bereichs ist (Schritt 83): over_phasej = u_phasej – Ufront für u_phasej > Ufront over_phasej = – (u_phasej – Urear) für Urear > u_phasej over_hasej = 0 für Ufront ≥ u_phasej ≥ Urear (25)
Dann wird der Maximalwert over_map [pixel] der Phase over_phase in jeder der Flächen, die einen Bildschirm bilden, ermittelt, um eine Sollverzögerungsunterdrückungsverarbeitung zur Verringerung einer Sollverzögerung durchzuführen, wenn over_maxp nicht Null ist (Schritt 84).
In der Sollverzögerungsunterdrückungsverarbeitung wird zuerst die Phase over_maxp, die in der vorangehenden Gleichung (25) ermittelt wurde, von dem absoluten Wert der realen Parallaxe dly_sisa' [pixel] in dem gegenwärtigen Feld subtrahiert, das durch eine Feldverzögerung erzeugt wird, um eine Parallaxe dly_sisa'', die durch die MTD-Methode erzeugt werden kann, durch die folgende Gleichung (26) zu ermitteln: dly_sisa'' = |dly_sisa'| – over_maxp = |obj_sisa' – bg_sisa'| – over_maxp (26)
Die Sollverzögerung dly_target', die auf der Basis der Parallaxe dly_sisa'' unterdrückt wird, wird durch folgende Gleichung (27) ermittelt: dly_target' = dly_sisa''/(obj_xvec – bg_xvec)[field] (27)
Ein Verfahren, bei dem sich die Übergangsgeschwindigkeit einer realen Verzögerung abhängig von der Differenz zwischen der realen Verzögerung und einer Sollverzögerung ändert, ist vorgesehen, um die Sollverzögerung dly_target' und die Sollverzögerung dly_target vor der Unterdrückung zu vergleichen, und die kleinere von ihnen wird als die endgültige Sollverzögerung dly_target'' nach der Unterdrückung genommen. Das heißt, die endgültige Sollverzögerung dly_target" nach der Unterdrückung wird durch die folgende Gleichung (28) ausgedrückt: dly_target'' = delay – 1 für 0 < delay < dly_target' dly_target'' = delay + 1 für 0 > delay > dly_target' dly_target'' = dly_target' für |delay| > |dly_target'] (28)
Obwohl die Phase, die durch die MTD-Methode erzeugt wird, durch die reale Verzögerung und die reale Parallaxe unterdrückt wird, kann sie auch durch die Sollphase und die Sollverzögerung unterdrückt werden, wenn eine Last auf einer CPU Priorität gegenüber Präzision erhält.

Claims

Verfahren zum Umwandeln eines zweidimensionalen Videos in ein dreidimensionales Video, umfassend einen ersten Schritt (11) zum Extrahieren eines Bildmerkmals aus jeder von mehreren Parallaxen-Berechnungsflächen, die in einem Schirm auf der Basis eines zweidimensionalen Videosignals eingestellt sind, und zum Erstellen einer Tiefenschätzung (12) für die Parallaxen-Berechnungsfläche auf der Basis des extrahierten Bildmerkmals, dadurch gekennzeichnet, dass es einen zweiten Schritt (13, 22) zum Unterziehen jeder der Tiefenschätzungen einer Abstandsskala-Umwandlung unter Verwendung eines dynamischen Bereichs, der durch ein vorbestimmtes maximales Hervorhebungsmaß und ein vorbestimmtes maximales Vertiefungsmaß definiert ist, um eine vorläufige Sollphase für jede der Parallaxen-Berechnungsflächen zu ermitteln, umfasst sowie einen dritten Schritt (23) zum Ermitteln des Maximalwertes einer Phasendifferenz zwischen den benachbarten Parallaxen-Berechnungsflächen auf der Basis der vorläufigen Sollphase für jede der Parallaxen-Berechnungsflächen, einen vierten Schritt (24) zur Beurteilung, ob der Maximalwert der Phasendifferenz zwischen den benachbarten Parallaxen-Berechnungsflächen in einem vorbestimmten zulässigen Verzerrungsbereich liegt oder nicht, und einen fünften Schritt (25) zum Suchen, wenn der Maximalwert der Phasendifferenz zwischen den benachbarten Parallaxen-Berechnungsflächen außerhalb des vorbestimmten zulässigen Verzerrungsbereichs liegt, nach einem solchen dynamischen Bereich, dass die Phasendifferenz zwischen den Parallaxen-Berechnungsflächen in dem vorbestimmten zulässigen Verzerrungsbereich liegt, Unterziehen jeder der Tiefenschätzungen einer Abstandsskala-Umwandlung unter Verwendung des gesuchten dynamischen Bereichs und Ermitteln einer vorläufigen Sollphase für jede der Parallaxen-Berechnungsflächen, und Fortfahren mit dem dritten Schritt (23).
Verfahren zum Umwandeln eines zweidimensionalen Videos in ein dreidimensionales Video nach Anspruch 1, wobei in dem fünften Schritt (25) der gesuchte dynamische Bereich so korrigiert wird (26), dass das Verhältnis des maximalen Hervorhebungsmaßes zu dem maximalen Vertiefungsmaß, die durch den dynamischen Bereich definiert sind, ein vorbestimmtes Verhältnis ist, und jede der Tiefenschätzungen dann einer Abstandsskala-Umwandlung unter Verwendung des korrigierten dynamischen Bereichs unterzogen wird.