DE102005041249A1

DE102005041249A1 - Verfahren zur Erzeugung räumlich darstellbarer Bilder

Info

Publication number: DE102005041249A1
Application number: DE102005041249A
Authority: DE
Inventors: Markus Klippstein; Ferenc Torma; Alexander Schmidt; Stephan Otte
Original assignee: X3D Technologies GmbH
Current assignee: Newsight 07745 Jena De GmbH
Priority date: 2005-08-29
Filing date: 2005-08-29
Publication date: 2007-03-01

Abstract

Die Erfindung betrifft ein Verfahren, mit dem räumlich darstellbare Bilder erzeugt werden. Bei einem solchen Verfahren werden Eingangsbildsignale und Bildtypinformationen registriert. Dann wird für die Eingangsbildsignale in Abhängigkeit von den Bildtypinformationen ein Bildtyp bestimmt, in Abhängigkeit von diesem Bildtyp ein entsprechender Verarbeitungsalgorithmus ausgewählt und werden die Bildsignale durch den Verarbeitungsalgorithmus verarbeitet. Dabei werden Ausgangsbildsignale erzeugt, welche auf einem entsprechenden Bildwiedergabegerät für einen Betrachter als räumliches Bild oder als eine Folge von räumlichen Bildern dargestellt werden können.

Description

Die Erfindung betrifft ein Verfahren, mit dem räumlich darstellbare Bilder erzeugt werden, und betrifft das Problem des Erkennens verschiedener Bildtypen und einer daraufhin abgestimmten Verarbeitung bzw. Darstellung.

Im Stand der Technik sind zahlreiche Verfahren zur Erzeugung zweidimensionaler Bilder aus Eingangsbildsignalen bekannt. Dazu zählen beispielsweise digitale und analoge TV-Übertragung, das Auslesen aus einer CD, Video-CD oder DVD mit allen entsprechenden Unterformaten. Drahtlos oder über Kabel empfangene Bildsignale sind häufig noch verschlüsselt, so daß entsprechende Decoder, die meist in Form von Set-Top-Boxen ausgeführt sind, hinzukommen, die die Signale verarbeiten, d.h. dechiffrieren und ein entsprechend darstellbares Bild erzeugen.

Andererseits sind im Stand der Technik auch Verfahren und Anordnungen zur räumlichen Darstellung bekannt, wie beispielsweise in der US 5,936,774 , in EP 0791847 , EP 0783825 , JP 8-194190 sowie DE 100 03 326 C2 beschrieben. Die räumliche Darstellung von Bildern gewinnt zunehmend an Bedeutung. Während jedoch beispielsweise höherwertige Fernseher schon zwischen verschiedenen zweidimensionalen Bildtypen, wie PAL- und NTSC-Modus unterscheiden können, gibt es solche Möglichkeiten für die Darstellung dreidimensionaler Bilder noch nicht.

Aufgabe der Erfindung ist es daher, ein Verfahren bereitzustellen, welches es ermöglicht, verschiedene Typen von räumlich darstellbaren Bildern auf einem entsprechenden Bildwiedergabegerät automatisch ohne Eingriff eines Nutzers darzustellen.

Diese Aufgabe wird bei einem Verfahren der eingangs beschriebenen Art dadurch gelöst, daß Eingangsbildsignale und Bildtypinformationen registriert werden, für die Eingangsbildsignale in Abhängigkeit von den Bildtypinformationen ein Bildtyp bestimmt wird, in Abhängigkeit vom Bildtyp ein entsprechender Verarbeitungsalgorithmus ausgewählt wird, die Bildsignale durch die Verarbeitungsalgorithmen verarbeitet werden und Ausgangsbildsignale erzeugt werden, welche auf einem entsprechenden Bildwiedergabegerät für einen Betrachter als räumliches Bild oder als eine Folge von räumlichen Bildern dargestellt werden können.

Bevorzugt werden digitale Ein- und Ausgangsbildsignale verwendet, selbstverständlich können aber auch analoge Ein- und Ausgangsbildsignale verwendet werden. Die Eingangsbildsignale sowie die Bildtypinformationen werden bevorzugt von einem Datenträger gelesen bzw. drahtlos oder über Kabel empfangen. Bei einem drahtlosen Empfang oder einem Empfang über Kabel lassen sich zweckmäßigerweise alle möglichen Sendeprotokolle verwenden, insbesondere auch Digital Video Broadcast Satellite/Channel/Terrestric (DVBS, DVBC, DVBT), mit der digitale Fernsehprogramme ausgestrahlt werden. Dabei kann insbesondere ein digitales Fernsehsignal noch zusätzlich kodiert übertragen werden, wie mit dem MPEG-2- oder MPEG-4-Standard.

Alle notwendigen Bauelemente lassen sich beispielsweise in einer Set-Top-Box für Fernseher mit der Fähigkeit zur räumlichen Wiedergabe, oder beispielsweise auch auf speziellen PC-Karten bzw. im Bildschirm für den PC selbst realisieren. Werden die Bildtypinformationen nicht schon mit den Eingangsbildsignalen vom gleichen Medium übermittelt, so ist es vorteilhaft eine Möglichkeit vorzusehen, durch die der Betrachter die Bildtypinformation vorgibt. Die Bildtypinformationen enthalten Angaben darüber, welcher Art die dreidimensionalen Bilder sind und ggf. in welchem Kompressionsformat sie gesendet werden. In einer vorteilhaften Ausgestaltung des Verfahrens bleiben einmal gelesene, empfangene oder vorgegebene Bildtypinformationen für alle im folgenden gelesene oder empfangene Eingangsbildsignale solange gültig, bis neue Bildtypinformationen gelesen, empfangen oder vorgegeben werden. Dies ist beispielsweise von Vorteil, wenn eine Sequenz von räumlichen Bildern, wie beispielsweise bei einem Film, gesendet wird. Auf diese Weise müssen nur am Anfang Informationen über das Bildformat, die Kompression und die Art der Zusammensetzung der 3D-Bilder gesendet werden. Optional kann auch am Ende einer solchen Übertragung eine Standardbildtypinformation gesendet werden, die das Gerät und/oder den Fernseher in den Ursprungszustand zurücksetzt, der beispielsweise eine 2D-Übertragung und -darstellung beinhaltet.

Die Bestimmung des Verarbeitungsalgorithmus und die entsprechende Verarbeitung der Bildsignale sowie Erzeugung von Ausgangsbildsignalen hängt daher von den registrierten Bildtypinformationen ab.

Bei einem ersten Bildtyp beispielsweise werden als Eingangsbildsignale Bildinformationen für zweidimensionale Bilder einer Szene oder eines Gegenstandes empfangen oder gelesen, denen Tiefeninformationen zugeordnet sind, die ebenfalls empfangen oder gelesen werden. Der zugeordnete Verarbeitungsalgorithmus erzeugt aus diesen Bildern und den Tiefeninformationen Ansichten der Szene bzw. des Gegenstandes aus verschiedenen Blickwinkeln oder mit verschiedenen räumlichen Tiefen.

Bei einem zweiten Bildtyp werden als Eingangsbildsignale Bildinformationen für Schichtbilder einer Szene oder eines Gegenstandes bei verschiedener Tiefe empfangen oder gelesen. jedem Schichtbild ist eine bestimmte Tiefe zugeordnet und es enthält nur Informationen, die auch bei dieser Tiefe im Bild vorliegen. Mit dem diesem zweiten Bildtyp zugeordneten Verarbeitungsalgorithmus werden wiederum Ansichten der Szene oder des Gegenstandes aus verschiedenen Blickwinkeln oder mit verschiedenen räumlichen Tiefen erstellt.

Bei einem dritten Bildtyp werden als Eingangsbildsignale Bildinformationen direkt für N Ansichten einer Szene oder eines Objektes aus verschiedenen Blickwinkeln gelesen oder empfangen. N ist dabei eine natürliche Zahl größer oder gleich zwei. Dieses Verfahren ist besonders dann günstig zu verwenden, wenn zwei beispielsweise stereoskopische Ansichten gesendet werden, aus diesen Ansichten dann mehr als zwei, beispielsweise vier oder acht Ansichten erstellt werden.

Für jeden der drei Bildtypen stehen am Ende der Verarbeitung daher mehrere, mindestens jedoch zwei Ansichten derselben Szene oder desselben Gegenstandes zur Verfügung. Für einen normalen zweidimensionalen Film käme also für jedes Bild, bzw. für jeden Frame mindestens ein weiteres Bild bzw. ein weiterer Frame hinzu. Diese werden als Ausgangsbildsignale einem Bildwiedergabegerät zugeführt. Zweckmäßigerweise werden die Ausgangsbildsignale dabei in Abhängigkeit vom angeschlossenen Bildwiedergabegerät erzeugt. Handelt es sich bei dem angeschlossenen Bildwiedergabegerät beispielsweise um einen mit einem Filterarray ausgestatteten Flachbildschirm, wie z.B. in der DE 201 21 318 U , oder der PCT/EP2004/001833 beschrieben, so wird zweckmäßigerweise aus den Ansichten, die jeweils dieselbe Szene oder denselben Gegenstand darstellen, ein Kombinationsbild erzeugt, welches Informationen aller Ansichten in vorgegebener Weise enthält. Dieses Kombinationsbild wird dann als Ausgangsbildsignal ausgegeben. Handelt es sich bei den Bildwiedergabegeräten um ein solches ohne Filterarray, welches aber eine hohe Bildwiederholfrequenz aufweist, so werden zweckmäßigerweise die Ansichten, die jeweils dieselbe Szene oder denselben Gegenstand darstellen, als Ausgangsbildsignal ausgegeben und in zeitlich kurzer Abfolge nacheinander auf dem Bildwiedergabegerät dargestellt. Diese Darstellung der Ansichten nacheinander soll dabei selbstverständlich mit einer höheren Frequenz als der Auflösungsfähigkeit des Auges erfolgen. Auch die Zeit, die für ein solches Gesamtbild aus mehreren Ansichten verwendet wird, sollte kürzer als diese Auflösungsfähigkeit sein.

Denkbar ist natürlich auch ein vierter Bildtyp, bei dem als Eingangsbildsignale Bildinformationen für zweidimensionale Bilder empfangen oder gelesen werden. Diese werden dann bevorzugt unverändert als Ausgangssignale ausgegeben. Falls es sich bei dem angeschlossenen Bildwiedergabegerät um ein solches mit einer Umschaltung für zweidimensionales und dreidimensionales Betrachten handelt, kann ein entsprechendes Steuersignal ebenfalls mit ausgegeben werden, um in Abhängigkeit vom Bildtyp das Bildwiedergabegerät entsprechend einzustellen.

Die Erfindung soll im folgenden an einem Beispiel näher erläutert werden. Die zugehörigen Zeichnungen zeigen in
1 ein Ablaufschema des Verfahrens und in
2 eine zur Durchführung des Verfahrens geeignete Anordnung.
In 1 ist der typische Ablauf für das erfindungsgemäße Verfahren dargestellt. Zunächst werden Daten auf irgendeine Weise empfangen, d.h. sie können auch gelesen werden. Empfangen werden Eingangsbildsignale und Bildtypinformationen. Bei den Eingangsbildsignalen kann es sich auch um TV-Signale handeln, diese müssen dann entsprechend der Fernsehnormen demoduliert werden, bevor der Bildtyp bestimmt werden kann, da TV-Signale moduliert gesendet werden. Die Bildtypinformationen können allerdings auch unabhängig davon gesendet werden. Entsprechend des festgestellten Bildtyps kann nun schon eine Ansteuerung des Bildwiedergabegeräts im Hinblick darauf, ob zweidimensionale oder dreidimensionale Bilder dargestellt werden sollen, vorgenommen werden. In Abhängigkeit vom Bildtyp werden die Eingangsbildsignale nun verarbeitet und es werden entsprechend mehrere Ansichten derselben Szene oder desselben Gegenstandes erzeugt. Optional kann im Anschluß an die Verarbeitung auch eine Speicherung der so erzeugten Daten erfolgen. In der Regel werden die Daten aber in Ausgangsbildsignale umgewandelt. Die Umwandlung – beispielsweise die Erstellung des Kombinationsbildes aus den N Ansichten – hängt davon ab, welches Endgerät angeschlossen ist. So können die Daten beispielsweise zur Darstellung auf verschiedene Schnittstellen wie LVDS- (Low-Voltage-Differential-Signal), VGA- (Video Graphics Array) oder DVI-Schnittstelle (Digital Visual Interface) ausgegeben werden. Im ersten Fall handelt es sich um einen speziellen Datenbus, mit dem u.a. Video-Signale vom Grafik-Controller direkt an ein LC-Display bzw. -panel übertragen werden, was von Vorteil ist, wenn beide in einer Baueinheit zusammengefaßt sind. Von dieser Schnittstelle werden die Signale dann in der Regel an ein 3D-fähiges Display ausgegeben.
In 2 ist die mögliche Realisierung des Verfahrens mittels einer Set-Top-Box 1, die an ein für die dreidimensionale Darstellung geeignetes Liquid-Crystal-Display 2 angeschlossen ist. Die Set-Top-Box 1 verfügt über mehrere Eingänge 3 bis 5 zum Empfang des Datenstromes. Am Eingang 3 ist im Beispiel ein digitales Empfangsmodul 6 angeschlossen, am Eingang 4 ein analoges Empfangsmodul 7. Schnittstellen können dabei beispielsweise SCART, IEEE 1394, oder S-Video sein, um nur einige zu nennen. Auch direkte Antennenkabel oder LAN-Anschlüsse sind geeignet. Über spezielle Ausgestaltungen des IEEE-1394-Anschlusses (fire wire) können auch Stereokameras angeschlossen werden oder Tiefeninformationen übertragen werden. Der Eingang 5 ist mit einem Datenempfangsmodul 8 gekoppelt. Neben der schon genannten IEEE-1394-Schnittstelle kann es sich dabei auch um einen USB-Anschluß oder andere Möglichkeiten zum Auslesen von Datenspeichern handeln, wie beispielsweise von einem CD- oder DVD-Laufwerk, Memorystick, einer Festplatte oder einem TCP/IP-Anschluß. Ein weiterer Eingang 9 ist für eine Fernbedingung bzw. Fernsteuerung vorgesehen. Neben der üblichen Senderwahl läßt sich hier beispielsweise auch die gewünschte Tiefe einstellen, sowie das OSD (On Screen Display) – die Einblendung eines Menüs zur Bildschirmkonfiguration – steuern. Alle vier Module sind sowohl mit einem Fernsehtuner 11 als auch einem Prozessormodul 12, dem eigentlichen Herzstück der Set-Top-Box 1, verbunden. Im Fernsehtuner 11 werden die Daten, falls es sich um Fernsehsignale handelt, entsprechend moduliert, bevor sie dem Prozessormodul 12 zugeführt werden. Bei dem Prozessormodul kann es sich beispielsweise um ein DSP (Digital Signal Processor), FPGA (Field-Progammable Fate Array), MCU (Micro Controller Unit) oder eine GPU (Graphic Processor Unit) handeln.
Im Prozessormodul 12 wird zunächst der Bildtyp festgestellt, anschließend ein entsprechender Verarbeitungsalgorithmus ausgewählt. Dann werden die Eingangsbildsignale verarbeitet und Ausgangssignale erzeugt. Das Prozessormodul 12 ist über eine Steuerleitung 13 bidirektional mit dem Liquid-Crystal-Display 2 gekoppelt. Einerseits werden vom Prozessormodul 12 über die Steuerleitung 13 Steuersignale in bezug auf eine Umschaltung zwischen zweidimensionaler und dreidimensionaler Arbeitsweise an das Display 2 geschickt, andererseits kann das Display 2 auch Informationen über seinen Typ, etwa ob es sich um ein Display mit Filterarray handelt, ob es sich um ein Display handelt, welches zwischen zweidimensionaler und dreidimensionaler Darstellung umschaltbar ist oder nicht, ob ein Trackingsystem angeschlossen ist oder nicht, ob ein Betrachter eine spezielle Brille zum räumlichen Sehen benötigt oder nicht, etc. an das Prozessormodul 12 übermitteln. Selbstverständlich ist es auch möglich, die Set-Top-Box und das Display 2 als eine Einheit zu gestalten, wobei diese Informationen dann über Hardwareverbindungen zur Verfügung gestellt werden können.
Je nach angeschlossenem Bildschirm werden die Ausgangssignale entweder an einem Signalwandler 14 gesendet, wo die Daten in VGA- oder DVI-Signale gewandelt werden und dann an das Display 2 weitergeleitet werden, gesendet, oder an einen Signalwandler 15, in dem die Ausgangssignale in LVDS-Signale umgewandelt werden, die direkt an ein LC-Display weitergeleitet werden können. Die eigentlichen Ausgangsbildsignaie liegen also erst nach Passieren der Signalwandler 14 bzw. 15 vor. Diese werden dann auf das LC-Display 2 weitergeleitet und werden dort für einen Betrachter als räumliches Bild oder als eine Folge von räumlichen Bildern dargestellt.

1: Set-Top-Box
2: Liquid-Crystal-Display
3, 4, 5: Eingänge
6: digitales Empfangsmodul
7: analoges Empfangsmodul
8: Datenempfangsmodul
9: Fernbedienungseingang
10: Fernbedienungsempfangsmodul
11: Fernsehtuner
12: Prozessormodul
13: Steuerleitung
14, 15: Signalwandler

Claims

Verfahren, mit dem räumlich darstellbare Bilder erzeugt werden, bei dem – Eingangsbildsignale und Bildtypinformationen registriert werden, – für die Eingangsbildsignale in Abhängigkeit von den Bildtypinformationen ein Bildtyp bestimmt wird, – in Abhängigkeit vom Bildtyp ein entsprechender Verarbeitungsalgorithmus ausgewählt wird, – die Eingangsbildsignale durch den Verarbeitungsalgorithmus verarbeitet werden und Ausgangsbildsignale erzeugt werden, welche auf einem entsprechenden Bildwiedergabegerät für einen Betrachter als räumliches Bild oder als eine Folge von räumlichen Bildern dargestellt werden können.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Eingangsbildsignale von einem Datenträger gelesen, oder drahtlos oder über Kabel empfangen werden.
Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Bildtypinformationen vom Datenträger gelesen, drahtlos oder über Kabel empfangen, oder durch den Betrachter vorgegeben werden.
Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, daß Bildtypinformationen gelesen, empfangen oder vorgegeben werden und diese für alle im folgenden gelesenen oder empfangenen Eingangsbildsignale solange gültig bleiben, bis neue Bildtypinformationen gelesen, empfangen oder vorgegeben werden.
Verfahren nach einem der vorgenannten Ansprüche; dadurch gekennzeichnet, daß bei einem ersten Bildtyp als Eingangsbildsignale Bildinformationen für zwei dimensionale Bilder einer Szene oder eines Gegenstandes mit zugeordneten Tiefeninformationen empfangen oder gelesen werden, und daraus mit dem zugeordneten Verarbeitungsalgorithmus Ansichten der Szene oder des Gegenstandes aus verschiedenen Blickwinkeln oder mit verschiedenen räumlichen Tiefen erstellt werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß bei einem zweiten Bildtyp als Eingangsbildsignale Bildinformationen für Schichtbilder einer Szene oder eines Gegenstandes bei verschiedener Tiefe empfangen oder gelesen werden, und daraus mit dem zugeordneten Verarbeitungsalgorithmus Ansichten der Szene oder des Gegenstandes aus verschiedenen Blickwinkeln oder mit verschiedenen räumlichen Tiefen erstellt werden.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß bei einem dritten Bildtyp als Eingangsbildsignale Bildinformationen für N Ansichten einer Szene oder eines Objekts aus verschiedenen Blickwinkeln gelesen oder empfangen werden, wobei N eine natürliche Zahl größer oder gleich zwei ist.
Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, daß bei einem vierten Bildtyp als Eingangsbildsignale Bildinformationen für zweidimensionale Bilder empfangen oder gelesen werden und diese unverändert als Ausgangssignale ausgegeben werden.
Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, daß die Ausgangsbildsignale in Abhängigkeit von einem angeschlossenen Bildwiedergabegerät erzeugt werden.
Verfahren nach einem der Ansprüche 5 bis 9, dadurch gekennzeichnet, daß aus den Ansichten, die jeweils dieselbe Szene oder denselben Gegenstand darstellen, ein Kombinationsbild erzeugt wird, welches Informationen aller Ansichten in vorgegebener Weise enthält, und dieses als Ausgangsbildsignal ausgegeben wird.
Verfahren nach einem der Ansprüche 5 bis 9, dadurch gekennzeichnet, daß die Ansichten, die jeweils dieselbe Szene oder denselben Gegenstand darstellen, als Ausgangsbildsignal ausgegeben und in zeitlich kurzer Abfolge nacheinander auf dem Bildwiedergabegerät dargestellt werden.
Verfahren nach einem der vorgenannten Ansprüche, dadurch gekennzeichnet, daß digitale Ein- und Ausgangsbildsignale verwendet werden.