DE102010009291A1

DE102010009291A1 - Verfahren und Vorrichtung für ein anatomie-adaptiertes pseudoholographisches Display

Info

Publication number: DE102010009291A1
Application number: DE102010009291A
Authority: DE
Inventors: Ivo-Henning 21255 Naske; Sigrid 21255 Kamins-Naske; Valerie Antonia 21255 Naske
Original assignee: Expert Treuhand 20459 GmbH; Expert Treuhand GmbH
Current assignee: Expert Treuhand 20459 GmbH; Expert Treuhand GmbH
Priority date: 2010-02-25
Filing date: 2010-02-25
Publication date: 2011-08-25
Also published as: KR101852209B1; US20160300517A1; US10134180B2; JP2017078859A; WO2011103866A2; JP6278323B2; US9324181B2; JP2013520890A; KR20130008555A; US10229528B2; US9396579B2; JP2013527932A; JP6060329B2; JP6142985B2; WO2011103866A3; KR101825759B1; WO2011103867A1; US20130135720A1; KR20130036198A; US20160205393A1

Abstract

Technisches Problem Ein perfekter 3D-Fernseher muss es ermöglichen, dass keine 3D-Brille getragen werden muss, dass man aus allen Richtungen und Entfernungen 3D sehen kann, dass das 3D-Bild qualitativ genau so gut ist wie das 2D-Bild und dass man ihn auch für 2D-Inhalte mit gleicher Qualität verwenden kann. Lösung des Problems Die hier beschriebene Offenlegung erfüllt diese Anforderungen. Sie beinhaltet Verfahren und Vorrichtungen für ein autostereoskopischen Displays, welches sich durch folgende Eigenschaften vom bisherigen Stand der Technik unterscheidet: 1. Neben den RGB-Subpixeln enthält es auch Hell/Dunkel-Subpixel, in welchen z. B. Kantenmerkmale dargestellt werden, um die Raumbilderzeugung im Gehirn zu erleichtern. 2. Die Aufteilung von Pixeln in Subpixel wird fallengelassen. Statt dessen gibt es nur noch eine wesentlich größere Anzahl von farbigen Pixeln, welche in horizontaler und vertikaler Richtung die gleiche Ausdehnung besitzen. 3. Die wesentlich größere Anzahl von farbigen Pixel wird zur gleichzeitigen Darstellung von wesentlich mehr Perspektiven genutzt, die so erzeugt werden, dass nur diejenigen Pixel einer Perspektive erzeugt werden, welche auch auf dem Display angezeigt werden. 4. Die Erzeugung der Vielzahl von Perspektiven wird dadurch ermöglicht, dass für jeder Zeile des Displays eine eigene Zeilenrecheneinheit vorhanden ist. 5. Bei der Herstellung des Displays werden die farbigen Pixel, gesteuert durch einen optischen Sensor, direkt auf dem optischen Element, z. B. einer Lentikularstruktur, aufgebracht. Dadurch lässt sich eine wesentlich höhere Qualität erreichen. Anwendungsgebiete 3D-Fernsehen, 3D-Monitore

Description

Die Erfindung betrifft Verfahren und Vorrichtungen für ein autostereoskopisches Display, auf welchem aus einem zugeführten Stereobild in einem beliebigen 3D-Format eine Vielzahl von Perspektiven, im allgemeinen mehr als 100, verkämmt auf einem Display angezeigt werden, welches aus einem optischen Element und einer bilderzeugenden Einheit besteht. Die Vielzahl von Perspektiven wird in der Weise erzeugt, dass immer nur diejenigen Pixel einer Perspektive erzeugt werden, welche auch angezeigt werden müssen. Die bilderzeugende Einheit des Displays besteht aus Pixeln/Subpixeln, welche entweder eine Farbe, z. B. Rot, Grün oder Blau, abstrahlen, oder aus Pixeln/Subpixeln, welche zur Verbesserung des Raumbildeindruckes des Betrachters auch Kanteninformation anzeigen.
Die Vorstellung, welche Eigenschaften ein perfekter 3D-Fernseher haben sollte, haben sich in den letzten Jahren stark konkretisiert. Dazu gehören z. B. die Anforderung, dass man keine 3D-Brille tragen muss, dass man aus allen Richtungen und Entfernungen 3D sehen kann, dass das 3D-Bild qualitativ genau so gut ist wie das 2D-Bild und dass man ihn auch für 2D-Inhalte mit gleicher Qualität verwenden kann. Diese Anforderungen sollen mit den hier vorgestellten Verfahren und Vorrichtungen vollständig erfüllt werden.
Das dieser Anmeldung zu Grunde liegende Display ist in der Lage ein 3D-Bild oder eine 3D-Bildfolge in jedem Format, wie z. B. einem Stereobild oder einer Stereobildfolge, zu empfangen. Andere Format, wie z. B. Stereobild inklusive einer Disparitätskarte, können ebenso empfangen und verarbeitet werden.
Ein solch empfangenes Stereobild wird zunächst rektifiziert, d. h. auf Stereo-Normalform, gebracht. Ist dies schon der Fall, so ergibt sich hier die identische Abbildung.
Sodann werden aus den beiden Bildern verschiedene Merkmale, wie z. B. Kanten oder markante Bildpunkte (SURF) identifiziert. Verschiedene Merkmale können hier extrahiert werden. Eine besondere Einschränkung ist nicht gegeben. Diese Merkmale werden sowohl für die Berechnung der Disparitätskarte, falls dies erforderlich ist, als auch für die Visualisierung in bestimmten zusätzlichen Subpixeln verwendet. Dies ist die erste der dieser Anmeldung zu Grunde liegenden neuen Eigenschaft.
Wurde die Disparitätskarte bereits mit empfangen, so wird der nächste Schritt übersprungen. Im anderen Fall wird die Disparitätskarte des Stereobildes berechnet. Sie enthält eine Zuordnung der linken und rechten Pixel, welche in beiden empfangenen Perspektiven vorhanden sind. Gleichzeitig werden die Links- und Rechtsverdeckungen identifiziert.
Mithilfe der Disparitätskarte des empfangenen Stereobildes und der Merkmale werden sodann beliebig viele Perspektiven synthetisiert. Dabei wird so vorgegangen, dass immer nur diejenigen Subpixel synthetisiert werden, welche auf dem Display auch tatsächlich angezeigt werden müssen. Dies gilt in gleicher Weise auch für die vorher beschriebenen Merkmale, welche in besonderen Subpixeln angezeigt werden. Das bedeutet, dass bei 100 anzuzeigenden Perspektiven aus jeder Perspektive nur 1% der Subpixel berechnet werden.
Die Information, welche Perspektive auf welchem Subpixel angezeigt werden soll, ist in der Perspektivenkarte P festgelegt. Diese wird bei der Produktion des Displays durch einen Kalibrierungsprozess zwischen Subpixeln und optischen System festgelegt und abgespeichert. Benachbarte Subpixel sind im Allgemeinen unterschiedlichen Perspektiven zugeordnet. Die Speicherung der verschiedenen Subpixel aus den unterschiedlichen Perspektiven im pseudoholographischen Bild B soll im folgenden zur Vereinfachung der Beschreibung als „Verkämmung” bezeichnet werden.
Das Display selbst ist charakterisiert durch ein Panel von Subpixeln und einem vorgeschalteten optischen Element. Die Subpixel können sowohl Farbsubpixel wie z. B. RGB oder CMY als auch Hell/Dunkel-Subpixel sein. In den Farbsubpixeln wird die Farbinformation der Subpixel der darzustellenden Perspektiven angezeigt. Die Hell/Dunkel-Subpixel enthalten z. B. als Grauwerte den 3D-Eindruck unterstützende Bildmerkmale. Dieses Konzept berücksichtigt die Tatsache, dass das menschliche Auge ca. 110 Mio. Hell/Dunkel-Rezeptoren und nur ca. 6.5 Mio. Farbrezeptoren besitzt. Ebenfalls bekannt ist die Tatsache, dass das menschliche Gehirn zu einem wesentlichen Teil Kanten an Objekten dazu verwendet, um im Gehirn das dreidimensionale Raumbild aufzubauen. Werden also über Hell/Dunkel-Subpixel Kanteninformationen angezeigt, so wird diese Bildinformation über die viel größere Anzahl der Hell/Dunkel-Rezeptoren aufgenommen. Die Arbeit des Gehirns wird dadurch erleichtert. Das hier vorgestellte Display ist daher an die Anatomie des Auges und die nachgeschaltete Informationsverarbeitung besser angepasst. Dies ist die zweite dieser Anmeldung zu Grunde liegende neue Eigenschaft.
Zur Verbesserung der Qualität des Bildes wird zusätzlich die Anzahl der angezeigten Subpixel wesentlich erhöht. Ein pseudoholographisches Display dieser Patentanmeldung besitzt mindestens 10 bis 20 mal so viele Subpixel wie im empfangenen Stereobild vorhanden sind. Diese größere Anzahl der Subpixel ermöglicht es, aus den vielen Perspektiven, die synthetisiert werden, eine größere Anzahl von Pixeln pro Perspektive darzustellen. High-Definition-Bilder und -Videos der heutigen Generation besitzen i. A. 1920×1080 Pixel mit 5760 Subpixel pro Zeile. Bei einer Verzehnfachung und unter Berücksichtigung derjenigen Subpixel, welche Merkmalsinformationen anzeigen, besitzt ein Display der hier vorgestellten Patentanmeldung also mindestens 76.800×1080 Subpixel. Dabei wird berücksichtigt, dass bei den autostereoskopischen Displays die Zuordnung der Perspektiven auf Subpixel-Ebene geschieht. Eine Zusammenfassung zu Pixeln ist dort nicht relevant. Die Anforderung, dass alle Subpixel eines Pixels zusammen ein Quadrat bilden, wird in der hier vorliegenden Patentanmeldung fallen gelassen. Vielmehr ist jeder Subpixel ein eigenständiges Element. Jeder dieser Subpixel besitzt eine Farbe des gewählten Farbsystems und besitzt in horizontaler und vertikaler Richtung die gleiche Ausdehnung. Dies ist die dritte dieser Anmeldung zu Grunde liegende neue Eigenschaft. Mit der heutigen Displaytechnologie der OLED- oder Nano-Technologie ist dies technisch problemlos realisierbar.
Da die bisher vorgestellten Verfahrensschritte der Rektifizierung, Disparitätsberechnung und Perspektivensynthese in Echtzeit durchgeführt werden müssen, ist eine angemessene Verarbeitungskapazität erforderlich. Diese wird dadurch sichergestellt, dass eine Vielzahl von Recheneinheiten Bestandteil des Displays sind. Jeder sogenannten Zeilenrecheneinheit ist eine eigene kleine Anzahl von Zeilen des Displays zugeordnet. Im Extremfall, der hier nicht ausgeschlossen und durchaus realistisch ist, wird jeder Zeilenrecheneinheit eine eigene Zeile des Displays zugeordnet.
Alle Verfahrensschritte sind so implementiert, dass sie zeilenweise unabhängig von einander und parallel durchgeführt werden können.
Besitzt das Display also beispielsweise 1080 Zeilen, was dem heutigen HD-Format entspricht, so besitzt die Recheneinheit 1080 Zeilenrecheneinheiten. Alle Recheneinheiten verfügen über lokalen Speicher zur Durchführung ihrer Operationen und können parallel auf einen globalen Speicher zugreifen. Eine Kontrolleinheit sorgt für die Synchronisation der einzelnen Verarbeitungsschritte. Diese Architektur ist die vierte dieser Anmeldung zu Grunde liegende neue Eigenschaft.
Die Herstellung dieses autostereoskopischen Displays wird so durchgeführt, dass das bildgebende Panel direkt auf der Rückseite des optischen Elements aufgebracht wird. Dabei erkennt ein optisches Sensorelement die exakte Lage der Linsen bzw. Barrieren. Diese Information wird sodann zur Steuerung des Aufbringungsprozesses der bildgebenden Subpixel verwendet. Dies ist die fünfte dieser Anmeldung zu Grunde liegende neue Eigenschaft.
Ein Blockdiagramm des Gesamtsystems ist in 1 dargestellt. 2 zeigt das zugehörige Flussdiagramm und 3 beinhaltet das Hardware-Layout des Gesamtsystems. Die Details werden im Folgenden beschrieben.
Stand der Technik
Verfahren der Rektifizierung sind in der Literatur weitläufig bekannt und haben bereits ihren Einzug in die Standardliteratur der Stereobildverarbeitung gefunden [7]. Sie brauchen hier nicht detailliert erwähnt zu werden. Eine Hardware-Implementierung ist in [8] beschrieben.
Auch die Merkmalextraktion, wie z. B. SURF- oder Kanten-Operatoren, sind in jedem Buch der digitalen Bildverarbeitung dargestellt 31]
Verfahren der Disparitätsschätzung sind z. B. in [2], [4] und [6] beschrieben. Wichtig ist der Unterschied zwischen iterativen Verfahren und Verfahren, welche die lineare Programmierung als Basis verwenden. In letzterem Fall wird i. A. eine Monotonie der Zuordnung vorausgesetzt. Dies bedeutet: R_l(i, j₁) ≤ R_l(i, j₂) ==> R_r(i, D(j₁)) ≤ R_r(i, D(j₂)).
In einer beliebigen Szene, wie sie aus dramaturgischen Gründen aber möglicherweise erforderlich ist, kann diese Voraussetzung jedoch nicht immer erfüllt sein. Ein schmales Objekt im Vordergrund kann leicht zu einer „Inversion” der Zuordnung in der Disparitätskarte führen. Daher soll in der vorgelegten Offenlegung diese Voraussetzung fallen gelassen werden.
Das hier vorgestellte Verfahren soll jedoch nicht auf den Farb- oder Grauwerten der Pixel beruhen. Vielmehr wird jeder Pixel zur Sicherung der Zuordnung um die vorher berechneten Merkmalswerte erweitert. Eine Disparitätsschätzung, bei der jeder Pixel einen Merkmalsvektor darstellt, ist das Ergebnis.
Die pseudoholographische Bildsynthese ist schon im PCT/EP2007/003546 beschrieben. Dieses Verfahren wird hier so verallgemeinert, dass das Monotoniegesetz nicht mehr erfüllt sein muss, um die darzustellenden Pixel einer Perspektive zu berechnen. Ein iteratives, zeilenorientiertes Verfahren, bei welchem immer nur diejenigen Pixel einer Perspektive berechnet werden, die auch tatsächlich auf dem Display angezeigt werden müssen, ist die Folge.
Hardware-Architekturen von autostereoskopischen Displays, bei denen neben den Farbwerten RGB oder CMY, auch Merkmale wie Kanten oder markante Punkte visualisiert werden, um die Erkennung der Räumlichkeit durch das menschliche Gehirn zu erleichtern, sind in der Literatur bisher nicht beschrieben.
Ebenso sind Architekturen von autostereoskopischen Displays, bei denen jede Zeile oder sogar jeder einzelne Subpixel über eine eigene Recheneinheit verfügt, in der Literatur bisher nicht beschrieben.
Bezugszeichenliste
Fig. 1: Blockdiagramm des Gesamtsystems

1a: Empfanges linkes Teilbild I_l,
1b: Empfanges rechtes Teilbild I_r,
2a: Rektifiziertes linkes Teilbild R_l,
2b: Rektifiziertes rechtes Teilbild R_r,
3a: Matrix M_l der pro Pixel berechneten Merkmale 1...K des linkes Teilbildes,
3b: Matrix M_r der pro Pixel berechneten Merkmale 1...K des rechten Teilbildes,
4: Disparitätskarte D,
5: Pseudoholographisch verkämmtes Bild B mit M verkämmten Perspektiven,
6: Perspektivenkarte P,
7: Autostereoskopisches Display,
11: Bilder rektifizieren und in 2a und 2b ablegen,
12: Merkmale extrahieren und in 3a und 3b ablegen,
13: Disparitätskarte berechnen, falls nicht zugeführt, und in 4 ablegen,
14: Pseudoholographisches Bild B der verkämmten Perspektiven erzeugen und in 5 ablegen.

11: Bilder rektifizieren,
12: Merkmale extrahieren,
13: Disparitätskarte erstellen,
14: Pseudoholographische Perspektiven synthetisieren,
21: Start,
22: Bilder einlesen,
23: Bilder eingelesen?,
24: Disparitätskarte vorhanden?,
25: Pseudoholographisches Bild auf Display ausgeben,
26: Stop.

1: Prozessor,
2: Lokaler Speicher,
3: Zeilenrecheneinheit 1,
4: Zeilenrecheneinheit n,
5: Kontrolleinheit,
6: Globale Speichereinheit,
7: Single-Chip-Implementierung,
8: Steuerbus,
9: Datenbus,
10: Autostereoskopisches Display.

A: Altes Subpixel-Layout,
N: Neues Subpixel-Layout,
R: Rot,
G: Grün,
B: Blau,
W: Weiß
1–36: Nummer der anzuzeigenden Perspektive in diesem Subpixel.

1: Linke Szene,
2: Zeile einer Disparitätskarte,
3: Linkes Teilbild,
4: Zwischenperspektive 1,
5: Zwischenperspektive 2,
6: Zwischenperspektive 3,
7: Zwischenperspektive 4,
8: Zwischenperspektive 5,
9: Zwischenperspektive 6,
10: Rechtes Teilbild,
11: Rechte Szene,
12: Rechtsverdeckung im linken Teilbild,
13: Linksverdeckung im rechten Teilbild.

1: Linke Szene,
2a: Rechtsverdeckung des vorderen Objektes im linken Teilbild,
2b: Hinteres Objekt,
2c: Vorderes Objekt,
2d: Linksverdeckung des vorderen Objektes im rechten Teilbild
3: Linkes Teilbild,
4: Zwischenperspektive 1,
5: Zwischenperspektive 2,
6: Zwischenperspektive 3,
7: Zwischenperspektive 4,
8: Zwischenperspektive 5,
9: Zwischenperspektive 6,
10: Rechtes Teilbild,
11: Rechte Szene,
12: Rechtsverdeckung im linken Teilbild,
13: Linksverdeckung im rechten Teilbild,
14a: Cross-over-Bildsegment C₁ im linken Teilbild,
14b: Cross-over-Bildsegment C₁ im rechten Teilbild,
P1: j_r/3 liegt links von jrmin_PositionNeu,
P2: j_r/3 liegt zwischen jrmin_PositionNeu und jrmax_PositionNeu,
P3: j_r/3 liegt rechts von jrmax_PositionNeu.

N: Nein,
Y: Ja,
1: Start,
2: j = 1,
3: j ≥ NrPixel?,
4: Stop,
5: j = j + 1,
6: Wohin(i, j) ≥ 0?,
7: Crossover(j) = 0,
8: Wohin(i, j) < Wohin(i, j – 1)?,
9: CrossAnf = j,
10: Crossover(j) = 1,
11: j = j + 1,
12: Wohin(i, j) > Wohin(i, CrossAnf – 1)?.

N: Nein,
Y: Ja,
A: Anknüpfungspunkt A,
B: Anknüpfungspunkt B,
C: Anknüpfungspunkt C,
D: Anknüpfungspunkt D,
1: Start,
2: jl = –1,
3: jl = jl + 1,
4: jl ≥ NrPixel?,
5: Crossover(jl) = 0?,
6: jlmin = jl,
7: Crossover(jl) = 0 oder jl ≥ NrPixel?,
8: jl = jl + 1,
9: jlmax = jlmin,
10: jrmin = jlmin,
11: Wohin(jlmin) < jlmin?,
12: jrmin = Wohin(jlmin),
13: jrmax = jlmax,
14: Wohin(jlmax) > jrmax?,
15: jrmax = Wohin(jlmax),
16: j_scale = (jlmax – jlmin + 1)/(Wohin(jlmax) – Wohin(jlmin) + 1),
17: jr = (jrmin – 1)*3,
18: jr > jrmax*3?,
19: P(i, jr) holen,
20: P(i, j) = 0?,
21: jr = jr + 1,
22: P(i, j) = NS – 1?,
23: jrmin_PositionNeu berechnen,
24: jrmin_Position Neu > jr/3?,
25: jrmax_PositionNeu berechnen,
26: jrmax_PositionNeu < jr/3?,
27: CrossoverPixel = jlmin + (jr/3 – jrmin_PositionNeu)*j_scale,
28: Richtigen Subpixel von CrossoverPixel vom linken Teilbild holen,
29: Stop.

N: Nein,
Y: Ja,
A: Anknüpfungspunkt A,
B: Anknüpfungspunkt B,
1: Start,
2: Crossover Vorverarbeitung,
3: jr = 0; jl = 0,
4: jl = jl +1,
5: jr/3 > NrPixel?,
6: Crossover Nachverarbeitung,
7: Stop,
8: P(i, jr) holen,
9: jr = jr +1,
10: P(i, jr) = 0?,
11: Subpixel vom linken Teilbild holen,
12: P(i, jr) = N – 1?,
13: Subpixel vom rechten Teilbild holen,
14: oben = false; unten = false,
15: oben = false oder unten = false?,
16: Subpixel holen,
17: jl_PositionNeu berechnen,
18: jl_PositionNeu = jr/3?,
19: j_oben = jl; j_unten = jl; oben = true; unten = true,
20: jl_PositionNeu > jr/3?,
21: j_oben = jl; oben = true,
22: jl = jl – 1,
23: Crossover(jl) = 1 oder D(i, jl) = –1?,
24: j_unten = jl; unten = true,
25: jl = jl + 1,
26: Crossover(jl) = 1 oder D(i, jl) = –1?,

1: x-Position
2: Gemessene Tiefe,
3: Gemessenen Entfernungen zum Lasersensor,
4: Erkannte Grenzen der einzelnen optischen Elemente zur Berechnung der Aufbringungsparameter.

Detaillierte Beschreibung Software
Im Folgenden werden alle Schritte im Einzelnen beschrieben. Im Rahmen dieser Patentschrift wird davon ausgegangen, dass durch ein Empfangsmodul z. B. über Antenne oder Internet eine Bildfolge von Stereobildern empfangen wird, dekodiert wird und in den Speicherbereichen I_l und I_r zur Verfügung gestellt wird. Dieses Format wird hier exemplarisch angenommen. Der Empfang anderer 3D-Formate ist hier nicht genauer beschrieben und sei dem kundigen Lesen überlassen. Nach dem Empfang wird das Stereobild auf die Auflösung des angeschlossenen pseudoholographischen Displays vergrößert bzw. verkleinert. Ein Display der Auflösung 19.200×10.800 Pixel kann als hochauflösend hier angenommen werden. In diesem Fall wird z. B. ein Stereo-HD-Bild zehnfach horizontal und vertikal vergrößert.
In einem ersten Schritt wird die Rektifizierung durchgeführt. Diese Verfahren sind in der Literatur bereits ausgiebig beschrieben und sollen hier nicht wiederholt werden. In der vorliegenden Implementierung werden im linken Teilbild I_l neun markante Punkte, welche gleichmäßig über das Bild verteilt sind, nach dem SURF-Verfahren gesucht. Die Koordinate eines jeden markanten Punktes wird als Mittelpunkt eines Suchblockes im rechten Teilbild I_r verwendet. In diesem Suchblock wird der ähnlichste Punkt im rechten Teilbild I_r gesucht. Mit Hilfe der Disparitäten der neun markanten Punkte wird eine lineare Transformationsmatrix definiert, mit welcher jedes der Teilbilder I_l und I_r nach R_l und R_r rektifiziert wird:
I_l → R_l und I_r → R_r.
Damit ist die Rektifizierung durchgeführt, sodass nun die Epipolaren parallel zu den Zeilen des Bildes laufen und alle späteren Operationen zeilenweise durchgeführt werden können.
Für eine qualitativ hochwertige dichte Disparitätskarte werden im zweiten Schritt die rektifizierten Teilbilder durch verschiedene Merkmale ergänzt.
Diese Merkmale werden in den folgenden Schritten einerseits zur Verbesserung der Sicherheit der berechneten Disparitätskarte verwendet und andererseits auf dem autostereoskopischen Display visualisiert, um die Erzeugung des Raumbildes im Gehirn zu erleichtern.
Die spätere Berechnung der Disparitätskarte ist dadurch gekennzeichnet, dass sie sehr schnell durchgeführt werden kann, weil die Disparitäten massiv parallel für jede Zeile getrennt berechnet werden. Dies hat jedoch den Nachteil, dass lokale Merkmale wie z. B. Formen, Texturen oder Kanten nicht berücksichtigt werden. Daher werden in der Merkmalextraktionsphase verschiedene Merkmale berechnet, welche lokale Eigenschaften beschreiben.
In der Literatur wird eine sehr große Zahl von Merkmalen und ihre Berechnung beschrieben. Nur exemplarisch und ohne Anspruch auf Vollständigkeit sollen hier zwei Verfahren und ihre massiv parallele Implementierung beschrieben werden:

1. SURF: Speed up Robust Features [1] und
2. Sobel-Edge-Detector [3].

SURF-Merkmalsextraktion:
Dieses Verfahren beruht darauf, dass für jeden Pixel die Determinante der Hesse-Matrix approximiert wird. Dabei wird wie folgt vorgegangen.
In einer Matrix Isum, welche jeweils für das linke und rechte rektifizierte Teilbild erstellt wird, werden für jeden Pixel die Teilsummen der Grauwerte des unteren Bildbereiches gespeichert:
wobei NZ die Anzahl der Zeilen und NS die Anzahl der Spalten ist.
In der Berechnung wird so vorgegangen, dass zunächst jeder Zeile i eine Zeilenrecheneinheit i zugeordnet wird, welche die Teilsumme rekursiv berechnet: Isum_i(j) ≔ Isum_i(j – 1) + R_r(i, j) für i ≔ 1, ... NZ und j ≔ 1, .. NS und in Isum abspeichert. Danach wird jeder Spalte j eine Recheneinheit j zugeordnet, welche die Spaltensumme rekursiv berechnet: Isum(i, j) ≔ Isum (i – 1, j) + Isum_i(j) für i ≔ 1, ... NZ und j ≔ 1, .. NS.
Die so berechnete Matrix enthält nun für jedes Teilbild links und rechts die gewünschten Teilsummen. Nun wird jeder Zeile i wieder eine Recheneinheit i (= Zeilenrecheneinheit i) zugeordnet, welche zunächst die folgenden Zwischenwerte berechnet: D_xx(i, j) ≔ Isum(i – 4, j – 5) – Isum(i + 2, j – 5) + Isum(i + 2, j + 4) – Isum(i – 4, j + 4) – 3·Isum(i + 2, j + 1) + 3·Isum(i + 2, j – 2) + 3·Isum(i – 4, j + 1) – 3·Isum(i – 4, j – 2), D_yy(i, j) ≔ Isum(i + 4, j + 2) – Isum(i + 4, j – 3) – Isum(i – 5, j + 2) + Isum(i – 5, j – 3) – 3·Isum(i + 1, j + 2) + 3·Isum(i + 1, j – 3) + 3·Isum(i – 2, j + 2) – 3·Isum(i – 2, j – 3), D_RO(i, j) ≔ Isum(i + 3, j + 3) – Isumi(i + 3, j) – Isum(i, j + 3) + Isum(i, j), D_LO(i, j) ≔ Isum(i + 3, j – 1) – Isum(i + 3, j – 4) – Isum(i, j – 1) + Isum(i, j – 4), D_LU(i, j) ≔ Isum(i – 1, j – 1) – Isum(i – 1, j – 4) – Isum(i – 4, j – 1) + Isum(I – 4, j – 4), D_RU(i, j) ≔ Isum(i – 1, j + 3) – Isum(i – 1, j) – Isum(I – 4, j + 3) + Isum(I – 4, j).
Danach ergibt sich D_xy(i, j) ≔ D_LO(i, j) + D_RU(i, j) × D_RO(i, j) – D_LU(i, j).
Die approximierte Determinante der Hessematrix wird sodann für jeden Pixel des rechten Teilbildes in der Merkmalsmatrix M_r(1) abgespeichert: M_r(i, j, 1) ≔ D_xx(i, j) × D_yy(i, j) – 0,81 × D_xy(i, j) × D_xy(i, j)
Die gleiche Vorgehensweise wird für jeden Pixel des linken Teilbildes R₁ durchgeführt und in der Merkmalsmatrix M_l(1) abgespeichert. Insgesamt ergeben sich die Merkmalsmatrizen M_r(1) und M_l(1).
Da auf die rektifizierten Teilbilder R_r und R_l von allen Zeilenrecheneinheiten nur lesend zugegriffen wird und alle Zeilenrecheneinheiten i ihr Ergebnis in M(i, j, 1) abspeichern, gibt es keine Blockierungen und Wartezeiten. Weitere Details dieses Verfahrens sind z. B. in [1] beschrieben.
Sobel-Merkmalsextraktion:
Der Sobel-Operator ist nur einer aus einer großen Anzahl von Kanten-Operatoren. Er soll daher hier nur exemplarisch beschrieben werden.
Für die Disparitätskarte ist ein Kanten-Operator von besonderer Bedeutung, da er hilft, dass bei der Zuordnung den Kanten eine höhere Bedeutung zugeteilt wird als den glatten Flächen. Da eine Kante immer auch eine regionale Eigenschaft ist, ermöglicht diese Vorgehensweise innerhalb einer Zeile auch die Eigenschaften von lokalen Regionen mit berücksichtigen zu können.
Der Sobel-Prewitt-Operator arbeitet z. B. mit 3×3.Matrizen, welche die Kanten in verschiedene Richtungen detektieren. Grundsätzlich sind hier horizontale, vertikale, links und rechts diagonale Kanten zu unterscheiden. Zu ihrer Detektion werden die folgenden 3×3-Matrizen verwendet:

Eine Implementierung auf einem massiv parallelen System geht dabei so vor, dass jeder Zeile i eine Zeilenrecheneinheit i zugeordnet wird. Für alle Zeilen i und Spalten j wird das recheneinheiten-lokale Feld Kante(1) bis Kante(9) aus dem rechten rektifizierten Teilbild R_r wie folgt gefüllt:

Kante(1) ≔ R_r(i – 1, j – 1),	Kante(2) ≔ R_r(i – 1, j),
Kante(3) ≔ R_r(i – 1, j + 1),	Kante(4) ≔ R_r(i, j – 1),
Kante(5) ≔ R_r(i, j),	Kante(6) ≔ R_r(i, j + 1),
Kante(7) ≔ R_r(i + 1, j – 1),	Kante(8) ≔ R_r(i + 1, j),
Kante(9) ≔ R_r(i + 1, j + 1) für i ≔ 1, ..., NZ und j ≔ 1, ..., NS

Sodann berechnet jede Zeilenrecheneinheit i für jeden Index j: H₁ ≔ 2·Kante(2) + 2·Kante(5) + 2·Kante(8) – Kante(1) – Kante(4) – Kante(7) – Kante(3) – Kante(6) – Kante(9), H2 ≔ 2·Kante(4) + 2·Kante(5) + 2·Kante(6) – Kante(1) – Kante(2) – Kante(3) – Kante(7) – Kante(8) – Kante(9), H3 ≔ 2·Kante(7) + 2·Kante(5) + 2·Kante(3) – Kante(1) – Kante(2) – Kante(4) – Kante(8) – Kante(9) – Kante(6), H4 ≔ 2·Kante(2) + 2·Kante(5) + 2·Kante(9) – Kante(2) – Kante(3) – Kante(6) – Kante(4) – Kante(7) – Kante(8).
M_r(i, j, 2) ergibt sich dann als M_r(i, j, 2) ≔ H₁ + H₂ + H₃ + H₄ für i = 1, ..., NZ und j = 1, ... NS. Dieses Verfahren wird in gleicher Weise für das linke rektifizierte Teilbild R_l durchgeführt. Insgesamt ergeben sich die Merkmalsmatrizen M_r(2) und M_l(2).
Besteht das empfangene Stereobild nur aus den Teilbildern I_r und I_l und wurden keine weiteren Zusatzinformationen wie Disparitätskarte oder Tiefenkarte mit übertragen, so muss in einem Zwischenschritt die Disparitätskarte erstellt werden.
Hierfür stehen jetzt die rektifizierten Bilder R_r und R_l und die Merkmalsmatrizen M_r und M_l zur Verfügung. Ohne Beschränkung der Allgemeingültigkeit soll hier exemplarisch das Verfahren nach Falkenhagen [4] beschrieben werden.
In der von Falkenhagen beschrieben Vorgehensweise wird für jede Zeile i die Verbundwahrscheinlichkeit des Disparitätsvektors d ^_i maximiert:
Diese Vorgehensweise wird sodann in eine dynamische Optimierungsaufgabe umgeformt:
um den Punkt R_l(i, j). Die Details sind in [4] nachzulesen.
Hierin bezeichnet corr_lr(R_l(i, j), d(R_l(i, j))) die Korrelation zwischen dem Punkt R_l(i, j) des linken Teilbildes und dem Punkt R_r(i, j – d(R_l(i, j))) des rechter Teilbildes, d. h. des um die Disparität d(R_l(i, j)) verschobenen Punktes des linken Teilbildes.
In der hier vorgelegten Offenlegung werden die folgenden Veränderungen vorgenommen:

1. Die einfachen Intensitätswerte R_r und R_l der Teilbilder werden für jeden Pixel durch den Merkmalsvektor M_r(i, j) ≔ (M_r(i, j, 1), ..., M_r(i, j, K)) und M_l(i, j) ≔ (M_l(i, j, 1), ..., M_l(i, j, K)) ersetzt. Dieser kann z. B. die Luminanzwerte und/oder die Farbwerte und/oder den Kanten-Operator Sobel und/oder den Struktur-Operator SURF enthalten. Weitere Merkmale können sinngemäß hinzugefügt werden.

Dafür geht der Kreuzkorrelationskoeffizient corr_lr(R_l(i, j), d(R_l(i, j))) unter Verwendung einer beliebigen Vektornorm über in:
unter Verwendung des Skalarproduktes θ zweier Vektoren M_l(p_b) und M_r(p_b – d_i(p_ij)) und des Betragsoperators ||·||. B_x bezeichnet die Blockgröße des Referenzblockes U um M_l(i, j) in horizontaler und B_y die Blockgröße in vertikaler Richtung. p_b bezeichnet die Punkte aus dem Referenzblock um M_l(i, j).

1. Die a-priori-Wahrscheinlichkeit kann nicht als Markov-Prozess 1. Ordnung
dargestellt werden.

Die Pixel R_l(i, j) des linken als auch des rechten Teilbildes sind Projektionen von Raumpunkten, die zu gewissen Objekten der Szene gehören. Pixel R_l(i, j) eines gemeinsamen Objektes haben daher hinsichtlich ihres Projektionsverhaltens eine hohe Korrelation; zumindest solange man von starren Objekten ausgeht.
Die allgemeine empirische Wahrscheinlichkeit einer Disparitätsänderung pΔd ist daher entsprechend korreliert mit der Projektion benachbarter Raumpunkte eines gemeinsamen Objektes. Dies geht dabei auch über die Zeilen hinaus und kann nicht unabhängig voneinander berechnet werden.
Das hier vorgestellte und in [4] grundsätzlich beschriebene Verfahren wird in der Weise erweitert, dass zunächst für jeden Bildpunkt R_l(i, j) des Teilbildes R_l in einer Umgebung U_ij, definiert durch U_ij ≔ {p_i*j* ≔ R_l(x_i*, y_i*) ∊ R_l, |x_i* – x_i| < s und |y_i* – y_i| < s} mit einer fest gewählten Reichweite s, alle Korrelationskoeffizienten Corr_ij ≔ {corr(p_ij, p_i*j*)|p_i*j* ∊ U_ij} berechnet werden.
In Anlehnung an das vorher beschriebene Skalarprodukt wird corr(p_ij, p_i*j*) wie folgt definiert: corr(p_ij, p_i*j*) ≔ M_l(p_ij) θ M_l(p_i*j*)/(||M_l(p_ij)||·||M_l(p_i*j*)||).
Nachdem in einem ersten Schritt eine Disparitätskarte D berechnet wurde mit D ≔ {d_ij|i = 1, ..., M; j = 1, ..., N} und d_ij die Disparität für Pixel R_l(i, j) des linken Teilbildes ist, wird im zweiten Schritt eine mit der geometrischen Korrelation gewichtete Glättung durchgeführt:
Alle geglätteten Disparitäten werden in der geglätteten Disparitätskarte D' zusammengefasst.
Dieses Verfahren wird sowohl hierarchisch als auch zeitlich strukturiert, indem die Teilbilder R_l und R_r zusammen mit den Merkmalsmatrizen M_l und M_r in einer Informationspyramide verwendet werden. Auf der obersten Ebene wird eine Berechnung der Disparitätskarte iterativ solange durchgeführt bis die Zuordnungen von links nach rechts und umgekehrt konsistent sind.
Als Anfangswerte der Disparitätskarte werden dabei die Disparitäten des vorherigen Teilbildes R_l ^k-1 verwendet, sofern kein sogenannter „Hardcut” in der Bildsequenz zwischen dem aktuellen Stereobild k und dem vorherigen Stereobild k – 1 erkannt wird. Ist dies jedoch der Fall, wird die identische Disparitätskarte D_E' ≔ {0|i = 1, ..., NZ; j = 1, ..., NS} als Startkarte verwendet. Ansonsten werden zunächst in einer Voranalyse diejenigen Bereiches des linken Teilbildes identifiziert, welche sich nicht verändert haben. Dazu wird z. B. das gesamte linke Teilbild in Blöcke der Größe 16×16 Pixel eingeteilt, wie dies auch bei der MPEG-Kodierung der Fall ist. Liegt die Differenz zwischen dem aktuellen Block und dem selben Block des vorherigen Bild unter einer Schwelle S_MPEG, so wird der Block als konstant markiert und die vorherigen Disparitätswerte dieses Blockes können übernommen werden. Ist dies nicht der Fall, so müssen in diesem Block die Disparitäten neu berechnet werden.
Im Falle einer MPEG-Kompression kann man sich auf die dabei mit übertragenen Werte konstanter Bereiche beziehen und braucht diese Identifikation nicht noch einmal durchzuführen.
Durch diese Vorgehensweise wird eine gewisse Kontinuität in der Disparitätenkartenfolge erreicht und der sogenannte „Disparity Jitter” vermieden.
Ist auf der obersten Ebene eine konsistente Disparitätskarte erstellt worden, so wird diese auf die nächstniedrigere Ebene expandiert und als Startkarte für die dortige detailliertere Disparitätskarte verwendet. In dieser Weise wird weiter vorgegangen, bis der unterste und damit höchste Detaillierungsgrad erreicht ist.
Ist im vorherigen Schritt die Disparitätskarte berechnet worden oder wurde sie mit empfangen, so wird im nächsten Schritt die pseudoholographische Bildsynthese durchgeführt.
Hier wird das in WO2007/121970 beschriebene Verfahren als Basis verwendet. Dies hat jedoch in der dort dokumentierten Form den Nachteil, dass keine sogenannten „Cross-Over”-Effekte behandelt werden können und wird daher hier verallgemeinert. Cross-Over-Effekte treten auf, wenn sich sehr dicht vor der Kamera ein relativ schmales Objekt O₁ befindet. In diesem Fall wird das Monotonie-Gesetz der Stereoskopie verletzt: R_l(i, j₁) ≤ R_l(i, j₂) => R_r(i, j₁ + D(i, j₁)) ≤ R_r(i, j₂ + D(i, j₂)).
Es kann dann der Fall sein, dass das linke Auge ein entfernteres Objekt O₂ links von O₁ sieht, während das rechte Auge das Objekt O₂ rechts von O₁ sieht. Dies soll im folgenden als Cross-Over-Effekt bezeichnet werden. in 6 ist ein solcher Fall mit seiner Auswirkung auf die Disparitätskarte dargestellt. In der hier vorgelegten Patentanmeldung wird für die Bildsynthese so vorgegangen, dass in einem ersten Teilschritt in jeder Zeile diejenigen Bildsegmente gesucht werden, bei denen ein Cross-Over-Effekt vorliegt. Dies wird als Cross-Over-Vorverarbeitung bezeichnet. Ihr Ziel ist es, ein Feld Crossover (j) zu erzeugen mit folgender Eigenschaft:
Zur Bestimmung der Werte dieses Feldes wird wie folgt vorgegangen:
Zunächst wird die i-te Zeile der Disparitätskarte D in ein Zuordnungsfeld überführt mit Wohin(j) ≔ j + D(i, j).
In diesem Feld sind Rechtsverdeckungen durch den Wert –1 gekennzeichnet. Ansonsten sind die Werte von Wohin immer größer gleich 0.
Im Feld Wohin sind Cross-Over-Effekte dadurch gekennzeichnet, dass Wohin(j) < Wohin(j – 1) ist. Dort beginnt ein Cross-Over-Bildsegment und der Index CrossAnf = j wird gespeichert. Das Ende dieses Bildsegmentes ist durch die Eigenschaft Wohin(j) > Wohin(CrossAnf – 1) gekennzeichnet.
Daher wird eine Laufvariable j zunächst auf 1 gesetzt und fortlaufend inkrementiert. Crossover(j) wird auf 0 gesetzt. Trift die Laufvariable auf ein Pixel CrossAnf, für welchen gilt Wohin(CrossAnf) < Wohin(CrossAnf – 1) gilt, so beginnt dort das Cross-Over-Bildsegment und Crossover(j) wird dort beginnend auf 1 gesetzt. Nun wird j weiter inkrementiert bis die Bedingung Wohin(j) > Wohin(CrossAnf – 1) erfüllt ist. Ab dort wird Crossover(j) wieder auf 0 gesetzt bis zum nächsten Cross-Over-Bildsegment oder dem Ende der Zeile i. Ein Flussdiagramm dieser Cross-Over-Vorverarbeitung ist in 7 dargestellt.
Im zweiten Teilschritt wird für jede Zeile eine Laufvariable j_r über alle Subpixel des Displaybildes B laufen gelassen. Zur Erleichterung des Verständnisses wird in der hier vorliegenden Beschreibung angenommen, dass jeder Pixel aus 3 Subpixeln besteht. Daher wird beim Übergang vom Subpixel auf den zugehörigen Pixel immer durch 3 dividiert. Besteht ein Pixel aus mehr Subpixeln, z. B. 4 Subpixeln, so muss dementsprechend durch 4 dividiert werden. Mittels der oben festgelegten Laufvariablen j_r wird zunächst die anzuzeigende Perspektive aus der Matrix P geholt. Diese Matrix P gibt für jeden Subpixel des Displays an, welche Perspektive dort angezeigt werden soll. Demgegenüber ist eine Laufvariable j_l jeder Zeile des linken Teilbildes zugeordnet, welche zunächst auf 0 (dem linken Rand des Displaybildes B) gesetzt ist. Im Zusammenhang mit der Disparitätskarte D kann nun eine Variable jl_PositionNeu berechnet werden, welche angibt, auf welcher Pixelposition die P(i, j_r)-te Perspektive des Pixels R_l(i, j_l) des linken Teilbildes dargestellt würde. Ist diese Position größer als j_r/3, so muss j_l dekrementiert werden. Ist diese Position kleiner als j_r/3, so muss j_l inkrementiert werden. Dieses Verfahren wird so lange fortgesetzt bis eine Position j_unten gefunden ist, welche gerade unterhalb von j_r/3 ist. In gleicher Weise wird j_l so lange inkrementiert bzw. dekrementiert bis eine Position j_oben gefunden ist, welche gerade oberhalb von j_r/3 ist.
In Abhängigkeit von der Differenz j_oben – j_unten und der Differenz Wohin(i, j_unten) – Wohin(i, j_oben) kann herausgefunden werden, ob zwischen j_unten und j_oben eine reguläre Disparität, eine Links-, eine Rechts-Verdeckung oder ein Cross-Over-Effekt vorliegt.
Hier sind die folgenden Fälle zu unterscheiden:

1. j-oben – j_unten ≤ 1 und Wohin(j_oben) – Wohin(j_unten) ≤ 1 Dies ist eine reguläre Disparität. Der Subpixel kann von R_l(i, j_oben) bzw. R_l(i, j_unten) geholt werden.
2. j-oben – j_unten > 1 und Wohin(j_oben) – Wohin(j_unten) ≤ 1 Dies ist eine Rechtsverdeckung. Der zugehörige Pixel muss aus R_l durch Interpolation zwischen R_l(i, j_unten) und R_l(i, j_oben) und Abbildung auf die Perspektive P(i, j_r) errechnet werden. Daraus wird sodann der erforderliche Subpixel extrahiert.
3. j-oben – j_unten ≤ 1 und Wohin(j_oben) – Wohin(j_unten) > 1 Dies ist eine Linksverdeckung. Der zugehörige Pixel muss aus R_r durch Interpolation zwischen R_r(i, Wohin(j_unten)) und R_r(i, Wohin(j_oben)) und Abbildung auf die Perspektive P(i, j_r) errechnet werden. Daraus wird sodann der erforderliche Subpixel extrahiert.
4. j-oben – j_unten > 1 und Wohin(j_oben) – Wohin(j_unten) > 1 In diesem Fall hat man ein Cross-Over-Bildsegment erreicht. Hier sind zwei Unterfälle zu unterscheiden: 4a. Wohin(i, j) = –1 für j_unten < j < j_oben Dieser Fall ist wie eine Rechtsverdeckung zu behandeln. Das Bildsegment muss von links nach rechts ausgeblendet werden. (Siehe Nr. 12 in 6) 4b. Wohin(i, j) ≥ 0 für j_unten < j < j_oben Dieser Fall ist wie eine Linksverdeckung zu behandeln. Das Bildsegment muss von links nach rechts eingeblendet werden. (Siehe Nr. 13 in 6)

Diese Vorgehensweise wird fortgesetzt bis die Laufvariable j_r am rechten Rand der i-ten Zeile des Displaybildes B der verkämmten Perspektiven angelangt ist.
Cross-Over-Bildsegmente werden in diesem Teilschritt ignoriert.
Im dritten Teilschritt wird die Cross-Over-Nachverarbeitung durchgeführt. In diesem Teilschritt brauchen nur die Zwischenperspektiven bearbeitet zu werden. Das linke und rechte zugeführte Teilbild sind als Perspektive 0 und M – 1 gesetzt und sind automatisch richtig bearbeitet worden. Für die Zwischenperspektiven wird wie folgt vorgegangen:
Beginnend von links wird mittels einer Variablen j_l der Anfang eines Cross-over-Bildsegmentes gesucht. Dieses ist wegen Crossover(j) = 1 leicht zu finden. Der linke Rand sei mit Pixelposition jlmin bezeichnet. Der rechte Rand sei mit jlmax bezeichnet. In 6 ist dieser Bereich als Nr. 14a gekennzeichnet. Für jede dieser Variablen ist Wohin(jlmin) und Wohin(jlmax) gegeben. Man weiß damit wohin das Cross-Over-Bildsegment ins rechte Teilbild abgebildet wird. Dieser Bildbereich ist in 6 als Nr. 14b gekennzeichnet. Nun seien: jrmin ≔ min(jlmin, Wohin(jlmin)) und jrmax ≔ max(jlmax, Wohin(jlmax)) die Pixelindices, zwischen welchen das Cross-Over-Bildsegment vom linken Teilbild R_l zum rechten Teilbild R_r „wandern” muss.
Eine Laufvariable j_r läuft nun vom linken Subpixel jrmin·3 bis zum rechten Subpixel jrmax*3. Für jeden dieser Subpixel kann wieder die anzuzeigende Perspektive P(i, j_r) gewählt werden.
Ist Perspektive P(i, j_r) = 0 oder P(i, j_r) = M – 1, so muss dort ein Subpixel aus dem zugeführten linken bzw. rechten Teilbild angezeigt werden. Dieser Fall ist jedoch schon vorher korrekt bearbeitet worden und kann hier ignoriert werden Mittels der gesuchten Perspektive P(i, j_r) kann eine Position jrmin_PositionNeu wie folgt berechnet werden: jrmin_PositionNeu ≔ j_unten + (Wohin(j_unten) – j_unten)·P(i, j_r)/M – 1).
Ist jrmin_PositionNeu > j_r/3, so liegt j_r links vom zu überlagernden Cross-Over-Bereich in der Perspektive P(i, j_r). In diesem Fall muss nichts geschehen. j_r kann inkrementiert werden. Dieser Fall ist in 6 mit „P1” gekennzeichnet. In gleicher Weise kann jrmax_PositionNeu ≔ j_oben + (Wohin(j_oben) – j_oben)·P(i, j_r)/M – 1).. berechnet werden. Ist hier jrmax_PositionNeu < j_r/3, so liegt j_r rechts vom zu überlagernden Cross-Over-Bereich in der Perspektive P(i, j_r). In diesem Fall muss ebenfalls nichts geschehen. j_r kann inkrementiert werden. Dieser Fall ist in 6 mit „P3” gekennzeichnet. Eine Überlagerung muss also nur durchgeführt werden, wenn jrmin_PositionNeu ≤ j_r ≤ jrmax_PositionNeu gilt. In diesem Fall wird der Pixel CrossoverPixel mit CrossoverPixel ≔ (jlmin + (j_r/3 – jrminPositionNeu)*j_scale aus dem Cross-OVer-Bildsegment R_l(i, CrossoverPixel) des linken Teilbildes genommen. j_scale bezeichnet eine Variable, welche den Cross-Over-Bildbereich zwischen R_i(i, jlmin) und R_l(i, jlmax) auf den Cross-Over-Bildbereich der Perspektive P(i, j_r) abbildet, denn es ist nicht vorausgesetzt, dass jlmax – jlmin = Wohin(jlmax) – Wohin(jlmin) ist.
Von CrossoverPixel wird der entsprechende Subpixel ins Displaybild B der verkämmten Perspektiven übertragen. Dieser Fall ist in 6 mit „P2” gekennzeichnet.
Nun wird j_l ≔ jlmax + 1 gesetzt und weiter inkrementiert bis zum nächsten Cross-Over-Bildsegment oder das Ende der Zeile mit j_l ≥ NS – 1 erreicht ist. j_r ≥ N – 1 am rechten Rand des Displaybildes angelangt ist.
Ein Flussdiagramm zu diesem Verfahrensteilschritt der Cross-Over-Nachverarbeitung ist in 8a bis 8c dargestellt.
Eine Szene ohne Cross-Over-Bildsegment ist in 5 exemplarisch dargestellt. Eine Szene mit einem solchen Cross-Over-Bildsegement ist in 6 exemplarisch dargestellt.
Mit den Teilschritten 1 bis 3 ist das gesamte Verfahren zur Bildsynthese in 9a und 9b als Flussdiagramm beschrieben.
Für die Beziehung zwischen jlmax – jlmin und Wohin(i, jlmax) – Wohin(i, jlmin) kann folgendes festgehalten werden:

1. jlmax – jlmin = Wohin(i, jlmax) – Wohin(i, jlmin) In diesem Fall ist die Objektfläche des Cross-Over-Objektes parallel zur Stereobasis.
2. jlmax – jlmin > Wohin(i, jlmax) – Wohin(i, jlmin) In diesem Fall ist die Objektfläche des Cross-Over-Objektes der linken Kamera mit dem linken Teilbild zugewandt. Hier sind Zwischenbereiche des Cross-Over-Bildbereiches wie Rechtsverdeckungen zu behandeln und müssen im Laufe des Überganges zum rechten Teilbild ausgeblendet werden. Die Vorgehensweise hierfür ist im Schritt für die reguläre Disparitätsverarbeitung beschrieben.
3. jlmax – jlmin < Wohin(i, jlmax) – Wohin(i, jlmin) In diesem Fall ist die Objektfläche des Cross-Over-Objektes der rechten Kamera mit dem rechten Teilbild zugewandt. Hier sind Zwischenbereiche des Cross-Over-Bildbereiches wie Linksverdeckungen zu behandeln und müssen im Laufe des Überganges zum rechten Teilbild eingeblendet werden. Die Vorgehensweise hierfür ist im Schritt für die reguläre Disparitätsverarbeitung beschrieben.

Da alle Schritte sich immer nur auf die Zeile i beziehen eignet sich eine solche Vorgehensweise ganz besonders für eine massiv parallele Verarbeitung. Dies wird im Abschnitt über die Hardware-Struktur noch weiter erläutert werden.
Autostereoskopische Visualisierung von 2D-Bildern:
Mit der bisher dargelegten Beschreibung wird der Fall beschrieben, wie zu verfahren ist, wenn 3D-Bilder in einem dafür definierten Format empfangen werden. Im Falle des Empfanges von 2D-Bildern, wird im allgemeinen so verfahren, dass das Bild vollständig auf die Größe des Displays angepasst und sodann angezeigt wird. In der hier vorliegenden Offenlegung soll jedoch anders verfahren werden.
Wird das 2D-Bild vollständig auf dem Display angezeigt, so hat der Betrachter den Eindruck das Bild befindet sich auf der Oberfläche des Displays. Unter Ausnutzung des vorher beschriebenen pseudoholographischen Bildsyntheseverfahrens soll nun jedoch wie folgt vorgegangen werden:
In einem ersten Schritt wird das empfangene 2D-Bild als linkes Teilbild verwendet. Als rechtes Teilbild wird das gleiche 2D-Bild jedoch um einen Betrag m > 0 nach rechts verschoben verwendet. Gleichzeitig wird eine Disparitätsmatrix der folgenden Art erzeugt: D_2D' ≔ {m| i = 1, ..., NZ; j = 1, ..., NS}
Dadurch haben alle Betrachter den Eindruck, das 2D-Bild (welches noch als solches empfunden wird) schwebt in einem gewissen Abstand vor dem Display.
Wird das 2D-Bild um einen gewissen Betrag m < 0 nach links verschoben, so haben die Betrachter den Eindruck, das Bild wird ins Display nach innen verschoben. Dieser Fall ist theoretisch möglich, optisch aber nicht besonders beeindruckend.
Lässt man den Betrachter den Betrag m interaktiv wählen, z. B. mittels einer Fernbedienung, so kann der Betrachter sich den „Pop-out”- oder „Pop-in”-Effekt jederzeit selbst einstellen. Die Verarbeitungszeit dafür ist in jedem Fall minimal.
Die Qualität des 2D-Eindruckes leidet unter dieser Vorgehensweise nicht, da die Auflösung des Displays größer ist als die Auflösung des 2D-Bildes.
Detaillierte Beschreibung Hardware
Display
Zur Anpassung an die anatomischen Gegebenheiten des menschlichen Auges werden zwei Eigenschaften berücksichtigt. Dies sind:

1. die Auflösung des Auges und
2. die Anzahl und Eigenschaften der Rezeptoren im Auge.

Die Auflösung des menschlichen Auges liegt i. A. zwischen 0,5' und 1.5'. Daher haben heutige Displays meistens einen Dot-Pitch von 0,2 bis 0,3 mm. Das heißt, ab einem Abstand von ca. 1 m sind die Pixel des Displays nicht mehr zu erkennen. Bei dem hier vorgestellten erfindungsgemäßen Display liegt die Linsenbreite des verwendeten Linsenrasters im Bereich von 0,2 mm. Das heißt ca. 125 LPI (Linsen pro Inch). Dadurch ist die Linsenstruktur ab einem Betrachtungsabstand von ca. 1 m nicht mehr zu erkennen. Die Anzahl der Subpixel, die hinter einer Linse liegen, liegt in der Größenordnung von 10 Subpixeln pro Linse. Das heißt, dass der Dot-Pitch eines pseudoholographischen Displays in der Größenordnung von ca. 0,06 mm liegt. Während man bei konventionellen Displays z. B. 1920×1080 Pixel (HD-TV) darstellt, besteht ein hier vorgestelltes pseudoholographisches Display aus mindestens 19.200×1080 Pixeln.
Das Linsenraster kann z. B. aus Lentikularlinsen oder auch aus Hexagonallinsen bestehen, die in diesem Falle einen Durchmesser von 0,2 mm besitzen.
Berücksichtigt man, dass im menschlichen Auge ca. 6,5 Mio. Farbrezeptoren vorhanden sind und ca. 100 Mio. Hell/Dunkel-Rezeptoren, so ist ersichtlich, dass ca. 15 mal so viele Hell/Dunkel-Rezeptoren vorhanden sind wie Farbrezeptoren. Diese anatomische Gegebenheit hatte ihren Niederschlag in den früher häufiger verwendeten Kompressionsparametern 4:2:2 gefunden. Bei der 4:2:2-Kompression werden doppelt so viele Schwarz/Weiß-Daten wir Farbdaten übertragen, weil man berücksichtigte, dass das menschliche Auge die Farbinformation sehr viel grober auflöst. Andererseits verwendet das menschliche Gehirn für die Erzeugung des inneren Raumbildes zu einem sehr großen Teil die Kanteninformation. Kanten geben mit den dort vorhandenen Rechts- und Linksverdeckungen Auskunft über die Vorne/Hinten-Beziehung von Objekten.
In einer ersten Ausführung werden daher die bekannten Subpixel RGB oder YMC durch Hell/Dunkel-Subpixel ergänzt, welche die in der Merkmalextraktionsphase durch die Kanten-Operatoren erzeugte Kanteninformation anzeigen.
Homogene Flächen enthalten keine Kanten. Die Hell/Dunkel-Subpixel stellen dort im Bild keine Information dar.
Kanten werden in den Hell/Dunkel-Subpixeln gemäß der Intensität der erkannten Kante heller dargestellt. Dadurch werden die im Bild vorhandenen Kanten hervorgehoben und durch die 100 Mio. Hell/Dunkel-Rezeptoren leichter erkannt.
Das Gehirn hat es so leichter das innere Raumbild zu erzeugen. Muster auf homogenen Flächen werden im menschlichen Gehirn aufgrund des Lerneffektes als solche erkannt und beeinflussen den Raumbildeindruck nicht.
Die geometrische Anordnung der Hell/Dunkel-Subpixel kann erfindungsgemäß variiert werden. In 4a und 4b sind verschiedene Aufteilungen dargestellt. Neben den Hell/Dunkel-Subpixeln zur Verbesserung der Kanten-Erkennung können noch weitere Merkmale zur Raumbilderzeugung hinzugefügt werden. Hier sei exemplarisch, aber nicht ausschließlich, der SURF-Operator genannt.
Zusätzlich wird die Aufteilung der Pixel in Farb-Subpixel (i. A. RGB-Subpixel) aufgehoben. Berücksichtigt man, dass die Zuordnung der Perspektiven für ein autostereoskopisches Display immer auf der Ebene der Subpixel mit Farb- und Hell/Dunkel-Subpixeln stattfindet, so wird in dem hier beschriebenen Display auf die Gruppierung von Subpixeln zu Pixeln verzichtet. Jeder Farb- oder Hell/Dunkel-Subpixel ist für sich ein eigenständiges Lichtelement, dem eine bestimmte Perspektive zugeordnet ist, und besitzt in horizontaler und vertikaler Richtung die gleiche Ausdehnung. Dies ist in 4a und 4b jeweils bei „N” bereits berücksichtigt. Eine Rückwärts-Kompatibilität ist weiterhin gegeben, sodass auch alle 2D-Bilder und -Videos problemlos dargestellt werden können. Zur Erleichterung des Verständnisses werden die bilderzeugenden Lichtelement weiterhin als „Subpixel” bezeichnet, obwohl sie eigentlich als „farbige Pixel” bezeichnet werden müssten.
Die Herstellung eines solchen Displays ist auf Basis der OLED-Technologie kein Problem.
In einer weiteren Ausführung, in welcher nur von den RGB- oder YMC-Subpixeln ausgegangen wird (wie sie in den bisherigen Displays gegeben sind) werden die Merkmale des verwendeten Kanten-Operators zur Hervorhebung der Kanten in den RGB-Subpixeln verwendet. Ein Pixel, z. B. bestehend aus den RGB-Subpixeln, wird wie folgt an die Anatomie des Auges angepasst: R^neu(i, j) ≔ R(i, j) + M(i, j, 1)·s, G^neu(i, j) ≔ G(i, j) + M(i, j, 1)·s, B^neu(i, j) ≔ B(i, j) + M(i, j, 1)·s, wobei R(i, j), G(i, j) und B(i, j) die jeweiligen Farben rot, grün und blau definieren. M(i, j, 1) ist der Wert des Kanten-Operators für den Pixel (i, j). s ist ein frei einzustellender Skalierungsparameter. Wenn er über eine Fernbedienung gesteuert wird, so kann sich jeder Betrachter die Kantenhervorhebung für sein Empfinden individuell einstellen.
Durch dieses Verfahren werden die Farbwerte des Stereobildes in den Kanten leicht aufgehellt (aber nicht farbverfälscht) und für die Hell/Dunkel-Rezeptoren leichter erkennbar.
Auch hier können mehrere Merkmale wie folgt integriert werden: R^neu(i, j) ≔ R(i, j) + s·ΣM_l(i, j)·s_l, G^neu(i, j) ≔ G(i, j) + s·ΣM_l(i, j)·s_l, B^neu(i, j) ≔ B(i, j) + s·ΣM_l(i, j)·s_l, mit den Merkmalsvektoren M(i, j) ≔ (M(i, j, 1), ..., M(i, j, K)) und dem Wichtungsvektor S ≔ (s₁, ..., s_K) für jeden Pixel (i, j). Eine solche optische Aufwertung kann natürlich auch multiplikativ erfolgen.
Verarbeitungseinheit
In den vorherigen Kapiteln sind die Verfahrensschritte im Detail beschrieben worden. Wie vorher beschrieben empfängt das erfindungsgemäße hochauflösende pseudoholographische Display zunächst ein Stereobild in einem der bekannten Formate mit einer Auflösung von beispielsweise 1920×1080 je Bild. Es wird sodann auf die Auflösung des Displays skaliert, die hier zur Vereinfachung der Beschreibung mit 19.200×1080 angenommen sei.
Dieses empfangene Stereobild wird analysiert und eine sehr große Anzahl von Zwischenperspektiven, z. B. 1.000 Perspektiven, daraus synthetisiert, welche nachfolgend auf einem Display z. B. mit Lentikularlinsen angezeigt werden.
Für die Analyse dieser Stereobilder wird die Durchführung in Echtzeit, d. h. i. A. in höchstens 20 ms gefordert. Dies erfordert eine sehr hohe Verarbeitungskapazität, welche nicht mehr in einer einzigen Verarbeitungseinheit erbracht werden kann.
In einer ersten Ausführungsform wird daher jeder Zeile des Displays eine eigene Verarbeitungseinheit mit dem erforderlichen lokalen Speicher zugeordnet. Diese wird im folgenden als „Zeilenrecheneinheit” bezeichnet.
Neben diesen lokalen Zeilenrecheneinheiten werden alle Einheiten von einer Steuer- und Kontrolleinheit synchronisiert.
Daten wie z. B. die Ausgangsbilder, die rektifizierten Bilder, die Merkmalsvektoren oder das verkämmte Ausgabebild werden in einem globalen Speicher gehalten, auf welchen alle Zeilenrecheneinheiten parallel zugreifen können. Da alle Einheiten auf diese Daten nur lesend zugreifen oder schreibend nur auf die ihnen zugeordnete Zeile des Bildes und Displays bestehen keine Synchronisations- oder Blockierungsprobleme. Für ein Display mit einer Auflösung von 19.200×1080 sind also mindestens 1080 Zeilenrecheneinheiten erforderlich. Eine Implementierung als Chip oder Single-Board-Einheit sind für die heutige Chip-Technologie kein Problem, da bereits Grafikkarten mit einer gleichen Anzahl von Recheneinheiten, Shader genannt, existieren.
In einer weiteren Ausführungsform werden jeder Zeile des Displays mehrere Verarbeitungseinheiten zugeordnet. Im Extremfall, der hier nicht ausgeschlossen ist, besitzt jeder Pixel eine eigene Verarbeitungseinheit.
In der Phase der Bildanalyse zur Erzeugung der Disparitätskarte wird in diesem Falle ein aus der Literatur bekanntes iteratives Verfahren implementiert. In der Synthesephase wird die anfängliche Iterationsvariable i_l nicht mehr sequentiell für jeden Pixel inkrementiert, sondern es wird für jeden Pixel i_r einer Zeile mit einem Startwert i_l ≔ i_r begonnen. Das sodann gestartete Suchverfahren läuft wie beschrieben weiter.
Die Struktur der pixelweise zugeordneten Zeilenrecheneinheiten ist in 3 dargestellt.
Der globale Speicher wird in den Speicher für Bilddaten, Merkmalsdaten, für Disparitätskarte und für pseudoholographisches Ausgabebild unterteilt. Im Falle eines empfangenen Stereo-HD-Bildes mit zweimal 1920×1080 Pixeln und einem angeschlossenen Display mit der Auflösung 19.200×1080 muss mit folgender Speicherkapazität kalkuliert werden:
Bilddaten: 33 MB,
Merkmalsdaten: 0 MB,
Disparitätskarte: 80 MB,
Ausgabebild: 80 MB.
Dies ergibt einen erforderlichen Speicherbedarf von ca. 233 MB. Insgesamt besitzt das erfindungsgemäße hochauflösende pseudoholographische Display daher inklusive verschiedener Zwischenvariable eine Speicherkapazität von 256 MB. Auf diesem Display lassen sich bereits 10 Perspektiven hochauflösend ohne Pixelverlust darstellen.
Displays dieser Struktur sind automatisch auch für eine 2D-Darstellung von Bilder und Videos geeignet und brauchen nicht mechanisch oder elektronisch umgeschaltet zu werden. Der 2D-Eindruck ergibt sich dadurch, dass die Bildanalyse ausgelassen wird und bei der Bildsynthese nur auf das eine empfangene Bild wie im vorherigen Kapitel beschrieben zugegriffen wird.
Herstellungsprozess
Bei der Herstellung wird anders als bei konventionellen 2D-Displays vorgegangen. Während in der Vergangenheit autostereoskopische Displays immer so hergestellt wurden, dass vor ein 2D-Display ein optisches Element gesetzt wurde, ist dies hier nicht der Fall. In den bisher angewandten Herstellungsprozessen wird die bilderzeugende Einheit auf einem Substrat aufgebracht und der Rand so geschnitten, dass sich die gewünschte Displaygröße ergibt.
Bei autostereoskopischen Displays ist die Positionierung von bilderzeugender Einheit zum optischen Element von zentraler Bedeutung. Hier kommt es auf Lageparameter in der Größenordnung von 0.001 mm an. Ist z. B. die Lage der bilderzeugenden Einheit zum optischen Element nicht vollkommen parallel, so kann es zu Moire-Effekten bei der Betrachtung kommen.
Es soll daher in dieser Patentanmeldung wie folgt vorgegangen:

1. Zuerst wird das optische Element als Linsenstruktur oder als Barrierenstruktur auf einem geeigneten Träger erzeugt.
2. Sodann wird eine erste elektrische Leitungsstruktur auf der Rückseite des Trägers aufgebracht. Dabei erkennt eine optische Sensoreinheit die exakte Lage des optischen Elementes und steuert durch diese Lageparameter den Aufbringungsprozess der bildgebenden Struktur.
3. Danach werden die Farbpixel RGB, RGBW oder andere Layouts auf der Leitungsstruktur aufgebracht. Dieser Schritt wird in gleicher Weise durch die vorher erkannten Lageparameter gesteuert.
4. In einem letzten Schritt wird die erforderliche ergänzende elektrische Leitungsstruktur auf der nun vorhandenen Subpixelstruktur aufgebracht. Auch dieser Schritt wird durch die vorher erkannten Lageparameter gesteuert.

Der Träger für das Display-Panel ist das optische Element selbst. Dadurch wird eine größere Genauigkeit bei der Zuordnung von Subpixel und optischem Element erreicht und gleichzeitig wird die Anzahl der Herstellungsschritte reduziert, wodurch auch die Herstellungszeit verringert wird. Ebenso ist eine Kalibrierung zwischen bilderzeugender Einheit und optischem Element nicht mehr erforderlich.
In einer ersten Ausführungsform besteht die optische Sensoreinheit aus einer Lichtquelle, welche die Vorderseite des optischen Elements beleuchtet. Auf der Rückseite des optischen Elements nimmt eine Kamera bzw. ein Scanner das Bild des durchleuchteten optischen Elementes auf. Dabei werden die Linsengrenzen (Rillen bzw. Barrieren) als schwarze Linien sichtbar. Durch einfache Bildverarbeitungsoperationen wird daraus die exakte Position der Linsengrenzen bzw. Barrieren erfasst und die Steuerparameter für den Aufbringungsprozess der Subpixel berechnet.
In einer zweiten Ausführungsform wird statt der Lichtquelle und Kamera ein Lasersensor verwendet, welcher von der Vorderseite den Abstand zur Oberfläche des optischen Elementes misst. Die Rillen bzw. Barrieren werden dabei durch einen größeren Abstand zum Lasersensor detektiert. Auch hier können wieder die Lageparameter der Linsen- bzw. Barrierestruktur berechnet und für den Aufbringungsprozess verwendet werden. Ein Diagramm eines solchen zeilenweisen Scans des Lasersensors ist in 10 dargestellt.
Referenzen

1. H. Bay, T. Tuytelaars and L. V. Gool, "SURF: Speeded Up Robust Features", Computer Vision and Image Understanding, 110(3), 2008, pp. 346–359.
2. M. Bleyer and M. Gelautz, "Temporally Consistent Disparity Maps from uncalibrated Stereo Videos", Proceedings of the 6th International Symposium an Image and Signal Processing and Analysis (ISPA 2009), Special Session an Stereo Analysis and 3D Video/TV, pp. 383–387.
3. W. K. Pratt, "Digital Image Processing", A Wiley-Interscience Publication, 1991, ISBN 0-471-85766-1, pp. 553 ff.
4. L. Falkenhagen, "Blockbasierte Disparitätsschätzung unter Berücksichtigung statistischer Abhängigkeiten der Disparitäten", 2001, Fortschritt-Berichte VDI Reihe 10, Nr. 657 ISBN 3-18-365710-4.
5. B. Girod, G. Greiner, H. Niemann, „Principles of 3D Image Analysis and Synthesis", Kluwer Academic Publishers, 2002, ISBN 0-7923-4850-4
6. O. Faugeras and Q-T Luong, "The Geometry of Multiple Images", MIT Press, London, 2001, ISBN 0-262-06220-8
7. O. Faugeras, "Three-dimensional Computer Vision", MIT Press, London, 2001, ISBN 0-262-06158-9
8. P. Courtney, N. Thacker & C. Brown, "A hardware architecture for image rectification and ground plane obstacle detection", Proc. Int. Conf. On Pattern Recognition 1992, pp. 23–26.

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

EP 2007/003546 [0021]
WO 2007/121970 [0064]

Claims

Vorrichtung bestehend aus einer Menge L > 2 von Recheneinheiten, welche zur Erzeugung eines zur Darstellung auf einem autostereoskopischen Display mit NZ Zeilen geeigneten Bildes bestehend aus M > 2 Perspektiven geeignet sind, dadurch gekennzeichnet, dass jeder Recheneinheit eine Menge R von Zeilen und eine Menge S von Pixeln einer Zeile des Displays zugeordnet ist und das anzuzeigende Bild so erzeugt wird, dass in jeder Zeile und jeder Perspektive aus einem in einem beliebigen Format zugeführten Stereobild in einem ersten Schritt eine Disparitätskarte erstellt wird, falls diese nicht zugeführt wurde, und in einem zweiten Schritt mittels einer dem autostereoskopischen Display beigefügten Perspektivenkarte, welche für jeden Subpixel beschreibt, welche Perspektive auf dem zugehörigen Subpixel des Displays angezeigt werden soll, nur diejenigen Subpixel der darzustellenden Perspektive erzeugt werden, welche auf dem autostereoskopischen Displays tatsächlich zur Anzeige gelangen.
Vorrichtung nach Patentanspruch 1 dadurch gekennzeichnet, dass im Falle einer in einem beliebigen Format zugeführten Stereobildfolge, falls keine Disparitätskarte zugeführt wurde, diese dergestalt berechnet wird, dass in denjenigen Bildbereichen, welche sich im Vergleich zum vorher zugeführten Stereobild der Folge nicht verändert haben, die vorher berechneten Disparitäten übernommen werden.
Verfahren zur Berechnung der Disparitätskarte eines Stereobildes, dadurch gekennzeichnet, dass in einem ersten Schritt für jeden Pixel des Stereobildes ein Vektor aus lokalen Merkmalen berechnet wird und in einem zweiten Schritt zur Berechnung der Disparitätskarte zwischen dem linken und rechten Teilbild der zuvor berechnete Merkmalsvektor zusätzlich zu den Farbwerten der Pixel verwendet wird.
Verfahren zur 2D nach 3D-Konvertierung, dadurch gekennzeichnet, dass das zugeführte 2D-Bild in einem ersten Schritt sowohl als linkes als auch als rechtes Teilbild verwendet wird, wobei das rechte Teilbild um m Pixel nach rechts verschoben wird und die Disparitätskarte in jedem Element den Wert m enthält, und in einem zweiten Schritt nach einem der vorherigen Ansprüche eine Visualisierung auf einem autostereoskopischen Display durchgeführt wird.
Verfahren zur Verbesserung des Raumbildeindruckes eines stereoskopischen Displays, bestehend aus einem Display und einer stereoskopischen Sehhilfe, dadurch gekennzeichnet, dass in einem ersten Schritt für jeden Pixel einer Perspektive eines empfangenen Stereobildes ein Merkmalswert eines Merkmalsoperators, insbesondere eines Kantenoperators, berechnet wird und in einem zweiten Schritt dieser Merkmalswert gewichtet mit einem Skalierungsfaktor a auf jeden Farbwert seines zugehörigen Pixels addiert wird.
Verfahren zur Verbesserung des Raumbildeindruckes eines autostereoskopischen Displays, dadurch gekennzeichnet, dass in einem ersten Schritt für jeden Pixel einer Perspektive eines empfangenen Stereobildes ein Merkmalswert eines Merkmalsoperators, insbesondere eines Kantenoperators, berechnet wird und in einem zweiten Schritt dieser Merkmalswert gewichtet mit einem Skalierungsfaktor a auf jeden Farbwert seines zugehörigen Pixels addiert wird.
Verfahren nach Anspruch 5 oder 6, dadurch gekennzeichnet, dass der Skalierungsfaktor a durch eine Kontrolleinheit interaktiv verändert werden kann.
Vorrichtung zur autostereoskopischen Visualisierung bestehend aus einer bilderzeugenden Einheit und einem optischen Element, dadurch gekennzeichnet, dass jeder Pixel der bilderzeugenden Einheit neben der Menge seiner Farbwerte ein oder mehrere Hell/Dunkel-Subpixel enthält.
Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass in einem ersten Schritt für jeden Pixel einer Perspektive eines empfangenen Stereobildes ein Merkmalswerten eines Merkmalsoperators, insbesondere eines Kantenoperators, berechnet wird und in einem zweiten Schritt dieser Merkmalswert gewichtet mit einem Skalierungsfaktor a auf einem der Hell/Dunkel-Subpixel seines zugehörigen Displaypixels, in welchem diese Perspektive angezeigt werden soll, dargestellt wird.
Vorrichtung nach Anspruch 9, dadurch gekennzeichnet, dass der Skalierungsfaktor a durch eine Kontrolleinheit interaktiv verändert werden kann.
Vorrichtung zur autostereoskopischen Visualisierung bestehend aus einer bilderzeugenden Einheit und einem optischen Element, dadurch gekennzeichnet, dass die bilderzeugende Einheit aus einer Menge von farbigen Lichtpunkten besteht, welche in horizontaler und vertikaler Richtung die gleiche Ausdehnung besitzen.